OSF: On Pre-training and Scaling of Sleep Foundation Models

该论文通过构建包含 16.65 万小时睡眠数据的大规模基准 SleepBench，系统揭示了睡眠基础模型预训练与扩展的关键规律，并据此提出了在跨设备泛化性及多任务预测性能上均达到最先进水平的 OSF 模型家族。

要点

这篇论文就像是在给睡眠研究界开了一场“超级大厨”的研讨会。

想象一下，睡眠数据（PSG）就像是食材。以前，医生和科学家想分析一个人的睡眠质量或预测疾病，必须依赖非常昂贵、复杂的设备（像全套的厨房），在实验室里整夜监测大脑、心脏、呼吸等十几个信号。

但问题在于：

1. 食材不统一：有的家庭监测设备只有“呼吸”和“心跳”，没有“大脑”信号；有的设备信号会断断续续（就像做饭时突然少了一味调料）。
2. 以前的“厨师”太挑剔：现有的 AI 模型（以前的厨师）习惯了在实验室那种“全套食材”下做饭。一旦到了家里，发现少了一味“大脑”的调料，它们就彻底不会做了，做出来的菜（诊断结果）很难吃。

这篇论文的作者们（来自 UCLA 和 Emory 大学）决定做三件事来改变现状：

1. 建立了一个巨大的“公共食材库” (SleepBench)

他们收集了来自 9 个不同来源的16.6 万小时的睡眠录音。

• 比喻：这就像他们建了一个巨大的“中央厨房”，里面不仅有顶级餐厅的食材，也有普通家庭、不同地区、不同设备的食材。他们把这些杂乱无章的食材清洗、切好，整理成标准的“30 秒小份”，准备用来训练 AI。

2. 发现了三个“烹饪秘诀” (核心发现)

在训练 AI 的过程中，他们发现了以前被忽略的三个关键点：

• 秘诀一：不能太依赖“大脑”这道主菜

  • 现象：以前的 AI 模型如果突然拿不到“大脑信号”（比如在家用简易设备），表现就会暴跌。
  • 比喻：就像以前的厨师只会做“红烧肉”，一旦没有猪肉，他就不会做菜了。但现实是，有时候我们只有“鸡肉”或“鱼肉”。
  • 结论：AI 必须学会“随机应变”，即使缺了某些信号，也能利用剩下的信号做出好菜。

• 秘诀二：要教 AI“举一反三” (通道不变性)

  • 做法：他们在训练时，故意把某些信号“遮住”（比如随机把心跳信号盖住，或者把呼吸信号盖住），强迫 AI 学会：“哦，虽然我看不到心跳，但我看呼吸也能猜出睡眠状态。”
  • 比喻：这就像教学生做题时，故意把题目里的关键数字擦掉，逼学生学会用其他线索推导答案。这样学生（AI）以后遇到任何残缺的题目都能做对。

• 秘诀三：食材越多、锅越大，菜越香 (Scaling Laws)

  • 做法：他们发现，只要给 AI 喂更多的数据（更多小时的录音），用更大的模型（更大的锅），并且混合不同来源的食材，AI 就会变得越来越强。
  • 比喻：以前大家觉得 AI 吃到一定程度就“饱了”（性能不再提升），但他们发现，只要训练方法对（用了上面的“遮住信号”法），AI 就像个无底洞，吃得越多，越聪明。

3. 推出了新厨师：OSF (Open Sleep Foundation Model)

基于以上发现，他们训练出了一个新的 AI 模型家族，叫 OSF。

• OSF 有多强？
  • 全能选手：无论是在实验室（全套设备）还是在家里（只有呼吸和心跳），它都能精准判断睡眠阶段（是深睡、浅睡还是做梦）。
  • 预测疾病：它不仅能看睡眠，还能通过睡眠数据预测一个人有没有高血压、糖尿病或心脏病。
  • 少样本学习：如果只给它看很少的标注数据（比如只给 1 个例子），它也能很快学会新任务，不像以前的模型那样需要大量数据才能“开窍”。

总结

这篇论文的核心思想就是：不要只教 AI 在完美的实验室里做实验，要教它在充满不确定性的现实世界中生存。

他们通过大规模的数据、故意制造困难（遮挡信号）的训练方法，以及不断放大模型规模，打造了一个更聪明、更鲁棒、更通用的睡眠 AI。现在，这个 AI 已经开源了，意味着未来的睡眠监测设备（哪怕是简单的家用手环）可能会因为它的存在，变得像医生一样专业。

一句话概括：他们给 AI 厨师上了一堂“野外生存课”，让它学会了在缺斤少两的厨房里，依然能做出米其林级别的健康诊断大餐。

技术摘要

这是一篇关于睡眠基础模型（Sleep Foundation Models, Sleep FMs）预训练与扩展规律的深度研究论文。以下是对该论文《OSF: On Pre-training and Scaling of Sleep Foundation Models》的详细技术总结：

1. 研究背景与问题 (Problem)

多导睡眠图（PSG）是睡眠评估的金标准，但实际应用中面临巨大挑战：

• 数据异构性：不同设备、不同队列（cohort）和不同采集协议导致通道设置不一致。
• 通道缺失：家庭监测往往缺少脑电（EEG/EOG），而某些微结构研究可能缺少呼吸信号。传感器在夜间也可能脱落。
• 现有模型的局限性：现有的睡眠基础模型（如 SleepFM）在预训练时未充分理解如何构建具有泛化能力的模型。它们在面对推理时的通道缺失（Missing-channel inference）时表现不佳，且缺乏对预训练目标、数据扩展（Scaling）规律的系统性研究。

核心问题：哪些预训练设计和扩展策略（Scaling design choices）能真正提升睡眠基础模型的泛化能力，特别是在队列偏移和通道缺失的推理场景下？

2. 方法论 (Methodology)

2.1 SleepBench：大规模开源基准

为了进行受控评估，作者构建了 SleepBench，这是目前最大的完全开源、多来源睡眠基准：

• 数据规模：整合了 9 个公共数据集（SHHS, NCHSDB, CFS 等），包含 166,500 小时 的 PSG 记录，超过 21,000 个睡眠研究。
• 标准化处理：统一了 12 个通道（脑电/眼电、呼吸、心电、肌电），将夜间数据分割为 30 秒的片段（Epoch），共约 2000 万个样本。
• 划分：分为域内（In-domain）预训练队列和域外（Out-of-domain, OOD）评估队列。

2.2 系统性预训练研究

作者系统评估了四种自监督预训练目标家族：

1. 对比学习 (Contrastive Learning, 如 SimCLR)
2. 重建方法 (Reconstruction-based, 如 MAE, VQ-VAE)
3. 自回归建模 (Autoregressive Modeling)
4. 自蒸馏 (Self-Distillation, 如 DINO)

通过控制变量实验，作者得出了三个关键发现，并据此提出了 OSF (Open Sleep Foundation Model)。

2.3 OSF 的核心设计策略

基于研究发现，OSF 采用了以下改进的预训练和扩展配方：

1. 通道不变性增强 (Channel-Invariant Augmentation)：在预训练时，不仅进行时间维度的掩码（Time-wise masking），还引入通道掩码（Channel masking），随机丢弃 50% 的输入通道。这迫使模型学习不依赖特定通道组合的特征表示。
2. 多源数据混合 (Multi-source Data Mixture)：在大规模多源数据上进行预训练，而非单一数据集，以增强泛化性。
3. 扩展策略 (Scaling)：同时增加预训练样本量、模型容量（从 1M 到 85M 参数）以及数据多样性。

3. 关键发现 (Key Findings)

1. 现有模型在通道缺失推理中失效：
   • 现有的睡眠 FM 在推理时若缺少关键通道（如脑电缺失或呼吸缺失），性能会大幅下降。例如，缺少脑电通道会导致睡眠分期准确率显著降低。
2. 通道不变性特征学习至关重要：
   • 在预训练阶段显式地鼓励模型学习“通道不变”的特征（通过通道掩码），能显著提升模型在通道缺失场景下的鲁棒性和下游迁移性能。对比学习（SimCLR）和自蒸馏（DINO）在加入通道掩码后均有显著提升。
3. 睡眠基础模型的扩展规律 (Scaling Laws)：
   • 基线模型在数据量增加时容易饱和（性能不再提升）。
   • 但在采用“通道不变性 SSL"设计后，性能随着样本量增加、模型容量增大以及多源数据混合而持续线性提升。

4. 实验结果 (Results)

OSF 在 9 个数据集和 8 个下游任务上均取得了 State-of-the-Art (SOTA) 性能：

• 睡眠分期与事件检测：
  • 在睡眠分期（Sleep Staging）、觉醒检测（Arousal）、低通气（Hypopnea）、血氧下降（Ox. Desat.）和中枢性呼吸暂停（Central Apnea）任务上，OSF 在线性探测（Linear Probing）和全微调（Full Fine-tuning）设置下均优于 SleepFM 及其他 SSL 方法。
  • 例如，在 MROS 数据集的线性探测中，OSF 的睡眠分期 AUC 达到 97.3%，优于 SleepFM (96.4%)。
• 少样本适应 (Few-Shot Adaptation)：
  • 在 1-shot, 5-shot, 50-shot 设置下，OSF 表现出极强的样本效率，显著优于其他模型，特别是在 1-shot 和 5-shot 场景下。
• 疾病预测 (Disease Prediction)：
  • 在冠心病、糖尿病和高血压的患者级预测任务中，OSF 的 AUC 和 AUPRC 均达到最高。
• 鲁棒性测试：
  • 通道缺失推理：在模拟家庭监测（无脑电）或微结构研究（无呼吸）等真实缺失场景下，OSF 的性能下降幅度远小于基线模型，证明了其通道不变性学习的有效性。
  • 少通道预训练：即使仅使用 ECG 和呼吸信号进行预训练，OSF 也能在相关任务上取得比基线更好的结果。
• 可视化分析：
  • UMAP 可视化显示，OSF 学习到的嵌入空间具有更清晰的睡眠阶段聚类结构，表明其表征质量更高。

5. 意义与贡献 (Significance & Contributions)

1. 建立了首个大规模开源睡眠基准 (SleepBench)：为睡眠基础模型的研究提供了统一、透明且大规模的评估平台。
2. 揭示了睡眠 FM 的扩展规律：首次系统性地证明了在睡眠数据上，通过通道不变性设计和多源混合，可以打破性能饱和，实现随数据和模型规模扩展的性能提升。
3. 提出了实用的预训练配方：证明了“通道掩码”是解决睡眠数据异构性和通道缺失问题的关键，为未来构建更鲁棒的生理信号基础模型提供了明确指导。
4. 开源成果：发布了 OSF 模型权重、代码和 SleepBench 数据集，推动了睡眠医学与 AI 的交叉研究。

总结：
这篇论文不仅提出了一个性能卓越的睡眠基础模型 OSF，更重要的是通过严谨的对照实验，纠正了当前领域对预训练设计的认知偏差（如忽视通道不变性），并确立了睡眠基础模型有效的扩展路径。这对于推动睡眠监测设备的小型化、家庭化以及疾病预测的精准化具有重要的理论和应用价值。