OSF: On Pre-training and Scaling of Sleep Foundation Models

Deze paper introduceert OSF, een familie van slaap-fundatiemodellen die, gebaseerd op een uitgebreide pre-training en schalingsstudie met SleepBench, state-of-the-art prestaties behaalt door het belang van kanaal-invariante kenmerkleer en het schalen van data en modelcapaciteit aan te tonen.

De kern

Titel: De "Slapende Reus" wakker maken: Hoe OSF de slaapanalyse revolutioneert

Stel je voor dat slaaponderzoekers proberen een superintelligente robot te bouwen die kan vertellen hoe goed iemand slaapt, of zelfs of iemand ziek is (zoals diabetes of hartproblemen), puur door naar de slaap van die persoon te kijken.

Vroeger was dit als een groepje mensen die elk een eigen taal spraken. De ene dokter gebruikte een apparaat met 12 sensoren, de ander maar 4, en weer een ander had een apparaat dat 's nachts stukging. Als je een slimme computer wilde trainen, werd het een chaos: de computer leerde alleen maar hoe die specifieke sensoren werkten, en kon niet omgaan met een ander type apparaat.

Deze paper introduceert OSF (Open Sleep Foundation Model), een nieuwe generatie "slapende AI" die dit probleem oplost. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het probleem: De "Gebroken Oor"

Stel je voor dat je een kind leert een liedje te zingen. Je doet dit alleen maar met een gitaar. Als je het kind later vraagt het liedje te zingen terwijl je alleen een piano hebt, kan het kind het niet. Het heeft de "gitaar-geheugen" te sterk aangeleerd.

Dit gebeurde met eerdere slaap-AI's. Als een patiënt thuis een apparaat had dat geen hersensignalen (EEG) kon meten, maar alleen ademhaling, faalde de AI. De AI wist niet hoe het moest omgaan met "ontbrekende stukjes" van de puzzel.

2. De oplossing: Een "Meertalige" Super-Leraar

De auteurs van dit papier hebben iets geweldigs gedaan. Ze hebben niet één, maar negen verschillende slaap-databases samengevoegd. Dit is alsof ze 166.500 uur aan slaapopnames hebben verzameld van duizenden mensen, met allerlei verschillende apparaten en instellingen. Ze noemen dit SleepBench.

Met dit enorme materiaal hebben ze een nieuwe AI getraind, OSF, met drie slimme trucs:

• Truc 1: De "Blinde" Oefening (Ontbrekende Kanalen)
  In plaats van de AI alleen te laten oefenen met perfecte data, hebben ze de AI tijdens het leren bewust "blind" gemaakt. Ze hebben sensoren in de simulatie weggehaald.

  • De analogie: Het is alsof je een kok traint om een soep te maken, maar je haalt tijdens de oefening af en toe de wortels of de kruiden weg. De kok leert dan niet alleen op de wortels te vertrouwen, maar leert de essentie van de soep begrijpen.
  • Het resultaat: OSF kan nu perfect werken, zelfs als een patiënt thuis maar 2 sensoren heeft in plaats van 12. Het maakt niet uit welke sensoren er ontbreken; de AI begrijpt het verhaal van de slaap nog steeds.

• Truc 2: Meer is Beter (Schalen)
  Vroeger dachten onderzoekers dat je na een zekere hoeveelheid data niet meer beter werd. Maar OSF bewijst het tegenovergestelde.

  • De analogie: Het is als het lezen van boeken. Als je 10 boeken leest, ben je slim. Als je 10.000 boeken leest, word je een genie. De auteurs hebben getoond dat als je de AI meer data geeft én een groter brein (meer rekenkracht), deze steeds slimmer wordt. Er is geen "top" waar het stopt.

• Truc 3: De "Hoofdrol" van de Sensoren
  De AI leert nu om te focussen op wat echt belangrijk is. Als de ademhalingssensoren ontbreken, kijkt de AI scherper naar de hartslag. Als de hersensensoren ontbreken, zoekt het naar patronen in de spierbeweging. Het leert een "veilige" versie van de slaap te begrijpen die niet afhankelijk is van één specifiek apparaat.

3. Wat levert dit op?

Dankzij OSF kunnen artsen nu:

• Betere diagnoses stellen: De AI kan ziektes zoals diabetes en hartproblemen voorspellen door alleen naar de slaapdata te kijken, zelfs als die data niet perfect is.
• Thuisonderzoek mogelijk maken: Je hoeft niet meer naar het ziekenhuis met die grote, ongemakkelijke apparaten. Een simpel thuisapparaat is nu genoeg, omdat de AI weet hoe het de "ontbrekende" stukjes moet invullen.
• Minder data nodig: De AI is zo slim dat hij zelfs met heel weinig voorbeelden (bijvoorbeeld slechts 1 patiënt per ziekte) al goede resultaten kan leveren.

Conclusie

Kortom: OSF is als een super-slaapexpert die niet alleen kan lezen wat er op papier staat, maar ook de "tussenregels" begrijpt. Het is getraind op een enorme hoeveelheid verschillende soorten data, waardoor het niet meer faalt als de apparatuur niet perfect is. Het maakt slaaponderzoek robuuster, toegankelijker en nauwkeuriger voor iedereen, of je nu in een ziekenhuis slaapt of in je eigen bed.

Technische samenvatting

Titel: OSF: On Pre-training and Scaling of Sleep Foundation Models

Auteurs: Zitao Shuai, Zongzhe Xu, David Yang, Wei Wang, Yuzhe Yang (UCLA & Emory University)
Datum: 3 maart 2026

---

1. Het Probleem

Polysomnografie (PSG) is de gouden standaard voor slaapdiagnostiek, maar er zijn aanzienlijke uitdagingen bij het ontwikkelen van robuuste modellen voor slaapanalyse:

• Heterogeniteit: PSG-opnames variëren sterk tussen verschillende apparaten, patiëntcohorten en opnameprotocollen.
• Ontbrekende Kanalen: In de praktijk ontbreken vaak bepaalde kanalen (bijv. hersensignalen bij thuisstudies of ademhalingskanalen bij specifieke micro-studies). Bestaande foundation modellen (FMs) presteren vaak slecht wanneer ze worden geëvalueerd op data met ontbrekende kanalen.
• Gebrek aan Inzicht: Er is weinig systematisch inzicht in welke pre-training strategieën en schalingswetten (scaling laws) leiden tot de meest generaliseerbare slaap-modellen. Bestaande werk focust vaak op één specifieke methode zonder de bredere ontwerpruimte te verkennen.

2. Methodologie

De auteurs introduceren een systematische aanpak bestaande uit drie pijlers: een nieuw benchmark, een gecontroleerde studie van pre-training objectives, en een nieuwe schalingsstrategie.

A. SleepBench: Een Open Benchmark

Om de prestaties van modellen objectief te evalueren, hebben de auteurs SleepBench gecreëerd:

• Data: Een corpus van 166.500 uur slaapopnames afkomstig van 9 openbare bronnen (o.a. SHHS, MESA, CHAT), omvattende meer dan 21.000 nachten.
• Standaardisatie: De data is gestandaardiseerd naar een 12-kanaals montage (EEG/EOG, Respiratoire, Cardiac, Somaat) en opgedeeld in 30-seconden epoches.
• Splitsing: De data is strikt gesplitst in een in-domain cohort (voor pre-training) en een out-of-domain (OOD) cohort (voor evaluatie), waarbij alle externe data volledig onzichtbaar is tijdens het trainen.

B. Gecontroleerde Studie van Pre-training

De auteurs hebben vier families van zelf-supervised learning (SSL) methoden geëvalueerd:

1. Contrastive Learning (SimCLR)
2. Reconstruction-based (MAE, VQ-VAE)
3. Autoregressive Modeling
4. Self-Distillation (DINO)

Ze hebben drie kritieke experimenten uitgevoerd om de pre-training "recepten" te optimaliseren:

1. Missing-Channel Robustheid: Simulatie van ontbrekende kanalen tijdens inferentie om te testen of modellen generaliseren.
2. Augmentatie Strategieën: Vergelijking van tijds-masking (block masking) versus kanaal-masking (random drop van 50% van de kanalen).
3. Schaalbaarheid: Analyse van de impact van het vergroten van de datasetgrootte, het modelcapaciteit (aantal parameters) en het mengen van multi-source data.

C. OSF (Open Sleep Foundation Model)

Gebaseerd op de bevindingen, hebben de auteurs OSF ontwikkeld. Dit is een familie van foundation modellen (gebaseerd op DINO met een ViT-85M architectuur) die is getraind met een verbeterd recept:

• Gebruik van kanaal-invariante feature learning (via kanaal-masking augmentatie).
• Schalen van zowel de modelgrootte als de data-grootte.
• Training op een multi-source data mixture om generalisatie te verhogen.

3. Belangrijkste Bevindingen

Het paper identificeert drie cruciale inzichten die de ontwikkeling van slaap-FMs sturen:

1. Bestaande modellen falen bij ontbrekende kanalen: Bestaande slaap-modellen vertonen grote prestatiedalingen wanneer kanalen ontbreken tijdens inferentie (bijv. geen EEG bij thuisopnames). Dit suggereert dat huidige modellen afhankelijk zijn van specifieke kanaalcombinaties in plaats van robuuste fysiologische representaties.
2. Kanaal-invariantie is essentieel: Het expliciet aanmoedigen van het leren van kanaal-invariante features tijdens pre-training (door random kanaal-masking) is kritiek. Dit verbetert de robuustheid en transferprestaties aanzienlijk, zowel voor contrastieve als distillatie-methoden.
3. Schaalwetten gelden voor slaap: In tegenstelling tot eerdere studies die een verzadiging zagen, tonen de auteurs aan dat prestaties consistent verbeteren bij het schalen van:
   • De hoeveelheid trainingsdata.
   • De modelcapaciteit (parameters).
   • De diversiteit van de data (multi-source mixing).

4. Resultaten

OSF heeft state-of-the-art (SOTA) prestaties behaald op diverse taken en datasets:

• Slaapstaging en Event Detectie: OSF overtreft bestaande modellen (zoals SleepFM, SimCLR, DINO, MAE) consistent op taken zoals slaapstaging, arousal-detectie, hypopneu, zuurstofdesaturatie en centrale apneu.
  • Voorbeeld (Linear Probing op MROS): OSF bereikt een AUC van 97.3 voor slaapstaging, vergeleken met 96.4 voor de vorige SOTA (SleepFM).
• Zeldzame Data (Few-Shot): OSF toont superieure aanpassingsvermogen in few-shot settings (1, 5, en 50 shots), wat aangeeft dat de geleerde representaties zeer informatief en generaliseerbaar zijn.
• Ziektevoorspelling: Op patiëntniveau (aggregatie van epoches) presteert OSF beter in het voorspellen van coronaire ziekte, diabetes en hypertensie.
• Robuustheid: Bij inferentie met ontbrekende kanalen (bijv. alleen ademhalings- of alleen hersensignalen) behoudt OSF een hogere prestatie dan concurrenten, dankzij de kanaal-invariante training.
• Embedding Ruimte: UMAP-visualisaties tonen aan dat OSF-embeddings duidelijkere clusters vormen die corresponderen met slaapstadia, wat wijst op een betere structuur van de geleerde ruimte.

5. Significantie en Impact

• Praktische Toepasbaarheid: Door het probleem van ontbrekende kanels aan te pakken, maakt OSF slaap-FMs bruikbaar voor real-world scenario's zoals thuismonitoring en studies met beperkte sensoren, waar eerdere modellen vaak faalden.
• Richtinggevend voor de Gemeenschap: De paper biedt een volledig open, herhaalbaar framework (SleepBench) en een bewezen "recept" voor pre-training. Dit verplaatst de focus van het experimenteren met willekeurige augmentaties naar het systematisch schalen van data en modelgrootte met de juiste invariance-strategieën.
• Resource Efficiency: De resultaten tonen aan dat grotere modellen en meer data niet leiden tot overfitting in dit domein, maar juist tot sterkere transferleer, wat investeringen in grootschalige pre-training rechtvaardigt.
• Open Science: Code, checkpoints en het volledige dataset-benchmark zijn openbaar beschikbaar, wat de reproducerbaarheid en verdere innovatie in het veld van slaap-AI sterk bevordert.

Conclusie:
OSF stelt een nieuwe standaard voor slaapfoundation modellen door te bewijzen dat de combinatie van kanaal-invariante pre-training, schaling van modelgrootte en multi-source data-mixing leidt tot modellen die niet alleen nauwkeuriger zijn, maar ook robuust genoeg voor de heterogene realiteit van klinische en thuis-slaapdata.