OSF: On Pre-training and Scaling of Sleep Foundation Models

Die Studie stellt OSF, eine Familie von Schlaf-Foundation-Modellen vor, die durch die Nutzung einer umfassenden Datensammlung von 166.500 Stunden und eines neuen Benchmarks (SleepBench) nachgewiesene Fortschritte in der Generalisierbarkeit und Leistung bei der Vorhersage von Schlaf und Krankheiten erzielt, indem sie die Bedeutung kanalunabhängiger Merkmale und skalierbarer Trainingsstrategien aufzeigt.

Das Wesentliche

Titel: Der große Schlaf-Coach – Wie ein neuer KI-Modell-Typ unsere Träume versteht, auch wenn ihm Daten fehlen

Stellen Sie sich vor, Sie wollen einen großen Schlaf-Coach (eine künstliche Intelligenz) bauen, der lernen soll, wie Menschen schlafen, wann sie aufwachen und welche Krankheiten sie haben könnten. Bisher war das wie ein Kochkurs, bei dem jeder Schüler nur mit einem einzigen, sehr spezifischen Rezept kochen durfte. Wenn dem Koch dann eine Zutat fehlte (z. B. kein Gehirn-Signal vom Kopfkissen), fiel das ganze Gericht in sich zusammen.

Die Forscher aus Los Angeles und Atlanta haben jetzt etwas Neues entwickelt: OSF (Open Sleep Foundation Model). Sie haben nicht nur ein neues Rezept erfunden, sondern auch eine riesige Bibliothek mit Kochanleitungen aus der ganzen Welt gesammelt.

Hier ist die Geschichte, wie sie das gemacht haben, einfach erklärt:

1. Das Problem: Der "Zutaten-Mangel" im Labor

Normalerweise messen Ärzte den Schlaf mit einem riesigen Kabelsalat aus Sensoren am Kopf, am Brustkorb und an den Beinen. Das nennt man Polysomnographie (PSG).

• Das Problem: In der echten Welt ist das nicht immer möglich. Manchmal fällt ein Kabel aus, manchmal messen wir nur zu Hause mit einem simplen Stirnband (ohne Gehirn-Sensoren), und manchmal fehlt der Atem-Sensor.
• Die alte KI: Die bisherigen KI-Modelle waren wie ein Koch, der nur mit einer perfekten Küche kochen konnte. Fehlte ihm eine Zutat (ein Sensor), wusste er nicht mehr weiter und lieferte schlechte Ergebnisse.

2. Die Lösung: Eine riesige Bibliothek (SleepBench)

Die Forscher haben sich gedacht: "Wir brauchen mehr Daten und mehr Vielfalt."
Sie haben 166.500 Stunden Schlafaufnahmen aus neun verschiedenen öffentlichen Quellen gesammelt. Das ist wie eine riesige Bibliothek, in der Tausende von Menschen aus unterschiedlichen Ländern, Altersgruppen und mit unterschiedlichen Geräten schlafen.

• Der Name: Sie nennen diese Bibliothek SleepBench.
• Der Vorteil: Da die Daten so vielfältig sind, lernt die KI nicht nur "einen" Schlaf, sondern versteht das Prinzip des Schlafens, egal ob mit 12 Sensoren oder nur mit 2.

3. Die drei großen Entdeckungen (Das neue Rezept)

Die Forscher haben verschiedene Lernmethoden ausprobiert und drei wichtige Dinge herausgefunden:

• Entdeckung 1: Der "Blinden"-Test.
  Wenn man der KI beim Testen plötzlich wichtige Sensoren wegnimmt (z. B. die am Kopf), brach die Leistung der alten Modelle ein. Sie waren zu starr.

  • Analogie: Ein alter Koch kann nur Suppe kochen, wenn er genau weiß, welche Zutat in welchem Topf ist. Fehlt eine, weiß er nicht, was er tun soll.

• Entdeckung 2: Lernen mit "verdeckten Augen" (Channel-Invariance).
  Das war der Schlüssel! Während des Trainings haben die Forscher der KI absichtlich Sensoren "verdeckt" (wie eine Augenbinde). Sie mussten die KI zwingen, zu lernen: "Okay, ich habe heute keine Gehirn-Sensoren, aber ich habe den Herzschlag und die Atmung. Ich muss trotzdem verstehen, ob die Person schläft."

  • Analogie: Wie ein Koch, der geübt hat, Gerichte zu kochen, auch wenn ihm die Hälfte der Gewürze fehlt. Er lernt, den Geschmack aus den verbleibenden Zutaten zu erschmecken. Das macht ihn viel robuster.

• Entdeckung 3: Mehr ist besser (Scaling).
  Je mehr Daten die KI lernte und je "klüger" (größer) das Gehirn der KI war, desto besser wurde sie. Aber nur, wenn sie das richtige Lern-Rezept (aus Entdeckung 2) hatte.

  • Analogie: Ein Schüler, der nur 10 Seiten eines Buches liest, wird nicht zum Experten. Aber wenn er 100.000 Seiten liest und lernt, die wichtigsten Punkte auch ohne alle Details zu verstehen, wird er zum Meister.

4. Das Ergebnis: OSF – Der Meister-Koch

Mit diesem neuen Rezept (OSF) haben sie ein Modell gebaut, das:

• Besser ist als alle vorherigen: Es schlägt den aktuellen Weltrekord bei fast allen Schlaf-Tests.
• Robust ist: Es funktioniert auch dann gut, wenn Sensoren fehlen (z. B. nur Stirnband-Daten).
• Krankheiten erkennt: Es kann nicht nur den Schlafstadien (Tiefschlaf, REM) folgen, sondern auch Hinweise auf Krankheiten wie Diabetes, Bluthochdruck oder Herzprobleme geben, indem es die Schlafmuster analysiert.

Zusammenfassung in einem Satz

Die Forscher haben eine KI gebaut, die so viel und so vielfältig über den Schlaf gelernt hat, dass sie ihn versteht, selbst wenn ihr nur ein paar "verlorene" Sensoren zur Verfügung stehen – genau wie ein erfahrener Arzt, der auch mit wenig Informationen eine Diagnose stellen kann.

Warum ist das wichtig?
Weil wir in Zukunft Schlaf-Überwachung nicht mehr nur im teuren Schlaflabor brauchen, sondern auch zu Hause mit einfachen Geräten, die trotzdem medizinisch zuverlässig sind. Die KI hilft uns, die "Sprache des Schlafes" besser zu verstehen, um Krankheiten früher zu erkennen.

Technische Zusammenfassung

1. Problemstellung

Die Schlafanalyse mittels Polysomnographie (PSG) gilt als Goldstandard, leidet jedoch unter erheblicher Heterogenität. Verschiedene Aufnahmegeräte, Kohorten und Protokolle führen zu inkonsistenten Kanalsets (z. B. fehlen bei Heimstudien oft EEG-Signale, bei anderen fehlen Atemsignale). Zudem führen Geräteausfälle oder lose Sensoren zu fehlenden Kanälen während der Aufnahme.

Bestehende Schlaf-Foundation-Modelle (FMs) zeigen zwar Fortschritte, aber es fehlt ein tiefes Verständnis darüber, welche Vor-Trainings-Strategien und Skalierungsmuster zu wirklich generalisierbaren Modellen führen. Ein zentrales Problem ist die mangelnde Robustheit gegenüber fehlenden Eingabekanälen zur Inferenzzeit sowie die Unklarheit, ob die Skalierung von Datenmenge und Modellgröße bei Schlafdaten konsistente Verbesserungen bringt.

2. Methodik und Ansatz

A. SleepBench: Ein umfassender Benchmark

Die Autoren haben SleepBench erstellt, den bisher größten vollständig offenen, multi-quelligen Benchmark für Schlafdaten.

• Datenkorpus: 166.500 Stunden PSG-Aufnahmen aus 9 öffentlichen Datensätzen (u.a. SHHS, MESA, CHAT) mit über 21.000 Studien.
• Standardisierung: Die Daten umfassen einen standardisierten Satz von 12 Kanälen (EEG/EOG, Atmung, EKG, somatische Signale).
• Aufbereitung: Manuelle Qualitätskontrolle, Z-Score-Normalisierung (inkl. bereichsabhängiger Normalisierung für Atemkanäle) und Segmentierung in 30-Sekunden-Epochen (ca. 20 Millionen Epochen).
• Aufteilung: Trennung in In-Domain (Vor-Training) und Out-of-Domain (OOD) Kohorten für eine rigorose Evaluierung der Generalisierungsfähigkeit.

B. Systematische Evaluierung von Vor-Trainings-Objektiven

Es wurden vier Familien von selbstüberwachten Lernmethoden (SSL) verglichen:

1. Kontrastives Lernen: SimCLR
2. Rekonstruktionsbasierte Methoden: MAE, VQ-VAE
3. Autoregressive Modellierung
4. Selbst-Distillation: DINO

Die Studie untersuchte drei kritische Design-Entscheidungen:

1. Generalisierung bei fehlenden Kanälen: Simulation realer Szenarien, bei denen bestimmte Kanäle (z. B. Gehirn- oder Atemsignale) zur Inferenzzeit fehlen.
2. Channel-Invarianz: Einführung einer Channel-Masking-Strategie (zufälliges Löschen von 50 % der Kanäle während des Vor-Trainings), um Modelle zu zwingen, kanalunabhängige Merkmale zu lernen.
3. Skalierungsgesetze: Untersuchung des Einflusses von Datenmenge, Modellgröße (ViT-Backbones von 1M bis 85M Parametern) und Multi-Source-Datenmischung.

C. OSF (Open Sleep Foundation Model)

Basierend auf den Erkenntnissen wurde OSF entwickelt. Es nutzt DINO als Basis-Architektur, kombiniert mit der optimierten Vor-Trainings-Rezeptur (Channel-Masking + Time-Masking) und skaliert auf große Datenmengen und Modellkapazitäten.

3. Wichtige Erkenntnisse (Key Findings)

1. Versagen bestehender Modelle bei fehlenden Kanälen: Existierende Schlaf-FMs zeigen drastische Leistungseinbußen, wenn Kanäle zur Inferenzzeit fehlen (z. B. fehlende EEG-Signale für Schlafstadien). Sie sind nicht robust gegenüber Input-Inkomplettheit.
2. Channel-invariante Merkmalslernen ist essenziell: Das explizite Trainieren mit Channel-Masking (während des Vor-Trainings werden zufällige Kanäle maskiert) verbessert die Robustheit und die Transferleistung signifikant. Dies gilt sowohl für kontrastive als auch für Distillations-basierte Methoden.
3. Konsistente Skalierungsgesetze: Im Gegensatz zu früheren Annahmen, dass Schlaf-FMs bei großen Datenmengen stagnieren, zeigt OSF konsistente Leistungssteigerungen durch:
   • Erhöhung der Vor-Trainings-Datenmenge.
   • Erhöhung der Modellkapazität (bis 85M Parameter).
   • Mischung von Daten aus multiplen Quellen (Multi-Source Pre-training), was die Generalisierung gegenüber Single-Source-Training verbessert.

4. Ergebnisse

OSF erzielt State-of-the-Art (SOTA) Ergebnisse auf neun verschiedenen Datensätzen und acht Downstream-Aufgaben:

• Schlafstadien-Einteilung (Sleep Staging) & Ereigniserkennung: OSF übertrifft alle Vergleichsmethoden (einschließlich SleepFM, MAE, DINO) sowohl beim Linear Probing als auch beim Full Fine-Tuning.
  • Beispiel (Sleep Staging AUC): OSF erreicht 97,3 % (Linear Probing) vs. 96,4 % bei SleepFM.
• Few-Shot Learning: OSF zeigt überlegene Anpassungsfähigkeit bei sehr wenigen gelabelten Beispielen (1-Shot, 5-Shot), was auf eine hohe Qualität der gelernten Repräsentationen hindeutet.
• Krankheitsvorhersage: Bei der patientenbezogenen Vorhersage von koronarer Herzkrankheit, Diabetes und Hypertonie erzielt OSF die besten Ergebnisse.
• Robustheit: OSF behält auch bei fehlenden Kanälen (z. B. nur Atemsignale oder nur EEG) eine deutlich höhere Leistung bei als Baseline-Modelle.
• Embedding-Struktur: UMAP-Visualisierungen zeigen, dass OSF-Embeddings klarer nach Schlafstadien gruppiert sind als bei anderen Modellen.

5. Bedeutung und Beitrag

• Praktische Relevanz: Die Arbeit adressiert ein reales klinisches Problem: Die Heterogenität von Schlafdaten und fehlende Kanäle in der Praxis. OSF bietet eine Lösung, die auch mit unvollständigen Daten robust funktioniert.
• Wissenschaftlicher Fortschritt: Die Studie liefert die erste systematische Analyse von Skalierungsgesetzen und Vor-Trainings-Designs für Schlaf-FMs. Sie widerlegt die Annahme, dass Schlafdaten nicht skalierbar seien, und etabliert neue Best Practices (Channel-Masking, Multi-Source-Mixing).
• Open Science: Durch die Bereitstellung von SleepBench, dem Code und den Checkpoints (GitHub/Website) wird die Reproduzierbarkeit und Weiterentwicklung im Bereich der Schlafmedizin durch KI massiv gefördert.
• Architekturelle Einsichten: Die Arbeit zeigt, dass einfache Aggregationsmethoden (Top-k Selection) für patientenbezogene Vorhersagen oft besser funktionieren als komplexe zeitliche Aggregatoren (wie LSTMs), und dass rekonstruktionsbasierte Methoden (MAE) in bestimmten Regressionstasks (z. B. Herzfrequenz) stark sind.

Zusammenfassend stellt OSF einen Meilenstein dar, der zeigt, wie man durch gezieltes Vor-Training und Skalierung robuste, generalisierbare Foundation Models für die Schlafmedizin entwickelt, die den Anforderungen realer klinischer Umgebungen gerecht werden.