OSF: On Pre-training and Scaling of Sleep Foundation Models

Les auteurs présentent OSF, une famille de modèles de fondation pour le sommeil entraînée sur un corpus massif de 166 500 heures et évaluée via le benchmark SleepBench, démontrant que l'apprentissage de caractéristiques invariantes aux canaux et l'augmentation de l'échelle des données permettent d'atteindre des performances de pointe sur diverses tâches de prédiction du sommeil et de maladies.

L'essentiel

🌙 OSF : Le "Chef Cuisinier" qui apprend à dormir avec n'importe quel équipement

Imaginez que le sommeil est une grande symphonie. Pour la comprendre parfaitement, un médecin a besoin d'écouter tous les instruments : le cerveau (les violons), le cœur (les contrebasses), la respiration (les flûtes) et les muscles (les percussions). C'est ce qu'on appelle la polysomnographie (PSG).

Mais dans la vraie vie, les choses ne sont pas toujours parfaites :

• Parfois, un instrument tombe en panne (un capteur se débranche).
• Parfois, on n'a qu'un petit orchestre de chambre (un appareil portable à la maison qui ne mesure que le cœur et la respiration).
• Parfois, les musiciens jouent dans des salles différentes avec des acoustiques variées (différents hôpitaux, différents patients).

Jusqu'à présent, les intelligences artificielles (IA) qui analysaient le sommeil étaient comme des musiciens rigides : si un instrument manquait, elles paniquaient et ne comprenaient plus rien à la musique.

OSF, c'est le nouveau chef d'orchestre (ou le "super-cuisinier") qui a appris à composer une mélodie parfaite, même si certains instruments sont muets ou absents.

---

🍳 La Grande Cuisine du Sommeil (Le Benchmark "SleepBench")

Pour créer ce chef d'orchestre, les chercheurs ont fait quelque chose d'énorme : ils ont collecté 166 500 heures d'enregistrements de sommeil. C'est comme si ils avaient enregistré tous les rêves de 21 000 personnes différentes venant de 9 sources différentes.

Ils ont créé une "cuisine de test" géante appelée SleepBench. C'est une immense bibliothèque ouverte à tout le monde, où l'on peut tester n'importe quelle recette pour voir laquelle fonctionne le mieux.

🔍 Les 3 Découvertes Surprenantes

En cuisinant avec cette immense quantité de données, les chercheurs ont découvert trois secrets importants :

1. Le problème du "Capteur Manquant" 🕳️

Les anciennes IA étaient comme un chef qui ne sait cuisiner que si tous les ingrédients sont présents. Si on lui enlève les œufs (les signaux du cerveau), il ne sait plus faire la omelette.

• La découverte : Les IA actuelles échouent lamentablement quand un capteur manque (par exemple, si on ne mesure que la respiration et pas le cerveau).
• La solution OSF : OSF apprend à deviner la mélodie même avec un seul instrument. Il est "polyvalent".

2. L'importance de l'Immunisation (Apprentissage "Invariant") 🛡️

Pour apprendre à OSF à être robuste, les chercheurs ont joué à un jeu : ils ont masqué aléatoirement des parties des données pendant l'entraînement.

• L'analogie : Imaginez apprendre à un enfant à reconnaître un chien. Si vous lui montrez toujours un chien avec un collier rouge, il pensera que tous les chiens ont un collier rouge. Mais si vous lui montrez des chiens avec, sans, ou avec des colliers bleus, il apprendra ce qu'est un vrai chien, indépendamment du collier.
• Le résultat : En forçant l'IA à apprendre avec des capteurs manquants, elle a appris des caractéristiques universelles du sommeil. Elle est devenue "immunisée" contre les pannes de matériel.

3. Plus c'est gros, mieux ça marche (La Loi de l'Échelle) 📈

Les chercheurs ont testé deux choses :

• La taille du cerveau de l'IA : Plus le modèle est grand, mieux il comprend.
• La quantité de données : Plus on lui donne d'heures de sommeil à étudier, plus il devient intelligent.
• Le mélange : Mélanger des données de sources différentes (hôpitaux, maisons, pays différents) est comme mélanger des épices du monde entier : ça donne un goût bien meilleur que d'utiliser une seule épice.

🏆 Le Résultat : OSF, le Champion

Grâce à ces recettes, OSF est devenu le meilleur joueur du monde (State-of-the-Art) dans presque tous les tests :

• Il sait dire à quelle heure on dort profondément ou en rêve (Stade de sommeil).
• Il détecte les apnées (quand on arrête de respirer).
• Il prédit des maladies comme le diabète ou les problèmes cardiaques en regardant juste le sommeil.

Et le plus beau ? Il fonctionne même avec du matériel simple. Si vous avez un petit appareil à la maison qui ne mesure que le cœur, OSF peut quand même vous donner un diagnostic très précis, là où les anciennes IA auraient échoué.

💡 En Résumé

Cette recherche nous dit que pour créer une IA capable de comprendre le sommeil humain, il ne faut pas juste la nourrir de données parfaites. Il faut lui apprendre à s'adapter à l'imperfection, à mélanger les sources et à grandir avec beaucoup de données.

OSF, c'est ce nouvel outil qui promet de rendre le diagnostic du sommeil plus accessible, plus précis et moins cher, car il ne dépend plus d'équipements de laboratoire ultra-complexes. C'est une victoire pour la santé de tous, même ceux qui dorment chez eux avec un simple bracelet.

Résumé technique

1. Problématique et Contexte

Le sommeil est un processus physiologique fondamental, et son évaluation repose souvent sur la polysomnographie (PSG), considérée comme la référence absolue. Cependant, l'analyse automatique des données de sommeil rencontre plusieurs obstacles majeurs :

• Hétérogénéité des données : Les enregistrements varient considérablement selon les dispositifs, les cohortes de patients et les protocoles d'acquisition.
• Incomplétude des canaux : En pratique, certains canaux critiques (comme les signaux cérébraux EEG/EOG dans les études à domicile, ou les signaux respiratoires dans certaines études micro-architecturales) peuvent être manquants ou tomber en panne.
• Manque de compréhension des modèles de fondation (Foundation Models - FMs) : Bien que des efforts récents aient permis de créer des modèles de fondation pour le sommeil, il existe une méconnaissance profonde des mécanismes de pré-entraînement et des lois d'échelle qui garantissent une généralisation robuste, notamment face à l'incomplétude des canaux d'entrée.

L'objectif principal de ce travail est de combler ce vide en étudiant systématiquement quelles stratégies de pré-entraînement et de mise à l'échelle permettent de construire des modèles de sommeil véritablement généralisables.

2. Méthodologie et Infrastructure

Les auteurs ont développé une approche rigoureuse basée sur trois piliers :

A. SleepBench : Un Benchmark Ouvert à Grande Échelle

Pour permettre une évaluation contrôlée, les auteurs ont créé SleepBench, le plus grand benchmark entièrement open-source pour le sommeil.

• Données : Il agrège 166 500 heures d'enregistrements PSG provenant de 9 sources publiques (SHHS, NCHSDB, CFS, etc.), couvrant plus de 21 000 nuits.
• Standardisation : Les données sont prétraitées avec un pipeline unifié (contrôle qualité, normalisation par nuit, rééchantillonnage à 64 Hz).
• Configuration : Utilisation d'un montage standardisé de 12 canaux regroupés en quatre modalités : Cerveau (EEG/EOG), Respiration, Cardiaque (ECG) et Somatique (EMG).
• Splits : Les données sont divisées en cohortes internes (pour le pré-entraînement et le réglage fin) et externes (pour l'évaluation hors domaine - OOD).

B. Étude Systématique du Pré-entraînement

Les auteurs ont évalué quatre familles d'objectifs d'apprentissage auto-supervisé (SSL) :

1. Apprentissage contrastif (SimCLR).
2. Méthodes basées sur la reconstruction (MAE, VQ-VAE).
3. Modélisation autorégressive.
4. Distillation de soi (DINO).

Ils ont mené des expériences contrôlées pour isoler l'impact de différentes stratégies d'augmentation de données (masquage temporel vs masquage de canaux) et de mise à l'échelle (taille des données, capacité du modèle, mélange multi-sources).

C. OSF (Open Sleep Foundation Model)

Guidés par leurs découvertes, les auteurs ont proposé OSF, une famille de modèles de fondation pour le sommeil. OSF utilise une architecture Transformer (ViT) pré-entraînée avec une recette améliorée intégrant :

• Un apprentissage de caractéristiques invariantes aux canaux (via le masquage aléatoire de canaux).
• Une mise à l'échelle conjointe de la taille des données, de la capacité du modèle et du mélange de sources multiples.

3. Contributions Clés et Découvertes

Le papier identifie trois découvertes fondamentales qui redéfinissent la construction de modèles de sommeil :

1. Échec de la généralisation des modèles existants face aux canaux manquants :
   Les modèles de sommeil actuels subissent une chute drastique de performance lors de l'inférence lorsque des canaux critiques (comme l'EEG pour le staging ou la respiration pour l'hypopnée) sont absents. Cela indique qu'ils n'apprennent pas de représentations robustes face à l'incomplétude des données.

2. L'importance cruciale de l'apprentissage de caractéristiques invariantes aux canaux :
   L'ajout d'une stratégie de masquage de canaux (channel masking) pendant le pré-entraînement est essentiel. En forçant le modèle à apprendre des représentations qui fonctionnent même avec un sous-ensemble aléatoire de canaux, la robustesse et le transfert vers des tâches en aval s'améliorent considérablement, que ce soit pour les méthodes contrastives ou par distillation.

3. Émergence de lois d'échelle (Scaling Laws) pour le sommeil :
   Contrairement aux modèles précédents qui saturaient rapidement, les auteurs montrent que la performance continue de s'améliorer de manière cohérente lorsque l'on augmente :

   • La taille de l'ensemble de données d'entraînement.
   • La capacité du modèle (nombre de paramètres).
   • La diversité des données (mélange multi-sources).
     OSF exploite pleinement ces lois d'échelle.

4. Résultats Expérimentaux

OSF a été évalué sur 9 jeux de données et 8 tâches (staging du sommeil, détection d'événements comme les apnées/arousals, et prédiction de maladies systémiques).

• Performance État-de-l'Art (SOTA) : OSF bat systématiquement les modèles existants (y compris SleepFM, SimCLR, DINO, MAE) sur toutes les tâches, tant en linear probing (sonde linéaire) qu'en fine-tuning complet.
  • Exemple : Pour le staging du sommeil sur MROS (hors domaine), OSF atteint un AUC de 97.3% (vs 96.4% pour SleepFM) en linear probing.
• Robustesse aux canaux manquants : Dans des scénarios réalistes (ex: étude à domicile sans EEG), OSF maintient des performances supérieures aux modèles de base, prouvant l'efficacité du pré-entraînement par masquage de canaux.
• Efficacité en Few-Shot : OSF démontre une capacité d'adaptation exceptionnelle avec très peu d'étiquettes (1 à 50 exemples par classe), surpassant largement les autres méthodes.
• Prédiction de maladies : Les représentations apprises par OSF transfèrent mieux vers la prédiction de pathologies (hypertension, diabète, maladie coronarienne) que les modèles précédents.
• Visualisation : Les embeddings d'OSF forment des clusters plus distincts et alignés avec les étiquettes de sommeil (visualisation UMAP), indiquant une meilleure structure de l'espace latent.

5. Signification et Impact

Ce travail est une avancée majeure pour le domaine de l'IA appliquée au sommeil :

• Standardisation : La création de SleepBench fournit une base de référence commune et ouverte pour la communauté, facilitant la comparaison future des modèles.
• Recette Pratique : Les auteurs fournissent une "recette" claire pour construire des modèles de sommeil robustes : utiliser des données multi-sources, augmenter la taille des modèles et, surtout, intégrer le masquage de canaux pour garantir la robustesse aux défaillances de capteurs.
• Applications Cliniques Réelles : En résolvant le problème de l'incomplétude des canaux, OSF rend les modèles de fondation plus viables pour des déploiements réels (ex: dispositifs portables à domicile, études cliniques avec des capteurs manquants), ouvrant la voie à des diagnostics plus accessibles et précis.

En résumé, OSF démontre que la combinaison d'une mise à l'échelle massive et d'un pré-entraînement conçu pour l'invariance aux canaux permet de surmonter les limitations actuelles des modèles de sommeil, établissant un nouveau standard de performance et de robustesse.