🤖 machine learning

DIVER-1: Scaling Intracranial EEG Foundation Models for Transferable Representations

L'article présente DIVER-1, un modèle fondation auto-supervisé pour l'EEG intracrânien entraîné sur un jeu de données massif et diversifié, qui obtient des représentations transférables de l'état de l'art pour le décodage cognitif et la détection de crises, tout en démontrant que l'échelle des données et la durée d'entraînement sont plus critiques que le nombre de paramètres pour un passage à l'échelle efficace.

Auteurs originaux : Danny Dongyeop Han, Yonghyeon Gwon, Ahhyun Lucy Lee, Taeyang Lee, Seong Jin Lee, Jubin Choi, Sebin Lee, Jihyun Bang, Seungju Lee, David Keetae Park, Shinjae Yoo, Chun Kee Chung, Jiook Cha

Publié 2026-05-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Danny Dongyeop Han, Yonghyeon Gwon, Ahhyun Lucy Lee, Taeyang Lee, Seong Jin Lee, Jubin Choi, Sebin Lee, Jihyun Bang, Seungju Lee, David Keetae Park, Shinjae Yoo, Chun Kee Chung, Jiook Cha

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que votre cerveau est une ville massive et animée. Lorsque les médecins souhaitent comprendre ce qui se passe dans cette ville, ils placent parfois de minuscules microphones (électrodes) directement sur les rues ou à l'intérieur des bâtiments. C'est ce qu'on appelle l'EEG intracrânien (iEEG). Il fournit un enregistrement d'une clarté cristalline, milliseconde par milliseconde, de l'activité de la ville.

Cependant, il y a un énorme problème : chaque ville est différente. Un patient peut avoir des microphones sur le côté nord, un autre sur le côté sud ; l'un peut en avoir 10, un autre 100. À cause de cela, il a été incroyablement difficile de construire un « traducteur universel » (une IA) capable d'écouter le cerveau de n'importe quel patient et de le comprendre. Les tentatives précédentes de ces traducteurs étaient comme essayer d'enseigner à un élève en utilisant uniquement un manuel spécifique, pour découvrir ensuite qu'il ne peut pas lire un autre manuel.

Voici DIVER-1. Imaginez DIVER-1 comme un étudiant super-intelligent et adaptable qui a lu tous les enregistrements cérébraux disponibles, pas seulement un type spécifique. Voici comment il fonctionne, en utilisant des analogies simples :

1. Le Problème : L'Énigme du « Taille Unique pour Personne »

Les modèles d'IA précédents étaient comme des ensembles de Lego rigides. Si vous essayiez de construire un château avec un ensemble conçu pour une fusée, il s'effondrait.

Le Problème : Les enregistrements cérébraux varient énormément. Certains ont des électrodes en grille, d'autres en ligne. Certains enregistrent pendant une fraction de seconde, d'autres pendant des minutes.
L'Ancienne Méthode : Les modèles précédents forçaient toutes les données dans une forme unique et fixe, perdant des détails importants ou échouant à relier les points entre différentes parties du cerveau.

2. La Solution : Le Cerveau « Métamorphe »

DIVER-1 est construit différemment. Il ne force pas les données dans une boîte ; il se moule aux données.

L'Attention « Any-Variable » (Toutes Variables) : Imaginez un groupe de personnes dans une pièce où tout le monde peut parler à tout le monde instantanément, peu importe où ils se tiennent ou à quel moment. DIVER-1 fait cela avec les signaux cérébraux. Il permet à chaque « microphone » de parler à chaque autre « microphone » à chaque instant, déterminant comment ils travaillent ensemble sans avoir besoin d'une carte fixe.
L'Entrée « Adaptative » : Si vous donnez à DIVER-1 un enregistrement avec 5 électrodes, cela fonctionne. Si vous lui en donnez 50, cela fonctionne. Il ne se soucie pas de la disposition ; il apprend les relations entre les signaux, et non pas seulement leurs positions.

3. L'Entraînement : Le « Marathon » contre le « Sprint »

Les chercheurs n'ont pas seulement entraîné DIVER-1 sur un petit ensemble de données. Ils lui ont fourni une quantité massive de données : 5 310 heures d'enregistrements cérébraux provenant de 37 personnes différentes.

L'Échelle : C'est environ 54 fois plus de données que ce que les modèles précédents utilisaient. C'est la différence entre lire un seul livre de bandes dessinées et lire l'ensemble de la Bibliothèque du Congrès.
La Méthode : Au lieu d'écouter simplement le son brut, DIVER-1 a été entraîné à « combler les blancs ». Les chercheurs cachaient des parties de l'enregistrement (comme couper une chanson pendant quelques secondes) et demandaient à l'IA de deviner ce qui manquait en se basant sur le reste de la chanson. Cela a forcé l'IA à apprendre la structure profonde de l'activité cérébrale.

4. Les Résultats : Battre les Experts

L'équipe a testé DIVER-1 sur deux défis très différents :

Le Test du « Spectateur de Film » (Neuroprobe) : Ils ont demandé à l'IA de deviner à quoi une personne pensait en regardant un film (par exemple : « Le volume est-il fort ? » « Un mot est-il prononcé ? »).
- Le Résultat : DIVER-1 a été le premier modèle à battre une ligne de base simple et standard. Même s'il avait été entraîné sur des personnes différentes de celles testées, il comprenait les signaux cérébraux mieux que les modèles entraînés sur exactement les mêmes personnes.
Le Test de la « Crise » (MAYO) : Ils ont demandé à l'IA de détecter les crises (orages électriques soudains dans le cerveau).
- Le Résultat : DIVER-1 était le meilleur pour repérer ces événements, surpassant tous les modèles précédents.

5. La Grande Découverte : Les Données plutôt que la Taille

La découverte la plus surprenante concernait la façon de construire une meilleure IA.

L'Ancienne Croyance : « Si vous voulez une IA plus intelligente, rendez-la simplement plus grande (ajoutez plus de paramètres/cellules cérébrales). »
La Découverte de DIVER-1 : « Non, faites d'abord lire plus de livres à l'IA. »
- Les chercheurs ont constaté que pour les données cérébrales, plus de données et un entraînement plus long sont bien plus importants que de rendre le modèle énorme.
- L'Analogie : Imaginez entraîner un chef. Vous pouvez lui donner une cuisine géante et coûteuse (un modèle énorme), mais s'il ne s'exerce que sur une seule recette pendant un jour, il ne deviendra pas un maître. Il vaut mieux lui donner une petite cuisine mais lui permettre de cuisiner des milliers de plats différents pendant longtemps. DIVER-1 a prouvé que pour les signaux cérébraux, la variété et la répétition comptent plus que la taille brute.

Résumé

DIVER-1 est un nouveau type d'IA capable d'écouter n'importe quel cerveau, quelle que soit la disposition des électrodes. En s'entraînant sur une bibliothèque massive et diversifiée d'enregistrements cérébraux et en se concentrant sur l'apprentissage des modèles plutôt que sur la simple mémorisation des positions, il est devenu le meilleur outil à ce jour pour décoder les pensées et détecter les crises. La leçon clé ? Dans le monde de l'IA cérébrale, la quantité et la diversité des données battent la taille du modèle à chaque fois.

Résumé Technique : DIVER-1

Énoncé du Problème

L'électroencéphalographie intracrânienne (iEEG) offre des enregistrements directs de l'activité neuronale humaine à l'échelle de la milliseconde, la rendant précieuse pour le décodage cognitif, les interfaces cerveau-ordinateur et la neuromédecine de précision. Cependant, le développement de modèles de fondation réutilisables pour l'iEEG a été entravé par trois goulots d'étranglement principaux :

Architectures d'attention restreintes : Les modèles existants traitent souvent les électrodes de manière indépendante ou séparent le traitement spatial et temporel, échouant à capturer les interactions directes inter-canaux et inter-temporelles essentielles pour modéliser la coordination inter-régionale retardée du cerveau.
Interfaces de pré-entraînement fixes : Les données cliniques d'iEEG varient considérablement d'un patient à l'autre en termes de nombre de canaux, de couverture anatomique, de type d'électrode (SEEG vs ECoG) et de schémas de référence. Les modèles actuels supposent des fenêtres d'entrée et des dispositions de canaux fixes, limitant leur capacité à se généraliser à des scénarios cliniques variables ou à différents contextes temporels (par exemple, décodage sub-seconde vs détection de crises sur plusieurs secondes).
Pré-entraînement sous-échelonné : Les précédents modèles de fondation pour l'iEEG (par exemple, BrainBERT, PopT, BaRISTA) ont été entraînés sur des jeux de données relativement petits (par exemple, le BrainTreeBank d'environ 40 à 43 heures), souvent limités à des enregistrements de vision de films chez des enfants. Cela limite l'échelle et la diversité du pré-entraînement par rapport aux vastes données hétérogènes disponibles dans la surveillance clinique. De plus, le domaine manque de lois d'échelle contrôlées et conscientes du calcul pour déterminer si les gains de performance doivent provenir de l'augmentation du volume de données, des paramètres du modèle ou de la durée d'entraînement.

Méthodologie : Architecture et Entraînement de DIVER-1

Les auteurs introduisent DIVER-1, un modèle de fondation pour l'iEEG en apprentissage auto-supervisé conçu pour résoudre ces goulots d'étranglement grâce à une architecture novatrice et une stratégie de pré-entraînement à grande échelle.

Composants Architecturaux Principaux

Attention Électrode-Temps à Variates Arbitraires : Contrairement aux Transformers standards qui restreignent l'attention aux axes temporels ou spatiaux, DIVER-1 emploie une auto-attention complète sur tous les jetons électrode-temps. Pour rendre cela expressif sans supposer une montage fixe, il injecte une structure spatio-temporelle directement dans le mécanisme d'attention en utilisant :
- RoPE (Rotary Positional Embeddings) : Encode les décalages temporels.
- Biais Apprenables : Distingue les interactions intra-canal et inter-canaux, préservant l'équivariance de permutation des canaux même sans métadonnées spatiales explicites.
Encodage Conditionné à l'Entrée : Pour gérer les dispositions d'électrodes variables et les schémas de référence, DIVER-1 utilise :
- Encodage Positionnel Conditionnel Spatio-Temporel (STCPE) : Un mécanisme à fenêtre glissante basé sur l'architecture MOIRAI qui fournit un biais spatio-temporel local sans dépendre d'un ordre de canal fixe ou de coordonnées absolues.
- Rééchantillonnage Spatio-Temporel (STR) : Pendant le pré-entraînement, le modèle échantillonne des sous-ensembles aléatoires de canaux et de patches temporels à partir de segments de 30 secondes. Cela force le modèle à apprendre des représentations robustes à partir de tailles et de contextes d'entrée variables.
- Reconstruction Multi-Domaine (MDRO) : Le modèle est entraîné à reconstruire des patches masqués à travers plusieurs domaines de signaux (domaine temporel brut, spectres de fréquence FFT, et représentations temps-fréquence STFT), plutôt que simplement les formes d'ondes brutes.
Encodages Positionnels et Spectraux : Le modèle intègre les métadonnées des canaux (coordonnées MNI 3D, type d'électrode) et les caractéristiques spectrales (patches transformés par FFT) comme encodages d'entrée.

Étude de Pré-entraînement et d'Échelle

Jeu de Données : DIVER-1 a été pré-entraîné sur 5 310 heures de données iEEG (352k heures-canal) couvrant 37 sujets, comprenant à la fois des enregistrements ECoG et SEEG de plusieurs centres. Ce volume est environ 54 fois plus grand que le corpus BrainTreeBank utilisé pour les modèles précédents.
Variantes de Modèle : Deux variantes ont été instanciées pour correspondre à différentes granularités temporelles : DIVER-1-0.1s (patches de 50 échantillons) et DIVER-1-1s (patches de 500 échantillons).
Analyse de la Loi d'Échelle : Les auteurs ont mené la première étude d'échelle contrôlée et consciente du calcul pour le pré-entraînement auto-supervisé de l'iEEG. Ils ont balayé l'échelle des données, le nombre de sujets, la durée d'entraînement et la taille du modèle (jusqu'à 1,83 milliard de paramètres) en utilisant la paramétrisation de mise à jour maximale (µP) pour assurer un transfert stable des hyperparamètres à travers les largeurs de modèle.

Résultats Clés

Performance en Aval

DIVER-1 a été évalué sur deux benchmarks tenus à l'écart : Neuroprobe (décodage cognitif naturel à 15 tâches) et MAYO (détection de crises).

Neuroprobe : DIVER-1-0.1s a obtenu la meilleure AUROC moyenne parmi tous les modèles de fondation pour l'iEEG et les baselines supervisées évalués. Notamment, il a surpassé le décodeur linéaire de spectrogramme, inversant la découverte précédente selon laquelle les modèles pré-entraînés pour l'iEEG sous-performent les baselines linéaires simples sous une évaluation consciente des fuites. Il a atteint cela malgré un pré-entraînement sur des données adultes externes, alors que Neuroprobe se compose de données pédiatriques, démontrant un fort transfert inter-jeux de données.
MAYO : DIVER-1-1s a obtenu la meilleure AUROC pour la détection de crises, surpassant BrainBERT et Brant.
Sondage Linéaire (Linear Probing) : Le modèle DIVER-1-0.1s figé était hautement compétitif, surpassant souvent son homologue entièrement affiné sur Neuroprobe, indiquant que les représentations pré-entraînées sont déjà utiles de manière linéaire.

Résultats de la Loi d'Échelle

L'étude d'échelle a révélé un régime contraint par les données pour les modèles de fondation pour l'iEEG :

Données vs Paramètres : L'augmentation des enregistrements de données uniques et de la durée d'entraînement a produit des gains de performance plus fiables que l'augmentation du nombre de paramètres seul.
Allocation Optimale du Calcul :
- Lorsque de nouvelles données sont disponibles, la stratégie optimale est de mettre à l'échelle les données en premier, puis la durée d'entraînement, et enfin les paramètres du modèle.
- Lorsque le corpus est fixe, la stratégie optimale est de s'entraîner plus longtemps (plus de passages) sur des modèles de petite à moyenne taille plutôt que d'entraîner brièvement des modèles très grands.
Rendements Décroissants : L'étude a quantifié les rendements décroissants pour les données répétées ( $R^*_D \approx 9,5$ époques) et les paramètres excessifs ( $R^*_N \approx 3,4$ ), suggérant que les gains sont mieux poursuivis en augmentant la répétition du jeu de données tout en maintenant des tailles de modèles modérées.

Signification et Revendications

L'article revendique que DIVER-1 représente une avancée significative dans la modélisation de fondation pour l'iEEG en :

Réaliser des Représentations Transférables : Démontrant que le pré-entraînement hétérogène à grande échelle peut produire des représentations qui se transfèrent entre sujets, centres et tâches cliniques, surmontant les limitations des modèles précédents entraînés sur des jeux de données étroits et à petite échelle.
Établir un Nouveau Paradigme d'Échelle : Fournissant la première preuve contrôlée que le pré-entraînement pour l'iEEG est contraint par les données. Les auteurs soutiennent que la communauté devrait prioriser l'expansion des volumes d'enregistrement uniques et de la durée d'entraînement plutôt que d'augmenter simplement le nombre de paramètres du modèle, une découverte qui contraste avec les lois d'échelle axées sur les paramètres souvent observées dans les modèles de langage.
Innovation Architecturale : Introduisant une architecture qui gère nativement la variabilité de l'iEEG clinique (canaux variables, référence et contextes temporels) grâce à une attention à variates arbitraires et des encodages positionnels conditionnés à l'entrée, permettant une modélisation robuste des dynamiques neuronales spatio-temporelles sans montages fixes.

Les auteurs concluent que la voie à suivre pour les modèles de fondation pour l'iEEG consiste à « mettre à l'échelle les données en premier, s'entraîner plus longtemps en second, et mettre à l'échelle les paramètres en dernier ».