NeuroNarrator: A Generalist EEG-to-Text Foundation Model for Clinical Interpretation via Spectro-Spatial Grounding and Temporal State-Space Reasoning

Le papier présente NeuroNarrator, le premier modèle fondamental généraliste convertissant l'EEG en texte clinique, qui s'appuie sur la nouvelle ressource NeuroCorpus-160K et une architecture intégrant un ancrage spectro-spatial et un raisonnement temporel par espace d'état pour générer des descriptions médicales précises et interprétables.

L'essentiel

Imaginez que le cerveau humain est comme un orchestre complexe jouant en continu. Les électroencéphalogrammes (EEG) sont les micros qui enregistrent cette musique, mais jusqu'à présent, les ordinateurs ne savaient lire ces enregistrements que pour dire : « C'est une note de sol » ou « C'est un accord mineur ». Ils étaient incapables de raconter l'histoire complète de la symphonie.

Voici NeuroNarrator, un nouveau modèle d'intelligence artificielle qui change la donne. Voici comment il fonctionne, expliqué simplement :

1. Le Problème : Des enregistrements muets

Jusqu'ici, l'analyse des ondes cérébrales ressemblait à essayer de comprendre un film en regardant seulement des photos floues prises au hasard. Les médecins devaient passer des heures à écouter ces « bruits » pour trouver des anomalies (comme une crise d'épilepsie qui commence). Les anciens ordinateurs étaient trop bêtes pour décrire ce qu'ils voyaient ; ils se contentaient de classer les données dans des cases prédéfinies.

2. La Solution : Le « Traducteur de Cerveau »

NeuroNarrator est le premier « traducteur » capable de transformer ces signaux électriques bruts en un récit médical clair et détaillé, comme si un expert humain parlait.

Imaginez que vous avez un livre dont les pages sont écrites dans une langue inconnue (les signaux électriques). NeuroNarrator ne se contente pas de traduire mot à mot ; il comprend le contexte, l'émotion et l'action pour écrire un résumé fluide.

3. Comment ça marche ? (Les 3 ingrédients magiques)

Pour que cette IA soit aussi bonne, les chercheurs ont utilisé trois astuces ingénieuses :

• La Bibliothèque Géante (NeuroCorpus-160K) :
  Avant d'apprendre à parler, l'IA a dû lire des millions de livres. Les chercheurs ont rassemblé 160 000 extraits d'ondes cérébrales et les ont associés à des descriptions écrites par des experts. C'est comme si on donnait à l'IA un dictionnaire géant où chaque « bruit » est lié à sa signification réelle.

  • L'analogie : C'est comme apprendre une langue en écoutant des milliers de conversations et en lisant les sous-titres correspondants.

• Le Double Regard (Ancrage Spectro-Spatial) :
  L'IA ne regarde pas seulement la forme de l'onde (le son), elle regarde aussi où elle se passe sur le crâne (la carte).

  • L'analogie : Imaginez que vous écoutez un concert. Un ancien modèle entendait juste « du bruit fort ». NeuroNarrator, lui, entend « un violon qui joue fort à gauche de la scène ». Il relie le son (fréquence) à l'endroit exact où il se produit dans le cerveau. Cela évite les erreurs d'interprétation.

• La Mémoire du Temps (Raisonnement par État d'Esprit) :
  Le cerveau change tout le temps. Une crise d'épilepsie ne surgit pas comme ça, elle évolue. NeuroNarrator ne regarde pas une photo fixe, il regarde une vidéo. Il se souvient de ce qui s'est passé dans les secondes précédentes pour comprendre ce qui se passe maintenant.

  • L'analogie : C'est la différence entre regarder une photo d'une personne qui court et regarder une vidéo où vous voyez qu'elle a commencé à courir parce qu'elle a vu un chien. L'IA comprend l'histoire, pas juste l'instant présent.

4. À quoi ça sert ?

Au lieu de donner un simple code « Anormal » ou « Normal », NeuroNarrator peut dire :

« À partir de la 3ème seconde, on observe une activité anormale dans la partie droite du front du cerveau, qui ressemble à une vague lente, et qui s'intensifie progressivement. »

Cela aide les médecins à :

• Repérer plus vite les zones dangereuses.
• Écrire des rapports médicaux plus précis.
• Comprendre l'évolution des maladies sans avoir à tout réanalyser manuellement.

En résumé

NeuroNarrator est comme un journaliste scientifique qui écoute le cerveau en direct. Il ne se contente pas de compter les notes, il écrit l'histoire de la musique du cerveau, en tenant compte de l'instrument (l'endroit du cerveau), de la mélodie (la fréquence) et de l'histoire (le temps qui passe). C'est un pas de géant vers une médecine plus intelligente et plus humaine.

Résumé technique

1. Problématique et Contexte

L'électroencéphalographie (EEG) offre une fenêtre non invasive sur la dynamique neuronale avec une résolution temporelle élevée, jouant un rôle crucial en neurosciences cliniques. Cependant, les approches computationnelles actuelles souffrent de limitations majeures :

• Objectifs trop restrictifs : La plupart des modèles sont optimisés pour des tâches de classification spécifiques (ex. : détection de crises) ou une reconnaissance de motifs grossière, offrant peu de support pour une interprétation clinique nuancée.
• Manque de granularité : Les interprétations existantes se font souvent au niveau de l'enregistrement complet, ignorant l'évolution temporelle fine des événements transitoires (ex. : pointes-ondes) essentiels au diagnostic.
• Absence de fondation sémantique : Les modèles actuels traitent l'EEG comme des séries temporelles numériques abstraites, sans ancrage explicite dans le langage clinique naturel ni dans la topographie spatiale du cerveau.
• Besoin clinique : Les rapports cliniques nécessitent des descriptions à vocabulaire ouvert, ancrées dans le temps, décrivant la morphologie du signal, la distribution spectrale et spatiale, ainsi que l'évolution dynamique des états cérébraux.

2. Méthodologie : NeuroNarrator

Les auteurs proposent NeuroNarrator, le premier modèle fondationnel généraliste « EEG-vers-Texte » conçu pour traduire des segments d'EEG en récits cliniques précis. L'architecture repose sur trois piliers fondamentaux :

A. Construction du Corpus NeuroCorpus-160K

Pour entraîner ce modèle, les auteurs ont créé la première ressource à grande échelle harmonisée :

• Données : Agrégation de 16 jeux de données hétérogènes (diagnostic de troubles neurologiques, détection de crises, sommeil, cognition, etc.) totalisant 160 249 segments d'EEG (environ 445 heures).
• Granularité : Les données sont découpées en segments non chevauchants de 10 secondes plutôt qu'en enregistrements complets.
• Annotation : Chaque segment est associé à une description naturelle structurée, générée via un pipeline combinant l'extraction de caractéristiques quantitatives (puissance spectrale, distribution spatiale) et le raffinement par un LLM (GPT-4.1) pour produire des récits cliniques fluides.
• Prétraitement : Standardisation rigoureuse (filtrage, rééchantillonnage à 200 Hz, harmonisation des montages d'électrodes).

B. Alignement Contrastif Spectro-Spatial

Le modèle utilise une architecture à double flux pour capturer la nature multimodale de l'EEG :

1. Flux Temporel : Un encodeur EEG pré-entraîné (basé sur LaBraM) traite les ondes temporelles multicanal.
2. Flux Spatial : Un encodeur visuel gelé (CLIP ViT-Large) traite les cartes topographiques du scalp générées à partir des mêmes segments.
3. Alignement : Une fonction de perte contrastive (inspirée de SigLIP) force l'alignement des représentations temporelles et spatiales dans un espace latent partagé. Cela résout l'ambiguïté d'ancrage en assurant que la dynamique spectrale correspond strictement à la distribution d'énergie spatiale.

C. Génération Conditionnée par l'État d'Espace (State-Space)

Pour capturer la nature non stationnaire du cerveau (ex. : propagation d'une crise), le modèle intègre un contexte historique :

• Modélisation de la trajectoire : Au lieu de traiter un segment isolément, la génération est conditionnée par une séquence de segments précédents ($x_{t-N} \dots x_{t-1}$) agissant comme une proxy de l'évolution de l'état latent du cerveau.
• Architecture MLLM : Un modèle de langage multimodal (basé sur Qwen3-4B) reçoit ces embeddings continus (temporels et spatiaux) injectés comme des « soft prompts » dans la séquence d'instructions.
• Objectif : Générer un récit clinique cohérent qui synthétise la morphologie du signal, les bandes de fréquence dominantes, la localisation anatomique et l'évolution temporelle par rapport aux segments précédents.

3. Contributions Clés

1. NeuroCorpus-160K : Création du premier corpus à grande échelle associant des segments d'EEG à des descriptions cliniques en langage naturel à vocabulaire ouvert, avec une séparation stricte sujet par sujet pour éviter le fuite de données.
2. Ancrage Spectro-Spatial : Introduction d'un mécanisme d'alignement contrastif qui lie explicitement la dynamique temporelle du signal à sa topographie spatiale, comblant le fossé sémantique entre le signal brut et l'interprétation clinique.
3. Cadre Généraliste Unifié : Proposition d'une architecture MLLM capable de raisonner sur l'évolution des états cérébraux via une formulation inspirée de l'espace d'états, permettant une génération de récits ouverts et non structurés par des modèles rigides.

4. Résultats Expérimentaux

Les évaluations ont été menées sur des benchmarks variés et des tâches de transfert zéro-shot :

• Alignement Spectro-Spatial : Le modèle atteint un taux de rappel R@1 de 84,19 % pour la récupération de cartes topographiques à partir d'EEG (et 86,09 % dans l'autre sens), prouvant la qualité de l'alignement multimodal.
• Fidélité des Récits Cliniques :
  • Sur des métriques textuelles (BERTScore), le modèle obtient une moyenne de 0,731, indiquant une forte cohérence sémantique.
  • Une évaluation multidimensionnelle par un juge IA (GPT-4.1) sur 5 axes (identification d'événements, localisation, fréquence, tendance, changements spectraux) confirme la capacité du modèle à capturer les détails physiologiques.
• Comparaison avec les Baselines :
  • Bien que conçu pour la génération ouverte, NeuroNarrator rivalise avec des modèles discriminatifs spécialisés (comme EEGNet, EEGConformer) sur des tâches de classification fermée, sans nécessiter de fine-tuning spécifique par jeu de données.
  • Il surpasse les modèles basés sur des LLM fermés (comme NeuroLM) en termes de flexibilité et de richesse descriptive.
• Généralisation Zéro-Shot : Le modèle maintient des performances robustes sur trois jeux de données externes totalement exclus de l'entraînement (Dépression, Épilepsie, Émotion), démontrant sa capacité à généraliser à des distributions inconnues.
• Étude d'Ablation : Le retrait du contexte historique (segments précédents) entraîne la dégradation la plus significative des performances, confirmant l'importance cruciale de la modélisation temporelle pour l'interprétation clinique.

5. Signification et Impact

Ce travail marque un tournant dans l'analyse de l'EEG en passant d'une approche de classification binaire ou catégorielle à une interprétation générative fondée sur le signal.

• Interprétabilité : NeuroNarrator offre une « boîte blanche » où les décisions sont justifiées par des descriptions textuelles ancrées dans les caractéristiques du signal (morphologie, topographie, spectre), facilitant la vérification par les experts.
• Flux de travail clinique : Le modèle peut automatiser la rédaction de rapports préliminaires, soulignant les segments suspects et réduisant la charge de documentation des cliniciens, tout en laissant la décision finale aux experts.
• Fondation pour l'avenir : En établissant un cadre pour la génération de langage à partir de données physiologiques complexes, cette recherche ouvre la voie à des outils d'analyse en temps réel et à une compréhension plus profonde de la dynamique cérébrale non stationnaire.

En résumé, NeuroNarrator démontre qu'il est possible de construire un modèle fondationnel capable de « raconter » l'histoire dynamique du cerveau à partir de l'EEG, en intégrant rigoureusement les dimensions temporelles, spectrales et spatiales dans un langage clinique naturel.