⚡ electrical engineering

PRiSE-EEG: A Prior-Guided Foundation Model with Depth-Stratified Experts for Cross-Paradigm EEG Representation Learning

PRiSE-EEG est un modèle de fondation guidé par des connaissances a priori qui exploite des experts stratifiés par profondeur calibrés par CKA pour résoudre les conflits d'optimisation et équilibrer l'apprentissage partagé versus spécialisé à travers des paradigmes EEG hétérogènes, atteignant des performances supérieures de transfert inter-paradigme sur 12 benchmarks.

Auteurs originaux : Wei Xiong, Jiangtong Li, Kun Zhu, Jie Li

Publié 2026-05-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Wei Xiong, Jiangtong Li, Kun Zhu, Jie Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'enseigner à un seul étudiant de devenir un expert dans six matières très différentes : l'analyse du sommeil, la détection des émotions, le contrôle moteur, et plus encore. Le problème est que ces matières se contredisent souvent. Ce qui vous aide à apprendre à reconnaître un cerveau endormi peut vous confondre lorsque vous essayez de détecter une crise d'épilepsie.

C'est le défi posé par les modèles de fondation EEG (ondes cérébrales). Les modèles d'IA existants tentent d'apprendre toutes ces tâches à la fois, mais ils bloquent souvent car les « règles » d'une tâche perturbent les « règles » d'une autre.

L'article présente PRiSE-EEG, un nouveau modèle d'IA conçu pour résoudre ce problème. Voici comment il fonctionne, expliqué simplement :

1. Le Problème : L'Erreur du « Tout-venant »

Les auteurs ont d'abord examiné comment les modèles actuels apprennent. Ils ont identifié deux problèmes majeurs :

Des Instructions Contradictoires : Lorsque le modèle tente d'apprendre à partir de différents ensembles de données d'ondes cérébrales, les mathématiques lui indiquent de se déplacer dans des directions opposées. C'est comme un enseignant demandant à un élève de « courir vite » pour un test et de « marcher lentement » pour le suivant, le tout en même temps. L'élève se perd et n'apprend rien correctement.
Ignorer la Carte : Les modèles actuels traitent souvent les capteurs cérébraux (électrodes sur la tête) comme de simples nombres aléatoires. Ils ignorent le fait que le cerveau possède une carte physique (avant, arrière, gauche, droite) et que différentes parties du cerveau travaillent ensemble en réseaux.

2. La Solution : Une « Équipe Empilée » d'Experts

Les auteurs ont découvert quelque chose d'intéressant sur la façon dont le cerveau (et l'IA) traite l'information.

Les Couches Précoces sont Générales : Les premières couches de traitement sont bonnes pour voir la « vue d'ensemble » qui s'applique à toutes les tâches cérébrales (comme les rythmes de base).
Les Couches Profondes sont Spécialisées : Les couches ultérieures doivent devenir très spécifiques pour gérer des tâches uniques (comme distinguer une crise d'épilepsie d'une onde normale).

PRiSE-EEG utilise cette idée pour construire un système d'« Expert Stratifié par Profondeur ». Imaginez une entreprise avec une équipe de spécialistes :

L'Équipe Junior (Couches Précoces) : Ce sont des « Experts Partagés ». Ce sont des généralistes qui gèrent les règles communes applicables à tous. Ils s'assurent que le modèle n'oublie pas les bases.
L'Équipe Senior (Couches Profondes) : Ce sont des « Experts Spécialisés ». Ils sont recrutés spécifiquement pour les détails difficiles et uniques de chaque tâche.

Au lieu de forcer chaque couche à utiliser le même mélange d'experts, PRiSE-EEG utilise un calculateur intelligent (basé sur quelque chose appelé CKA) pour décider exactement combien de généralistes par rapport à des spécialistes chaque couche nécessite. C'est comme un manager qui sait : « Pour la première étape de ce projet, nous avons besoin d'un généraliste ; pour l'étape finale, nous avons besoin d'un spécialiste. »

3. L'Entrée : Utiliser une « Carte Cérébrale »

Pour alimenter ce système, le modèle ne se contente pas de regarder des nombres bruts. Il utilise une Tokenisation Guidée par les Priors.

L'Analogie : Imaginez lire un livre. Au lieu de simplement regarder des lettres individuelles, vous les regroupez en mots et en phrases en fonction des règles grammaticales que vous connaissez déjà.
L'Application : PRiSE-EEG regroupe les capteurs cérébraux en fonction de leur emplacement (Frontal, Pariétal, etc.) et de la façon dont ils se connectent naturellement. Il utilise ces « faibles indices » (priors) pour organiser les données avant même que l'IA ne commence à apprendre. Cela aide le modèle à comprendre la structure physique du cerveau dès le premier jour.

4. Les Résultats : Meilleur en Tout

L'équipe a testé ce nouveau modèle sur 12 ensembles de données d'ondes cérébrales différents couvrant des domaines tels que :

La détection des stades de sommeil.
La reconnaissance des émotions (heureux, triste, en colère).
L'identification des crises d'épilepsie.
La détection de la maladie d'Alzheimer.

Le Résultat : PRiSE-EEG a surpassé tous les modèles précédents. Il était meilleur pour gérer les « instructions contradictoires » car il savait quand être général et quand être spécifique. Il a également mieux performé car il respectait la carte physique du cerveau.

Résumé

PRiSE-EEG est comme un étudiant intelligent qui sait qu'apprendre à conduire une voiture et apprendre à piloter un avion nécessitent des compétences différentes. Au lieu d'essayer d'utiliser exactement la même puissance cérébrale pour les deux, ce modèle dispose d'un système flexible :

Il organise les données cérébrales en utilisant une carte de la tête.
Il utilise une équipe de « généralistes » pour les bases.
Il passe à une équipe de « spécialistes » pour les détails difficiles et spécifiques.

Cette approche lui permet d'apprendre simultanément de nombreuses tâches cérébrales différentes sans se perdre, ce qui en fait le modèle le plus précis de son genre testé à ce jour.

Résumé Technique : PRiSE-EEG

Énoncé du Problème

Les modèles de fondation pour l'électroencéphalographie (EEG-FM) visent à apprendre des représentations réutilisables à travers des paradigmes hétérogènes. Cependant, les approches existantes se heurtent à deux limitations principales :

Conflits d'Optimisation : Les tâches EEG hétérogènes (par exemple, la stadification du sommeil versus la reconnaissance des émotions) induisent souvent des directions de mise à jour des gradients conflictuelles. Les modèles Transformer denses utilisant des paramètres uniformes peinent à concilier ces objectifs d'optimisation divergents, ce qui entraîne un transfert inter-paradigme sous-optimal.
Sous-exploitation des Priors : Les stratégies de tokenisation actuelles ignorent fréquemment les régularités spatiales structurées inhérentes à l'EEG dans l'espace des capteurs. Bien que les coordonnées des électrodes soient connues, l'organisation structurée des réseaux cérébraux et les interactions canal à canal sur de courts fenêtres sont souvent sous-utilisées comme biais inductifs pour la formation de patches.

De plus, les approches MoE (Mixture-of-Experts) existantes dans le domaine de l'EEG allouent souvent des experts partagés et spécialisés de manière uniforme à travers toutes les couches, ignorant l'observation selon laquelle la géométrie de la représentation change avec la profondeur (les couches peu profondes étant plus générales, les couches profondes plus spécifiques).

Méthodologie : PRiSE-EEG

Les auteurs proposent PRiSE-EEG (Modèle de fondation EEG guidé par des Priors avec Experts Stratifiés par Profondeur), un cadre conçu pour équilibrer les régularités EEG partagées avec une spécialisation spécifique à la tâche. L'architecture se compose de trois composants principaux :

1. Tokenisation Continue Guidée par des Priors

Au lieu d'une tokenisation discrète, PRiSE-EEG forme des patches EEG multi-canaux continus en intégrant des priors faibles de l'espace des capteurs avec des interactions dynamiques :

Chemin Statique : Utilise des requêtes apprises et des biais d'attention basés sur des régions anatomiques prédéfinies (par exemple, Frontal, Pariétal) et des réseaux fonctionnels (par exemple, Réseau du Mode par Défaut, Réseau de la Saillance). Un terme de relaxation apprenable ( $\Delta_{pri}$ ) permet au modèle d'ajuster ces priors faibles durant l'entraînement plutôt que d'imposer des assignations anatomiques rigides.
Chemin Dynamique : Capture les interactions canal à canal dépendantes de l'échantillon et inférieures à la seconde. Il subdivise les patches en micro-trames et calcule des affinités canal à canal limitées par un délai pour former des requêtes de groupe dynamiques. Un sélecteur Gumbel identifie les groupes de paires de trames les plus informatifs pour chaque échantillon.
Sortie : Ces chemins génèrent des tokens de groupe continus qui gèrent l'hétérogénéité des montages tout en injectant une structure neuroscientifique.

2. Experts Stratifiés par Profondeur Calibrés par CKA

Pour résoudre les conflits d'optimisation et les différences de représentation au niveau des couches, le modèle emploie une architecture Mixture-of-Experts (MoE) où l'allocation des experts partagés versus spécialisés est déterminée par la profondeur de la couche :

Analyse Pilote : Avant l'entraînement du modèle principal, un Transformer dense « pilote » est entraîné sur des lots de paradigmes mixtes. L'Alignement du Noyau Centré (CKA) est calculé à travers les couches pour mesurer le ratio de similarité inter-paradigme à la similarité intra-paradigme.
Règle de Calibration : Les couches présentant une forte similarité inter-paradigme (couches peu profondes) se voient attribuer une proportion plus élevée d'experts partagés. Les couches présentant une similarité plus faible (couches profondes) se voient attribuer davantage d'experts spécialisés.
Implémentation : Cette allocation est mappée via une fonction sigmoïde basée sur les métriques CKA du pilote et fixée durant la phase d'entraînement principale. Cela garantit que les blocs précoces préservent les régularités EEG générales tandis que les blocs ultérieurs se spécialisent dans des transformations spécifiques à la tâche.

3. Stratégie d'Entraînement

Pré-entraînement : Le modèle est pré-entraîné sur 17 jeux de données publics diversifiés (plus de 28 000 heures) en utilisant trois objectifs auto-supervisés : Reconstruction de Patch Temporel Masqué (MAE-TP), Reconstruction de Canal Masqué (MAE-CH) et Prédiction de Patch Futur (GPT).
Ajustement Fin : PRiSE-EEG prend en charge un ajustement fin unifié multi-jeux de données avec des têtes MLP à double flux spécifiques à la tâche (moyenne sur les dimensions temporelles et de groupe séparément) pour préserver l'information structurelle sans explosion des paramètres.

Contributions Clés

Caractérisation des Conflits Inter-Paradigme : Les auteurs démontrent empiriquement que les tâches EEG hétérogènes induisent des mises à jour de gradients conflictuelles et que la similarité de la représentation suit une transition en fonction de la profondeur (du général au spécifique), motivant une allocation non uniforme des experts.
Experts Stratifiés par Profondeur Calibrés par CKA : Un mécanisme novateur qui convertit la part de partage CKA par bloc en proportions d'experts partagés en utilisant une règle sigmoïde simple, ajustant dynamiquement l'allocation des capacités basée sur la géométrie de la représentation plutôt que sur des heuristiques uniformes.
Tokenisation Continue Guidée par des Priors : Un schéma de tokenisation qui combine des priors statiques faibles de régions/réseaux avec des interactions dynamiques sur de courts fenêtres, évitant les contraintes anatomiques rigides tout en exploitant l'information structurée de l'espace des capteurs.
Validation Complète : Le modèle est validé sur 12 benchmarks publics couvrant 10 catégories de tâches (par exemple, détection de crises, reconnaissance des émotions, stadification du sommeil), démontrant des performances robustes inter-paradigme.

Résultats Expérimentaux

Évalué sur 12 jeux de données EEG, PRiSE-EEG (spécifiquement la variante B avec environ 41 millions de paramètres) a obtenu des résultats à l'état de l'art ou compétitifs sous des protocoles appariés :

Gains de Performance : Il a montré des améliorations significatives (6–8 % sur les métriques principales) sur les tâches liées aux maladies et cognitives (par exemple, ADFTD, SEED-V, Charge de travail) et des gains constants de 2–5 % sur des tâches telles que TUEV et PhysioMI.
Études d'Ablation :
- Le retrait de l'un ou l'autre des chemins statique ou dynamique dans la tokenisation a entraîné une dégradation des performances de plus de 3 %.
- L'inversion de la séquence de ratio d'experts (attribuant plus d'experts spécialisés aux couches peu profondes) a causé la plus forte baisse (>8 %), confirmant la nécessité d'une allocation stratifiée par profondeur.
- L'utilisation de ratios d'experts partagés fixes était inférieure à l'approche calibrée par CKA.
Mise à l'Échelle : Le modèle présente un comportement de mise à l'échelle prévisible avec la taille du modèle (jusqu'à 125 millions de paramètres) et le volume de données de pré-entraînement (jusqu'à 28 000 heures), avec des valeurs élevées de $R^2$ indiquant que les performances continuent de s'améliorer avec l'échelle.
Interprétabilité : Les visualisations Grad-CAM ont confirmé que le modèle porte attention à des régions neuroscientifiquement valides (par exemple, frontal/temporal pour les émotions, pariétal pour les stades de sommeil) et distingue correctement la maladie d'Alzheimer (AD) de la démence fronto-temporale (FTD) sur la base de schémas pathologiques connus.

Signification et Revendications

L'article revendique que PRiSE-EEG fournit un cadre compact pour équilibrer les régularités EEG partagées avec une spécialisation spécifique à la tâche. Sa signification réside dans :

Dépasser l'adaptation uniforme : Démontrer que la spécialisation des experts dans les modèles de fondation devrait être stratifiée par profondeur selon la structure de représentation apprise par des modèles pilotes denses, plutôt que d'être uniquement adaptative à l'entrée.
Exploiter des priors faibles : Montrer que l'intégration de priors faibles de l'espace des capteurs (régions et réseaux) et d'interactions dynamiques améliore la robustesse sans nécessiter de contraintes anatomiques rigides.
Apprentissage Unifié : Valider qu'un seul backbone pré-entraîné peut s'adapter efficacement à diverses tâches cliniques et cognitives grâce à un ajustement fin unifié, réduisant le besoin d'architectures spécifiques à la tâche.

Les auteurs notent modestement que, bien que le modèle s'échelle efficacement, il reste plus petit que les modèles de fondation contemporains en langage ou en vision, et que des travaux futurs sont nécessaires pour étendre le cadre à des scénarios multimodaux (par exemple, Vidéo-EEG) et atteindre une généralisation zéro-shot à de nouvelles tâches.