Résumé Technique : Interprétation des Transformers Fondamentaux EEG par LRP

Énoncé du Problème

L'adoption de modèles fondamentaux (Foundation Models, FMs) en électroencéphalographie (EEG) offre une solution potentielle à la pénurie de données dans les diagnostics par apprentissage profond et les interfaces cerveau-ordinateur (BCI). Cependant, la nature « opaque » de ces modèles, en particulier ceux basés sur des architectures Transformer, entrave leur adoption plus large et la confiance clinique. Bien que des méthodes d'attribution de caractéristiques comme la Propagation de la Rélevance par Couche (Layer-wise Relevance Propagation, LRP) aient été appliquées avec succès aux réseaux de neurones convolutifs (CNN) et aux perceptrons multicouches (MLP) en EEG, leur application aux FMs-EEG modernes basés sur Transformer reste inexplorée. Le défi central consiste à déterminer si la LRP peut sonder efficacement les processus de décision de ces modèles complexes pour vérifier leur validité ou révéler des stratégies d'apprentissage fallacieuses (par exemple, des effets « Clever Hans ») sans dépendre d'étiquettes de vérité terrain pour chaque tâche.

Méthodologie

Les auteurs proposent l'application d'une LRP consciente de l'attention [8] au modèle LaBraM [2], un modèle fondamental EEG prominent. La méthodologie comprend trois composantes principales :

1. Configuration du Modèle : L'étude évalue LaBraM selon trois configurations pour isoler les effets du préentraînement :

   • Affiné (Finetuned) : Approche standard où l'ensemble du modèle est adapté.
   • Gel (Frozen) : Le backbone préentraîné est gelé, seule la tête de classification est entraînable.
   • À partir de zéro (From Scratch) : Initialisation aléatoire sans préentraînement.
     Chaque configuration est entraînée cinq fois pour tenir compte de la variabilité due au dropout, à l'initialisation et à l'échantillonnage des données.

2. Attribution et Visualisation :

   • La LRP est appliquée pour générer des scores de pertinence pour chaque élément d'entrée (pas de temps et canal) pour chaque décision de classification.
   • Pour gérer la haute dimensionnalité des données EEG ($n_{channels} \times t_{in}$) et le volume des scores générés, les auteurs emploient une stratégie d'agrégation. Ils agrègent les attributions dans le temps pour analyser les motifs spatiaux (topographie) et à travers les canaux pour analyser les motifs temporels.
   • Les visualisations spatiales utilisent un coloriage par cellules de Voronoï discrètes pour préserver la topologie des électrodes, évitant ainsi la distorsion des cartes thermiques rectangulaires.

3. Paradigmes Expérimentaux :

   • Détection du Pic R (Validation) : Une tâche de classification binaire prédisant les artefacts du champ cardiaque (CFA) dans l'EEG brut. Cela sert de validation par vérité terrain car la source physiologique (cœur) et l'emplacement attendu de l'électrode (Iz) sont connus.
   • PhysioMI L/R (Paradigme Établi) : Une tâche d'imagerie/exécution motrice (poing gauche vs droit) utilisant le jeu de données PhysioNet. Cela teste la capacité du modèle à généraliser et révèle un apprentissage par raccourci potentiel.
   • AffectiveVR (Exploratoire) : Un paradigme naturaliste prédisant l'éveil subjectif et la valence pendant une expérience de réalité virtuelle. Cette tâche manque de vérité terrain claire, servant de terrain d'essai pour la génération d'hypothèses exploratoires.

Contributions Clés

L'article apporte trois contributions spécifiques :

1. Validation de la LRP sur les FMs-EEG : Il démontre pour la première fois que la LRP consciente de l'attention produit des attributions plausibles sur les Transformers fondamentaux EEG. Cela est validé par la tâche de détection du Pic R, où la pertinence se concentre correctement sur l'électrode Iz, le site le plus proche du cœur.
2. Détection de Comportements Fallacieux : La méthode identifie avec succès un comportement « Clever Hans » dans les modèles d'imagerie motrice. Elle révèle que les modèles à faible généralisation s'appuient fortement sur des artefacts oculaires (mouvements des yeux) plutôt que sur des signaux du cortex moteur, exploitant probablement des indices visuels issus de la conception expérimentale.
3. Exploration de Nouvelles Hypothèses : En l'absence d'intuition établie pour des états affectifs complexes, les auteurs caractérisent la promesse unique et les limites de la LRP. Ils identifient un motif récurrent et biologiquement plausible de pertinence des électrodes centrales (C2, Cz, FC2, CP2) dans la prédiction de l'éveil, suggérant une signature sensorimotrice nouvelle de l'éveil distincte de la valence.

Résultats

• Performance :
  • Détection du Pic R : Le LaBraM affiné a atteint une précision équilibrée (BAC) d'environ 75 %, confirmant que le modèle apprend le bon signal physiologique.
  • PhysioMI L/R : Les performances étaient mitigées. Deux exécutions affinées sur cinq ont atteint une BAC >70 %, tandis que les autres ont performé près du hasard. Crucialement, les cartes d'attribution distinguaient ces groupes : les exécutions réussies montraient des motifs temporo-frontaux latéralisés, tandis que les exécutions infructueuses se concentraient sur les régions oculaires.
  • AffectiveVR : Tous les modèles (affiné, à partir de zéro, gelé) et la ligne de base CSP-LDA ont performé de manière similaire, avec des BAC autour de 55 % (légèrement au-dessus de la ligne de base aléatoire de 50 % pour une classification binaire par médiane).
• Motifs d'Attribution :
  • Inversion de Signe : Les motifs étaient cohérents dans leur structure spatiale mais parfois inversés de signe (coloration inversée), ce qui n'affecte pas l'ampleur de la pertinence.
  • Imagerie Motrice : Les modèles réussis montraient des motifs latéralisés, mais même ceux-ci se concentraient sur des électrodes temporales plus proches des régions de mouvement oculaire que des régions motrices de la main, suggérant une dépendance aux mouvements oculaires corrélés à la tâche plutôt qu'à des signatures neurales motrices pures.
  • Éveil vs Valence : La prédiction de l'éveil mettait systématiquement en évidence un cluster d'électrodes centrales (cortex sensorimoteur), potentiellement lié aux potentiels de préparation modulés par le contexte émotionnel. Ce motif était absent dans la prédiction de la valence, soutenant l'hypothèse qu'il s'agit d'une signature spécifique à l'éveil plutôt que d'un artefact général de décodage moteur.
  • Prédiction de la Valence : Les motifs étaient moins cohérents avec la littérature établie et montraient de l'ambiguïté, soulignant la difficulté d'interpréter les cartes thermiques dans des domaines à faible intuition où les artefacts fallacieux (par exemple, EMG des muscles faciaux) sont difficiles à distinguer des signaux neuronaux.

Signification et Revendications

L'article positionne la LRP comme un outil à double usage pour les FMs-EEG : vérification et exploration.

• Vérification : La LRP peut valider que les modèles apprennent les signaux physiologiques visés (comme observé dans la détection du Pic R) et exposer le surajustement ou l'apprentissage par raccourci (comme observé dans la dépendance oculaire des modèles d'imagerie motrice échoués). Cela est critique en EEG, où les signaux ne sont pas directement interprétables et où l'apprentissage par raccourci a historiquement invalidé des lignes de recherche.
• Exploration : En traduisant les représentations apprises en hypothèses neuroscientifiques, la LRP peut mettre en lumière des relations nouvelles et biologiquement plausibles (par exemple, la signature sensorimotrice centrale dans l'éveil). Les auteurs affirment que cela déplace la recherche sur les FMs-EEG au-delà de la pure performance prédictive vers la compréhension des relations cerveau-comportement.

Limites et Modestie :
Les auteurs reconnaissent explicitement trois réserves :

1. Interprétabilité : L'interprétation des cartes thermiques en EEG reste subjective et nécessite une expertise du domaine ; les stratégies absurdes sont plus difficiles à identifier que dans les images naturelles.
2. Base Méthodologique : Le choix de la LRP est basé sur des comparaisons menées sur des modèles non-Transformer ; des mesures de fidélité supplémentaires (par exemple, AOPC) sur les FMs-EEG sont nécessaires.
3. Capacité du Modèle : L'absence de gains de performance cohérents par rapport aux modèles « à partir de zéro » ou spécialisés (comme CSP-LDA) suggère que les FMs-EEG actuels n'ont pas encore pleinement exploité leur « compréhension sous-jacente » de l'EEG. Par conséquent, le potentiel de découverte de la LRP est actuellement contraint par les capacités des modèles fondamentaux sous-jacents.

L'article conclut que si la LRP est un outil puissant pour la trajectoire du développement des FMs-EEG, son utilité pour le déploiement clinique ou la découverte définitive est actuellement bornée par la maturité des modèles fondamentaux eux-mêmes.