🤖 AI

Benchmarking Positional Encoding Strategies for Transformer-Based EEG Foundation Models

Ce papier évalue cinq stratégies de codage positionnel au sein de l'architecture transformateur CBraMod pour les modèles de base en EEG, révélant qu'aucune stratégie unique ne surpasse universellement les autres dans toutes les tâches, le codage positionnel sphérique se distinguant dans l'imagerie motrice et le codage positionnel conditionnel asymétrique offrant des performances plus cohérentes à travers divers scénarios de décodage.

Auteurs originaux : Ayse Betul Yuce, Sebastian Stober

Publié 2026-05-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ayse Betul Yuce, Sebastian Stober

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez votre cerveau comme un immense orchestre, et l'EEG (électroencéphalographie) comme la technique que nous utilisons pour enregistrer la musique qu'il joue. Pour comprendre cette musique, les scientifiques utilisent de puissants modèles d'IA appelés Transformers. Ces modèles agissent comme des chefs d'orchestre surdoués capables d'écouter l'enregistrement et de déterminer ce que font les musiciens (vos cellules cérébrales).

Cependant, il y a un piège : les Transformers sont naturellement « sourds » à l'endroit où les choses se produisent. Si vous mélangez l'ordre des musiciens dans l'orchestre, le Transformer entend exactement la même chanson. Mais dans le monde réel, la position d'une électrode sur votre tête compte énormément. Une électrode sur votre front entend une « musique » différente de celle située à l'arrière de votre tête.

Cet article est un test de dégustation visant à déterminer quelle méthode fonctionne le mieux pour enseigner à ces chefs d'orchestre IA où se trouvent les électrodes. Les chercheurs ont pris un modèle d'IA standard (appelé CBraMod) et ont remplacé son « guide de localisation » par cinq stratégies différentes pour voir laquelle aidait l'IA à mieux comprendre les signaux cérébraux.

Voici un aperçu des cinq « guides de localisation » qu'ils ont testés :

1. La stratégie « Sans carte » (NoPE)

Il s'agit du groupe témoin. L'IA reçoit les signaux cérébraux mais aucune information sur l'emplacement des électrodes. C'est comme donner une partition à un chef d'orchestre en lui disant : « Vous n'avez pas besoin de savoir quel instrument joue quelle note ; devinez simplement. »

Résultat : L'IA a le plus peiné. Cela a prouvé que connaître l'origine des signaux est crucial pour l'apprentissage.

2. Le guide « Voisinage flexible » (ACPE)

Cette méthode ressemble à une carte intelligente qui examine le voisinage immédiat de chaque signal. Au lieu de consulter une carte fixe de l'ensemble du crâne, elle se demande : « Qui est assis juste à côté de cette électrode en ce moment ? » Elle utilise une astuce mathématique spéciale (des convolutions) pour déterminer la disposition de manière dynamique.

Résultat : C'était le performant le plus constant. Il a bien réussi à la fois pour l'« Imagerie Motrice » (imaginer bouger sa main) et la « Reconnaissance des Émotions » (ressentir du bonheur ou de la tristesse). C'est comme un chef d'orchestre qui s'adapte à la salle à chaque fois qu'il y entre.

3. Le guide « Globe » (SPE - Encodage Positionnel Sphérique)

Les auteurs ont inventé celui-ci. Puisque la tête humaine est ronde, ils ont traité les électrodes comme des points sur un globe. Ils ont cartographié chaque électrode en utilisant des angles (comme la latitude et la longitude) plutôt qu'une grille plate.

Résultat : C'était un spécialiste.
- Pour l'Imagerie Motrice : C'était le champion. L'imagination du mouvement semble reposer fortement sur la forme spécifique de la tête, aussi cette carte « globe » a-t-elle fonctionné parfaitement.
- Pour les Émotions : Il a trébuché. Les émotions ne semblent pas se soucier autant de la forme géométrique exacte de la tête, aussi cette carte rigide n'était-elle pas aussi utile.

4. Le « Globe avec un traducteur » (SPE+Proj)

Il s'agit du guide « Globe », mais avec une nuance : ils ont ajouté une petite couche apprenable qui tente de « traduire » la carte du globe en quelque chose que l'IA préfère.

Résultat : Cela n'a pas beaucoup aidé. Il semble que la carte originale « Globe » était déjà suffisamment bonne, et le traducteur a simplement rendu les choses légèrement confuses.

5. Le guide « Ardoise vierge » (PE Apprenable)

Ici, l'IA reçoit une carte vierge et on lui dit : « Déterminez vous-même les emplacements pendant que vous apprenez. » Elle commence sans aucune connaissance et apprend les positions des électrodes à partir de zéro pour chaque nouvelle tâche.

Résultat : Ce fut un vainqueur surprise pour les Émotions. Lorsque l'IA a eu la permission de réapprendre la carte spécifiquement pour la tâche émotionnelle, elle a obtenu les meilleurs résultats. Cependant, c'est un effort considérable ; cela oblige l'IA à tout réapprendre chaque fois qu'elle change de tâche, ce qui n'est pas toujours efficace.

La grande conclusion

Les chercheurs ont constaté qu'il n'existe pas de carte « parfaite » unique pour toutes les tâches cérébrales.

Si vous voulez détecter des pensées de mouvement, une carte géométrique respectant la forme ronde de la tête (SPE) est excellente.
Si vous voulez détecter des émotions, une carte flexible basée sur le voisinage (ACPE) ou laisser l'IA apprendre la carte à partir de zéro (PE Apprenable) fonctionne mieux.
Si vous avez besoin d'une solution qui fonctionne constamment bien à travers différentes tâches sans avoir besoin de tout réentraîner, le guide Voisinage flexible (ACPE) est le choix le plus fiable.

En bref, tout comme vous n'utiliseriez pas un plan de rue plat pour naviguer dans une chaîne de montagnes, vous ne devriez pas utiliser un seul « guide de localisation » pour chaque type d'activité cérébrale. La meilleure stratégie dépend entièrement de ce que le cerveau fait à ce moment précis.

Résumé technique : Évaluation comparative des stratégies d'encodage positionnel pour les modèles de base EEG basés sur les transformateurs

Énoncé du problème

L'électroencéphalographie (EEG) est une technique non invasive cruciale pour les applications d'interface cerveau-ordinateur (BCI), pourtant les modèles de décodage supervisés peinent à généraliser à travers les tâches, les sujets et les ensembles de données en raison de rapports signal-sur-bruit faibles et d'une forte variabilité inter-sujets. Pour y remédier, des modèles de base basés sur les transformateurs, entraînés par apprentissage auto-supervisé, ont émergé. Cependant, les transformateurs sont intrinsèquement invariants par permutation et nécessitent un encodage positionnel (PE) explicite pour modéliser les dépendances structurelles.

Contrairement aux tokens textuels, les électrodes EEG possèdent une distribution spatiale spécifique sur le cuir chevelu. Les modèles de base EEG actuels basés sur les transformateurs emploient des mécanismes divers et souvent incomparables pour encoder cette structure spatio-temporelle, incluant des embeddings spécifiques aux canaux, un encodage temporel relatif et des embeddings appris. Il manque une évaluation systématique quant à la stratégie d'encodage positionnel optimale pour le décodage EEG, particulièrement compte tenu du sens anatomique du placement des électrodes et de la variabilité des montages de canaux entre les ensembles de données.

Méthodologie

Les auteurs ont mené une évaluation comparative contrôlée au sein de l'architecture de base CBraMod, un modèle de base EEG auto-supervisé utilisant un mécanisme d'attention en croix pour capturer les dépendances spatio-temporelles. Pour isoler l'impact de la conception positionnelle, l'étude a conservé l'architecture originale du transformateur, les protocoles d'entraînement et les hyperparamètres, en remplaçant uniquement le module d'encodage positionnel.

Stratégies d'encodage positionnel évaluées

Cinq stratégies ont été comparées :

Aucun encodage positionnel (NoPE) : Une ligne de base sans information positionnelle explicite.
Encodage positionnel conditionnel asymétrique (ACPE) : Une méthode où les représentations positionnelles sont générées dynamiquement à partir des voisinages spatio-temporels des patches EEG en utilisant des convolutions 2D profondes avec des noyaux asymétriques ( $k_s > k_t$ ). Cela capture les dépendances inter-canaux à longue portée et le contexte temporel à courte portée sans dépendre de coordonnées absolues.
Encodage positionnel sphérique (SPE) : Une stratégie nouvelle proposée dans ce travail qui exploite la géométrie sphérique du placement des électrodes. Elle calcule les angles d'azimut ( $\theta$ ) et d'inclinaison ( $\phi$ ) pour chaque électrode et les mappe vers des représentations de longueur fixe en utilisant des fonctions sinusoïdales multi-fréquences. Cela encode les relations angulaires invariantes à la taille de la tête et au changement d'échelle, sans paramètres appris.
SPE avec projection (SPE+Proj) : Une extension du SPE où les embeddings de canaux et de patches sont passés à travers des projections linéaires apprises séparées avant la sommation.
PE apprenable : Des embeddings de canaux et de patches entièrement appris, sommés pour former l'encodage final. Ceux-ci sont réinitialisés et appris à partir de zéro lors du fine-tuning si le montage en aval diffère de celui du pré-entraînement.

Configuration expérimentale

Pré-entraînement : Réalisé sur l'ensemble de données Healthy Brain Network EEG (HBN-EEG) (>3 000 participants, 128 canaux) en utilisant un objectif de reconstruction de patches masqués.
Tâches en aval :
- Imagerie motrice (MI) : Classification sur l'ensemble de données PhysioNet MI (64 canaux, 4 classes).
- Reconnaissance des émotions : Classification sur l'ensemble de données FACED (32 canaux, 9 classes).
Protocoles d'évaluation : Les modèles ont été évalués sous sondage linéaire (architecture de base figée, classifieur entraîné) et fine-tuning (tous les poids mis à jour).
Métriques : Précision équilibrée, Kappa de Cohen et score F1 pondéré.

Résultats clés

L'étude a révélé qu'aucune stratégie d'encodage positionnel unique ne surpasse systématiquement les autres sur toutes les tâches et tous les protocoles. La performance était fortement dépendante de la tâche :

Imagerie motrice (PhysioNet-MI) :
- SPE a obtenu les meilleures performances dans le protocole de sondage linéaire, suggérant que des priors géométriques explicites sont bénéfiques lorsque les motifs d'activation spatiale sont distincts.
- ACPE a obtenu les meilleures performances dans le protocole de fine-tuning.
- NoPE a été constamment le plus faible en sondage linéaire mais est resté compétitif après fine-tuning, indiquant que l'architecture de base peut partiellement récupérer la structure positionnelle grâce à l'optimisation de bout en bout.
Reconnaissance des émotions (FACED) :
- ACPE et PE apprenable ont produit les meilleurs résultats.
- SPE a nettement sous-performé par rapport aux autres stratégies dans les deux protocoles, suggérant que des priors géométriques stricts peuvent moins bénéficier aux représentations liées aux émotions qu'à l'imagerie motrice.
Perte de pré-entraînement : L'absence d'encodage positionnel a entraîné la perte de reconstruction masquée la plus élevée, confirmant que l'information positionnelle est cruciale pour la qualité des représentations de pré-entraînement. PE apprenable et SPE+Proj ont obtenu les pertes de validation les plus faibles.

Importance et conclusions

L'article conclut que la stratégie d'encodage positionnel optimale pour les modèles de base EEG est dépendante de la tâche, sans solution universelle.

Spécificité de la tâche : Les stratégies qui encodent une géométrie anatomique explicite (SPE) sont avantageuses pour les tâches avec une forte discernabilité spatiale (par exemple, l'imagerie motrice) mais peuvent être sous-optimales pour les tâches où les motifs spatiaux sont moins rigides (par exemple, la reconnaissance des émotions).
Généralisabilité vs Adaptabilité : ACPE démontre une performance cohérente en apprenant des motifs de voisinage local à partir du contenu des patches, ce qui la rend robuste face à des tâches diverses sans nécessiter de connaissances explicites des coordonnées. À l'inverse, la PE apprenable, bien qu'exigeant une réinitialisation pour différents montages, peut surpasser les stratégies fixes lorsque le modèle est autorisé à apprendre des structures spatiales spécifiques à la tâche à partir de zéro sur l'ensemble de données cible.
Implications pratiques : SPE offre une alternative légère, sans paramètres et agnostique au montage, précalculée à partir des angles des électrodes, ce qui en fait une option viable lorsque la structure spatiale est pertinente et que le réentraînement est indésirable.

Les auteurs soulignent que, bien que les différences de performance aient été relativement faibles, elles sont mesurables et significatives étant donné que seul le module d'encodage positionnel a été modifié. Des travaux futurs sont suggérés pour explorer ces stratégies sur des tâches EEG plus diverses, des montages d'électrodes variés et des ensembles de données de pré-entraînement plus vastes afin d'évaluer davantage la généralisabilité de l'encodage conscient de la topologie.