What Are We Actually Decoding? Source Attribution for Non-Invasive Brain-to-Language Retrieval

Résumé technique : Attribution de la source pour la récupération non invasive du cerveau vers le langage

Énoncé du problème
Le décodage non invasif du langage neuronal a progressé rapidement grâce aux modèles préentraînés de parole et de langage, mais la précision rapportée confond souvent les preuves neuronales authentiques évocatrices de stimulus avec des artefacts structurels non neuronaux. L'article identifie trois sources principales de performances gonflées :

1. Préjugés du décodeur et raccourcis d'évaluation : Les modèles peuvent exploiter des durées d'entrée variables, des limites de remplissage ou des motifs de masquage plutôt que le contenu neuronal.
2. Limites des métriques basées sur les embeddings : Des métriques comme BERTScore récompensent la similarité sémantique ou la fluidité, permettant à des sorties aveugles au signal (par exemple, des remplisseurs génériques) de sembler réussies même lorsqu'elles échouent à récupérer le contenu spécifique du stimulus.
3. Fuite de données : Des séparations inadéquates entre l'entraînement et le test (par exemple, par sujet plutôt que par identité du stimulus) permettent au contenu du stimulus répété de s'infiltrer dans les ensembles d'évaluation.

Le défi méthodologique central est l'attribution : déterminer si un gain rapporté provient d'informations linguistiques décodables dans le signal neuronal ou de ces artefacts structurels et d'évaluation.

Méthodologie
Les auteurs reformulent le problème en utilisant un cadre de récupération MEG-locked vers l'audio comme outil d'audit. Au lieu d'une génération de texte ouverte, la tâche consiste à récupérer une fenêtre audio alignée dans le temps à partir d'un pool explicite de candidats pour chaque fenêtre neuronale. Cette configuration rend les niveaux de hasard, les ensembles de candidats et les erreurs de rang directement observables.

La méthodologie décompose la performance en trois sources distinctes :

1. Raccourcis structurels : Contrôlés en imposant des fenêtres de durée fixe et des séparations par identité de stimulus (assurant que le même contenu audio n'apparaît pas à la fois dans les ensembles d'entraînement et de test).
2. Preuve verrouillée au stimulus au niveau de la fenêtre : Mesurée par une récupération indépendante de fenêtre fixe, isolant la discriminabilité des fenêtres neuronales individuelles par rapport au pool audio.
3. Agrégation contextuelle inter-fenêtres : Traitée par une nouvelle intervention au moment de l'inférence appelée Biais de contexte de groupe (GCB).

Contributions clés

• Quantification des nuisances structurelles : Les auteurs démontrent que, sous un décodage de longueur variable, le remplacement du MEG réel par du bruit gaussien produit une précision de 66,3 % en R@1 (Rank@1) due à des raccourcis liés à la longueur de la séquence. L'imposition de fenêtres de durée fixe et de séparations par identité de stimulus réduit cette base de bruit à des niveaux proches du hasard, isolant ainsi efficacement la fuite structurelle non neuronale.
• Isolement de la preuve locale : Sous ces contrôles stricts, la récupération indépendante de fenêtre fixe récupère une discriminabilité MEG–audio mesurable (par exemple, 44,4 % de R@1 sur l'ensemble de données Gwilliams), prouvant que les signaux neuronaux au niveau de la fenêtre sont décodables. Cependant, l'analyse des erreurs révèle que 95,7 % des erreurs Top-1 impliquent la sélection d'un candidat provenant de la mauvaise phrase, indiquant un goulot d'étranglement dans la compétition au niveau de la phrase plutôt que dans l'ambiguïté au sein de la phrase.
• Audit de l'agrégation contextuelle (GCB) : L'article introduit le GCB, un biais de logit additif appliqué au moment de l'inférence. Le GCB regroupe les preuves à travers les fenêtres appartenant à la même phrase requête pour identifier les « seaux de phrases » les plus soutenus et applique un biais doux aux candidats au sein de ces seaux. Crucialement, le GCB laisse l'encodeur neuronal figé, les embeddings audio et le pool de candidats inchangés, permettant de mesurer la contribution contextuelle indépendamment de la preuve locale.
• Contrôles diagnostiques : L'étude emploie des contrôles rigoureux pour valider l'attribution :
  • Diagnostic Oracle : En restreignant les candidats à la phrase vérité terrain, le R@1 passe de 44 % à 88 %, confirmant l'existence d'une « marge contextuelle ».
  • Tests de perturbation : La randomisation des regroupements de phrases élimine le gain GCB, prouvant que l'effet repose sur une structure de phrase cohérente.
  • Atténuation de la preuve : Le mélange du MEG réel avec du bruit non correspondant au stimulus montre que les gains GCB disparaissent lorsque la preuve locale verrouillée au stimulus approche du hasard, confirmant que le GCB amplifie la preuve existante plutôt que de la générer.
  • Contrôles négatifs : Sur l'ensemble de données EEG Brennan (où la récupération locale est proche du hasard), le GCB n'apporte aucun gain positif, soutenant davantage que l'agrégation contextuelle nécessite une preuve locale fiable.

Résultats expérimentaux

• Fuite structurelle : Le décodage de longueur variable avec du bruit gaussien atteint 66,3 % de R@1 ; les contrôles de longueur fixe réduisent cela à 1,53 % (proche du hasard).
• Performance locale vs contextuelle :
  • Gwilliams (MEG) : R@1 de base local = 44,4 %. Avec GCB, le R@1 augmente à 52,1 % (+7,7 points de pourcentage).
  • MOUS (MEG) : R@1 de base local = 21,7 %. Avec GCB, le R@1 augmente à 28,6 % (+6,9 points de pourcentage).
  • Brennan (EEG) : R@1 de base local < 1 %. Le GCB n'apporte aucune amélioration, confirmant la dépendance de la méthode à la qualité du signal.
• Correction d'erreurs : Le GCB corrige principalement les erreurs « presque ratées » où le bon seau de phrases n'a pas été sélectionné par le modèle local mais est soutenu par la cohérence inter-fenêtres. Il récupère environ 18 % de la marge théorique exposée par le diagnostic oracle.
• Robustesse : Les gains sont stables à travers différentes architectures de base temporelle (Dense-TCNN vs CNN à dilatation Exp) et se transfèrent entre les ensembles de données sans réajustement.

Signification et revendications
L'article soutient que le décodage non invasif du langage neuronal doit être traité comme un problème d'attribution plutôt que comme un simple point de repère de performance. Les auteurs affirment que :

1. La performance est multi-source : Les scores rapportés reflètent souvent un mélange de raccourcis structurels, de preuves neuronales locales et d'agrégation contextuelle.
2. La récupération comme audit : La récupération verrouillée au stimulus fournit un point de contrôle pour séparer ces sources, contrairement aux pipelines génératifs où ces facteurs sont entremêlés.
3. L'agrégation contextuelle est mesurable : Le GCB démontre que l'information contextuelle inter-fenêtre peut être isolée et quantifiée comme une source distincte de gain de performance, séparée de l'apprentissage de l'encodeur.
4. Dépendance à la preuve : L'agrégation contextuelle n'est pas une « solution miracle » ; elle amplifie une preuve locale fiable et verrouillée au stimulus. Lorsque la preuve locale est faible (comme dans l'EEG ou le MEG atténué), l'agrégation contextuelle échoue à améliorer la performance.

Les auteurs concluent qu'un décodage langage-cerveau convaincant ne doit pas seulement montrer quel output a été produit, mais aussi dans quelle mesure cet output est soutenu par des preuves neuronales verrouillées au stimulus par opposition aux préjugés du décodeur ou aux artefacts d'évaluation. Ils préconisent des sondes de style récupération et des contrôles spécifiques à la tâche concernant la segmentation, le contexte et la structure des candidats pour établir cette attribution dans les travaux futurs.