Résumé technique : La capacité de la pensée : Évaluation de Llama 3.2 dans le décodage du langage sémantique par IRMf

Énoncé du problème

Le défi central abordé est le décodage non invasif du langage continu à partir de signaux d'imagerie par résonance magnétique fonctionnelle (IRMf). Bien que les approches réussies précédentes utilisent des modèles d'encodage (prédisant l'activité cérébrale à partir du texte) pour décoder indirectement la pensée via des algorithmes de recherche, ces méthodes reposent sur des priors linguistiques plus anciens et plus petits (par exemple, GPT-1). Les auteurs émettent l'hypothigue que le plafond de performance de ces méthodes pourrait découler d'un sous-ajustement architectural plutôt que d'un bruit biologique inhérent. Ils étudient si des modèles de langage modernes à haute capacité (spécifiquement Llama-3.2-1B) peuvent améliorer la précision de la reconstruction et si des architectures de génération directe de l'IRMf vers le langage peuvent surpasser les pipelines d'encodage linéaires traditionnels.

Méthodologie

L'étude emploie deux investigations complémentaires sur le même ensemble de données standardisé de narration écoutée en IRMf (8 sujets, ~16 heures de données), utilisant des divisions entraînement/test au niveau de l'histoire.

1. Amélioration de la ligne de base de la régression Ridge (Pipeline de Huth et al.)

Les auteurs ont d'abord établi un plancher empirique contrôlé en répliquant et en améliorant le pipeline du modèle d'encodage de Huth et al. L'architecture centrale utilise une régression Ridge régularisée en L2 pour mapper les caractéristiques textuelles (issues de la couche 9 de GPT-1) aux réponses de niveau voxel du signal BOLD. Le décodage est effectué via une recherche par faisceau (beam search), classant les phrases candidates contre le modèle de bruit ajusté et le prior linguistique.
Trois améliorations spécifiques ont été introduites :

• Sélection de voxels étendue : Augmentation de la sélection de voxels informatifs de 10 000 à 15 000 via une corrélation par bootstrap pour capturer des régions corticales plus larges impliquées dans le traitement sémantique.
• Proposition de modèle GPT-2 Medium : Remplacement du modèle GPT-1 utilisé pour générer les candidats de recherche par faisceau par GPT-2 Medium (345 millions de paramètres) afin d'améliorer la qualité grammaticale des mots candidats, tout en conservant strictement GPT-1 pour les caractéristiques d'encodage. Un proxy de premier sous-token glouton a été implémenté pour gérer le vocabulaire de l'encodage par paires de sous-mots (byte-pair encoding) de GPT-2.
• Entraînement accéléré par GPU : Migration de l'entraînement de la régression ridge par bootstrap du CPU (NumPy) vers le GPU (PyTorch) en utilisant le multiprocessus, atteignant une accélération de 10×.

2. fMRIFlamingo : Génération directe de l'IRMf vers le langage

La seconde investigation introduit fMRIFlamingo, un cadre de génération directe adaptant l'architecture multimodale OpenFlamingo au décodage neuronal. Le pipeline mappe les signaux BOLD bruts directement dans un noyau Llama-3.2-1B gelé.

• fMRITokenizer : Les volumes d'IRMf bruts sont regroupés en 2 000 régions d'intérêt (ROI) via une assignation anatomique déterministe. Une projection linéaire apprise mappe les profils temporels vers une dimension interne, préservant la structure temporelle hémodynamique.
• Perceiver Resampler : Compresse la séquence de tokens de ROI en un nombre fixe de vecteurs latents correspondant à la dimension cachée de Llama.
• Gated Cross-Attention : Insérée dans les couches du décodeur Llama gelé. La porte (gate) est initialisée pour garantir que le chemin "vision" (cerveau) est actif. Le modèle apprend à mélanger l'attention pilotée par le cerveau et celle pilotée par le texte.
• Stratégie d'entraînement : Pour atténuer l'effondrement postérieur (où le modèle ignore les données IRMf bruitées au profit des priors textuels), 50 % des tokens de prompt d'entrée sont masqués avec <PAD> pendant l'entraînement. L'optimisation utilise une perte de cross-entropie et une perte de classement contrastive.
• Inférence : Opère dans un régime par fenêtre, générant un mot par fenêtre TR de 2 secondes via une recherche par faisceau de 3, distincte du décodage narratif continu de la régression ridge.

Résultats clés

Ligne de base Ridge améliorée

Sur le sujet UTS03 à travers trois narrations de test, le pipeline amélioré a atteint :

• METEOR : 0,149 (moyenne), représentant un gain relatif de 11 % par rapport à la ligne de base de réplication à 10K voxels (0,134).
• BLEU-1 : 0,200 (moyenne).
• BERTScore : 0,814.
  Ces résultats sont compétitifs avec les scores originaux rapportés par Huth et al. sur leurs récits de test spécifiques, établissant une ligne de base de décodage linéaire plus robuste.

Performance de fMRIFlamingo

• Succès apparent : Sur une tâche de classement de 1 sur 100 (sélectionner le mot suivant correct parmi 99 distracteurs), le modèle a atteint une précision Top-1 de 42,86 %, nettement supérieure à la chance aléatoire de 1 %.
• Échec du contrôle aveugle : Une étude d'ablation critique a annulé tous les entrées IRMf. La précision de classement est restée pratiquement inchangée (~43 %), et les métriques de génération au niveau de l'histoire (WER, BLEU-1, METEOR) étaient statistiquement identiques à la condition avec entrée complète.
• Dominance du prior linguistique : La distribution de sortie du modèle dans la condition sans IRMf était presque identique à la condition avec IRM, dominée par les mots de fonction fréquents. Lorsque le contexte textuel précédent était entièrement supprimé ("Strict Telepathy"), la précision est tombée au niveau du hasard (~0 %).
• Conclusion : Le succès apparent du décodage est principalement piloté par le fort prior linguistique et le contexte linguistique plutôt que par l'entrée neurale. Le modèle incorpore le signal IRMf mais échoue à apprendre des représentations assez fiables pour améliorer le prior textuel seul.

Signification et revendications

L'article formule deux revendications principales concernant l'état actuel du décodage du langage neuronal :

1. Raffinement des lignes de base linéaires : Des améliorations d'ingénierie incrémentales apportées aux pipelines d'encodage traditionnels (expansion des voxels, meilleurs modèles de proposition, accélération matérielle) peuvent produire des gains de performance significatifs (amélioration de 11 % du METEOR), établissant une ligne de base robuste pour les comparaisons futures.
2. L'illusion du "Prior Linguistique" : L'intégration de grands modèles de langage (LLM) à haute capacité et gelés dans le décodage neuronal n'améliore pas intrinsèquement la performance. Au contraire, ces modèles peuvent activement masquer les échecs. Parce que les LLM possèdent des priors statistiques puissants, ils peuvent générer des sorties fluides et plausibles même en l'absence ou en cas d'absence d'informations d'entrée neurale.
   • Impératif méthodologique : Les auteurs soutiennent que sans expériences d'ablation de contrôle aveugle rigoureuses (annulation des entrées neurales), les affirmations de décodage neural réussi utilisant de grands modèles sont probablement invalides. La précision de classement de 42 % observée dans fMRIFlamingo est présentée non pas comme une percée du décodage, mais comme une démonstration de la facilité avec laquelle de forts priors linguistiques peuvent simuler un succès de décodage.

L'étude conclut que pour que de petits modèles de langage décodent le sens sémantique continu de l'activité cérébrale, ils nécessiteront probablement un ajustement fin (fine-tuning) sur de grands ensembles de données alignés de texte et d'activité cérébrale (qui n'existent pas actuellement en open source) ainsi que des mécanismes architecturaux plus efficaces pour isoler les régions cérébrales pertinentes.