💻 computer science

Rethinking Brain Decoding with CLIP: The Role of Adversarial Robustness

Cet article démontre que l'utilisation de variantes de CLIP adversellement robustes, plutôt que des modèles standards, améliore considérablement les performances de décodage cérébral basé sur l'IRMf en favorisant des représentations perceptuelles structurées et stables qui s'alignent mieux avec l'activité neurale.

Auteurs originaux : Byeongseo Bok, Futa Waseda, Jun Liu, Isao Echizen

Publié 2026-07-07

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Byeongseo Bok, Futa Waseda, Jun Liu, Isao Echizen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Lire dans les pensées avec l'IA

Imaginez que des scientifiques essaient de construire une machine de « lecture de pensée ». Ils utilisent un scanner IRM pour observer le cerveau d'une personne pendant qu'elle regarde une image. L'objectif est de déterminer exactement ce que la personne voit, simplement en observant l'activité cérébrale.

Pour ce faire, ils ont besoin d'un traducteur. Le cerveau parle en « signaux neuronaux » (données fMRI), mais nous devons traduire cela en quelque chose que nous comprenons, comme la description d'une image. Pendant longtemps, les scientifiques ont utilisé un traducteur IA très populaire appelé CLIP. CLIP est excellent pour comprendre la connexion entre les images et les mots.

Le Problème : Même si CLIP est populaire, ce n'est pas un traducteur parfait pour le cerveau humain. Le papier suggère que CLIP est comme un étudiant qui est très doué pour réussir un examen spécifique en mémorisant des « astuces » ou des « raccourcis » (comme remarquer qu'une photo de chien a souvent de l'herbe en arrière-plan), plutôt qu'en comprenant réellement le concept central du chien. Le cerveau humain, cependant, ne repose pas sur ces raccourcis ; il voit le chien lui-même. Parce que l'IA et le cerveau regardent l'image de manières légèrement différentes, la traduction n'est pas parfaite.

La Solution : Le traducteur « testé sous pression »

Les auteurs ont posé une question simple : Et si nous utilisions une version de l'IA qui a été « testée sous pression » pour ignorer ces astuces ?

Dans le monde de l'IA, il existe une technique appelée Entraînement Adversaire (Adversarial Training). Imaginez que vous enseigniez à un étudiant à reconnaître un panneau « Stop ».

Étudiant Standard (CLIP) : Vous lui montrez un panneau « Stop ». Il l'apprend. Mais si vous placez un petit autocollant invisible sur celui-ci qui ressemble à un panneau de limitation de vitesse pour un ordinateur, il pourrait être confus et penser qu'il s'agit d'une limitation de vitesse. Il repose sur des détails fragiles.
Étudiant Testé sous Pression (CLIP Robuste) : Vous lui montrez le panneau « Stop », mais vous lui montrez aussi des milliers de versions avec des autocollants bizarres, des flous et des distorsions. Vous le forcez à apprendre la forme essentielle du panneau, en ignorant l'arrière-plan désordonné ou les petits pièges. Il devient « robuste ».

Le papier soutient que cet « Étudiant Testé sous Pression » (CLIP Adversairement Robuste) parle en fait mieux la même langue que le cerveau humain que l'étudiant standard.

Ce qu'ils ont fait (L'expérience)

Les chercheurs ont organisé une course équitable. Ils ont gardé tout exactement identique — les données du scanner cérébral, le code informatique et la méthode d'entraînement. La seule chose qu'ils ont changée était le « traducteur » (la représentation cible).

Équipe A : A utilisé le modèle CLIP standard.
Équipe B : A utilisé les versions « Testées sous Pression » (appelées FARE et TeCoA).

Ils ont testé cela sur deux ensembles différents de données cérébrales (datasets) pour voir qui pouvait deviner l'image à partir de l'activité cérébrale avec le plus de précision.

Les Résultats : L'équipe Testée sous Pression gagne

Les résultats étaient clairs et cohérents :

Meilleure capacité de devinette : Les modèles « Testés sous Pression » étaient bien meilleurs pour deviner quelle image une personne regardait en se basant sur son activité cérébrale. Dans un test, la précision a bondi de 13 %, ce qui est énorme dans ce domaine.
Meilleur Alignement : Lorsqu'ils ont mesuré à quel point la carte interne de l'IA correspondait à la carte du cerveau, les modèles robustes étaient beaucoup plus proches. C'est comme si l'IA et le cerveau étaient enfin sur la même longueur d'onde.
Succès Zero-Shot : Même lorsqu'ils montraient à l'IA des images qu'elle n'avait jamais vues auparavant, les modèles robustes devinaient correctement plus souvent que les modèles standards.

Le « Pourquoi » : Regarder la carte

Les chercheurs ne se sont pas contentés de dire « cela fonctionne mieux ». Ils voulaient savoir pourquoi. Ils ont utilisé un outil appelé Carte d'Attribution (Attribution Map), qui est comme une carte thermique montrant quelles parties d'une image l'IA surveille.

CLIP Standard : La carte thermique était un peu éparpillée. Elle semblait regarder l'ensemble de l'image, y compris les détails de l'arrière-plan qui pourraient être des « astuces ».
CLIP Robuste : La carte thermique était plus concentrée et structurée. Elle ignorait le « bruit » de l'arrière-plan et se concentrait sur l'objet principal, tout comme le fait un humain.

La découverte la plus intéressante est que les deux modèles regardaient les images de manières complètement différentes. Ils n'ont pas seulement ajusté les mêmes caractéristiques ; ils ont réorganisé leur façon de voir le monde. Le modèle robuste a cessé de compter sur les « raccourcis » que le modèle standard utilisait, et ce changement est ce qui a permis un meilleur alignement avec le cerveau humain.

À retenir

Le papier conclut que si vous voulez décoder l'activité cérébrale humaine, le choix du modèle d'IA compte plus que vous ne pourriez le croire.

Vous n'avez pas besoin de construire une nouvelle machine ou de changer le scanner cérébral. Il vous suffit de remplacer le traducteur IA standard par un qui a été « testé sous pression » pour être robuste face aux astuces. En faisant cela, l'IA cesse de chercher des raccourcis faciles et commence à voir le monde comme nos cerveaux le font, ce qui conduit à de bien meilleurs résultats de lecture de pensée.

En bref : Pour lire l'esprit humain, utilisez une IA qui a appris à ignorer les distractions et à se concentrer sur la vérité.

Problématique

Le décodage cérébral vise à inférer les représentations liées aux stimuli à partir de signaux cérébraux, généralement en faisant correspondre les réponses de l'IRMf aux plongements (embeddings) latents de modèles computationnels. Récemment, le modèle Contrastive Language-Image Pre-training (CLIP) est devenu une cible de représentation standard en raison de son espace d'embedding riche entre vision et langage. Cependant, l'alignement des signaux d'IRMf avec les représentations CLIP standards reste difficile.

Les auteurs soutiennent que le CLIP standard est optimisé pour l'apprentissage contrastif image-texte à l'échelle du web plutôt que pour l'alignement neural. Par conséquent, ses embeddings peuvent capturer des caractéristiques « non robustes » ou fondées sur des raccourcis qui sont statistiquement prédictives pour l'appariement image-texte, mais qui ne sont pas fidèlement reflétées dans l'activité cérébrale humaine. Des travaux antérieurs ont tenté d'améliorer le décodage en ajoutant des contraintes biologiques (par exemple, des mécanismes d'attention visuelle) ou en imposant une similitude géométrique entre les embeddings et les réponses de l'IRMf. Cet article pose l'hypothèse que le problème ne réside pas seulement dans le pipeline, mais dans les propriétés intrinsèques de la représentation cible elle-même. Plus précisément, les auteurs émettent l'hypothèse que les représentations adversarielles robustes, qui suppriment les caractéristiques non robustes et s'appuient davantage sur des indices perceptuels stables et structurés, pourraient mieux s'aligner avec l'invariance observée dans les représentations neurales humaines.

Méthodologie

L'étude utilise un design expérimental contrôlé où le décodeur d'IRMf et l'ensemble du pipeline d'entraînement sont maintenus fixes, tandis que seul le modèle de représentation cible est varié.

Jeux de données :
- NSD (Natural Scene Dataset) : Un jeu de données vision-IRMf à grande échelle contenant 73 000 images et des données d'IRMf provenant de 8 sujets. Les auteurs évaluent sur les sujets 1, 2, 5 et 7.
- GOD (Generic Object Decoding Dataset) : Conçu pour tester la généralisation zero-shot avec des sémantiques d'entraînement-test non chevauchantes, contenant 1 250 images et des données de 5 sujets.
Modèles cibles :
- Baseline : CLIP standard (backbone ViT-L/14).
- Variantes robustes : Deux variantes de CLIP entraînées de manière adversarielle :
  - TeCoA : Une variante robuste où l'encodeur visuel est affiné de manière adversarielle sous une supervision guidée par le texte.
  - FARE : Une variante robuste utilisant un affinement adversariel non supervisé sans supervision textuelle.
- Les auteurs évaluent différents niveaux de force adversarielle (par exemple, FARE-2/4, TeCoA-2/4) basés sur le budget de perturbation ( $\epsilon$ ).
Architecture du décodeur :
- Un décodeur linéaire mappe les données de voxels d'IRMf vers les embeddings prédits.
- Objectifs d'entraînement : L'étude utilise deux objectifs :
  1. Perte InfoNCE (Contrastive) : Optimisation de l'alignement entre les embeddings prédits et cibles en utilisant une perte contrastive.
  2. Régression Ridge : Une baseline standard dans le décodage cérébral.
Métriques d'évaluation :
- Performance de décodage : Précision Top- $k$ (Recall@k) pour la recherche d'images par IRMf sur les jeux de données NSD et GOD.
- Alignement neural : Corrélation de Pearson, similitude cosinus et Analyse de Similitude de Représentation (RSA) entre les réponses d'IRMf et les représentations cibles.
- Analyse d'attribution : Utilisant le cadre de Palazzo et al. [40], les auteurs calculent des cartes d'attribution au niveau du pixel pour analyser les caractéristiques d'image sur lesquelles les décodeurs s'appuient. Les métriques incluent l'entropie normalisée, l'IoU des régions attribuées top- $k$ , et la corrélation de rang de Spearman entre les cartes d'attribution.

Résultats Clés

Les résultats empiriques démontrent que le remplacement du CLIP standard par des variantes adversarielles robustes améliore systématiquement la performance du décodage cérébral et l'alignement neural.

Amélioration de l'alignement et de la recherche :
- Sur le jeu de données NSD, les variantes robustes (FARE et TeCoA) ont obtenu des scores d'alignement plus élevés (corrélation de Pearson, similitude cosinus, RSA) par rapport au CLIP standard. TeCoA-4 a systématiquement obtenu les scores d'alignement les plus élevés.
- Dans la recherche d'images par IRMf, les décodeurs robustes ont surpassé la baseline CLIP standard. Notamment, FARE-4 a amélioré la précision Top-1 de 13 % par rapport à la baseline CLIP sous décodage contrastif.
- Ces améliorations se sont vérifiées tant pour l'apprentissage contrastif que pour l'objectif de régression ridge, suggérant que le choix de la représentation cible est plus critique que l'objectif d'entraînement.
Généralisation Zero-Shot (Jeu de données GOD) :
- Les améliorations étaient reproductibles sur le jeu de données GOD, qui impose des conditions strictes de zero-shot. Les décodeurs robustes ont maintenu une précision de recherche et une performance de classification texte-IRMf en zero-shot plus élevées que le CLIP standard.
- Les décodeurs TeCoA ont généralement surpassé les décodeurs FARE dans les tâches de classification de texte en zero-shot.
Analyse d'attribution :
- Structure spatiale : Bien que tous les modèles présentent une forte diffusion spatiale globale (entropie élevée), les variantes robustes montrent une variation structurelle dépendante de l'échelle plus marquée. Leur entropie diminue à mesure que la résolution spatiale devient plus grossière, indiquant des motifs d'attribution plus structurés par rapport à l'entropie stable du CLIP standard.
- Désaccord de caractéristiques : Il y avait un faible accord constant entre le CLIP standard et les variantes robustes. L'Intersection-over-Union (IoU) Top-k pour les pixels hautement attribués était extrêmement faible (inférieure à 0,1), et les corrélations de rang de Spearman étaient faibles ou négatives. Cela suggère que l'entraînement adversariel ne se contente pas de raffiner l'utilisation des caractéristiques, mais induit une réorganisation systématique de l'importance des caractéristiques, en s'appuyant sur des caractéristiques d'image structurellement distinctes.

Contributions

L'article apporte les contributions spécifiques suivantes :

Démonstration des bénéfices de la robustesse : Il montre que les variantes de CLIP entraînées de manière adversarielle (FARE et TeCoA) améliorent l'alignement entre les réponses d'IRMf et les représentations de modèles, produisant une précision de recherche image-IRMf nettement plus élevée sur le jeu de données NSD.
Validation Zero-Shot : Il valide que ces améliorations se généralisent aux contextes zero-shot sur le jeu de données GOD, confirmant que les gains ne sont pas dus à un surapprentissage spécifique au jeu de données.
Aperçus d'attribution : À travers l'analyse d'attribution, il révèle que les modèles robustes présentent un faible accord avec le CLIP standard dans l'utilisation des caractéristiques, produisant des motifs spatialement concentrés et distincts, ce qui suggère que la robustesse adversarielle réorganise l'importance des caractéristiques visuelles.

Signification et Revendications

Les auteurs concluent que le choix de la représentation cible est un facteur critique dans les pipelines de décodage neural. Ils soutiennent que la robustesse adversarielle sert de biais inductif utile pour améliorer l'alignement entre les modèles computationnels et l'activité cérébrale.

L'article affirme que, puisque les représentations neurales humaines sont relativement invariantes aux petites perturbations et moins dépendantes des indices non robustes, les modèles entraînés pour supprimer de telles caractéristiques (via l'entraînement adversariel) produisent naturellement des représentations plus compatibles avec les signaux d'IRMf. Cette conclusion suggère que les futurs efforts de décodage cérébral devraient considérer les propriétés intrinsèques du modèle cible, telles que la robustesse, plutôt que de se concentrer uniquement sur les modifications architecturales ou l'ingénierie du pipeline. Le travail souligne que la robustesse affecte non seulement la précision prédictive, mais aussi la manière fondamentale dont les caractéristiques visuelles sont utilisées dans le décodage de l'activité cérébrale.