🧬 biology

Task-conditioned probing of instruction-tuned multimodal LLMs: Region-specific brain alignment patterns under naturalistic stimuli

Cette étude démontre que les modèles de langage multimodaux grands ajustés par instruction présentent une alignement significativement plus fort et plus spécifique à la tâche avec l'activité cérébrale humaine lors de la visionnage naturel de films par rapport aux modèles d'apprentissage en contexte et non ajustés par instruction, suggérant que l'ajustement par instruction organise les représentations autour des exigences fonctionnelles de la tâche plutôt que de la sémantique de surface.

Auteurs originaux : Subba Reddy Oota, Khushbu Pahwa, Prachi Jindal, Satya Sai Srinath Namburi, Maneesh Singh, Tanmoy Chakraborty, Bapi S. Raju, Manish Gupta

Publié 2026-05-21

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Subba Reddy Oota, Khushbu Pahwa, Prachi Jindal, Satya Sai Srinath Namburi, Maneesh Singh, Tanmoy Chakraborty, Bapi S. Raju, Manish Gupta

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète

La Grande Idée : Apprendre aux Ordinateurs à « Penser » comme des Cerveaux

Imaginez que vous avez un groupe d'assistants IA très intelligents (Modèles de Langage Multimodaux, ou MLLM). Ces IA peuvent regarder des films et écouter de l'audio. Les chercheurs voulaient savoir : Ces IA traitent-elles l'information de la même manière que les cerveaux humains ?

Pour le découvrir, ils ne se sont pas contentés de poser des questions aux IA ; ils ont examiné les « ondes cérébrales » (scanners IRMf) de vrais humains regardant les mêmes films. Ils ont ensuite tenté de prédire ces ondes cérébrales en utilisant les « pensées » internes de l'IA. L'objectif était de voir quelle « cervelle » d'IA correspondait le mieux au cerveau humain.

Les Personnages Principaux : Deux Types d'IA

L'étude a comparé deux types d'assistants IA :

L'IA « Brute » (Apprentissage en Contexte) : Imaginez cela comme un élève brillant qui a lu des millions de livres mais qui n'a jamais passé de test spécifique. Si vous lui montrez un film et demandez : « Que se passe-t-il ? », il répond en se basant sur ses connaissances générales. Il est intelligent, mais il pourrait simplement répéter ce qu'il a déjà vu.
L'IA « Entraînée » (Ajustée par Instruction) : Imaginez le même élève, mais qui vient de terminer un camp d'entraînement rigoureux où il a pratiqué des tâches spécifiques : « Résumez ceci », « Trouvez l'émotion », « Décrivez le son ». Il est maintenant expert dans le suivi d'instructions précises.

L'Expérience : La Soirée Cinéma

Les chercheurs ont organisé une « soirée cinéma » avec quatre volontaires humains. Pendant qu'ils regardaient des extraits de films populaires (comme Le Loup de Wall Street), leurs cerveaux étaient scannés.

Ensuite, ils ont soumis ces mêmes extraits de film aux IA.

L'IA Brute a simplement regardé la vidéo.
L'IA Entraînée a reçu 13 « instructions » différentes pour la même vidéo, telles que :
- « Quels sont les événements principaux ? »
- « Décrivez les émotions. »
- « Quel est le conflit central ? »
- « Identifiez les sons. »

Les chercheurs se sont alors demandé : Les « pensées » internes de quelle IA pouvaient le mieux prédire ce que le cerveau humain faisait à cet instant précis ?

Les Résultats Surprenants

Voici ce qu'ils ont découvert, en utilisant quelques métaphores simples :

1. L'IA « Entraînée » est un Meilleur Miroir du Cerveau Humain
Les IA « Entraînées » (Ajustées par Instruction) étaient nettement meilleures pour prédire l'activité cérébrale humaine que les IA « Brutes ».

Analogie : Imaginez essayer de deviner ce que pense un ami. L'IA « Brute » est comme un ami qui énumère simplement des faits aléatoires sur le film. L'IA « Entraînée » est comme un ami qui essaie activement de comprendre l'histoire et les sentiments, tout comme votre cerveau le fait. Les « pensées » de l'IA Entraînée s'alignaient sur le cerveau humain environ 9 % à 20 % mieux que les autres.

2. L'IA « Brute » Répète Juste des Mots ; L'IA « Entraînée » Fait le Travail
Les chercheurs ont trouvé une différence clé dans la façon dont ces IA pensent :

L'IA Brute est très sensible aux mots exacts que vous utilisez. Si vous dites « Décrivez la vidéo » par rapport à « Dites-moi en quoi consiste la vidéo », le cerveau interne de l'IA Brute change beaucoup car les mots sont différents. C'est comme un perroquet qui imite des sons.
L'IA Entraînée ignore la formulation spécifique et se concentre sur le travail que vous voulez accomplir. Que vous disiez « Résumez » ou « Racontez l'histoire », son cerveau interne reste concentré sur la tâche.
La Conclusion : Les cerveaux humains semblent aussi se soucier davantage de la tâche (comprendre l'histoire) que des mots exacts utilisés pour la demander. L'IA Entraînée imite mieux ce comportement humain.

3. Différentes Tâches Allument Différentes Parties du Cerveau (et de l'IA)
L'étude a montré que lorsque vous donnez à l'IA un travail spécifique, elle active différents « départements » dans son cerveau, tout comme les humains.

Analogie : Imaginez le cerveau comme une ville avec différents quartiers.
- Lorsque l'IA est invitée à détecter des sons, son « Quartier Audio » s'allume, correspondant au cortex auditif humain.
- Lorsqu'on lui demande de comprendre une histoire, son « Quartier Langage » s'allume, correspondant aux zones linguistiques humaines.
- Lorsqu'on lui demande de reconnaître des objets, son « Quartier Visuel » s'allume.
L'IA « Brute » ne changeait pas de quartier aussi clairement. L'IA « Entraînée » savait exactement quelle partie de la ville utiliser pour le travail spécifique.

4. Les Couches « Profondes » Correspondent au Cerveau « Profond »
Les modèles d'IA ont des couches, comme un immeuble à plusieurs étages.

Étages du bas (Couches superficielles) : Ils gèrent des choses simples comme les contours, les couleurs et les sons de base.
Étages du haut (Couches profondes) : Ils gèrent des idées complexes comme les histoires, les émotions et le raisonnement.
La Découverte : Les chercheurs ont constaté que les étages inférieurs de l'IA correspondaient aux zones sensorielles du cerveau humain (yeux/oreilles), et que les étages supérieurs de l'IA correspondaient aux zones de réflexion du cerveau humain. Cette « hiérarchie » était beaucoup plus claire dans l'IA Entraînée.

Le Twist « Vidéo vs Audio »

L'étude a également examiné des IA conçues spécifiquement pour la vidéo et des IA conçues spécifiquement pour l'audio.

IA Vidéo : Ce sont les stars du spectacle. Elles correspondaient très bien à l'activité cérébrale humaine dans l'ensemble du cerveau.
IA Audio : Elles s'en sortaient bien, mais correspondaient principalement aux centres auditifs du cerveau humain. Elles ne correspondaient pas au reste du cerveau aussi bien que les modèles vidéo.
Conclusion : Actuellement, les modèles d'IA qui peuvent « voir » et « entendre » ensemble (Vidéo) sont beaucoup plus proches du fonctionnement du cerveau humain que les modèles qui ne font que « entendre » (Audio).

Résumé

Ce document prouve que lorsque nous enseignons aux modèles d'IA de suivre des instructions spécifiques (comme le ferait un enseignant humain), ils arrêtent de simplement « réciter » des données et commencent à « penser » d'une manière qui ressemble remarquablement à la façon dont nos propres cerveaux fonctionnent. Ils organisent leurs pensées par tâche plutôt que par formulation, et ils activent des régions cérébrales spécifiques en fonction de ce qu'on leur demande de faire. Cela en fait des outils puissants pour les scientifiques qui tentent de comprendre comment le cerveau humain traite le monde complexe des films et des histoires.

Résumé technique : Sondage conditionné par la tâche des MLLM multimodaux adaptés aux instructions

Énoncé du problème

Des études récentes sur le codage cérébral ont établi que les grands modèles de langage multimodaux (MLLM) présentent une meilleure corrélation avec l'activité cérébrale humaine que les modèles unimodaux. De plus, il a été démontré que les MLLM adaptés aux instructions (IT) génèrent des représentations spécifiques à la tâche qui s'alignent fortement avec l'activité cérébrale. Cependant, les évaluations antérieures ont été largement limitées à deux contextes : (1) des modèles multimodaux évalués avec des stimuli unimodaux, ou (2) des modèles non adaptés aux instructions évalués avec des stimuli multimodaux.

Un vide critique subsiste dans la compréhension de savoir si l'adaptation aux instructions amène les MLLM-IT à organiser leurs représentations autour des demandes fonctionnelles de la tâche ou s'ils reflètent simplement la sémantique de surface. De plus, il manque un sondage systématique des MLLM-IT sous des stimuli multimodaux naturalistes (vidéo avec audio) pour déterminer comment les représentations spécifiques à la tâche et guidées par le langage s'alignent avec l'activité cérébrale à travers les régions corticales, des zones sensorielles primaires aux zones cognitives d'ordre supérieur.

Méthodologie

Les auteurs comblent ce vide en estimant l'alignement cérébral par la prédiction des réponses IRMf enregistrées lors de la vision passive de films naturalistes (vidéo avec audio) en utilisant les représentations de MLLM adaptés aux instructions.

Données et modèles :

Jeu de données : L'étude utilise le jeu de données Movie10 (Boyle et al., 2020), un jeu de données IRMf naturaliste multimodal où quatre sujets ont regardé passivement quatre films différents. Les données sont projetées sur l'espace de surface "fsaverage6".
Modèles évalués :
- Adaptés aux instructions (IT) : Six MLLM vidéo (par exemple, InstructBLIPVideo, Video-LLaVA, Qwen-2.5-VL) et deux MLLM audio (Qwen-2.5-Audio, Kimi-Audio).
- Lignes de base : Deux MLLM vidéo d'apprentissage en contexte (ICL), deux modèles multimodaux non adaptés aux instructions, deux modèles vidéo unimodaux et un modèle audio unimodal.
Instructions : Les modèles ont été sondés avec 13 instructions spécifiques à la vidéo (par exemple, reconnaissance d'actions, compréhension narrative, raisonnement de bon sens) et 5 instructions spécifiques à l'audio (par exemple, compréhension audio, détection d'événements sonores).
Extraction de caractéristiques : Pour les modèles IT, les représentations des états cachés ont été extraites à chaque couche en fonction de la vidéo/audio d'entrée et de l'instruction de tâche spécifique. Pour les bases ICL et non-IT, une inférence zero-shot a été effectuée avec des invites en langage naturel.

Encodage et évaluation :

Encodage voxel par voxel : Des modèles de régression ridge à bandes ont été entraînés pour prédire l'activité cérébrale IRMf à partir des représentations du modèle. Les modèles ont tenu compte des délais de réponse hémodynamique à l'aide d'un filtre à réponse impulsionnelle finie (FIR).
Métriques : La performance a été mesurée à l'aide de la corrélation de Pearson (PC) entre l'activité cérébrale prédite et réelle. Pour standardiser la performance, les résultats ont été divisés par la précision de prédiction inter-sujets estimée, produisant un "alignement cérébral normalisé".
Analyse : L'étude a employé l'analyse de similarité des représentations (RSA) pour comparer la similarité sémantique des instructions avec la similarité des représentations du modèle. Elle a également utilisé des métriques de clustering (indice Rand ajusté) pour évaluer l'organisation conditionnée par la tâche et la partition de la variance pour analyser la variance partagée et unique à travers les tâches.

Contributions et résultats clés

1. Découplage de la sémantique de surface et de la structure de la tâche
L'étude révèle une différence fondamentale dans la manière dont les modèles IT et ICL organisent les représentations :

Modèles ICL : Présentent un couplage fort (Pearson $r \approx 0,78$ ) entre les représentations internes et la sémantique de surface des instructions, indiquant un appariement textuel proximal superficiel.
Modèles IT : Présentent un couplage faible avec la sémantique de surface ( $r \approx 0,14$ ) mais montrent un regroupement conditionné par la tâche plus fort. Cela suggère que les modèles IT organisent les représentations en fonction des demandes fonctionnelles de la tâche plutôt que de la formulation spécifique de l'invite.

2. Alignement cérébral supérieur des MLLM vidéo IT

Performance globale : Les MLLM vidéo IT démontrent un alignement cérébral significativement plus élevé que les modèles ICL (amélioration d'environ 9 %), les modèles multimodaux non adaptés aux instructions (amélioration d'environ 15 %) et les lignes de base unimodales (amélioration d'environ 20 %).
Asymétrie des modalités : Alors que les modèles vidéo IT montrent un fort alignement à travers le cerveau entier, les régions linguistiques et visuelles, les modèles audio IT montrent des gains principalement dans le cortex auditif et le gyrus frontal moyen (MFG). Les MLLM-IT audio se comportent de manière comparable aux lignes de base multimodales non adaptées aux instructions, indiquant une marge de progression pour capturer les informations sémantiques pertinentes pour le cerveau dans le domaine audio.

3. Différenciation des tâches spécifique aux régions
Les instructions spécifiques à la tâche produisent des représentations distinctes qui s'alignent avec des régions fonctionnelles cérébrales spécifiques :

Tâches vidéo : La "compréhension narrative" et le "QA vidéo" montrent un alignement plus élevé dans les régions liées au langage (gyrus angulaire, lobe temporal postérieur), tandis que la "compréhension vidéo" domine les régions frontales d'ordre supérieur.
Tâches audio : Le "sous-titrage audio" et la "détection d'événements sonores" s'alignent avec le cortex auditif, tandis que la "compréhension audio" active des régions de haut niveau comme le gyrus frontal inférieur (IFG).
Partition de la variance : Les tâches à forte charge visuelle contribuent de manière unique à la variance du cortex visuel, tandis que les tâches sémantiques de haut niveau contribuent de manière unique à la variance du réseau linguistique.

4. Alignement hiérarchique avec le traitement cortical
Les MLLM-IT présentent un motif d'alignement couche par couche cohérent avec la hiérarchie de traitement du cerveau :

Couches précoces : S'alignent avec les zones sensorielles primaires (cortex visuel et auditif).
Couches moyennes/profondes : S'alignent avec les zones visuelles d'ordre supérieur (LOC, PPA) et les régions linguistiques (gyrus angulaire, IFG).
Expériences de contrôle : Cette gradient hiérarchique disparaît lors de l'utilisation d'invites non naturelles (tokens aléatoires), confirmant que l'alignement est piloté par la sémantique des instructions plutôt que par la structure générique du modèle. Des comparaisons contrôlées au sein des familles de modèles (par exemple, Qwen-2.5-VL IT vs Pré-entraîné) confirment que l'adaptation aux instructions améliore systématiquement l'alignement à travers toutes les couches.

Signification et affirmations

L'article revendique d'être la première étude à utiliser des MLLM vidéo et audio adaptés aux instructions pour modéliser les réponses IRMf à travers diverses tâches multimodales. Les résultats suggèrent que :

L'adaptation aux instructions transforme les MLLM en sondes qui organisent les représentations autour des demandes de la tâche plutôt que du texte de surface, conduisant à un alignement plus fort avec l'organisation fonctionnelle du cerveau.
Les instructions spécifiques à la tâche peuvent être utilisées comme un levier contrôlé pour varier les objectifs de tâche tout en maintenant le stimulus fixe, permettant la cartographie du traitement conjoint de l'information dans les systèmes artificiels et biologiques.
Les motifs d'alignement dépendants des couches observés soutiennent l'utilisation des MLLM-IT pour étudier la spécialisation fonctionnelle sous des stimuli naturalistes et relier la modélisation cognitive à la neurosciences.

Les auteurs adoptent une position modeste concernant les comparaisons inter-familles, notant qu'il existe des différences d'échelle, de données d'entraînement et d'architecture. Cependant, ils soulignent que les comparaisons contrôlées au sein d'une même famille (versions IT vs Pré-entraînées du même modèle) montrent systématiquement des gains positifs dans l'alignement cérébral après l'adaptation aux instructions, isolant ainsi l'effet du processus d'adaptation lui-même.