🤖 AI

Multimodal Function Vectors for Visual Relations

Cet article démontre que des têtes d'attention spécifiques dans les grands modèles multimodaux encodent la connaissance relationnelle visuelle sous forme de « vecteurs de fonction » manipulables, qui peuvent être extraits, affinés et combinés linéairement pour améliorer significativement les performances en zéro-shot, l'apprentissage en contexte et la généralisation sur les tâches de raisonnement relationnel.

Auteurs originaux : Shuhao Fu, Esther Goldberg, Ying Nian Wu, Hongjing Lu

Publié 2026-06-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shuhao Fu, Esther Goldberg, Ying Nian Wu, Hongjing Lu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un assistant robotique très intelligent, mais un peu confus. Vous lui montrez la photo d'une cuisine et lui demandez : « Que fait le garçon ? »

Si vous montrez simplement la photo, le robot pourrait voir une liste d'objets déconnectés : réfrigérateur, garçon, placard, évier. Il a du mal à comprendre l'histoire qui les relie. Si vous lui donnez quelques exemples au préalable (comme : « Dans cette image, le garçon tient une tasse ; dans celle-là, la fille est assise sur une chaise »), il s'améliore un peu pour deviner. C'est ce qu'on appelle l'« apprentissage en contexte » (in-context learning), mais même avec des exemples, le robot devine encore à l'aveugle.

Ce document traite de la recherche d'un « interrupteur magique » à l'intérieur du cerveau du robot qui l'aide à comprendre ces connexions (comme « tenir », « être assis sur » ou « à côté de ») sans avoir besoin de deviner.

Voici comment les chercheurs ont procédé, en utilisant des analogies simples :

1. Trouver les « Neurones Spéciaux »

Le cerveau du robot est composé de milliards de petites unités de traitement appelées « têtes d'attention ». Voyez cela comme des milliers de petites stations de radio. La plupart diffusent de la friture ou de la musique sur les couleurs et les formes.

Les chercheurs ont utilisé un outil spécial (appelé Analyse de Médiation Causale) pour écouter ces stations. Ils ont découvert que seule une infime poignée de ces stations de radio (environ 10 sur des milliers) diffuse réellement le signal de la « relation ». Ce sont ces canaux spécifiques qui savent ce que signifient « au-dessus », « en dessous » ou « porter ».

2. Créer le « Vecteur de Fonction » (La clé USB Magique)

Une fois qu'ils ont trouvé ces stations de radio spéciales, les chercheurs ont enregistré leur « voix » lorsque le robot regardait des images avec des relations claires. Ils ont fait la moyenne de ces voix pour créer un seul fichier numérique compact appelé Vecteur de Fonction.

Voyez ce vecteur comme une clé USB contenant un manuel d'instructions spécifique.

Si vous branchez la clé USB « Au-dessus », le robot sait soudainement comment repérer les choses qui sont sur le dessus d'autres choses.
Si vous branchez la clé USB « Porter », il comprend instantanément qui tient quoi.

Le plus beau dans tout cela ? Ils n'ont pas eu besoin de réapprendre au robot. Ils ont juste branché cette « clé USB » dans le cerveau du robot pendant qu'il regardait une nouvelle image. Soudain, les performances du robot ont bondi, même sans aucun exemple préalable pour le guider.

3. Ajuster le Signal (Affinage)

La première version de cette « clé USB » était bonne, mais les chercheurs ont découvert qu'ils pouvaient l'améliorer. Ils ont pris une petite quantité de nouvelles données d'entraînement et ont légèrement ajusté le fichier (comme en réglant le volume ou la clarté sur une radio).

Après ce rapide « ajustement », le robot est devenu bien plus intelligent pour repérer les relations. Il n'avait pas besoin de mémoriser le monde entier ; il avait juste besoin de ce fichier d'instructions spécifique et optimisé pour guider sa pensée.

4. Mélanger et Combiner (L'astuce de l'analogie)

La partie la plus magique de l'article est ce qui arrive lorsque le robot est confronté à une relation qu'il n'a jamais vue auparavant, comme « au-dessus et à droite ».

Les chercheurs ont montré au robot une image de quelque chose « au-dessus » et quelque chose « à droite ». Ils ont pris la clé USB « Au-dessus » et la clé USB « Droite », les ont mélangées ensemble selon un certain ratio (comme on mélange la peinture bleue et la peinture jaune pour obtenir du vert), et ont créé une toute nouvelle clé USB « Au-dessus-à-droite ».

Lorsqu'ils ont branché cette nouvelle clé USB mélangée dans le robot, celui-ci a pu résoudre un puzzle impliquant des relations « au-dessus-à-droite » qu'il n'avait jamais étudiées. C'était comme si le robot apprenait à combiner deux concepts connus pour comprendre un nouveau concept, simplement en mélangeant les instructions numériques.

L'essentiel à retenir

Ce document prouve que ces modèles d'IA géants et complexes ne sont pas de simples boîtes noires. À l'intérieur d'eux, il existe des parties spécifiques, petites et organisées, qui gèrent des tâches précises (comme comprendre les relations).

Avant : Le robot devait deviner en se basant sur des indices vagues.
Maintenant : Nous pouvons trouver l'« interrupteur de relation » spécifique, l'extraire, le modifier et le rebrancher pour que le robot comprenne beaucoup mieux le monde.

Cela nous aide à comprendre comment ces modèles d'IA fonctionnent et nous donne un moyen de les contrôler plus précisément, les rendant meilleurs pour percevoir les connexions entre les éléments d'une image.

Résumé technique : Vecteurs de fonctions multimodaux pour les relations visuelles

Énoncé du problème

Les grands modèles multimodaux (LMM) font preuve de capacités impressionnantes d'apprentissage en contexte (ICL), pourtant les mécanismes internes permettant d'apprendre et d'exécuter des tâches de raisonnement relationnel restent opaques. Alors que la recherche récente en interprétabilité mécaniste des grands modèles de langage (LLM) a identifié les « vecteurs de fonctions » (FVs) — des représentations compactes de tâches dérivées des activations des têtes d'attention — étendre cette approche aux contextes multimodaux est complexe. Les relations visuelles (par exemple, la position spatiale comme « au-dessus de » ou les interactions agentiques comme « tenir ») ne sont pas explicitement signalées par les pixels ; elles doivent être inférées à partir de la fusion de caractéristiques visuelles de haute dimension et du langage naturel. Les LMM actuels peinent à acquérir des concepts relationnels systématiques, même avec des démonstrations, échouant souvent à surpasser significativement les bases zero-shot. Ce document examine si le paradigme du vecteur de fonction peut être étendu aux LMM pour extraire, manipuler et généraliser la connaissance relationnelle visuelle.

Méthodologie

Les auteurs proposent un cadre pour identifier et extraire des vecteurs de fonctions spécifiques aux relations à partir des représentations internes des LMM, en se concentrant spécifiquement sur OpenFlamingo et Qwen3-VL.

1. Datasets et tâche

L'étude utilise deux jeux de données :

Dataset synthétique : 7 000 images générées à partir de découpes d'objets (jeu de données Big and Small Objects) pour instancier quatre relations spatiales (au-dessus de, en-dessous de, à gauche de, à droite de).
Dataset d'images réelles (GQA) : Sous-ensembles du jeu de données GQA contenant des images réelles annotées avec des relations spatiales (7 types) et des relations agentiques (5 types : porter, tenir, chevaucher, s'asseoir sur, porter sur soi).

La tâche d'évaluation est un prompt d'ICL à 4 exemples (4-shot) où le modèle doit identifier un objet qui satisfait une relation spécifique avec un objet de requête.

2. Analyse de médiation causale pour l'extraction de vecteurs

Pour identifier les composants internes responsables du raisonnement relationnel, les auteurs emploient une analyse de médiation causale :

Moyennage des activations : Ils calculent l'activation moyenne des têtes d'attention à travers un ensemble de démonstrations en contexte cohérentes pour une relation spécifique.
Effet indirect causal (CIE) : Ils construisent des prompts perturbés avec des contextes non informatifs (couplages d'objets aléatoires) et mesurent le changement de probabilité de prédiction lorsque l'activation d'une tête d'attention spécifique est remplacée par la moyenne d'activation spécifique à la relation.
Définition du vecteur de fonction : Les têtes d'attention ayant les scores d'Effet Indirect Moyen (AIE) les plus élevés sont identifiées comme le sous-réseau causal. Le vecteur de fonction ( $v_t$ ) pour une relation $t$ est défini comme la somme des activations moyennes des 10 têtes d'attention les plus influentes.

3. Intervention et Fine-Tuning

Intervention Zero-Shot : Les vecteurs de fonctions extraits sont injectés dans les états cachés de prompts zero-shot (ne contenant aucune démonstration) pour tester s'ils peuvent éliciter causalement des prédictions relationnelles correctes.
Fine-Tuning : Les vecteurs sont ensuite optimisés à l'aide d'un petit ensemble d'exemples d'entraînement zero-shot (1 000 images synthétiques ou environ 2 100 images GQA) tout en maintenant les paramètres du LMM gelés. Cette composante d'« apprentissage rapide » met à jour uniquement le vecteur de fonction pour maximiser la vraisemblance des réponses correctes.

4. Vecteurs de fonctions composites pour l'analogie

Inspirés par l'hypothèse de la représentation linéaire, les auteurs testent si des relations non entraînées (par exemple, « en haut à gauche ») peuvent être résolues par la combinaison linéaire de vecteurs de relations de base entraînées (par exemple, « au-dessus » + « à gauche »). Ils calculent des poids basés sur un seul exemple d'analogie source pour former un vecteur composite ( $v_{composite}$ ), qui est ensuite utilisé pour guider l'inférence sur une analogie cible.

Résultats clés

1. Identification des sous-réseaux causaux

L'analyse de médiation causale a révélé qu'un sous-ensemble restreint et épars de têtes d'attention (concentré dans les couches intermédiaires) exerce une influence causale forte sur les prédictions relationnelles. L'injection des vecteurs de fonctions extraits dans ces couches spécifiques a considérablement amélioré la précision zero-shot par rapport à la ligne de base.

2. Gains de performance via le Fine-Tuning

Le fine-tuning des vecteurs de fonctions sur des données zero-shot a produit des améliorations substantielles par rapport aux lignes de base standards :

Dataset synthétique : Les vecteurs fine-tunés (FFV) ont nettement surpassé à la fois la ligne de base zero-shot et la ligne de base ICL 4-shot pour OpenFlamingo et Qwen3-VL. Pour Qwen3-VL, les FFV ont atteint 72,2 % de précision contre 21,3 % pour la ligne de base ICL.
Dataset GQA : Les FFV ont plus que doublé la précision de la ligne de base zero-shot et ont surpassé l'ICL 4-shot pour les relations spatiales et agentiques.
Généralisation : L'approche s'est généralisée à de nouveaux objets (non vus lors de l'entraînement) et à de nouvelles relations (par exemple, « en haut à gauche ») en utilisant des vecteurs composites.

3. Analogie et compositionnalité

L'étude a démontré que les vecteurs de fonctions spécifiques aux relations peuvent être combinés linéairement pour résoudre des problèmes d'analogie à un seul exemple (one-shot) impliquant des relations spatiales non entraînées.

Sur le modèle OpenFlamingo, les vecteurs de fonctions composites (CFV) ont doublé la précision de l'ICL 4-shot (passant de 8,1 % à 16,8 %).
Sur Qwen3-VL, les CFV ont amélioré la précision de 28,7 % (ICL 4-shot) à 45,1 %, surpassant toutes les lignes de base ICL.

4. Études d'ablation

Couche d'injection : La performance a culminé lorsque les vecteurs étaient injectés dans les couches intermédiaires (par exemple, la couche 19), suggérant que ces couches sont optimales pour déclencher les calculs relationnels.
Taille de l'ensemble de têtes : Un petit sous-ensemble de têtes (6 à 12) a donné des performances optimales ; l'ajout de plus de têtes introduisait du bruit.
Taille du contexte : La performance est restée stable entre les contextes 2-shot et 4-shot, les contextes 8-shot réduisant parfois légèrement la précision, ce qui suggère qu'un contexte modéré est suffisant pour extraire des activations robustes.

Signification et affirmations

Le document affirme faire progresser la compréhension de la modularité et du contrôle des modèles dans les LMM en démontrant que :

Encodage localisé : La connaissance relationnelle visuelle est encodée au sein de structures internes localisées (têtes d'attention spécifiques) plutôt que de manière diffuse ou purement émergente.
Extractibilité et manipulabilité : Ces représentations peuvent être systématiquement extraites via l'analyse de médiation causale et manipulées (injectées ou fine-tunées) pour altérer le comportement du modèle sans réentraîner l'ensemble du modèle.
Généralisation : L'approche soutient la généralisation compositionnelle, permettant aux modèles de résoudre de nouveaux problèmes relationnels (analogie) en combinant linéairement les vecteurs appris, suggérant un « langage de la vision » structuré au sein de l'espace interne du modèle.
Efficacité : Le fine-tuning uniquement des vecteurs de fonctions (un petit sous-ensemble de paramètres) est plus efficace que l'apprentissage en contexte standard, offrant une voie pour l'adaptation efficace des LMM pour le raisonnement relationnel.

Les auteurs concluent que ce cadre fournit une preuve de concept pour interpréter et améliorer le raisonnement relationnel dans les systèmes multimodaux, tout en reconnaissant les limites concernant le champ étroit des relations testées et la dépendance actuelle aux démonstrations contextuelles pour inférer les mélanges de vecteurs.