💬 NLP

Visual Instruction Tuning Aligns Modalities through Abstraction

Cet article révèle que l'ajustement d'instructions visuelles aligne les modalités en intégrant les caractéristiques visuelles directement dans les couches sémantiques intermédiaires des grands modèles de langage, détournant ainsi efficacement le moteur d'abstraction interne du modèle pour jeter un pont entre la vision et le langage tout en contournant les premières étapes de traitement unimodales.

Auteurs originaux : Luis Palacios, Lorenzo Basile, Diego Doimo, Alberto Cazzaniga

Publié 2026-06-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Luis Palacios, Lorenzo Basile, Diego Doimo, Alberto Cazzaniga

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un Grand Modèle de Langage (LLM) comme un traducteur hautement qualifié qui a passé toute sa vie à lire des livres mais n'a jamais vu d'image. Il est expert pour comprendre les mots, mais si vous lui montrez la photo d'un panda et lui demandez : « Qu'est-ce que c'est ? », il est totalement perdu.

Pour corriger cela, les scientifiques utilisent un processus appelé Ajustement d'Instruction Visuelle (Visual Instruction Tuning). Voyez cela comme un camp d'entraînement en deux étapes :

Le Connecteur : D'abord, ils construisent un pont (un « connecteur ») qui traduit les pixels bruts de la photo en un langage que le traducteur peut comprendre.
L'Ajustement : Ensuite, ils réentraînent le traducteur pour qu'il puisse réellement utiliser cette nouvelle information visuelle pour répondre à des questions.

Cette publication pose une question simple mais profonde : Où exactement, à l'intérieur du cerveau du traducteur, cette magie visuelle opère-t-elle ?

L'analogie des « Couches du Cerveau »

Considérez le cerveau du traducteur (le modèle d'IA) comme un immeuble de bureaux à plusieurs étages avec trois zones distinctes :

Le Hall (Couches précoces) : C'est là que les données brutes arrivent. Pour le texte, il s'agit simplement de découper les mots en morceaux. Pour les images, il s'agit juste de regarder les pixels. Le traducteur ne fait que « voir » l'entrée brute ici, il ne comprend pas encore vraiment le sens.
La Salle de Conférence (Couches intermédiaires) : C'est le milieu du bâtiment. Ici, les données brutes sont transformées en concepts. Une image d'un animal poilu au visage rouge devient l'idée abstraite d'un « Panda Roux ». Une phrase parlant d'un panda devient la même idée abstraite.
La Suite Exécutive (Couches tardives) : C'est là que la réponse finale est formulée. Le traducteur décide : « D'accord, je sais que c'est un Panda Roux, maintenant je vais taper le mot 'Panda Roux'. »

La Grande Découverte

Les auteurs de cet article ont découvert que l'Ajustement d'Instruction Visuelle se produit presque entièrement dans la « Salle de Conférence » (les couches intermédiaires).

Voici ce qu'ils ont découvert, décomposé en métaphores simples :

1. L'effet de « Contournement » (Bypass)
Lorsque le modèle est ajusté pour comprendre les images, il ne prend pas la peine de réentraîner le Hall (couches précoces) ou la Suite Exécutive (couches tardives). Il laisse le Hall tranquille car il se contente de faire son travail de traitement des données brutes. Il laisse la Suite Exécutive tranquille car elle est déjà douée pour rédiger des réponses.
Au lieu de cela, l'entraînement se concentre entièrement sur la Salle de Conférence. Il enseigne au modèle à prendre le concept de « Panda Roux » provenant de l'image et à le fusionner parfaitement avec le concept de « Panda Roux » provenant du texte. Ils deviennent la même chose au milieu du cerveau.

2. La Preuve « Causale » (Le Test de K.O.)
Pour prouver cela, les chercheurs ont joué à un jeu de « et si ».

Ils ont essayé de bloquer l'information de l'image en entrant dans le Hall. Résultat : Le modèle fonctionnait toujours très bien. L'image n'avait pas besoin du hall pour être comprise.
Ils ont essayé de bloquer l'information de l'image en entrant dans la Salle de Conférence. Résultat : Le modèle est devenu complètement aveugle. Il ne pouvait plus répondre aux questions.
Ils ont essayé de bloquer l'information de l'image en entrant dans la Suite Exécutive. Résultat : Le modèle fonctionnait toujours très bien.

Cela a prouvé que la Salle de Conférence est le seul endroit où l'image et le texte se rencontrent et se parlent réellement.

3. Le Hack d'« Efficacité »
La découverte la plus pratique est que vous n'avez pas besoin de réentraîner tout l'immeuble pour rendre le traducteur plus intelligent.

L'ancienne méthode : Réentraîner chaque pièce du bâtiment (le modèle entier). Cela prend beaucoup de temps et beaucoup d'électricité.
La nouvelle méthode : Réentraîner uniquement la Salle de Conférence (les couches intermédiaires).
Le Résultat : Le modèle est aussi performant que celui qui a été entièrement réentraîné, mais il prend 24 % de temps en moins pour l'entraînement. C'est comme réparer le moteur d'une voiture en ne réglant que les pistons, plutôt que de reconstruire toute la voiture.

Pourquoi est-ce important ?

L'article montre que le modèle n'a pas besoin de « réapprendre » comment voir ou comment parler. Il doit juste apprendre comment connecter les deux au milieu.

Pour les tâches centrées sur la vision : Si une tâche nécessite d'examiner attentivement une image (comme compter des objets ou repérer des détails), ajuster uniquement les couches intermédiaires apporte un gain énorme.
Pour les tâches axées sur le texte : Si une tâche concerne principalement la lecture de texte, les couches intermédiaires font toujours le plus gros du travail, mais la différence entre ajuster tout le modèle et ajuster seulement le milieu est plus faible.

Résumé

L'article conclut que l'intégration multimodale est un phénomène localisé. Ce n'est pas une refonte globale du cerveau de l'IA. Au lieu de cela, l'ajustement d'instruction visuelle est comme ajouter une nouvelle aile au milieu d'une bibliothèque où les livres (texte) et les images (photos) sont rangés ensemble. Une fois qu'ils sont rangés au même endroit, le bibliothécaire (l'IA) peut facilement les trouver et les combiner pour répondre à vos questions, sans avoir besoin de reconstruire toute la bibliothèque.

Résumé technique : L'ajustement d'instructions visuelles aligne les modalités par l'abstraction

Énoncé du problème

Bien que les modèles de langage visuels (VLM) aient obtenu un succès empirique en adaptant des grands modèles de langage (LLM) pré-entraînés pour traiter l'information d'image, les mécanismes internes de cette intégration multimodale restent mal compris. Plus précisément, il n'est pas clair comment les caractéristiques visuelles sont intégrées dans la hiérarchie des abstractions par couches au sein du squelette (backbone) du LLM. Contrairement aux LLM purement textuels, où une hiérarchie de représentations abstraites est bien documentée (avec un contenu sémantique concentré dans les couches intermédiaires), la localisation et le rôle causal de l'alignement cross-modal dans les VLM lors de l'ajustement d'instructions visuelles (Étape 2) sont fragmentés. La littérature existante offre des points de vue divergents, suggérant que l'alignement se produit dans les couches précoces, les couches tardives ou un hub intermédiaire partagé, souvent sur la base d'analyses de architectures uniques ou de preuves corrélationnelles.

Méthodologie

Les auteurs emploient une approche multidimensionnelle à travers sept variantes de VLM en poids ouverts (incluant LLaVA-1.5, LLaVA-OneVision, InternVL2, Cambrian et Llama-3.2-Vision) pour étudier le rôle fonctionnel de couches spécifiques.

Interventions Causales :
- Saut de Couche (Layer Skipping) : Les auteurs contournent le calcul des jetons (tokens) d'image à travers des plages de couches spécifiques pour mesurer l'impact sur la performance en aval.
- Élimination de l'Attention (Attention Knockout) : Ils fixent les poids d'attention des jetons d'image vers les jetons de texte à $-\infty$ , bloquant efficacement le flux d'information cross-modal tout en préservant les interactions unimodales.
- Ces interventions sont appliquées progressivement et via des fenêtres glissantes pour identifier le « locus » de la communication cross-modale.
Sondage Sémantique :
- Recouvrement d'Étiquettes (Label Overlap - LO) & Sondes Linéaires : Les auteurs sondent les états cachés du jeton final pour mesurer l'émergence des abstractions sémantiques (ex: précision de classification sur des tâches à choix multiples) à travers les couches.
- Logit Lens : Utilisé pour évaluer quand les réponses linéairement séparables s'alignent avec le vocabulaire de sortie.
Analyse de l'Alignement Géométrique :
- Déséquilibre d'Information ( $\Delta$ ) : Une métrique directionnelle est utilisée pour comparer les représentations cachées de prompts sémantiquement équivalents (image+texte vs légende texte-seule). Cela mesure si les représentations visuelles prédisent les représentations textuelles et vice versa, capturant les asymétries de contenu informationnel.
- Métriques Symétriques : Le CKA linéaire et le Recouvrement de Voisinage (Neighborhood Overlap) sont utilisés comme mesures complémentaires de similitude.
Ajustement Fin Localisé (Localized Fine-Tuning) :
- Pour valider la nécessité fonctionnelle des couches identifiées, les auteurs restreignent le processus d'ajustement d'instructions visuelles de l'Étape 2 uniquement aux couches d'« abstraction » intermédiaires.
- Ils comparent les performances de ces modèles localisés par rapport aux bases de référence entièrement ajustées et aux modèles ajustés sur les couches complémentaires (précoces + tardives).

Contributions Clés et Résultats

1. Les couches intermédiaires sont le locus de l'intégration multimodale

Par le biais d'interventions causales, l'étude démontre que l'intégration cross-modale est principalement localisée dans les couches intermédiaires.

Saut de Couche : Supprimer les caractéristiques d'image des couches précoces (ex: les 6 premières couches) a un impact minimal sur la performance (>90 % de rétention), tandis que supprimer les caractéristiques des couches intermédiaires provoque une chute drastique vers des niveaux aléatoires.
Élimination de l'Attention : Bloquer l'attention image-vers-texte dans les couches précoces laisse souvent la performance inchangée, indiquant que ces couches gèrent le traitement unimodal. L'effondrement des performances se produit lorsque l'attention est bloquée dans la plage intermédiaire, confirmant que c'est là que la communication cross-modale a lieu.
Conclusion : Les couches précoces se concentrent sur le traitement des jetons unimodaux, tandis que les couches intermédiaires servent de noyau sémantique pour l'intégration vision-langage.

2. Émergence de l'Abstraction Sémantique

Les analyses de sondage révèlent que les abstractions sémantiques de haut niveau émergent dans ces mêmes couches intermédiaires.

Recouvrement d'Étiquettes : La capacité de classer les entrées basées sur les plus proches voisins culmine dans les couches intermédiaires (ex: couche 10 pour LLaVA-7B, couche 16 pour OneVision-4B) avant de diminuer dans les couches ultérieures à mesure que les représentations pivotent vers l'alignement du vocabulaire de sortie.
Précision de Sondage : Les sondes de régression logistique atteignent une précision proche de celle du modèle complet dans ces régions intermédiaires, suggérant que la « phase d'abstraction » est le moment où le modèle construit des concepts sémantiques pertinents pour la tâche.

3. L'ajustement d'instructions visuelles aligne les modalités géométriquement

En comparant les modèles pré-entraînés et ajustés à l'aide du déséquilibre d'information, l'ajustement d'instructions renforce significativement l'alignement entre les représentations visuelles et textuelles.

Zone d'Alignement : La plus forte prédictibilité mutuelle entre les représentations visuelles et textuelles se produit dans les couches intermédiaires identifiées par les interventions.
Asymétrie : Même après l'ajustement, les représentations textuelles restent plus informatives que les visuelles (le texte prédit mieux l'image que l'image ne prédit le texte), mais les couches intermédiaires parviennent à jeter un pont entre les deux modalités.

4. L'ajustement fin localisé est suffisant et efficace

Les auteurs démontrent que restreindre l'ajustement fin aux couches d'abstraction intermédiaires identifiées est suffisant pour récupérer la pleine performance du modèle.

Performance : Ajuster uniquement les couches intermédiaires (ex: couches 6 à 16 pour LLaVA-7B) atteint une performance comparable à l'ajustement complet (98,8 % de la base de référence) sur diverses banches (MC VQA, OE VQA, Compositional, Captioning).
Efficacité : Cette stratégie réduit le temps d'entraînement de 14 % (LLaVA) et 24 % (OneVision).
Vision-Centricité : L'avantage de performance de l'ajustement localisé est plus prononcé sur les tâches à haute « Dépendance à l'Image » (ex: MMBench, ChartQA), où le modèle ne peut pas s'appuyer sur les priors textuels. Inversement, sur les tâches riches en texte, l'écart entre l'ajustement localisé et l'ajustement complet se réduit.

Signification et Revendications

L'article affirme que l'intégration multimodale dans les VLM est un phénomène localisé piloté par la réutilisation du moteur d'abstraction interne du LLM.

Aperçu Mécaniste : Ce travail fournit une preuve causale que l'ajustement d'instructions visuelles ne modifie pas uniformément le squelette du LLM, mais cible et renforce spécifiquement les couches sémantiques intermédiaires.
Réconciliation des points de vue : En combinant intervention, sondage et analyse géométrique, l'étude réconcilie les publications antérieures contradictoires, établissant que si le traitement unimodal se produit tôt et la génération tardivement, l'alignement cross-modal critique se produit au milieu.
Implication Pratique : Les conclusions suggèrent que l'ajustement complet des VLM peut être inutile ; l'adaptation ciblée des couches intermédiaires peut obtenir des résultats comparables avec un coût computationnel nettement réduit, particulièrement pour les tâches centrées sur la vision.

Les auteurs font preuve de modestie concernant leurs affirmations, notant que leur analyse est limitée aux architectures en poids ouverts et que leur sélection de couches, bien qu'empiriquement fondée, peut ne pas représenter l'optimum global pour toutes les applications potentielles. Ils proposent des travaux futurs pour examiner si ces mécanismes s'étendent à d'autres modalités (audio, vidéo) et à différentes stratégies d'intégration (entraînement natif de bout en bout).