💻 computer science

Mind the Heads: Topological Representation Alignment for Multimodal LLMs

Cet article propose HeRA, une nouvelle méthode qui améliore les modèles de langage de grande taille multimodaux en imposant un alignement de la représentation topologique au niveau de chaque tête d'attention individuelle, révélant que le ciblage des têtes les moins alignées génère des gains de performance significatifs et réduit les hallucinations visuelles.

Auteurs originaux : Davide Caffagni, Alberto Compagnoni, Federico Melis, Sara Sarto, Pier Luigi Dovesi, Mark Granroth-Wilding, Marcella Cornia, Lorenzo Baraldi

Publié 2026-06-24

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Davide Caffagni, Alberto Compagnoni, Federico Melis, Sara Sarto, Pier Luigi Dovesi, Mark Granroth-Wilding, Marcella Cornia, Lorenzo Baraldi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Apprendre à un robot à « voir » avec ses mots

Imaginez que vous avez un robot brillant qui est un maître du récit, mais un très mauvais observateur. Il peut écrire de magnifiques poèmes et répondre à des questions d'histoire complexes, mais si vous lui montrez l'image d'un chat assis sur un tapis, il pourrait vous affirmer avec assurance que le chat est en train de voler parce qu'il a lu tant d'histoires sur des chats volants. C'est un problème courant avec les Modèles de Langage Multimodaux (MLLM) : ils se reposent trop sur ce qu'ils pensent savoir (le langage) et pas assez sur ce qu'ils voient réellement (la vision).

Pour corriger cela, les chercheurs essaient généralement d'« enseigner » au cerveau du robot à correspondre à la façon dont un « professeur de vision » dédié (un cerveau de caméra spécialisé) voit le monde. Cependant, l'ancienne méthode consistait à essayer d'accorder un orchestre entier en forçant chaque instrument à jouer exactement la même note au même moment. C'est trop rigide et cela casse souvent la musique (la capacité du robot à parler et à raisonner).

La nouvelle solution : HeRA (Alignement de la représentation par tête)

Les auteurs de cet article proposent une approche plus intelligente et plus chirurgicale appelée HeRA. Au lieu de régler tout le cerveau, ils règlent des « musiciens » spécifiques à l'intérieur du cerveau du robot.

1. Le cerveau est une chorale de chanteurs spécialisés

À l'intérieur du cerveau de langage du robot (l'LLM), il n'y a pas qu'un seul gros processeur. Il y a de nombreuses couches, et à l'intérieur de chaque couche, il y a des dizaines de « têtes d'attention ». Considérez ces têtes comme des chanteurs individuels dans une chorale.

Certains chanteurs sont excellents en grammaire.
Certains sont doués pour se souvenir des faits.
Certains sont bons pour les descriptions visuelles.
Certains sont juste... mauvais pour décrire ce qu'ils voient.

2. L'idée « Platonicienne » : Garder le voisinage

L'article est basé sur une théorie appelée l'Hypothèse de la Représentation Platonicienne. Imaginez que le cerveau du robot est la carte d'une ville.

Dans une bonne carte, les lieux qui sont similaires (comme deux types de chiens différents) devraient être situés proches les uns des autres.
Dans une mauvaise carte, un chien pourrait se retrouver à côté d'un grille-pain simplement parce que le robot s'est trompé.

Le but est de s'assurer que la « carte visuelle » du robot corresponde à la « carte linguistique » afin que les choses similaires restent voisines. Les chercheurs utilisent une métrique appelée MKNN (K-plus proches voisins mutuels) pour vérifier si les voisins restent aux bons endroits.

3. Le tournant surprenant : Réparer les pires chanteurs

Voici la magie contre-intuitive de HeRA.

Ancienne méthode : Essayer d'aligner les « meilleurs » chanteurs (ceux qui sont déjà bons en vision) avec le professeur.
Méthode HeRA : Les chercheurs ont découvert que les pires chanteurs (les têtes d'attention ayant les scores d'alignement les plus bas) sont en réalité ceux qui ont le plus besoin d'aide.

L'analogie : Imaginez une équipe de coureurs. Si vous entraînez le coureur le plus rapide, il sera peut-être un peu plus rapide, mais le temps global de l'équipe ne changera pas beaucoup. Mais si vous prenez le coureur le plus lent et que vous lui donnez un entraîneur personnel pour l'aider à rattraper son retard, c'est toute l'équipe qui s'améliore considérablement.

HeRA identifie les 5 « chanteurs les plus lents » (les têtes d'attention les moins alignées) dans le cerveau du robot et leur donne une séance d'entraînement spéciale pour correspondre au « professeur de vision ». Elle laisse les autres têtes tranquilles pour qu'elles n'oublient pas comment parler ou raisonner.

Comment cela fonctionne (L'entraînement)

Le Professeur : Un encodeur de vision figé et super intelligent (comme un cerveau de caméra DINOv2) regarde une image et dit : « C'est un chien à côté d'une balle. »
L'Étudiant : Le robot regarde la même image et le même texte.
La Correction : Le système vérifie quels « chanteurs » (têtes d'attention) spécifiques dans le robot se trompent de voisinage. Il utilise ensuite une « perte contrastive » spéciale (une pénalité mathématique) pour pousser doucement ces chanteurs spécifiques à réorganiser leur carte interne afin que « chien » et « balle » restent proches, tout comme sur la carte du professeur.

Les résultats : Une meilleure vision, sans perte d'intelligence

L'article a testé HeRA sur de nombreux modèles de robots (allant de petits modèles à 3 milliards de paramètres à de massifs modèles à 14 milliards) et sur 18 tests différents.

Tâches de vision : Les robots sont devenus bien meilleurs dans les tâches visuelles difficiles, comme compter des objets, comprendre les relations spatiales (est-ce que la tasse est sur la table ou sous la table ?) ou repérer des détails spécifiques.
Pas de « lésions cérébrales » : Crucialement, parce qu'ils n'ont ajusté que les têtes spécifiques « déficitaires en vision », les robots n'ont pas perdu leur capacité à parler, à raisonner ou à répondre à des questions de culture générale. En fait, ils sont souvent devenus meilleurs sur ces points aussi.
Moins d'hallucinations : Les robots ont arrêté d'inventer des choses qui n'étaient pas là. Parce qu'ils sont forcés de respecter le « voisinage visuel », ils ne peuvent pas simplement deviner en se basant sur ce qu'ils ont lu dans les livres.

Résumé

L'article présente HeRA, une méthode qui corrige l'IA multimodale en entraîant de manière chirurgicale uniquement les parties du cerveau qui sont mauvaises pour voir. Au lieu de forcer tout le cerveau à changer, elle identifie les têtes d'attention « en difficulté » et les aide à s'aligner avec un professeur de vision. Cela permet aux robots de voir le monde plus précisément, de faire moins d'erreurs et de ne pas perdre leur capacité à parler et à réfléchir.

Résumé technique : Alignement de la représentation par tête (HeRA) pour les MLLM multimodaux

Énoncé du problème

Les modèles de langage de grande taille multimodaux (MLLM) ont démontré des capacités significatives dans les tâches de vision-langage, pourtant ils continuent de lutter contre des défis fondamentaux de raisonnement visuel, tels que le comptage d'objets, la compréhension des relations spatiales et l'analyse visuelle dense. Les améliorations actuelles des MLLM sont largement pilotées par le passage à l'échelle des données et de la taille des modèles plutôt que par des interventions fondées sur des principes dans leurs mécanismes internes.

Une limitation primaire des méthodes d'alignement de représentation existantes — qui régularisent les représentations internes d'un MLLM pour qu'elles correspondent à celles d'un encodeur de vision externe — est leur dépendance à l'alignement d'une couche fixe du squelette linguistique (par exemple, la couche intermédiaire). Cette approche néglige la structure interne fine des modèles Transformer. De plus, l'appariement rigide de caractéristiques dans les MLLM, qui possèdent de forts a priori linguistiques pré-entraînés, peut entrer en conflit avec l'objectif de modélisation du langage, menant potentiellement à des performances sous-optimales ou à une interférence catastrophique.

Méthodologie : Alignement de la représentation par tête (HeRA)

Les auteurs proposent HeRA, une méthode qui impose un alignement cross-modal au niveau des têtes d'attention individuelles plutôt qu'au niveau de couches globales et fixes. L'approche est fondée sur l'Hypothèse de la Représentation Platonicienne (PRH), qui postule que les représentations à travers différentes modalités partagent des structures de voisinage local (topologie) cohérentes, même si leurs géométries globales diffèrent.

Composants clés

Alignement topologique via MKNN :
La méthode utilise la métrique du K-plus proche voisin mutuel (MKNN) pour mesurer l'accord entre les structures de voisinage local des représentations textuelles et visuelles. Les scores MKNN élevés indiquent que des entrées sémantiquement similaires partagent des voisins similaires dans les espaces latents du langage et de la vision.
Proxy contrastif différentiable :
Puisque la métrique MKNN est non différentiable (reposant sur des indices de voisins discrets), HeRA introduit un objectif contrastif comme un proxy différentiable. Pour une entrée multimodale donnée, le modèle est entraîné pour rapprocher sa représentation de celle des $k$ -plus proches voisins (calculés dans l'espace d'un encodeur de vision enseignant gelé) tout en l'éloignant des autres échantillons du lot. Ceci est implémenté à l'aide d'une variante multi-cibles de la perte InfoNCE.
Granularité au niveau de la tête :
Au lieu d'aligner l'intégralité de la sortie agrégée d'une couche, HeRA isole la contribution projetée de chaque tête d'attention individuelle. Pour une couche d'attention multi-têtes, la sortie est décomposée en contributions de chaque tête ( $h$ ) dans la couche ( $l$ ). La perte contrastive est appliquée indépendamment à ces représentations spécifiques au niveau de la tête.
Sélection stratégique des têtes :
Un choix de conception critique consiste à déterminer quelles têtes aligner. Les auteurs calculent les scores MKNN pour toutes les têtes en utilisant le modèle de langage avant l'entraînement multimodal (représentations purement textuelles). Contrairement à l'intuition selon laquelle on devrait aligner les « meilleures » têtes, les expériences révèlent que cibler les têtes les moins alignées (les « Worst-5 ») produit les gains de performance les plus importants. Cette stratégie renforce les composants mal alignés sans perturber les structures déjà bien alignées ou la tâche centrale de modélisation du langage.

Contributions clés

Alignement fin : Dépasser l'alignement par couche fixe pour opérer au niveau de la tête d'attention individuelle, permettant des interventions plus atomiques dans le modèle.
Focus topologique : Passer de l'appariement strict de caractéristiques à la préservation des structures de voisinage local (topologie) à travers les modalités, en accord avec la PRH.
Stratégie de sélection contre-intuitive : Identifier que l'alignement des têtes d'attention les moins alignées offre une régularisation et des améliorations de performance supérieures par rapport à l'alignement des têtes déjà bien alignées ou de sous-ensembles aléatoires.
Régularisation contre les hallucinations : Démontrer que l'alignement topologique freine naturellement la dépendance excessive du modèle aux a priori linguistiques, réduisant ainsi les hallucinations visuelles.

Résultats expérimentaux

Les auteurs ont évalué HeRA à travers plusieurs MLLM (incluant les familles Vicuna, LLaMA3, Qwen2.5 et Qwen3 allant de 3B à 14B de paramètres) et 18 benchmarks.

Tâches centrées sur la vision : HeRA améliore systématiquement les performances sur les benchmarks exigeants centrés sur la vision (ex. : RWQA, MMVP, Blink, CVBench). Par exemple, Qwen3-8B a obtenu une amélioration moyenne de +3,6 sur les tâches de vision, et Qen2.5-14B a vu un gain de +3,4.
Capacités générales : Contrairement aux méthodes précédentes qui dégradent parfois les performances linguistiques générales, HeRA préserve ou améliore les scores sur les tâches de Connaissance Générale, d'OCR et de Connaissance, indiquant une atténuation réussie de l'interférence catastrophique.
Réduction des hallucinations : Les modèles entraînés avec HeRA montrent des taux d'hallucination réduits (mesurés par les benchmarks CHAIR et AMBER) tout en maintenant ou en améliorant les scores cognitifs, suggérant une intégration plus fidèle des preuves visuelles.
Résultats d'ablation :
- Aligner les têtes « Worst-5 » surpasse l'alignement des têtes « Top-5 » ou des têtes aléatoires.
- Aligner trop de têtes (ex. : 10) entraîne une régression des performances, confirmant la nécessité d'un alignement sélectif.
- Les objectifs d'apprentissage contrastif surpassent l'appariement direct de caractéristiques (similitude cosinus) à la même granularité.
- L'utilisation d'encodeurs de vision basés sur DINO comme enseignants produit de meilleurs résultats que l'utilisation du même encodeur utilisé pour l'entrée visuelle primaire (SigLIP2).

Signification

L'article affirme que HeRA offre une approche fondée sur des principes pour améliorer les MLLM en intervenant directement dans l'interaction entre la vision et le langage. En ciblant des têtes d'attention spécifiques et en imposant une cohérence topologique plutôt qu'un appariement rigide de caractéristiques, HeRA traite le déficit de perception visuelle des MLLM sans compromettre leurs a priori linguistiques. Ce travail suggère que les composants « les moins alignés » d'un modèle multimodal sont les cibles les plus critiques pour l'amélioration, offrant une nouvelle direction pour les stratégies de régularisation dans l'apprentissage multimodal. Le code est publié pour faciliter la recherche ultérieure.