💻 computer science

LaViT: Aligning Latent Visual Thoughts for Multi-modal Reasoning

Le document introduit LaViT, un cadre qui comble l'écart de perception dans la distillation multimodale en alignant les pensées visuelles latentes et les trajectoires d'attention plutôt que des plongements statiques, permettant ainsi aux modèles compacts d'atteindre une performance de raisonnement visuel supérieure qui rivalise avec des systèmes propriétaires plus vastes.

Auteurs originaux : Linquan Wu, Tianxiang Jiang, Yifei Dong, Haoyu Yang, Fengji Zhang, Shichaang Meng, Ai Xuan, Linqi Song, Jacky Keung

Publié 2026-08-12

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Linquan Wu, Tianxiang Jiang, Yifei Dong, Haoyu Yang, Fengji Zhang, Shichaang Meng, Ai Xuan, Linqi Song, Jacky Keung

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot comment résoudre un mystère. Dans le monde de l'intelligence artificielle, il existe un type spécial de robot appelé Modèle de Langage Large Multimodal (MLLM). Voyez-les comme des détectives super intelligents capables de lire des indices (texte) et d'examiner des photos de scènes de crime (images) en même temps. Pendant longtemps, ces robots étaient doués pour décrire ce qu'ils voyaient, mais lorsqu'il s'agissait de raisonner — de comprendre pourquoi quelque chose s'est produit ou de résoudre une énigme complexe — ils restaient souvent bloqués. Ils regardaient l'image, puis arrêtaient de regarder, et se contentaient de deviner la réponse en fonction de ce qu'ils avaient appris dans les livres. C'est comme un détective qui voit une empreinte de pas boueuse, mais qui ignore ensuite l'indice pour deviner le coupable en se basant sur une intuition.

Récemment, des scientifiques ont découvert un nouveau tour de passe-passe appelé « raisonnement latent ». Au lieu d'écrire chaque étape de leur réflexion en mots (comme un long journal intime), ces robots ont commencé à compresser leurs pensées en « murmures » invisibles et continus à l'intérieur de leur cerveau. C'est plus rapide et plus efficace. Mais il y a un piège : lorsque des scientifiques ont essayé d'apprendre à des robots plus petits et moins coûteux à apprendre des plus grands et plus intelligents (un processus appelé « distillation »), quelque chose d'étrange s'est produit. Les petits robots apprenaient à dire les bons mots, mais ils ne regardaient pas réellement les bonnes parties de l'image. Ils imitaient simplement la voix de l'enseignant sans comprendre les indices visuels. C'est comme un élève qui réussit un examen en mémorisant le corrigé, mais qui échoue à comprendre la leçon.

Le bug du « Voir sans regarder »

Les chercheurs derrière LaViT ont remarqué un phénomène étrange qu'ils appellent le Perception Gap (l'écart de perception). Imaginez que vous avez un chef étoilé (le modèle « Enseignant ») et un jeune apprenti (le modèle « Élève »). L'apprenti regarde le chef cuisiner un plat complexe. Si vous demandez simplement à l'apprenti de noter la recette, il pourrait écrire les mots parfaitement : « Ajoutez deux tasses de farine, fouettez pendant trois minutes. » Mais si vous lui demandez de le faire réellement, il pourrait verser la farine par terre parce qu'il n'a jamais vraiment regardé les mains du chef ; il a simplement mémorisé le texte.

Dans le monde de l'IA, les chercheurs ont découvert que lorsqu'ils entraînaient de petits modèles à copier les réponses de grands modèles, ces petits modèles devenaient excellents dans le « mimétisme textuel ». Ils pouvaient produire la bonne réponse, comme « Le point A est plus proche », mais leur « œil » interne (l'attention visuelle) regardait des parties totalement différentes et non pertinentes de l'image. Ils s'appuyaient sur des astuces linguistiques — deviner en fonction de phrases courantes — plutôt que d'observer réellement les preuves visuelles. C'est comme un étudiant qui réussit un test en mémorisant le corrigé, mais qui ne comprend pas la leçon.

La solution : LaViT (Latent Visual Thoughts)

Pour corriger cela, l'équipe a créé LaViT, un nouveau cadre d'entraînement qui force le robot élève à « penser » visuellement avant de parler. Au lieu de simplement copier la réponse finale, LaViT oblige l'élève à générer d'abord une série de « jetons de pensée » (thought tokens) invisibles. Considérez ces jetons comme un croquis mental ou un monologue interne silencieux où le robot se dit : « D'accord, je dois regarder les ombres ici, et l'angle là, avant de décider quel point est le plus proche. »

La magie de LaViT réside dans deux astuces principales :

Aligner l'« Œil Intérieur » : Le système ne vérifie pas seulement si la réponse finale de l'élève correspond à celle de l'enseignant. Il vérifie son « regard ». Il force l'élève à reconstruire la carte d'attention visuelle de l'enseignant — le chemin spécifique que les yeux de l'enseignant ont parcouru sur l'image. Si l'enseignant a regardé l'ombre pour déterminer la profondeur, l'élève doit regarder l'ombre aussi, même s'il n'a pas encore prononcé un mot.
Le Curriculum de « Gating Sensoriel » : C'est la partie la plus ludique. Imaginez que vous appreniez à quelqu'un à faire du vélo. Si vous le laissez voir la route immédiatement, il risque de se laisser porter et de ne jamais apprendre l'équilibre. Si vous lui mettez un bandeau sur les yeux, il va s'écraser. LaViT utilise un mécanisme de « Curriculum Sensory Gating » (filtrage sensoriel progressif). Au début de l'entraînement, il bloque partiellement la vue directe de l'image pour l'élève. Cela le force à compter entièrement sur ces « jetons de pensée » invisibles pour comprendre les choses. À mesure que l'élève s'améliore, le « bandeau » est progressivement levé, lui permettant de voir l'image à nouveau, mais il a désormais appris à traiter les indices visuels en interne. Cela empêche le robot de prendre la « facilité » en se contentant de deviner grâce au texte.

Ce qu'ils ont découvert

Les résultats ont été étonnamment puissants. Les chercheurs ont testé leur nouveau modèle de 3 milliards de paramètres (qui est relativement petit et compact) contre des modèles beaucoup plus grands et même contre certains des modèles propriétaires les plus avancés disponibles.

Le « Petit Géant » : Leur minuscule modèle de 3B, entraîné avec LaViT, a surpassé des modèles de 7B plus grands et a même battu le célèbre GPT-4o sur plusieurs tâches de raisonnement visuel complexes. Par exemple, sur une tâche appelée « Profondeur Relative » (déterminer quel objet est le plus proche), LaViT a obtenu un score de 78,23 %, tandis que GPT-4o a obtenu 64,52 %.
Corriger les hallucinations : L'étude a montré que sans cette méthode, les modèles font souvent des « hallucinations » (inventent des choses) lorsqu'ils ne regardent pas assez attentivement. LaViT a considérablement réduit ce phénomène, améliorant les performances sur les tests de perception fine jusqu'à +16,94 %.
Stabilité : Les chercheurs ont également constaté que LaViT ne se contentait pas de copier l'enseignant ; il est devenu plus stable. Alors que le modèle enseignant géant avait parfois un regard « vacillant » (regardant des endroits légèrement différents pour des images similaires), l'élève LaViT a appris à se concentrer avec une précision chirurgicale, ignorant le bruit de fond pour se focaliser sur les détails critiques.

Pourquoi c'est important

Cette publication suggère que le secret pour rendre l'IA plus intelligente n'est pas seulement de rendre les modèles plus grands ou de les nourrir avec plus de données. Il s'agit de leur apprendre comment regarder. En forçant l'IA à aligner ses « pensées visuelles » internes avec ses mots finaux, LaViT crée un modèle qui comprend véritablement ce qu'il voit, plutôt que de simplement deviner ce qu'il devrait dire. C'est la différence entre un robot qui mémorise une carte et un robot qui apprend réellement à naviguer sur le terrain. Les auteurs proposent que cette approche pourrait être un moyen plus efficace de construire une IA puissante, prouvant qu'un cerveau plus petit, mais bien entraîné, peut souvent surpasser un cerveau plus grand, mais distrait.

Résumé technique : LaViT – Aligner les pensées visuelles latentes pour le raisonnement multimodal

1. Énoncé du problème : Le fossé de la perception (Perception Gap)

Les modèles de langage de grande taille multimodaux (MLLM) actuels ont progressé dans leurs capacités de raisonnement, utilisant souvent des chaînes de pensée (CoT) explicites ou des paradigmes de raisonnement latents. Cependant, les méthodes existantes pour distiller les capacités de raisonnement visuel de grands modèles enseignants vers des modèles étudiants compacts souffrent d'une limitation critique identifiée par les auteurs comme étant le Fossé de la Perception (Perception Gap).

Une analyse empirique révèle que les méthodes de distillation standard, qui s'alignent principalement sur les sorties textuelles finales ou les états cachés statiques, ne parviennent pas à transférer la dynamique d'attention visuelle intrinsèque de l'enseignant. Les auteurs observent que :

Mimétisme textuel sans ancrage visuel : Les modèles étudiants peuvent reproduire avec succès les réponses textuelles d'un enseignant (apprendre quoi dire) tout en portant attention à des régions visuelles fondamentalement différentes, et souvent non pertinentes (échouer à apprendre où regarder).
Dépendance aux priors linguistiques : Lorsque l'attention visuelle est mal alignée, les modèles s'appuient sur les priors du langage pour « deviner aveuglément » les réponses, ce qui conduit à des hallucinations ou à des réponses peu fiables sur des tâches visuelles complexes.
Inefficacité de l'alignement statique : L'alignement des plongements (embeddings) visuels statiques ou des distributions finales est insuffisant car il ignore la trajectoire dynamique de l'attention visuelle requise pour un raisonnement fin.

Le problème central est que les cadres de distillation existants ne contraignent pas l'étudiant à reconstruire les « pensées visuelles » internes de l'enseignant (sémantique et trajectoire du regard) avant de générer une réponse.

2. Méthodologie : Le cadre LaViT

Pour combler le fossé de la perception, les auteurs proposent LaViT (Latent Visual Thoughts), un cadre de distillation conçu pour aligner les pensées visuelles latentes plutôt que les plongements statiques. La méthodologie se compose de trois composantes principales :

A. Construction des données : LaViT-SFT-15K

Les auteurs ont construit un ensemble de données de haute qualité de 14 567 échantillons (LaViT-SFT-15K) dérivés du jeu de données Visual-CoT. Les données subissent un pipeline de filtrage rigoureux en trois étapes :

Exactitude : Les échantillons sont vérifiés pour garantir que le raisonnement de l'enseignant mène à la réponse correcte.
Difficulté : Les échantillons solubles par des modèles uniquement textuels sont supprimés pour garantir qu'un véritable raisonnement multimodal est requis.
Alignement : Les échantillons où la masse d'attention agrégée de l'enseignant tombe à moins de 20 % dans la boîte englobante (bounding box) de la vérité terrain sont rejetés afin d'exclure les hallucinations non ancrées visuellement.

Le jeu de données inclut deux signaux de type "boîte blanche" extraits de l'enseignant (Qwen2.5-VL-32B) :

Regard visuel dynamique ( $A_{traj}$ ) : La trajectoire d'attention agrégée à travers les couches et les têtes, représentant où le modèle regarde.
Sémantique visuelle ( $V_{sem}$ ) : Pensées visuelles contextualisées dérivées de la dernière couche de transformer de l'enseignant, représentant ce que le modèle comprend du contenu visuel en réponse à la requête.

B. Distillation de trajectoire en boîte blanche

LaViT introduit un mécanisme de Forçage de l'Enseignant Latent (Latent Teacher Forcing). Au lieu de mapper directement les entrées vers le texte, le modèle étudiant est entraîné pour générer de manière autorégressive une séquence de $K$ jetons latents continus ( $V$ ) avant de génire la réponse textuelle. Ces jetons latents agissent comme des « Conteneurs d'Information Visuelle » qui doivent compresser la sémantique visuelle de haute dimension et les motifs de regard de l'enseignant.

L'optimisation implique un schéma de distillation à double flux :

Reconstruction Sémantique ( $L_{concept}$ ) : Aligne les états cachés latents de l'étudiant avec les concepts visuels holistiques de l'enseignant ( $V_{sem}$ ) en utilisant la similitude cosinus.
Alignement de Trajectoire ( $L_{traj}$ ) : Utilise la divergence de Kullback-Leibler (KL) pour aligner la carte d'attention de l'étudiant avec la trajectoire d'attention de l'enseignant ( $A_{traj}$ ). Crucialement, cette supervision est appliquée uniquement au dernier jeton latent, forçant les jetons précédents à agir comme un goulot d'étranglement de compression.

C. Portage Sensoriel par Curriculum (Curriculum Sensory Gating)

Pour éviter l'apprentissage par raccourci (shortcut learning) où le modèle contourne le goulot d'étranglement latent en portant attention directement aux patchs d'image, les auteurs introduisent le Portage Sensoriel par Curriculum. Ce mécanisme module le chemin de perception visuelle directe via un scalaire dépendant du temps $\gamma(t)$ :

Phase 1 (Échauffement sensoriel) : Le chemin visuel direct est fortement restreint (biais d'attention proche de zéro), créant un goulot d'étranglement latent strict. Le modèle est mathématiquement contraint de compresser les informations visuelles nécessaires dans les jetons latents $V$ .
Phase 2 (Entièrement observable) : La porte s'ouvre progressivement, permettant au modèle de porter attention aux détails de pixels fins en tant que connexion résiduelle, correspondant à la topologie d'inférence et évitant les décalages de distribution entre entraînement et inférence.

3. Contributions clés

Identification du fossé de la perception : Le papier fournit une preuve empirique que l'alignement textuel dans la distillation ne garantit pas la compréhension visuelle, mettant en évidence une divergence dans les trajectoires d'attention entre l'enseignant et l'étudiant.
Alignement des pensées visuelles latentes : LaViT propose un nouveau cadre qui aligne des jetons latents continus représentant la sémantique visuelle et les trajectoires d'attention, plutôt que des plongements statiques.
Portage Sensoriel par Curriculum : Une nouvelle stratégie d'entraînement qui impose un goulot d'étranglement latent tôt dans l'entraînement pour empêcher l'apprentissage par raccourci, garantissant que le modèle repose sur un raisonnement visuel internalisé.
Efficacité et Qualité des Données : La construction de LaViT-SFT-15K, un jeu de données rigoureusement filtré qui garantit un ancrage visuel de haute fidélité, démontrant que le raisonnement latent passe à l'échelle efficacement avec la diversité des données.

4. Résultats Expérimentaux

Des expériences approfondies ont été menées sur divers benchmarks, incluant la perception fine (MMVP, V*), le raisonnement complexe (BLINK) et la robustesse (MMStar).

Gains de Performance : Le modèle LaViT-3B atteint des améliorations significatives par rapport à la ligne de base Qwen2.5-VL-3B, avec des gains de +5,0 % sur MMVP et +16,9 % sur la profondeur relative (BLINK).
Compétitivité Cross-Scale : Malgré son statut de modèle compact de 3B, LaViT surpasse les variantes open-source plus grandes (ex: Qwen2.5-VL-7B) sur cinq des sept benchmarks et rivalise ou surpasse des modèles propriétaires comme GPT-4o sur des tâches spécifiques (ex: Profondeur Relative : 78,23 % contre 64,52 %).
Dynamique d'Attention : L'analyse montre que LaViT réduit considérablement l'entropie de l'attention, faisant passer le modèle d'un mode d'observation « diffus » à un mode de raisonnement « focalisé ». Il atteint également une plus grande stabilité (coefficient de variation plus faible) que le modèle enseignant en filtrant le bruit d'attention de faible confiance via une sparsification Top-N.
Études d'Ablation : Supprimer n'importe quelle composante centrale (Alignement de Trajectoire, Reconstruction Sémantique ou Portage Sensoriel) entraîne une dégradation significative des performances, confirmant la nécessité du cadre complet.

5. Signification et Revendications

Le papier affirme que l'optimisation de la pensée latente est une stratégie plus efficace en termes de paramètres que la simple augmentation de la taille du modèle. En alignant explicitement les « pensées visuelles » (sémantique et regard) d'un étudiant avec celles d'un enseignant, LaViT permet à des modèles compacts d'atteindre des capacités de raisonnement comparables à des modèles beaucoup plus grands et à des systèmes propriétaires.

Les auteurs soulignent que leur approche traite le problème fondamental du « devinage aveugle » dans le raisonnement multimodal. En forçant le modèle à reconstruire les preuves visuelles avant de générer du texte, LaViT garantit que les gains de performance proviennent d'une véritable compréhension visuelle plutôt que des priors du langage. Ce travail suggère que les avancées futures des MLLM devraient se concentrer sur l'alignement des états cognitifs internes et des dynamiques d'attention plutôt que sur la simple correspondance des distributions de sortie.