💻 computer science

Vision-aligned Latent Reasoning for Multi-modal Large Language Model

L'article présente le Raisonnement Latent Aligné sur la Vision (VaLR), un cadre qui améliore les capacités de raisonnement à long contexte des Modèles de Langage de Grande Taille Multimodaux en générant dynamiquement des tokens latents alignés sur la vision pour préserver l'information visuelle, permettant ainsi d'obtenir des gains de performance significatifs et une mise à l'échelle au moment du test sur des benchmarks tels que VSI-Bench.

Auteurs originaux : Byungwoo Jeon, Yoonwoo Jeong, Hyunseok Lee, Minsu Cho, Jinwoo Shin

Publié 2026-05-13

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Byungwoo Jeon, Yoonwoo Jeong, Hyunseok Lee, Minsu Cho, Jinwoo Shin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : La « Mémoire qui s'efface » de l'IA

Imaginez que vous regardez un diagramme complexe (comme un plan ou une carte) et que quelqu'un vous pose une question très longue et compliquée à son sujet. Vous commencez à répondre : « D'abord, je vois la porte ici... » et alors que vous continuez à parler, vous devez maintenir l'image du plan dans votre esprit.

Le problème avec les modèles d'IA actuels (appelés Modèles de Langage Multimodaux à Grande Échelle, ou MLLM) est que, alors qu'ils rédigent une réponse longue, l'« image » dans leur esprit commence à s'effacer. C'est comme essayer de se souvenir d'une photo tout en lisant un long livre ; au moment où vous arrivez à la dernière page, vous avez oublié à quoi ressemblait la photo.

À cause de cette « mémoire qui s'efface », ces modèles d'IA peinent avec les tâches qui nécessitent de nombreuses étapes de réflexion (raisonnement) tout en regardant une image. Ils se perdent souvent, hallucinent des détails, ou abandonnent la partie visuelle de la question.

La Solution : VaLR (Raisonnement Latent Aligné sur la Vision)

Les auteurs ont créé une nouvelle méthode appelée VaLR. Imaginez VaLR comme donnant à l'IA un système de « Points de Contrôle Visuels ».

Au lieu de simplement penser en mots, l'IA est entraînée à faire une pause à chaque étape de son raisonnement et à prendre un rapide « instantané mental » de l'image. Ces instantanés ne sont pas du texte visible ; ce sont des « jetons latents » cachés (notes mentales invisibles) qui maintiennent l'image fraîche dans l'esprit de l'IA.

Comment Cela Fonctionne : L'Analogie du « Coach et de l'Athlète »

Pour comprendre comment ils ont entraîné l'IA à faire cela, imaginez un Coach et un Athlète :

L'Athlète (L'IA) : C'est le modèle d'IA principal qui répond aux questions.
Le Coach (L'Encodeur Visuel) : C'est un expert séparé et hautement qualifié qui n'est que bon pour regarder des images et comprendre chaque tout petit détail (comme un super-photographe).

Le Processus d'Entraînement :

Étape 1 (L'Échauffement) : D'abord, ils enseignent à l'Athlète comment résoudre des problèmes étape par étape en utilisant des mots (Chaîne de Pensée).
Étape 2 (L'Alignement) : Maintenant, ils introduisent les « Points de Contrôle Visuels ». Chaque fois que l'Athlète fait une pause pour réfléchir, le Coach intervient. Le Coach regarde l'image et dit : « Hé, regarde cette partie spécifique de l'image. »
L'Objectif : L'Athlète essaie de faire correspondre sa « note mentale » interne (le jeton latent) avec la description du Coach. L'Athlète n'a pas le droit de simplement deviner ; il doit aligner sa pensée sur ce que voit le Coach.

Ce processus force l'IA à maintenir ses « notes mentales » parfaitement alignées avec l'image réelle, empêchant l'information visuelle de s'effacer alors que la réponse s'allonge.

Pourquoi C'est Spécial : Le « Scaling au Moment du Test »

Habituellement, lorsque les modèles d'IA essaient de penser plus longtemps et plus intensément, ils deviennent moins bons dans les tâches visuelles parce qu'ils oublient l'image.

Le papier affirme que VaLR est le premier à montrer un « Scaling au Moment du Test ».

L'Ancienne Façon : Plus l'IA réfléchit longtemps, plus elle oublie l'image, et plus elle devient mauvaise.
La Façon VaLR : Plus l'IA réfléchit longtemps, plus elle devient bonne. Parce qu'elle continue de prendre ces « Points de Contrôle Visuels » (jetons latents) alignés sur l'image, elle peut raisonner très longtemps sans perdre le contexte visuel. C'est comme un détective qui relit la photo de la scène de crime chaque fois qu'il écrit une nouvelle piste dans son carnet, s'assurant de ne jamais perdre de vue les preuves.

Les Résultats : Gagner le Jeu du « Raisonnement Spatial »

Les auteurs ont testé cela sur une référence appelée VSI-Bench, qui est comme un examen difficile pour le raisonnement spatial 3D (comprendre comment les objets sont disposés dans l'espace).

Avant VaLR : Le modèle d'IA de base a obtenu environ 33 % de bonnes réponses.
Avec VaLR : L'IA a obtenu 52,9 % de bonnes réponses.

C'est un bond énorme. Le papier montre qu'en utilisant ce système de « Points de Contrôle Visuels », l'IA peut gérer beaucoup mieux les questions visuelles complexes et multi-étapes qu'auparavant, et cela n'a pas d'importance si la question nécessite une réponse courte ou une explication très longue et détaillée.

Résumé

En bref, le papier introduit un moyen d'empêcher les modèles d'IA d'« oublier » l'image pendant qu'ils réfléchissent. En forçant l'IA à aligner constamment ses pensées cachées avec l'image réelle en utilisant un « Coach » (un encodeur visuel), l'IA peut résoudre des énigmes visuelles beaucoup plus difficiles et plus longues sans se perdre.

Résumé Technique : Raisonnement Latent Aligné sur la Vision pour les Grands Modèles de Langage Multimodaux

1. Énoncé du Problème

Malgré les progrès significatifs des Grands Modèles de Langage Multimodaux (MLLM) dans des tâches telles que la légende d'images et la réponse aux questions visuelles (VQA), ces modèles peinent avec les problèmes nécessitant un raisonnement multi-étapes étendu. Le goulot d'étranglement principal est la dilution progressive de l'information visuelle lors de la génération de contextes longs. À mesure que la séquence de texte générée s'allonge, la capacité du modèle à retenir et exploiter les signaux visuels diminue, entravant l'application des lois d'échelle observées au moment du test dans les modèles de langage purs.

Les approches existantes pour améliorer le raisonnement reposent souvent sur :

Des méthodes centrées sur le texte : Un ajustement fin supervisé (SFT) ou un apprentissage par renforcement qui se concentre sur les chaînes de pensée linguistiques (CoT) mais souffre de l'atténuation du signal visuel sur de longues séquences.
Une réintroduction statique de la vision : L'entrelacement de jetons visuels ou la génération d'images. Cependant, ces méthodes traitent généralement les caractéristiques visuelles comme un contexte initial fixe ou s'appuient sur des caractéristiques statiques à vue unique, entraînant une perte progressive du contexte visuel à mesure que le raisonnement progresse.

2. Méthodologie : Raisonnement Latent Aligné sur la Vision (VaLR)

Les auteurs proposent le Raisonnement Latent Aligné sur la Vision (VaLR), un cadre conçu pour générer dynamiquement des jetons latents alignés sur la vision avant chaque étape de raisonnement. Cette approche crée des « points de contrôle visuels » qui ancrent le processus de raisonnement dans des indices perceptifs au sein de l'espace latent, empêchant la dégradation de l'information visuelle.

Mécanisme Central

VaLR fonctionne en alternant entre deux modes lors de l'inférence :

Mode Langage : Génère des jetons de texte standard pour la réponse.
Mode Latent : Génère des « jetons de raisonnement latents » non textuels qui ne sont pas directement visibles mais servent d'étapes intermédiaires de raisonnement.

Crucialement, durant le mode latent, le modèle est entraîné à aligner ses états cachés intermédiaires avec des représentations visuelles denses extraites d'encodeurs de vision externes pré-entraînés (par exemple, DINOv2/v3, CLIP, SigLIP, $\pi^3$ ).

Pipeline d'Entraînement

VaLR emploie une stratégie d'apprentissage par curriculum en deux étapes :

Étape 1 (SFT Standard) : Le modèle est ajusté finement sur des ensembles de données VQA CoT généraux pour établir des capacités fondamentales de raisonnement multimodal. L'encodeur de vision est figé, et seul le socle de langage est entraîné.
Étape 2 (Entraînement des Jetons Latents avec REPA) : Le modèle est entraîné à insérer $K$ $K$ jetons latents avant chaque étape de raisonnement en langage. Une fonction de perte d'Alignement de Représentation (REPA) est introduite pour aligner les caractéristiques intermédiaires du MLLM avec les caractéristiques d'encodeurs de vision externes.
- Objectif d'Alignement : La fonction de perte maximise la similarité cosinus entre les caractéristiques intermédiaires projetées du MLLM et les caractéristiques visuelles par patch extraites du cadre d'image correspondant par l'encodeur de vision.
- Alignement Multi-Encodeur : Le cadre prend en charge l'alignement avec plusieurs encodeurs de vision simultanément pour capturer des forces complémentaires (par exemple, la compréhension sémantique de CLIP, l'apparence fine de DINO, et la structure spatiale 3D de $\pi^3$ ).

Il est à noter que les encodeurs de vision externes ne sont utilisés que pendant l'entraînement. Au moment du test, le modèle s'appuie sur l'ancrage visuel appris au sein de ses jetons latents sans nécessiter les encodeurs externes.

3. Contributions Clés

Ancrage Visuel Dynamique : Contrairement aux méthodes utilisant des caractéristiques visuelles statiques, VaLR alloue dynamiquement des détails visuels à chaque étape de raisonnement, assurant la préservation de l'information tout au long du raisonnement en contexte long.
Mise à l'Échelle au Moment du Test : Le cadre permet aux MLLM d'exhiber un comportement de mise à l'échelle au moment du test, où les performances s'améliorent avec des chaînes de raisonnement plus longues, un phénomène précédemment non observé dans les MLLM en raison de l'atténuation du signal visuel.
Conception Agnostique au Modèle : VaLR peut être adapté à divers encodeurs de vision (DINO, SigLIP, CLIP, $\pi^3$ ) et fonctionne efficacement même avec les encodeurs de vision autonomes du MLLM d'origine.
Curriculum en Deux Étapes : Un pipeline d'entraînement structuré qui établit d'abord les capacités de raisonnement, puis les affine avec un alignement visuel, facilitant une compréhension robuste en contexte long.

4. Résultats Expérimentaux

Des évaluations approfondies ont été menées sur plusieurs benchmarks, notamment VSI-Bench (raisonnement spatial 3D), BLINK, MMVP, MMStar et MathVista.

Raisonnement en Contexte Long (VSI-Bench) : VaLR a nettement surpassé les bases existantes. Spécifiquement, sur VSI-Bench, VaLR a amélioré la précision du modèle de base Qwen2.5-VL de 33,0 % à 52,9 %, soit un gain de 19,9 points de pourcentage. Il a également dépassé des modèles de raisonnement puissants comme R1-OneVision et Ocean-R1.
Tâches de Perception : VaLR a démontré des performances supérieures sur les benchmarks de perception (BLINK, MMVP, V*), atteignant des résultats de pointe parmi les modèles open source et surpassant les modèles API comme GPT-4o dans des configurations spécifiques.
Analyse de la Longueur de Raisonnement : Contrairement aux modèles de base qui atteignent un pic à des longueurs de raisonnement intermédiaires puis se dégradent (les taux d'hallucination augmentent), VaLR a montré une amélioration monotone des performances à mesure que la longueur de raisonnement augmentait, confirmant sa capacité à maintenir l'ancrage visuel sur des chaînes étendues.
Études d'Ablation :
- La suppression du composant d'alignement de représentation (REPA) a entraîné des baisses de performances significatives, confirmant la nécessité de l'alignement visuel.
- L'utilisation de plusieurs encodeurs (VaLR-M) a produit des effets synergiques, en particulier pour les tâches spatiales 3D, par rapport aux variantes à encodeur unique.
- La méthode a démontré une grande évolutivité des données, atteignant des performances comparables aux modèles SFT classiques avec nettement moins d'échantillons d'entraînement (convergence plus rapide).

5. Signification et Revendications

L'article revendique que VaLR adresse une limitation critique des MLLM actuels : l'incapacité à maintenir le contexte visuel lors de raisonnements complexes et multi-étapes. En injectant des jetons latents alignés sur la vision, la méthode atténue efficacement la dilution des signaux visuels, permettant une planification et un raisonnement robustes à long horizon.

Les auteurs soulignent que ce travail facilite le déploiement des MLLM dans des applications complexes nécessitant une compréhension en contexte long, telles que les Agents d'Utilisation Informatique (CUA) et les modèles Vision-Language-Action (VLA). La capacité à réaliser une véritable mise à l'échelle au moment du test dans le domaine multimodal suggère une voie vers des agents autonomes plus fiables et capables, capables de raisonner sur des séquences étendues sans perdre de vue l'environnement visuel.