Résumé Technique : UniVLR

Énoncé du Problème

Les modèles de langage multimodaux de grande taille (MLLM) sont de plus en plus appelés à « penser avec des images », en particulier dans des scénarios axés sur la perception tels que la résolution de problèmes géométriques et la compréhension visuelle haute résolution. Les approches actuelles de raisonnement visuel se divisent généralement en deux catégories, toutes deux présentant des limites :

1. Raisonnement Visuel Basé sur des Outils : Ces méthodes entrelacent une chaîne de pensée (CoT) textuelle explicite avec des images auxiliaires générées externement (par exemple, recadrages, esquisses). Bien qu'efficaces, ce paradigme souffre de la rigidité des outils prédéfinis, de la latence liée aux appels externes et de l'instabilité des images générées.
2. Raisonnement Visuel Latent Existant : Pour éviter les outils externes, des méthodes récentes génèrent des jetons visuels latents de manière autorégressive. Cependant, la plupart des méthodes existantes adoptent toujours une conception entrelacée, alternant entre une chaîne de pensée textuelle explicite et des jetons visuels latents. Les auteurs identifient deux flaws critiques dans cette conception :
   • Inefficacité : Le paradigme entrelacé nécessite toujours des segments textuels explicites complets entre les étapes latentes visuelles, échouant à réduire substantiellement les coûts de génération par rapport à une chaîne de pensée textuelle standard.
   • Attention Fragmentée : Parce que le texte et les jetons latents apparaissent sous des formes hétérogènes, les modèles s'appuient souvent sur les jetons textuels voisins tout en échouant à prêter une attention constante aux images auxiliaires antérieures. L'analyse montre que les jetons de chaîne de pensée subséquents présentent une attention sparse et diffuse envers les images auxiliaires, ce qui signifie que les preuves visuelles ne sont pas pleinement intégrées au processus de raisonnement.

La question centrale posée est de savoir si la chaîne de pensée textuelle explicite doit rester un canal de raisonnement séparé, ou si elle peut être visualisée et organisée au sein d'un espace de travail perceptuel partagé aux côtés des images auxiliaires.

Méthodologie : UniVLR

Les auteurs proposent UniVLR (Raisonnement Visuel Latent Unifié), un cadre qui traite le raisonnement textuel et les preuves visuelles auxiliaires comme un espace de travail visuel partagé. Au lieu de préserver la chaîne de pensée textuelle comme un chemin indépendant lors de l'inférence, UniVLR rend les traces de raisonnement et les images auxiliaires sur une toile visuelle unifiée, compresse cette représentation en jetons visuels latents compacts, et raisonne exclusivement à travers ces latents lors de l'inférence.

1. Rendu de Toile Visuelle Unifiée

UniVLR convertit des traces de raisonnement hétérogènes en une représentation visuelle unique à l'aide d'une fonction de rendu $\Phi(\cdot)$ :

• Construction : Pour une instance d'entraînement avec un raisonnement textuel $R$ et des images auxiliaires $U$, la fonction les compose en une toile unifiée $c = \Phi(R, U)$.
• Rendu Adaptatif : Le système applique des stratégies légères pour garantir la compacité et la lisibilité. Le texte est rendu avec des tailles de police et des retours à la ligne adaptatifs, tandis que les images auxiliaires sont redimensionnées et mises en évidence par des indices visuels (par exemple, boîtes, flèches).
• Extraction de Cibles : La toile unifiée est traitée par l'encodeur de vision du MLLM de base pour extraire une carte de caractéristiques 2D. Cette carte est ensuite mise en pool de manière adaptative (en utilisant un poolage 2D sensible aux proportions) en une séquence de longueur fixe de cibles latentes $\tilde{Z} = [\tilde{z}_1, \dots, \tilde{z}_K]$.

2. Alignement Latent en Deux Étapes

Le modèle est entraîné via un curriculum en deux étapes pour aligner ses états internes avec ces représentations visuelles unifiées :

• Étape I : Ancrage Latent Visuel : Le modèle est entraîné à générer de manière autorégressive des jetons latents continus en utilisant uniquement des images visuelles auxiliaires comme cibles d'alignement. Cela établit une interface de raisonnement continue de base entre le MLLM et l'espace d'incorporation visuelle.
• Étape II : Alignement Unifié Texte-Vision : Le modèle est affiné en utilisant les cibles de toile unifiée (contenant à la fois le texte rendu et les images auxiliaires). Cette étape apprend au modèle à représenter les traces de raisonnement explicites et les preuves visuelles à travers le même canal latent visuel.
• Objectif : L'objectif d'entraînement combine la modélisation du langage standard (pour la réponse finale et les jetons de contrôle) avec une perte de régression normalisée ($L_{align}$) qui aligne les jetons latents prédits avec les incorporations visuelles cibles. La perte inclut à la fois des composantes d'erreur quadratique moyenne (MSE) et de similarité cosinus.

3. Inférence Autorégressive Continue

Lors de l'inférence, la fonction de rendu, l'encodeur de vision et les cibles de l'enseignant sont abandonnés. Le modèle fonctionne comme suit :

1. Reçoit l'invite multimodale originale $(Q, I)$.
2. Dès la génération du jeton <|univlr_start|>, il bascule en mode de raisonnement latent.
3. Il génère de manière autorégressive $K$ jetons visuels latents continus, en renvoyant chaque jeton prédit en tant qu'entrée pour l'étape suivante.
4. Dès la génération de <|univlr_end|>, il revient au vocabulaire discret pour décoder la réponse finale en langage naturel.
   Crucialement, aucune chaîne de pensée textuelle intermédiaire explicite n'est générée pendant la phase de raisonnement.

Contributions Clés

1. Paradigme Unifié : UniVLR introduit un paradigme où le raisonnement textuel et les preuves visuelles auxiliaires sont unifiés en un seul canal latent visuel, éliminant le besoin d'entrelacer des jetons textuels et latents.
2. Efficacité : En supprimant la génération de texte explicite pendant le raisonnement, UniVLR réduit considérablement le nombre de jetons générés tout en maintenant ou en améliorant la précision du raisonnement.
3. Amélioration de l'Attention : La conception unifiée induit une attention plus dense et plus focalisée sur les images auxiliaires par rapport aux conceptions entrelacées, car le modèle traite toutes les preuves de raisonnement via le même chemin visuel.
4. Entraînement en Deux Étapes : Le curriculum proposé (ancrage suivi d'unification) stabilise l'apprentissage du raisonnement latent continu, empêchant l'effondrement des représentations.

Résultats Expérimentaux

Des expériences ont été menées sur des benchmarks de perception et de raisonnement du monde réel (V*, HRBench4K/8K, MME-RealWorld-Lite) en utilisant Qwen2.5-VL-7B comme modèle de base.

• Performance : UniVLR surpasse les méthodes antérieures de raisonnement latent visuel (Monet, LVR, SkiLa, CoVT) et les bases de raisonnement textuel. En moyenne, il améliore la précision du raisonnement de 5,4 % par rapport aux meilleures bases.
• Efficacité : UniVLR atteint ces gains tout en utilisant substantiellement moins de jetons générés. Il réduit le nombre de jetons de raisonnement générés de 15,2 fois par rapport aux méthodes entrelacées (n'utilisant que 12 jetons latents contre 190 à 270 jetons textuels).
• Analyse de la Représentation Latente :
  • Ancrage Visuel : Les distributions d'états cachés des jetons latents d'UniVLR s'alignent plus étroitement avec les représentations de jetons-image qu'avec les représentations de jetons-texte, confirmant que le modèle utilise un canal ancré visuellement.
  • Contenu Informationnel : L'analyse de perturbation (mise à zéro ou ajout de bruit aux états latents) provoque des baisses de précision significatives, prouvant que les jetons latents portent des informations de raisonnement pertinentes pour la tâche et ne sont pas de simples espaces réservés.
• Études d'Ablation :
  • Stratégie de Rendu : Le rendu en disposition verticale et l'enveloppement adaptatif ont été jugés critiques pour gérer la logique complexe.
  • Filtrage des Données : Un filtrage rigoureux des données d'entraînement (éliminant les échantillons solubles sans raisonnement visuel ou ceux avec des cibles bruyantes) était essentiel pour un entraînement stable de l'Étape II.
  • Forçage de l'Enseignant : Le forçage complet de l'enseignant latent pendant l'entraînement a donné de meilleurs résultats que l'échantillonnage planifié, suggérant que stabiliser la variété latente est plus important que de réduire le biais d'exposition dans ce contexte continu.
• Généralisation : UniVLR ne présente pas d'oubli catastrophique sur les tâches multimodales générales (TextVQA, POPE, MME-translation) et améliore même les performances sur l'hallucination d'objets (POPE) et la compréhension d'images riches en texte (TextVQA).

Signification et Revendications

L'article revendique que UniVLR pousse le raisonnement latent visuel vers un paradigme plus unifié et efficace pour la pensée multimodale. En démontrant que la chaîne de pensée textuelle explicite peut être absorbée dans un canal latent visuel unifié, ce travail suggère que les MLLM peuvent effectuer des raisonnements complexes et multi-étapes sans la surcharge de la génération de texte verbeux ou des appels d'outils externes.

Les auteurs soulignent que si la méthode améliore l'efficacité et les performances, elle s'accompagne de compromis : le processus de raisonnement latent est moins directement inspectable qu'une chaîne de pensée textuelle explicite, rendant potentiellement le débogage et l'audit plus difficiles. De plus, la méthode repose sur les capacités de reconnaissance optique de caractères (OCR) et de compréhension de la mise en page de l'encodeur de vision. Le travail positionne UniVLR non pas comme un remplacement du raisonnement basé sur des outils pour les tâches nécessitant des mesures exactes ou une recherche exhaustive, mais comme une étape significative vers l'intériorisation de la délibération visuelle au sein d'un espace latent compact et unifié.