Résumé technique : Qu'est-ce qui freine le raisonnement visuel latent ?

Énoncé du problème

Les modèles vision-langage (VLM) ont obtenu de solides performances sur diverses tâches visuelles, mais continuent de rencontrer des difficultés dans des scénarios nécessitant un raisonnement spatial et compositionnel, où la résolution d'un problème dépend de la manipulation interne de représentations visuelles plutôt que de descriptions purement textuelles. Pour y remédier, des travaux récents ont introduit le raisonnement visuel latent, utilisant des tokens latents continus comme étapes intermédiaires d'« imagination » pour faciliter le raisonnement visuel de type Chaîne de Pensée (CoT).

Malgré les améliorations de performance rapportées, il reste incertain ce que ces représentations latentes encodent réellement et dans quelle mesure elles influencent causalement les prédictions du modèle. Cet article examine si les VLM actuels dépendent véritablement des tokens latents pour le raisonnement ou s'ils les contournent simplement.

Méthodologie

Les auteurs étudient le rôle causal des tokens latents sur quatre modèles récents de raisonnement visuel latent disponibles dans le commerce : LVR, Monet, ILVR et LanteRn. L'étude adopte une approche multidimensionnelle :

1. Analyse par intervention (test causal) : Les auteurs remplacent les tokens latents générés ($\hat{z}$) par des tokens « factices » non informatifs ($z'$) lors de l'inférence. Les interventions incluent :

   • Sous-région aléatoire : Injection de latents dérivés de crops d'images non liés.
   • Zéros/Bruit : Remplacement des latents par des valeurs constantes ou du bruit gaussien.
   • Saut des latents : Désactivation complète de la voie latente en insérant le token de fin immédiatement après le token de début.
   • Conditionnement Oracle : Fourniture de tokens latents oracles de vérité terrain ($z^*$) dérivés d'images intermédiaires pour tester si le modèle peut utiliser des informations de haute qualité si elles sont disponibles.

2. Création de jeux de données diagnostiques : Pour isoler l'impact des données d'entraînement, les auteurs ont construit des scénarios spécifiques :

   • Masquage de l'entraînement : Masquage des régions pertinentes dans l'image d'entrée afin que la tâche ne puisse être résolue qu'en utilisant les informations de l'image intermédiaire (et donc des tokens latents).
   • Rotations de type Tetris : Un jeu de données synthétique exigeant que le modèle applique une rotation observée sur une forme source à une forme cible. Ici, les images intermédiaires représentent des transformations non triviales (rotations) plutôt que de simples sous-régions.

3. Analyse de l'espace latent : Les auteurs ont analysé la distribution des latents générés par rapport aux latents oracles à l'aide de métriques de similarité cosinus, mesurant spécifiquement :

   • Précision de récupération : La fréquence à laquelle un latent généré correspond à son latent oracle correspondant.
   • Préférence pour l'auto-génération non liée (USP) : Si les latents générés sont plus proches d'autres latents générés que de leur vérité terrain.
   • Effondrement temporel : La similarité entre les tokens latents consécutifs au fil du temps.

Contributions et résultats clés

1. Le problème de contournement des latents

L'étude révèle que les modèles actuels les plus avancés ignorent largement les tokens latents lors de la production de réponses.

• Résultat : Le remplacement des latents générés par des tokens factices non informatifs (bruit, zéros ou sous-régions aléatoires) a entraîné une baisse de précision nulle ou négligeable sur les quatre modèles dans des benchmarks tels que BLINK et V*Bench. Dans certains cas, les performances se sont légèrement améliorées.
• Limitation de l'oracle : Même lorsque les modèles étaient conditionnés sur des latents oracles de haute qualité (vérité terrain) lors de l'inférence, la précision ne s'est pas améliorée de manière significative par rapport à l'inférence standard.
• Conclusion : Les tokens latents jouent un rôle causal minimal dans la prédiction finale. Les modèles contournent efficacement la voie de raisonnement latent.

2. Les données d'entraînement comme cause racine

Les auteurs identifient les données d'entraînement comme le principal moteur du problème de contournement.

• Observation : Dans les jeux de données existants (par exemple VisCoT, COMT), les images intermédiaires sont généralement des sous-régions recadrées de l'entrée originale. Puisque l'information complète est déjà présente dans l'image d'entrée, les tokens latents ne fournissent aucune information supplémentaire nécessaire.
• Preuves :
  • Base de référence avec token de pause : Un modèle de base entraîné sans tokens latents (utilisant des tokens « pause » factices) a atteint la même précision (79 %) que le modèle utilisant des latents oracles sur des données standard.
  • Masquage de l'entraînement : Lorsque l'image d'entrée était masquée pour cacher la solution, forçant ainsi la dépendance aux tokens latents, la précision du modèle chutait considérablement si les latents étaient remplacés par du bruit, mais restait élevée avec des latents oracles.
  • Rotations de type Tetris : Dans une tâche nécessitant une transformation non triviale (rotation) non directement visible dans l'entrée, les modèles entraînés sur ces données ont appris à se fier aux tokens latents. Les latents oracles ont produit une précision de 86 %, tandis que les interventions faisaient chuter les performances à des niveaux aléatoires (~30 %).
• Conclusion : Les modèles ne se fient aux tokens latents que lorsque les étapes intermédiaires fournissent des informations non triviales et pertinentes pour la tâche qui ne peuvent pas être facilement récupérées à partir de l'entrée originale.

3. Effondrement de la représentation latente

Même lorsque les modèles sont capables d'utiliser des tokens latents, ils échouent à en générer de haute qualité lors de l'inférence standard.

• Observation : Les tokens latents générés ($\hat{z}$) présentent une similarité extrêmement élevée entre eux (similarité cosinus > 0,8–0,98) mais sont relativement dissimilaires de leurs représentations oracles correspondantes ($z^*$).
• Échec de la récupération : Les modèles échouent à récupérer le bon latent oracle parmi les 10 meilleurs candidats (précision de récupération < 10 % pour la plupart des modèles).
• Effondrement temporel : À mesure que la chaîne de raisonnement progresse, les latents prédits s'effondrent dans une région étroite et très similaire de l'espace latent, alors que les latents oracles maintiennent leur diversité.
• Conclusion : Les méthodes actuelles souffrent d'un effondrement de la représentation latente, où les modèles génèrent des tokens génériques et peu informatifs plutôt que des abstractions visuelles diversifiées et discriminatives.

Importance et perspectives futures

L'article conclut que les progrès du raisonnement visuel latent sont actuellement limités par deux problèmes fondamentaux :

1. Qualité des jeux de données : Les jeux de données existants n'incitent pas à l'utilisation des tokens latents car les étapes intermédiaires sont souvent redondantes avec l'image d'entrée. Les futurs jeux de données doivent fournir des étapes intermédiaires offrant un échafaudage pour des tâches où la solution n'est pas trivialement extractible à partir de l'entrée brute (par exemple, transformations géométriques).
2. Précision de la prédiction : Les modèles peinent à prédire des tokens latents diversifiés et précis, conduisant à un effondrement de la représentation. Les travaux futurs doivent se concentrer sur l'amélioration de la génération de ces tokens pour qu'ils correspondent à la qualité des représentations oracles.

Les auteurs soulignent que, si le raisonnement visuel latent promet pour les tâches spatiales et compositionnelles, les implémentations actuelles sont largement inefficaces en raison de ces défauts d'entraînement et de génération. Ils fournissent le code, les modèles et les jeux de données diagnostiques (LanteRn) pour faciliter la poursuite des recherches dans cette direction.