Résumé Technique : GeoWorld-VLM

Énoncé du Problème

Les modèles modernes vision-langage (VLM) ont atteint une fluidité dans la reconnaissance sémantique, mais restent fragiles lorsqu'ils traitent des relations spatiales élémentaires telles que « à gauche de », « sur », « derrière » et « entre ». Les auteurs soutiennent que cet échec n'est pas principalement un déficit de raisonnement linguistique, mais un goulot d'étranglement dans la représentation visuelle. Lors de l'extraction de caractéristiques, les VLM standards compressent ou rejettent souvent des indices structurels 3D critiques, fournissant au modèle linguistique des représentations d'image insuffisantes pour un jugement spatial fiable. Les tentatives existantes pour combler ce fossé reposent souvent sur une supervision 3D explicite, des entrées de nuages de points ou une génération de vues synthétiques au moment du test, ce qui nécessite des architectures spécialisées ou une surcharge computationnelle supplémentaire.

Méthodologie : GeoWorld-VLM

L'article présente GeoWorld-VLM, un cadre de distillation côté vision conçu pour transférer la structure géométrique depuis des modèles de monde vidéo conditionnés par la caméra et figés, vers des VLM, sans réentraîner l'épine dorsale linguistique.

Architecture Principale

La méthode repose sur l'hypothèse que les échecs spatiaux surviennent parce que les tokens visuels entrant dans le Grand Modèle de Langage (LLM) manquent de structure 3D suffisante. Par conséquent, GeoWorld-VLM maintient le LLM et l'encodeur de texte figés, en mettant à jour uniquement :

1. L'encodeur d'images ($V_\phi$).
2. Le projecteur multimodal ($P_\theta$).
3. Les têtes d'alignement légères.

L'Enseignant : Modèles de Monde Conditionnés par la Caméra

Au lieu d'utiliser des modèles de fondation visuelle statiques (comme DINO) comme enseignants, GeoWorld-VLM utilise un modèle de monde vidéo figé (spécifiquement LingBot-World-Fast).

• Entrée : L'enseignant reçoit l'image d'entrée, une invite textuelle et une trajectoire de caméra égocentrique échantillonnée aléatoirement (translations et rotations).
• Mécanisme : L'enseignant prédit comment la scène évoluerait sous le mouvement de caméra échantillonné. Ce processus génère une représentation intermédiaire cachée qui encode des vues contrefactuelles et une géométrie dépendante du point de vue (par exemple, occlusion, support, profondeur relative) qui sont difficiles à récupérer à partir d'une seule image statique.
• Distillation : Le VLM élève aligne ses caractéristiques d'image post-projecteur avec les représentations intermédiaires de l'enseignant dans un espace de caractéristiques partagé.

Objectif d'Entraînement

La fonction de perte d'entraînement combine trois composantes :

1. Supervision de la Tâche ($L_{task}$) : Perte d'entropie croisée standard pour les réponses à choix multiples spatiales.
2. Alignement du Modèle de Monde ($L_{align}$) : Une perte d'alignement cosinus entre les caractéristiques de l'élève projetées et les caractéristiques de l'enseignant projetées (extraites d'un bloc transformateur spécifique, généralement la couche 24).
3. Ancre de Préservation ($L_{preserve}$) : Un terme de perte qui aligne les caractéristiques de l'élève mises à jour avec une copie figée des caractéristiques du VLM original. Cela empêche les tokens visuels de s'écarter trop de la distribution attendue par le LLM figé, préservant ainsi les capacités linguistiques originales du modèle.

Contributions Clés

1. Distillation de Modèle de Monde pour le Raisonnement Spatial : L'article propose un cadre novateur utilisant des modèles de monde vidéo conditionnés par la caméra et figés comme enseignants de géométrie. En échantillonnant des trajectoires de caméra, la méthode fournit une supervision multi-vue synthétique sans nécessiter de données multi-vues réelles ni d'annotations 3D.
2. Réparation Côté Vision avec LLM Figé : Contrairement aux approches qui affinent l'ensemble du modèle ou modifient l'épine dorsale linguistique, GeoWorld-VLM isole l'intervention spatiale à l'interface visuelle. Cette conception garantit que le comportement texte seul est préservé par construction tout en améliorant la conscience géométrique des tokens visuels.
3. Validation Large : La méthode est validée sur deux épine dorsales VLM distinctes (Gemma-4 et InternVL3.5-2B) et plusieurs benchmarks de raisonnement spatial (What'sUp, VSR et EmbSpatial-Bench), démontrant des améliorations constantes par rapport aux références.

Résultats Expérimentaux

Les auteurs ont évalué GeoWorld-VLM sur la suite What'sUp+VSR et EmbSpatial-Bench :

• Gains de Performance : Sur la suite What'sUp+VSR, GeoWorld-VLM a amélioré le score global d'environ 4 % pour Gemma-4 (passant de 61,70 à 65,45) et InternVL3.5-2B (passant de 57,06 à 61,66).
• Comparaison avec les Références : La méthode a surpassé l'affinage uniquement sur la tâche et la distillation depuis des modèles de vision statiques (DINOv3). Notamment, la distillation basée sur DINO a parfois dégradé les performances sur InternVL3.5-2B, suggérant que les caractéristiques statiques sont insuffisantes pour les tâches spatiales nécessitant une conscience du point de vue.
• Améliorations Spécifiques aux Relations : Les gains ont été les plus prononcés sur les relations sensibles à la géométrie telles que « sous », « proche » et « loin », qui reposent sur la disposition relative et l'estimation de la profondeur plutôt que sur la simple reconnaissance d'objets.
• Études d'Ablation :
  • Conditionnement de l'Enseignant : La combinaison du conditionnement par la trajectoire de caméra et par l'invite textuelle était essentielle ; l'utilisation de l'un ou l'autre seul donnait des résultats sous-optimaux.
  • Extraction de Caractéristiques : Les couches intermédiaires à tardives du modèle de monde (spécifiquement la couche 24) et un nombre modéré d'étapes de débruitage (2) ont fourni la supervision la plus efficace.
  • Préservation : Le retrait de l'ancre de préservation a entraîné une dégradation des performances, confirmant la nécessité de maintenir la compatibilité avec le modèle linguistique figé.

Signification et Revendications

L'article affirme que le principal goulot d'étranglement dans le raisonnement spatial des VLM réside dans l'incapacité de la voie visuelle à préserver une structure spatiale consciente du mouvement avant que le raisonnement linguistique ne commence. En distillant la géométrie depuis des modèles de monde vers l'encodeur visuel, GeoWorld-VLM démontre que l'amélioration de la géométrie encodée dans les tokens visuels peut atténuer les échecs spatiaux sans réentraîner le modèle linguistique.

Les auteurs positionnent les modèles de monde non seulement comme des outils génératifs, mais comme des enseignants réutilisables pour une intelligence multimodale ancrée spatialement. Le travail suggère que l'alignement visuel guidé par les modèles de monde se généralise à travers différentes structures de modèles et ensembles de données, offrant une voie évolutive pour améliorer l'intelligence spatiale des VLM tout en préservant leur fluidité linguistique originale. La méthode est présentée comme une étude de recherche sur le raisonnement spatial étalonné, mettant en évidence le potentiel pour une IA incarnée et des systèmes de navigation améliorés, tout en reconnaissant les limites dans le traitement du raisonnement sur le mouvement propre en raison de l'utilisation actuelle de caractéristiques moyennées.