Résumé technique : Révélation et façonnage de la représentation latente de la topologie des scènes 3D dans les modèles vision-langage

1. Énoncé du problème

Des décennies de sciences cognitives suggèrent que les humains naviguent dans des environnements 3D en formant des « cartes cognitives » — des représentations allocentriques préservant la topologie des relations spatiales, distinctes des entrées visuelles égocentriques. Bien que les modèles vision-langage (VLM) modernes démontrent des capacités de raisonnement spatial émergentes à partir d'entrées 2D, il reste incertain qu'ils construisent des représentations internes 3D analogues. Les outils de diagnostic existants (par exemple, cartes d'attention, précision de bout en bout) échouent à déterminer si les VLM possèdent une structure allocentrique 3D latente ou s'ils reposent sur des corrélations 2D superficielles et des raccourcis linguistiques. De plus, les approches actuelles visant à améliorer le raisonnement spatial des VLM reposent souvent sur l'injection de modalités 3D explicites (par exemple, cartes de profondeur) ou sur une mise à l'échelle massive des données, plutôt que sur le façonnage de la géométrie latente existante du modèle.

Le problème central abordé est double :

1. Découverte : Les VLM actuels encodent-ils intrinsèquement une carte topologique latente de scènes 3D, et si oui, est-elle accessible ?
2. Façonnage : Cette représentation latente peut-elle être identifiée mathématiquement et régularisée pour améliorer le raisonnement spatial sans modifications architecturales ni données 3D externes ?

2. Méthodologie

2.1 Révélation du sous-espace spatial latent

Les auteurs proposent que, bien que les VLM encodent la topologie 3D, ce signal est fortement éclipsé par des sémantiques visuelles non géométriques (par exemple, couleur, forme). Pour isoler la composante spatiale, ils introduisent une technique d'extraction de caractéristiques linéaire basée sur la moyennisation inter-scènes :

• Données : Un jeu de données synthétique (SynSpat3D) contenant 1 000 scènes avec des objets dont les positions, couleurs et formes sont randomisées. Cela garantit que l'identité de l'objet (couleur/forme) est statistiquement indépendante de la position spatiale.
• Agrégation par objet : Les tokens visuels correspondant à un objet sont agrégés à travers les trames temporelles et les patches spatiaux pour former un vecteur d'activation par objet $h^{(s,o)}_\ell$ au niveau de la couche de décodeur $\ell$.
• Désenchevêtrement par moyennisation : En supposant que la représentation latente est une somme linéaire d'une composante conditionnelle à l'identité ($uid(o)$) et d'une composante conditionnelle à la position ($usp(x)$), les auteurs moyennent les activations pour la même identité d'objet à travers de nombreuses scènes randomisées. Comme les positions sont aléatoires, la composante spatiale moyenne tend vers zéro, laissant une estimation cohérente du prototype d'identité $\bar{h}(o)$.
• Projection : Une base orthogonale $W_\ell$ est construite à partir de ces prototypes d'identité. Le sous-espace spatial est ensuite extrait en projetant les activations originales sur le complément orthogonal de cette base : $\tilde{h}^{(s,o)}_\ell = (I - W_\ell W_\ell^\top) h^{(s,o)}_\ell$.

2.2 Caractérisation mathématique

Les auteurs démontrent que le sous-espace spatial extrait correspond aux applications propres du Laplacien (Laplacian eigenmaps) du graphe 3D de la scène :

• Théorème 1 : La minimisation de l'énergie de Dirichlet de la représentation, soumise à des contraintes de variance, produit une représentation dont les composantes principales s'alignent sur les vecteurs propres du Laplacien du graphe de la scène.
• Théorème 2 : Dans la limite continue, ces vecteurs propres convergent vers les coordonnées 3D physiques (axes cartésiens) de la scène.
• Vérification causale : Par le pilotage des activations, les auteurs démontrent que l'injection de vecteurs le long des axes principaux de ce sous-espace extrait décale linéairement la lecture interne 3D du modèle, confirmant que le sous-espace est utilisé causalement par le modèle.

2.3 Régularisation latente par énergie de Dirichlet

Motivés par l'identification géométrique, les auteurs introduisent un régularisateur d'énergie de Dirichlet pour le fine-tuning :

• Fonction de perte : Un terme régularisateur unique est ajouté à la perte standard de modélisation du langage (entropie croisée) lors du fine-tuning supervisé (SFT) :
  $$\mathcal{L}(\theta) = \mathcal{L}_{LM}(\theta) + \lambda_{dir} \cdot \mathcal{E}_X(P^\perp H_\ell(\theta))$$
  où $\mathcal{E}_X$ est l'énergie de Dirichlet des activations spatiales extraites $P^\perp H_\ell$ sur le graphe à noyau gaussien 3D de la scène.
• Garanties théoriques :
  • Théorème 3 (Réalisation) : Façonner l'espace latent pour minimiser l'énergie de Dirichlet garantit que les questions relationnelles spatiales deviennent linéairement séparables, permettant à la tête de langage linéaire de les répondre parfaitement.
  • Théorème 4 (Complexité d'échantillonnage) : Le régularisateur effondre la variance non pertinente pour la tâche, réduisant la dimension effective du problème d'apprentissage du flux résiduel de haute dimension ($d \approx 4000$) à exactement 3 (les dimensions spatiales). Cela réduit théoriquement la complexité d'échantillonnage d'un facteur $d/3$.
  • Théorème 5 (Décomposition du risque) : Un poids de régularisation modéré $\lambda$ garantit une amélioration des tâches spatiales, tandis qu'un $\lambda$ excessif risque de déformer le flux résiduel et de nuire aux capacités linguistiques.

3. Résultats clés

3.1 Résultats diagnostiques

• Déséquilibre représentationnel : Le sondage direct révèle que les VLM (Qwen2.5-VL-7B, InternVL3-8B) encodent la couleur et la forme des objets avec une précision quasi parfaite, tandis que la position 3D n'est que partiellement récupérable.
• Dominance sémantique : Des contre-exemples comportementaux montrent que le mélange des couleurs des objets fait basculer les prédictions spatiales du modèle dans environ 41 % des cas, presque aussi souvent que le brouillage physique de la disposition 3D (~48 %). Cela confirme que le modèle repose lourdement sur des indices sémantiques plutôt que sur une carte géométrique robuste.
• Spécialisation des couches : Le sous-espace spatial extrait est le plus distinct dans les couches « intermédiaires » du décodeur (par exemple, couches 13–21 dans Qwen2.5-VL), suggérant une division fonctionnelle où les couches précoces lient les caractéristiques visuelles, les couches intermédiaires construisent la topologie 3D, et les couches tardives gèrent le raisonnement linguistique.

3.2 Performance du fine-tuning

L'application du régularisateur d'énergie de Dirichlet à 500 étapes de fine-tuning LoRA sur des données synthétiques simples produit des améliorations significatives en zéro-shot sur des benchmarks du monde réel :

• Benchmarks : VSI-Bench (raisonnement 3D fin) et MindCube (modélisation mentale spatiale).
• Gains de performance :
  • Qwen2.5-VL-7B : La précision globale est passée de 29,3 % (LoRA naïf) à 35,6 %.
  • InternVL3-8B : La précision globale est passée de 36,7 % à 42,4 %.
• Améliorations spécifiques aux tâches : La méthode a montré les gains les plus significatifs dans les tâches nécessitant une compréhension de la topologie de la scène, telles que la direction relative (jusqu'à +12,1 % d'amélioration) et l'estimation de distance absolue.
• Lignes de base : La méthode a surpassé le LoRA naïf standard, la régularisation spatiale 2D (qui n'a pas réussi à capturer la véritable géométrie 3D) et la prédiction de carte cognitive dans le domaine textuel (qui forçait le modèle à émettre des coordonnées sous forme de texte plutôt que de les intérioriser).

4. Importance et revendications

L'article revendique fournir une méthodologie rigoureuse pour développer des VLM dotés de cartes cognitives intrinsèques et robustes. Son importance réside dans :

1. Démonstration de l'existence latente : Prouver que les VLM standards possèdent déjà une représentation topologique 3D latente, mais qu'elle est obscurcie par des sémantiques visuelles dominantes.
2. Façonnage mathématique : Introduire une régularisation fondée mathématiquement (énergie de Dirichlet) qui aligne la géométrie interne du modèle sur l'espace physique 3D, dérivée de la théorie spectrale des graphes.
3. Efficacité des données : Montrer qu'une efficacité extrême des données est réalisable en réduisant la dimensionnalité effective du problème d'apprentissage, permettant une généralisation à des benchmarks complexes du monde réel à partir de données synthétiques minimales (500 étapes).
4. Orthogonalité : L'approche est orthogonale aux méthodes existantes qui reposent sur des modalités 3D externes ou une mise à l'échelle massive des données, offrant un moyen d'améliorer le raisonnement spatial au sein de l'architecture VLM standard sans modifications architecturales.

Les auteurs concluent qu'en isolant et en façonnant ce sous-espace latent, il est possible d'améliorer considérablement les capacités de raisonnement spatial des VLM, les rapprochant des cartes cognitives préservant la topologie observées chez les agents biologiques.