💻 computer science

GeoWeaver: Grounding Visual Tokens with Geometric Evidence before Scene Reasoning

GeoWeaver est un cadre de pré-raisonnement qui améliore le raisonnement spatio-temporel dans les modèles vision-langage en allouant de manière adaptative des preuves géométriques fines à des tokens visuels individuels, établissant ainsi la géométrie comme une condition préalable fondamentale de représentation plutôt que comme un signal auxiliaire de fusion tardive.

Auteurs originaux : Deshui Miao, Xingsen Huang, Yameng Gu, Xin Li, Haijun Zhang, Ming-Hsuan Yang

Publié 2026-05-22

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Deshui Miao, Xingsen Huang, Yameng Gu, Xin Li, Haijun Zhang, Ming-Hsuan Yang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Le Problème des « Lunettes Floues »

Imaginez que vous essayez de donner des directions à quelqu'un dans une ville animée. Vous avez une carte (les données visuelles) et une voix (le modèle de langage).

Les modèles d'IA actuels sont excellents pour reconnaître ce que sont les choses (par exemple, « C'est une voiture rouge », « C'est un arbre »). Cependant, ils ont souvent du mal à déterminer où se trouvent les choses les unes par rapport aux autres (par exemple, « La voiture est à 1,5 mètre à gauche de l'arbre », ou « Si je marche en avant, vais-je heurter le mur ? »).

Le papier soutient que l'IA actuelle tente de résoudre ce problème en ajoutant la géométrie (mathématiques spatiales) comme une réflexion tardive. C'est comme donner à l'IA une paire de lunettes qui ne montrent que les noms des objets, puis lui demander de faire des calculs complexes sur les distances pendant qu'elle essaie de parler. L'IA se perd car elle doit déterminer la forme de la pièce et la structure de la phrase en même temps.

La Solution : GeoWeaver (L'Approche du « Plan d'Architecte »)

Les auteurs proposent une nouvelle méthode appelée GeoWeaver. Au lieu d'ajouter la géométrie à la fin, ils l'intègrent dans les fondations avant que l'IA ne commence à penser ou à parler.

Pensez-y ainsi :

Ancienne Méthode : Vous remettez à un maçon une pile de briques (jetons visuels) et une liste d'instructions. Le maçon doit déterminer l'intégrité structurelle du mur tout en essayant d'écrire les instructions pour la pièce suivante.
Méthode GeoWeaver : Avant même que le maçon ne touche aux briques, vous lui remettez un plan 3D spécifiquement adapté à cet endroit exact. Les briques sont désormais « ancrées » dans le plan. Lorsque le maçon commence à écrire les instructions, la structure est déjà solide et claire.

Comment Cela Fonctionne : Le Système du « Bibliothécaire Intelligent »

Le papier décrit un processus spécifique pour rendre cela possible, qu'ils appellent Ancrage Géométrique Adaptatif aux Jetons. Voici l'analogie :

La Bibliothèque Multi-Niveaux (La Banque de Géométrie) :
L'IA a accès à une « bibliothèque » d'informations géométriques. Cette bibliothèque n'est pas un seul livre ; c'est une collection d'ouvrages allant des « détails rapprochés » (comme la texture d'un mur) aux « vues grand angle » (comme la disposition de toute la pièce). Cette bibliothèque est construite par un expert en géométrie pré-entraîné et figé (appelé VGGT) que l'IA principale n'a pas besoin de réapprendre.
Le Bibliothécaire Intelligent (Le Routeur) :
Autrefois, l'IA lisait chaque livre individuel de la bibliothèque pour chaque mot qu'elle voulait dire. C'est lent et confus.
GeoWeaver utilise un Bibliothécaire Intelligent. Lorsque l'IA regarde une partie spécifique d'une image (un « jeton visuel »), le Bibliothécaire demande : « Quel type de géométrie avez-vous besoin maintenant ? »
- Si l'IA regarde un coin pointu, le Bibliothécaire lui remet le livre des « détails rapprochés ».
- Si l'IA regarde la disposition de toute la pièce, le Bibliothécaire lui remet le livre « grand angle ».
Le Mélange Sur Mesure (Routage Épars) :
Le Bibliothécaire ne donne pas seulement un livre ; il offre un petit mélange parfait de 2 ou 3 livres spécifiques les plus pertinents pour cet endroit précis. Il ignore le reste. Cela empêche l'IA d'être submergée par des informations non pertinentes.
Le Résultat (Jetons Ancrés) :
Les « briques » visuelles (jetons) sont désormais imprégnées de cette preuve géométrique spécifique. Elles ne sont plus simplement « une photo d'un réfrigérateur » ; elles sont « un réfrigérateur situé à 1 mètre à droite de l'évier ».

Pourquoi Cela Compte (Les Résultats)

Le papier a testé cela sur plusieurs tests de « raisonnement spatial » (comme l'estimation des distances, le comptage d'objets ou la planification d'un itinéraire).

L'Analogie : Imaginez un étudiant passant un examen de mathématiques.
- Ancienne IA : Tente de mémoriser la formule tout en résolvant le problème.
- GeoWeaver : A la formule écrite clairement sur le bureau avant le début de l'examen.
Le Résultat : GeoWeaver a systématiquement battu les autres modèles d'IA de pointe sur ces tests spatiaux. Il est devenu meilleur pour estimer les distances, comprendre les directions (gauche/droite/arrière) et planifier des itinéraires.
Le Bonus : Crucialement, il n'a pas perdu sa capacité à faire autre chose. Il n'a pas oublié comment répondre à des questions générales ou comprendre des vidéos. Il est simplement devenu meilleur dans la partie « spatiale » sans briser le reste de son cerveau.

L'Essentiel à Retenir

Le papier affirme que la géométrie ne devrait pas être un signal supplémentaire ajouté plus tard ; elle devrait être la fondation.

Tout comme vous ne pouvez pas construire une maison stable sans une fondation solide, vous ne pouvez pas avoir un raisonnement spatial fiable sans jetons visuels qui sont « ancrés » dans la réalité géométrique avant que le modèle de langage ne commence son processus de raisonnement. GeoWeaver fournit cette fondation en permettant à chaque partie de l'image de choisir sa propre preuve géométrique parfaite parmi une bibliothèque d'options.

Résumé Technique : GeoWeaver

Énoncé du Problème

Les modèles actuels Vision-Langage (VLM) peinent à réaliser un raisonnement spatio-temporel fiable, en particulier dans des tâches impliquant l'estimation de distances relatives, la compréhension de la disposition des objets et le suivi des relations spatiales dans des scènes dynamiques. Bien que des approches récentes tentent d'améliorer l'intelligence spatiale en intégrant des informations géométriques via des branches structurelles, une supervision 3D-aware ou une fusion tardive, elles traitent généralement les indices géométriques comme un signal partagé pour tous les jetons visuels.

Les auteurs identifient une limitation critique dans les paradigmes existants : différents jetons visuels nécessitent des preuves géométriques différentes selon leurs rôles spatiaux spécifiques (par exemple, limites locales vs disposition globale). Les méthodes actuelles échouent souvent à répondre à cette hétérogénéité, traitant la géométrie comme un signal auxiliaire injecté tardivement dans le pipeline (soit avant la fusion, soit au sein de la pile de raisonnement du LLM). Cela force le décodeur à résoudre conjointement l'alignement visuel-géométrique et le raisonnement relationnel de haut niveau, enchevêtrant l'ancrage perceptuel avec le raisonnement cognitif et réduisant la fiabilité.

Méthodologie : GeoWeaver

GeoWeaver propose un cadre d'ancrage géométrique pré-raisonnement qui traite la géométrie comme une condition préalable représentative plutôt que comme un signal de fusion tardive. La philosophie centrale est de « ancrer puis raisonner », façonnant les représentations visuelles avant qu'elles n'entrent dans le modèle de langage.

1. Aperçu de l'Architecture

Le cadre se compose de trois étapes principales :

Branche Visuelle Sémantique : Utilise un LLM multimodal pré-entraîné (spécifiquement Qwen3.5 dans l'implémentation) avec un encodeur visuel natif pour extraire des jetons visuels sémantiques ( $V$ ).
Branche de Géométrie Gelée : Emploie un encodeur de géométrie gelé (VGGT) pour extraire des priors géométriques explicites des mêmes images d'entrée. Au lieu d'utiliser uniquement la représentation finale, GeoWeaver construit une Banque de Géométrie Multi-Niveaux en collectant les états cachés des couches profondes (par exemple, les couches 12–23 d'un VGGT de 24 couches). Cette banque sert de réservoir de preuves structurelles allant des détails locaux aux abstractions globales.
Ancrage Géométrique Adaptatif aux Jetons : C'est l'innovation centrale. Avant le décodage linguistique, les jetons visuels interrogent la banque de géométrie pour récupérer les preuves pertinentes.

2. Allocation Adaptative des Preuves par Jeton

Le processus d'ancrage implique quatre étapes spécifiques pour garantir que chaque jeton visuel reçoive l'abstraction géométrique la plus pertinente :

Normalisation et Alignement : Les caractéristiques géométriques provenant de différentes couches sont normalisées et fusionnées spatialement (2×2) pour correspondre à la résolution et à la dimension cachée des jetons visuels.
Routage Conditionné par la Requête : Un routeur léger prédit des poids de préférence sur les couches de géométrie sélectionnées pour chaque jeton visuel individuel ( $v_i$ ). Cela reconnaît que différentes régions spatiales nécessitent différents niveaux d'abstraction géométrique.
Sélection Compacte de Preuves : Pour éviter de diluer l'ancrage spécifique aux jetons avec des indices redondants, le modèle emploie un routage parcimonieux. Il sélectionne uniquement les $K$ couches de géométrie les plus pertinentes (par défaut $K=2$ ) pour chaque jeton, masquant le reste.
Ancrage Résiduel : Les preuves géométriques sélectionnées sont agrégées et injectées dans les jetons visuels via une connexion résiduelle ( $v'_i = v_i + W_o g_i$ ). La matrice de projection $W_o$ est initialisée à zéro, permettant au modèle de commencer comme une application identité et d'apprendre progressivement à remodeler les représentations lors du fine-tuning.

3. Objectif d'Entraînement

Le modèle est entraîné en utilisant la prédiction standard du jeton suivant (perte autorégressive) sur des tâches de raisonnement spatio-temporel en aval. L'encodeur de géométrie reste gelé, et le module d'ancrage est optimisé conjointement avec le modèle multimodal de base. Aucune perte auxiliaire de reconstruction géométrique ou de contraste n'est introduite ; le modèle apprend à allouer et exploiter les preuves géométriques purement par une supervision de bout en bout.

Contributions Clés

Diagnostic Représentationnel : Les auteurs identifient le manque de jetons visuels ancrés géométriquement comme un goulot d'étranglement clé dans les VLM actuels, arguant que le raisonnement spatio-temporel dépend du fait que les jetons soient ancrés géométriquement avant d'entrer dans le modèle de langage.
Cadre GeoWeaver : Un cadre novateur qui alloue des preuves géométriques spécifiques aux jetons à partir d'une banque de géométrie multi-niveaux avant le décodage linguistique. Cela déplace l'alignement visuel-géométrique de la pile de raisonnement vers l'interface perceptuelle.
Mécanisme Adaptatif aux Jetons : L'introduction d'un mécanisme de routage parcimonieux et conditionné par la requête permettant à différents jetons visuels de récupérer des abstractions géométriques distinctes, évitant une exposition uniforme à toutes les couches de géométrie.
Validation Empirique : Des expériences extensives démontrant que l'ancrage pré-raisonnement produit des performances supérieures sans oubli catastrophique des capacités multimodales générales.

Résultats Expérimentaux

GeoWeaver a été évalué sur plusieurs benchmarks de raisonnement spatial, notamment VSI-Bench, ReVSI, SPAR-Bench, ViewSpatial, BLINK, 3DSRBench et EmbSpatial.

VSI-Bench : GeoWeaver-5B a obtenu un score moyen de 72,8, surpassant la meilleure base open-source (SpatialStack-5B) de 5,3 points. GeoWeaver-10B a atteint 75,05. Des gains significatifs ont été observés dans les catégories sensibles à la géométrie telles que le comptage d'objets, l'estimation de taille, la direction relative et la planification d'itinéraires.
ReVSI : Dans des configurations conscientes des images, GeoWeaver-10B a atteint une précision de 57,5 % avec 32 images, surpassant les VLM spatiaux précédents. Les résultats suggèrent qu'un ancrage géométrique efficace est plus critique que l'augmentation simple du nombre d'images d'entrée.
SPAR-Bench : GeoWeaver-5B a obtenu un nouveau score de pointe de 69,2, une amélioration massive de +26,8 points par rapport au meilleur précédent, en particulier dans les tâches de raisonnement de niveau moyen et élevé (correspondance de position, inférence de distance, imagination spatiale).
Capacités Générales : Les évaluations sur MMBench, Video-MME et TempCompass ont montré que GeoWeaver maintient ou améliore légèrement les performances multimodales générales par rapport aux bases, confirmant que l'ancrage géométrique ne provoque pas d'oubli catastrophique.

Signification et Revendications

L'article revendique que le principal avantage de GeoWeaver ne provient pas de l'injection simple de plus de données géométriques dans le modèle, mais du remodelage de la représentation visuelle avant que le raisonnement linguistique ne commence. En convertissant des indices géométriques bruts multi-niveaux en jetons visuels ancrés géométriquement, le cadre permet au modèle de langage d'opérer sur des représentations « prêtes pour la géométrie ».

Les auteurs soutiennent que l'information géométrique produit le plus grand bénéfice non pas comme un signal auxiliaire de fusion tardive, mais comme une condition préalable fondamentale qui façonne le fondement représentatif. Cette approche découple avec succès l'alignement visuel-géométrique de bas niveau du raisonnement relationnel de haut niveau, conduisant à une intelligence spatio-temporelle plus robuste tout en préservant la compétence multimodale générale du modèle. Ce travail suggère que les progrès futurs en intelligence spatiale nécessitent de s'attaquer au goulot d'étranglement représentatif au niveau de l'interface perceptuelle plutôt que d'optimiser uniquement la pile de raisonnement.