Résumé Technique : SpatialThinker

Énoncé du Problème

Les modèles de langage de grande taille multimodaux (MLLM) ont réalisé des progrès significatifs dans les tâches de vision-langage, mais continuent de lutter avec le raisonnement spatial, particulièrement dans l'espace 3D. Cette capacité est cruciale pour l'IA incarnée, la navigation et la réalité augmentée. Les approches existantes pour améliorer le raisonnement spatial reposent généralement sur :

1. Des pipelines intensifs en données : Génération de jeux de données synthétiques massifs (des centaines de milliers à des millions d'échantillons) à partir de graphes de scènes 3D ou de nuages de points.
2. Des modifications architecturales : Ajout d'entrées 3D explicites (cartes de profondeur, nuages de points) ou de jetons spatiaux auxiliaires.
3. L'apprentissage par renforcement (RL) parcimonieux : Utilisation de récompenses simples basées uniquement sur l'exactitude, qui fournissent une orientation insuffisante pour un raisonnement visuellement ancré.

Une lacune critique réside dans l'intégration de la génération de graphes de scènes (SGG) directement dans le processus de raisonnement. Les méthodes actuelles traitent souvent la SGG comme une étape de prétraitement disjointe pour la curation de données ou comme une cible de génération isolée, échouant à utiliser les représentations de scènes structurées pour guider la chaîne de raisonnement de bout en bout. De plus, les méthodes de RL existantes manquent du feedback dense et structuré nécessaire pour imposer une localisation spatiale précise et une compréhension relationnelle.

Méthodologie : SpatialThinker

Les auteurs proposent SpatialThinker, le premier MLLM qui unifie la génération de graphes de scènes (SGG) et le raisonnement visuel en un seul passage via un apprentissage par renforcement (RL) en ligne. Le cadre simule la perception spatiale humaine en construisant un « graphe de scène mental » d'objets et de relations pertinents pour la tâche, puis en raisonnant sur cette représentation structurée pour dériver une réponse.

1. Architecture de base et entraînement

• Modèles de base : Construit sur Qwen2.5-VL (3B, 7B) et Qwen3-VL (30B).
• Paradigme d'entraînement : Le modèle est entraîné en utilisant l'Optimisation de Politique Relative au Groupe (GRPO), une méthode de RL en ligne qui évite les réseaux de critique en estimant les avantages par des comparaisons intra-groupe.
• Pas de SFT : Les modèles sont entraînés directement sur l'objectif de RL sans ajustement fin supervisé (SFT) préalable sur le jeu de données d'entraînement.
• Inférence : Le modèle génère une réponse structurée contenant <observe>, <scene> (un sous-graphe de scène au format JSON), <thought>, et <answer>.

2. Conception de récompense multi-objectifs dense

L'innovation centrale est une fonction de récompense multi-objectif dense, à verrouillage lexicographique ($R_{total}$) qui guide le modèle à travers un processus de raisonnement structuré : observer → localiser → raisonner → répondre. La récompense se compose de quatre éléments :

1. Récompense de format ($R_f$) : Impose un modèle de raisonnement structuré. Elle valide le JSON à l'intérieur de la balise <scene>, garantissant la capacité d'analyse (parseability), la présence des champs requis (ID, boîte englobante) et des triplets sujet-prédicat-objet valides.
2. Récompense de comptage ($R_c$) : Pénalise les écarts entre les comptes prédits et réels d'objets et de relations. Cela empêche le « détournement de récompense » (reward hacking) où les modèles génèrent des objets excessifs pour maximiser les correspondances spatiales aléatoires.
3. Récompense d'exactitude ($R_a$) : Un score binaire basé sur la correspondance exacte de la chaîne de caractères avec la réponse de vérité terrain. Elle porte le poids le plus élevé ($w=0.5$) pour prioriser la correction de la tâche.
4. Récompense spatiale ($R_s$) : Calculée uniquement lorsque la réponse finale est correcte (via un verrouillage lexicographique). Elle utilise l'algorithme de Hongrie pour faire correspondre les objets prédits et réels en fonction de l'IoU Complète (CIoU) et de la similitude sémantique. Cela fournit une supervision dense sur la localisation des objets.

Verrouillage lexicographique : Les récompenses sont ordonnées comme suit : Format ≻ {Comptage, Exactitude} ≻ Spatial. Le modèle doit satisfaire le format d'abord, puis optimiser le comptage et l'exactitude, et ne reçoit la récompense spatiale que si la réponse est correcte. Cela garantit que l'ancrage spatial renforce le raisonnement valide plutôt que de le supplanter.

3. Jeu de données : STVQA-7K

Pour faciliter l'entraînement aligné sur les récompenses, les auteurs ont construit STVQA-7K, un jeu de données de VQA spatial de haute qualité :

• Source : Dérivé des graphes de scènes annotés par des humains dans Visual Genome.
• Échelle : 7 587 paires de VQA à choix multiples ancrées spatialement.
• Contenu : Couvre neuf types de raisonnement (relations, taille, orientation, distance, profondeur, portée, emplacement, comptage, existence) et inclut des questions de raisonnement 3D (ex: profondeur, orientation).
• Contrôle Qualité : Utilise un pipeline de vérification par double LLM (Claude Sonnet 4 génère, GPT-4o valide) pour garantir une haute qualité, ne conservant que les 7 587 échantillons les plus performants d'un pool initial de 56 224.
• Scalabilité : Le pipeline est capable de générer jusqu'à environ 108K échantillons.

Contributions Clés

1. Unification de la SGG et du Raisonnement : SpatialThinker est le premier MLLM qui intègre la construction du graphe de scène directement dans la chaîne de raisonnement via le RL en ligne, plutôt que de la traiter comme une étape de prétraitement.
2. Jeu de données STVQA-7K : Un jeu de données de VQA spatial de haute qualité, ancré sur des graphes de scènes, avec un pipeline de synthèse scalable, permettant un entraînement efficace avec seulement 7K échantillons.
3. Conception de Récompense Spatiale Dense : Un nouveau système de récompense multi-objectif avec verrouillage lexicographique qui impose un ancrage structuré. Cette conception améliore la généralisation in-distribution et hors-distribution (OOD), doublant presque les gains de performance par rapport aux baselines de RL parcimonieux.

Résultats Expérimentaux

Les auteurs ont évalué SpatialThinker sur 14 benchmarks (8 spatiaux, 6 de VQA réels/génériques) et l'ont comparé à des modèles propriétaires (GPT-5, GPT-4o, Claude 4 Sonnet) et des baselines open-source.

• Performance avec des données limitées : Entraîné sur seulement 7K échantillons, SpatialThinker-7B égale la performance de GPT-5 et surpasse GPT-4o et Claude 4 Sonnet en moyenne sur les benchmarks spatiaux.
• Effets d'échelle : SpatialThinker-30B surpasse à la fois GPT-5 et Claude 4 Sonnet en moyenne, atteignant des résultats de pointe sur CV-Bench 3D (93,6 %, soit +3,3 % par rapport à GPT-5) et 3DSRBench.
• Généralisation : SpatialThinker démontre une supériorité de généralisation OOD sur les tâches VQA du monde réel (ex: RoboSpatial-Home, HallusionBench).
  • RL Parcimonieux vs RL Dense : Alors que le RL parcimonieux (GRPO vanilla) améliore les modèles de base d'environ 4,4 %, la conception de la récompense spatiale dense atteint une amélioration d'environ 7,7 % (un gain de 1,7×).
  • Transfert au monde réel : SpatialThinker-7B obtient une amélioration de +5,3 % sur les benchmarks du monde réel contre +1,9 % pour le RL parcimonieux, confirmant que l'ancrage spatial structuré améliore la perception visuelle globale et réduit les hallucinations.
• Études d'ablation : Supprimer la récompense de comptage entraîne un détournement de récompense (23,7 % d'exactitude). L'ajout du verrouillage lexicographique et du filtrage RoI restaure la performance à 76,3 %, et le filtrage de jeu de données par double-LLM la porte à 87,9 % sur l'ensemble de validation.

Signification et Revendications

L'article affirme que l'ancrage spatial structuré via des récompenses denses permet une compréhension spatiale robuste avec des données limitées, remettant en question l'idée que le pré-entraînement à très grande échelle ou les entrées 3D explicites sont strictement nécessaires pour un raisonnement spatial de haut niveau.

• Efficacité : Le modèle atteint des résultats de pointe en utilisant seulement 7K échantillons synthétiques, une fraction des données utilisées par les MLLM spatiaux existants (qui utilisent souvent des millions d'échantillons).
• Raisonnement 3D Émergent : Malgré un entraînement sur des images RGB 2D avec des récompenses 2D, la supervision relationnelle des graphes de scènes encode des indices liés à la profondeur et à l'orientation, permettant au modèle de développer des capacités de raisonnement 3D émergentes.
• Généralisation : L'approche améliore non seulement les tâches spatiales mais aussi la perception visuelle générique et le VQA du monde réel, suggérant que l'imposition d'un raisonnement structuré réduit les hallucinations et affine la distinction visuelle fine.

Les auteurs concluent que leur méthode démontre que le raisonnement aligné sur les récompenses combiné à l'ancrage par graphe de scène est une voie viable et efficace vers une compréhension spatiale robuste dans les MLLM.