Résumé Technique : L'Art de l'Interrogatoire : La Cohérence Amplifie la Véracité du Raisonnement Spatial

Énoncé du Problème

Les modèles de raisonnement à grande échelle (LRM) et les modèles vision-langage (VLM) présentent des déficiences significatives dans les tâches de raisonnement spatial, telles que la détermination de la position relative, l'ordonnancement de la profondeur et la comparaison de taille. Les benchmarks actuels indiquent que ces modèles sont moins performants que les humains de 30 à 40 % et échouent souvent sur des tâches compositionnelles avec une précision quasi aléatoire. Les approches existantes tentent de combler cet écart en traitant le problème comme un déficit de connaissances, en s'appuyant sur le réglage fin supervisé (SFT) avec des données étiquetées provenant de simulateurs 3D synthétiques ou d'images réelles annotées par des cascades de modèles de vision (par exemple, des estimateurs de profondeur, des détecteurs). Cependant, ces méthodes nécessitent une supervision de vérité terrain coûteuse et peuvent ne pas traiter la cause profonde : un manque de cohérence logique interne dans le processus de raisonnement du modèle.

Méthodologie

Les auteurs proposent que les LRM pré-entraînés possèdent déjà des capacités de raisonnement spatial latentes, mais qu'elles manquent d'alignement avec les principes géométriques fondamentaux. Au lieu d'ingérer de nouvelles connaissances factuelles, l'article introduit un cadre d'apprentissage par renforcement (RL) auto-supervisé qui impose une cohérence logique sous des transformations géométriques et sémantiques.

1. Vérificateurs de Cohérence

L'innovation centrale est le vérificateur de cohérence, une fonction de récompense qui opère sans étiquettes de vérité terrain. Il évalue si les réponses d'un modèle à un prompt $x$ et à un prompt augmenté $x' = T(x)$ satisfont une relation connue induite par la transformation $T$.

• Transformations : Le cadre applique des transformations d'image (par exemple, retournements horizontaux, recadrages préservant les objets) et des transformations de texte (par exemple, inversion de l'ordre des objets, négation des relations comme « gauche » $\to$ « droite »).
• Invariance vs Équivariance :
  • Invariant : Transformations qui préservent la réponse (ex: recadrage, variation de couleur). Les réponses du modèle à $x$ et $x'$ doivent correspondre.
  • Équivariant : Transformations qui inversent prévisiblement la réponse (ex: retournement horizontal pour les questions de « gauche/droite »). Les réponses du modèle doivent être en désaccord.
• Signal de Récompense : Le vérificateur renvoie 1 si la paire de réponses satisfait la relation attendue (correspondance ou désaccord) et 0 sinon. Cela fournit un signal de récompense auto-supervisé dérivé entièrement de la logique de transformation, et non d'étiquettes externes.

2. OT-GRPO (Optimal Transport Group Relative Policy Optimization)

La méthode standard de Group Relative Policy Optimization (GRPO) suppose des récompenses scalaires pour les complétions individuelles. Puisque les vérificateurs de cohérence évaluent des paires de complétions, les auteurs introduisent l'OT-GRPO, une variante de couplage minimal :

• Appariement Adversaire : Au lieu d'un appariement aléatoire ou d'une moyenne (un-vers-tous), l'algorithme résout un problème d'affectation linéaire pour trouver la permutation $\sigma^*$ qui minimise le score de cohérence total entre l'ensemble des complétions du prompt original et celui du prompt augmenté.
• Raisonnement : Cette stratégie de « cohérence minimale » force le modèle à affronter ses incohérences les plus difficiles. Si un modèle est véritablement cohérent, l'appariement minimal produira tout de même des récompenses élevées ; s'il est incohérent, l'appariement adversaire expose ces échecs, empêchant le modèle de manipuler le système par des alignements chanceux.
• Optimisation : Les paires appariées reçoivent un avantage partagé, et la mise à jour GRPO est appliquée aux deux complétions, originale et augmentée.

3. Configuration de l'Entraînement

• Modèles : Fine-tuning de Qwen2.5-VL (paramètres 3B et 7B) via LoRA.
• Jeux de données : SUN RGB-D (intérieur) et KITTI (extérieur) avec annotations Omni3D.
• Tâches : Quatre tâches de raisonnement spatial binaire : Orientation (gauche/droite), Profondeur (proche/éloigné), Taille (comparaison de volume) et Distance Relative.
• Format : Le modèle est incité à utiliser un raisonnement de type Chaîne de Pensée (CoT) dans des balises spécifiques, avec une récompense de format supplémentaire pour assurer l'adhérence structurelle.

Résultats Clés

L'article démontre que les approches d'entraînement basées sur la cohérence approchent les performances du réglage fin supervisé par vérité terrain sans nécessiter aucune donnée étiquetée.

1. Parité de Performance : Sur le jeu de données SUN RGB-D, les modèles entraînés par cohérence ont atteint une précision à 2,3–2,7 points de pourcentage près des modèles entraînés avec des étiquettes de vérité terrain sur les quatre tâches. Pour le modèle 7B, l'entraînement par cohérence a atteint 76,8 % de précision contre 79,6 % pour les modèles entraînés par précision.
2. Généralisation :
   • Transversalité des tâches : L'entraînement sur une tâche spatiale (ex: orientation) a amélioré les performances sur d'autres (ex: profondeur), l'entraînement par cohérence transférant presque aussi efficacement que l'entraînement par précision.
   • Transversalité des domaines : Les modèles entraînés sur des scènes intérieures (SUN RGB-D) se sont bien généralisés aux scènes extérieures (KITTI), l'entraînement par cohérence montrant une dégradation minimale par rapport aux bases supervisées.
3. Supériorité sur les Baselines Auto-supervisées : La méthode proposée a surpassé sept baselines auto-supervisées existantes, y compris Visual Jigsaw et les variantes SSL4RL, par des marges significatives (jusqu'à 24 points de pourcentage sur certaines variantes SSL4RL).
4. Robustesse à la Corruption des Étiquettes : Dans les expériences où les étiquettes de vérité terrain étaient corrompues (inversées) avec un bruit croissant, l'entraînement par cohérence (qui n'utilise aucune étiquette) a surpassé l'entraînement par précision une fois que le bruit d'étiquette dépassait 10–20 %. Cela suggère que l'entraînement par cohérence est plus robuste à l'accumulation d'erreurs inhérente aux pipelines d'annotation automatisés.
5. Extension aux Tâches Numériques : Le cadre a été étendu avec succès aux sorties numériques (comptage et estimation de distance absolue), où l'entraînement par cohérence a de nouveau étroitement suivi les performances des modèles entraînés par précision.

Signification et Revendications

L'article affirme que l'imposition d'une cohérence logique via des vérificateurs de cohérence débloque les capacités de raisonnement spatial latentes déjà présentes dans les modèles pré-entraînés. Les points clés sont les suivants :

• Efficacité sans Étiquettes : Un raisonnement spatial de haute qualité peut être obtenu sans le coût et la complexité de la génération d'annotations spatiales de vérité terrain.
• Mécanisme d'Amélioration : Les résultats soutiennent la vue selon laquelle le RL avec des récompenses vérifiables agit comme un filtre, sélectionnant et renforçant les modèles de raisonnement préexistants qui adhèrent aux lois géométriques, plutôt que de créer des capacités entièrement nouvelles.
• Scalabilité : L'approche est applicable à divers domaines et tâches, suggérant une voie générale pour améliorer les VLM dans des domaines où les données de vérité terrain sont rares ou coûteuses à obtenir.

Les auteurs concluent que l'entraînement par cohérence est une alternative viable et robuste au réglage fin supervisé pour le raisonnement spatial, offrant une voie vers des applications d'IA incarnée et de robotique plus fiables et généralisables.