Résumé Technique : Pensée Visuelle Itérative (IVT - Iterative Visual Thinking)

Énoncé du Problème

Les modèles de langage-vision (VLM) excellent actuellement dans les tâches de localisation spatiale en une seule passe (single-shot), telles que la compréhension d'expressions de référence (REC), où ils prédisent directement les coordonnées des boîtes englobantes à partir de descriptions textuelles. Cependant, ces modèles manquent d'un mécanisme inhérent pour observer et corriger leurs propres prédictions. Alors que les humains résolvent les tâches spatiales via un processus en boucle fermée de formulation d'hypothèses, de vérification par rapport aux preuves visuelles et de raffinement, les VLM opèrent selon un paradigme à "passe unique".

Le document identifie un "fossé de l'auto-correction" critique : inciter naïvement un VLM à itérer sur ses propres prédictions rendues conduit à un échec catastrophique. Dans les expériences, l'application de la pensée visuelle itérative sans entraînement spécifique a provoqué l'effondrement de la précision à IoU ≥ 0,5 (Acc@0,5), passant de 79,6 % à 48,7 % (une chute de 31 points de pourcentage). Cela révèle que, bien que les VLM possèdent de fortes capacités de localisation, ils ne peuvent pas interpréter nativement les visualisations de leurs propres erreurs pour effectuer une auto-correction.

Méthodologie : Pensée Visuelle Itérative (IVT)

Les auteurs proposent l'IVT (Iterative Visual Thinking), un cadre en boucle fermée où le modèle prédit une boîte englobante, observe la prédiction rendue sous forme de superposition colorée sur l'image originale, et utilise ce retour visuel pour affiner itérativement sa sortie.

Le pipeline d'entraînement utilise une recette en deux phases pour combler le fossé de l'auto-correction :

Phase 1 : Mise en route par SFT (Fine-tuning Supervisé)

L'apprentissage par renforcement (RL) direct échoue initialement car le modèle de base n'a pas de concept d'auto-correction spatiale et a tendance à produire des prédictions dégénérées et identiques à chaque étape. Pour y remédier, les auteurs introduisent une stratégie de synthèse de données :

• Synthèse basée sur la prédiction de l'étudiant : Au lieu d'utiliser des boîtes de vérité terrain artificiellement perturbées, le pipeline utilise les propres prédictions réalistes initiales du modèle étudiant (Étape 0) comme point de départ pour les trajectoires d'erreur. Cela évite le "sandbagging de l'étape 0", où les modèles apprennent à produire intentionnellement de mauvaises prédictions initiales pour imiter les données d'entraînement.
• Traces de raisonnement de l'enseignant : Un VLM "enseignant" génère des traces de raisonnement correctives. L'enseignant observe la prédiction initiale de l'étudiant (ou la superposition rendue des étapes précédentes) et rédige une trace de raisonnement identifiant les erreurs spatiales (ex: "décalé", "trop grand") et expliquant la correction nécessaire.
• Entraînement : Le modèle étudiant est affiné sur ces trajectoires via une perte d'entropie croisée (cross-entropy loss), apprenant la structure de la pensée visuelle itérative : interpréter les superpositions rendues, générer un raisonnement ancré et produire des boîtes valides.

Phase 2 : Fine-tuning par GRPO

Une fois que le modèle comprend la structure du raffinement via le SFT, l'optimisation GRPO (Group Relative Policy Optimization) est appliquée pour stabiliser le processus multi-étapes.

• Fonction de Récompense : Une récompense simple est utilisée : l'Intersection sur Union (IoU) de l'étape finale plus un petit bonus de format pour l'analyse de la boîte englobante valide. Cette simplicité permet d'éviter l'instabilité observée avec des fonctions de récompense complexes à plusieurs composantes.
• Objectif : Le GRPO optimise les résultats au niveau de la trajectoire en utilisant des avantages relatifs au groupe, encourageant le modèle à maintenir ou améliorer les prédictions à travers les étapes de raffinement plutôt que de les dégrader.

Contributions Clés

1. Le Cadre IVT : Un système de raisonnement spatial en boucle fermée où les VLM prédisent, observent les prédictions rendues et s'auto-corrigent. Le document démontre que cette capacité n'est pas native ; sans entraînement explicite, le raffinement itératif provoque une dégradation sévère des performances.
2. Synthèse de Données Auto-référentielle : Une stratégie qui exploite les propres prédictions du modèle de base comme sources d'erreurs réalistes pour l'entraînement SFT, éliminant le besoin de trajectoires de correction annotées par l'humain.
3. Entraînement Asymétrique en Deux Phases : Le document établit que le SFT est le principal moteur des gains de précision, enseignant au modèle la structure de la pensée itérative. Le GRPO agit comme un stabilisateur, réduisant la dégradation des performances par étape mais ne pilotant pas le saut initial de précision.
4. Preuve de Scalabilité : Les auteurs démontrent que l'auto-correction spatiale peut être inculquée avec un ensemble de données modeste de 2 400 échantillons entraînés sur un seul GPU, surpassant les bases en passe unique.

Résultats Expérimentaux

Les expériences ont été menées sur un benchmark mixte de 505 échantillons de test provenant de RefCOCOg, Ref-Adv-S et Ref-L4, en utilisant le modèle Qwen3-VL-4B-Instruct.

• Le Fossé de l'Auto-correction : Le modèle de base avec l'IVT non entraîné a fait chuter l'Acc@0,5 de 79,6 % à 48,7 %.
• Impact du SFT : Après la mise en route par SFT avec l'IVT, le modèle a dépassé le modèle de base en passe unique sur tous les indicateurs :
  • Acc@0,5 : 82,0 % (+2,4 pp)
  • Acc@0,7 : 74,1 % (+3,2 pp)
  • Acc@0,9 : 48,3 % (+2,8 pp)
• Impact du GRPO : L'ajout du GRPO au SFT a légèrement réduit la précision globale par rapport au SFT+IVT seul (Acc@0,5 : 80,6 % contre 82,0 %) mais a considérablement amélioré la stabilité du raffinement.
  • La dégradation moyenne de l'IoU par étape est passée de 0,140 (SFT seul) à 0,029 (SFT+GRPO), soit une réduction de 5x.
  • Sans SFT, le GRPO seul a abouti à une "stagnation dégénérée" où le modèle se contentait de copier sa première prédiction à chaque étape.

Signification et Revendications

Le document affirme que l'auto-correction spatiale est une capacité apprenable qui doit être explicitement enseignée, car elle n'émerge pas naturellement dans les VLM de base même avec un retour visuel. Ce travail souligne une distinction fondamentale entre la "capacité de localisation" (trouver un objet une fois) et la "capacité d'auto-correction" (corriger itérativement les erreurs basées sur un retour visuel).

Le cycle proposé prédire-rendre-affiner offre un nouveau paradigme pour le raisonnement spatial qui reflète le cycle "agir-observer-corriger" des agents incarnés. De plus, le processus itératif offre une interprétabilité, car les traces de raisonnement et les superpositions rendues à chaque étape rendent transparent le processus de décision spatiale du modèle, contrastant avec la nature de "boîte noire" des prédictions en passe unique. Les auteurs notent que bien que l'implémentation actuelle se concentre sur la localisation d'un objet unique, le cadre est indépendant de la représentation et s'étend naturellement à la segmentation, aux points clés et au raisonnement multi-objets.