Résumé technique : CAVE – Une approche structurée d'attribution de crédit pour le raisonnement sur des preuves visuelles fragmentées

1. Définition du problème : Raisonnement visuel fragmenté (FVR)

Bien que les modèles vision-langage (VLM) aient considérablement progressé dans le raisonnement multimodal général, ils présentent une fragilité lorsque les tâches nécessitent l'intégration d'informations visuelles non locales avec des a priori sémantiques faibles. Les auteurs définissent ce défi comme le Raisonnement Visuel Fragmenté (FVR). Dans le FVR, les preuves critiques pour la tâche sont spatialement fragmentées et faiblement séparables sémantiquement à travers différentes régions de l'image.

Les VLM actuels échouent souvent dans ce contexte car :

• Perception globale grossière : Le recours à des représentations globales échoue à capturer les dépendances à longue portée et les différences locales subtiles.
• Biais de verbalisation : Les modèles tendent à biaiser le raisonnement vers un sous-ensemble verbalisé de preuves, produisant des chaînes cohérentes mais non ancrées visuellement.
• Propagation d'erreurs : Des erreurs précoces dans la sélection des preuves entraînent des défaillances en cascade dans les étapes de raisonnement ultérieures.

Les méthodes de raisonnement entrelacé existantes (par exemple, « Penser avec l'image ») permettent une réobservation localisée mais manquent de supervision de processus spécifique à l'action. Les méthodes de récompense de processus actuelles évaluent généralement les étapes intermédiaires en fonction de l'amélioration de la réponse finale ou de la qualité globale de la trajectoire, échouant à fournir une guidance ciblée pour des comportements de raisonnement spécifiques tels que l'acquisition de preuves ou la focalisation sur des régions.

2. Méthodologie : CAVE (Attribution de crédit pour les preuves visuelles)

Pour remédier à ces limitations, les auteurs proposent CAVE, une méthode structurée de récompense de processus basée sur l'Optimisation Stratégique Relative par Groupes (GRPO), conçue pour le raisonnement visuel entrelacé.

2.1 Trajectoire de raisonnement entrelacé

Le processus de résolution du modèle est modélisé comme une trajectoire $\tau = \{(M_t, a_t, o_t)\}_{t=1}^{T_\tau}$, où :

• $M_t$ : État du contexte multimodal (image originale, question, historique, observations locales).
• $a_t$ : Action de l'assistant (raisonnement textuel, appel d'outil de zoom, ou réponse finale).
• $o_t$ : Observation de l'environnement (par exemple, sous-image zoomée).

2.2 Crédits de processus structurés

Contrairement aux récompenses d'utilité d'état unique, CAVE décompose la valeur des étapes intermédiaires en trois signaux complémentaires au niveau de l'action :

1. Crédit de mise à jour de croyance ($c_{bu}$) :

   • Objectif : Mesurer la progression vers la réponse correcte.
   • Mécanisme : Calcule le gain dans la vraisemblance conditionnelle logarithmique du corps de la réponse vérité ($A$) entre l'état $M_t$ et $M_{t+1}$ en utilisant la force d'enseignement (teacher forcing).
   • Fonction : Récompense les étapes qui rapprochent l'état du modèle de la réponse correcte, contraignant les mises à jour d'état orientées réponse.

2. Crédit d'acquisition de preuves ($c_{ea}$) :

   • Objectif : Capturer la progression précurseur où des indices visuels critiques deviennent disponibles avant d'être pleinement intégrés dans la croyance de réponse.
   • Mécanisme : Utilise un ensemble de $K$ unités de preuves visuelles textuelles ($P = \{p_1, ..., p_K\}$) annotées pour la tâche (par exemple, « bâtiment triangulaire »). Il mesure le gain du score de récupérabilité de ces unités entre les états.
   • Fonction : Récompense les trajectoires qui acquièrent progressivement les détails visuels nécessaires, les distinguant des devinettes aveugles.

3. Crédit de contrôle adaptatif de la focalisation ($c_{af}$) :

   • Objectif : Contrôler l'exploration visuelle basée sur le zoom pour équilibrer la couverture des preuves et le bruit visuel.
   • Mécanisme :
     • Estime l'incertitude de l'état ($u_t$) via l'entropie des jetons de réponse.
     • Définit une échelle de zoom cible $\hat{\rho}_t$ basée sur l'incertitude.
     • Conditionne la récompense : Une action de zoom n'est récompensée que si elle produit des gains positifs de croyance ou de preuves ($g_t$) ET que son échelle correspond à l'incertitude actuelle ($1 - |\rho_t - \hat{\rho}_t|$).
   • Fonction : Encourage le modèle à sélectionner des observations locales qui induisent une progression de l'état tout en évitant le bruit non pertinent.

2.3 Optimisation

La récompense totale est une somme pondérée des crédits agrégés au niveau de la trajectoire :
$$R_{CAVE}(\tau) = \lambda_{bu}C_{bu}(\tau) + \lambda_{ea}C_{ea}(\tau) + \lambda_{af}C_{af}(\tau)$$
La politique est optimisée en utilisant GRPO, calculant des avantages relatifs au groupe basés sur $R_{CAVE}$. L'optimisation s'applique uniquement aux jetons générés par l'assistant ; les observations des outils servent de contexte mais ne participent pas au gradient de politique.

3. Référence de comparaison : TRACER-Bench

Pour permettre une évaluation contrôlée et une analyse au niveau du processus, les auteurs construisent TRACER-Bench (Raisonnement sur des preuves transversales résistantes au texte).

• Portée : 980 échantillons VQA couvrant quatre scénarios :
  1. Navigation par changement de règles (VJump) : Nécessite de maintenir l'état à travers des changements de règles.
  2. Traçage non sémantique (LT) : Traçage de chemins sans indices sémantiques.
  3. Appariement intégré (Match) : Correspondance fine grille-modèle.
  4. Appariement de sous-images de télédétection (MME-RS) : Appariement de patches dans des images réelles bruyantes.
• Caractéristique clé : Chaque échantillon inclut un champ de perception contenant les preuves visuelles intermédiaires clés (textualisées) utilisées pour l'analyse hors ligne et le calcul de la récompense, mais non fournis comme entrée du modèle lors de l'inférence.
• Isolement : Le corpus d'entraînement est strictement isolé de l'ensemble de test concernant les graines aléatoires, les mises en page et les instances pour prévenir toute fuite.

4. Résultats expérimentaux

Les auteurs évaluent CAVE (basé sur Qwen2.5-VL) par rapport à diverses bases de référence, incluant des VLM généraux, des modèles orientés raisonnement et des méthodes augmentées par des outils.

• Performance en vision fragmentée : CAVE atteint la meilleure performance moyenne globale parmi les bases de référence open-source comparables.
  • Sur TRACER-Bench, CAVE-7B améliore le score moyen de +15,5 % par rapport au Qwen2.5-VL-7B de base.
  • Il surpasse nettement les modèles de raisonnement spécialisés (par exemple, ThinkLite-VL, VLAA-Thinker) et les méthodes assistées par des outils (DeepEyes).
  • Une étude d'ablation (« Croyance uniquement ») montre que si le gain de croyance de réponse est efficace, il est insuffisant sans acquisition de preuves et contrôle de la focalisation, confirmant la nécessité des trois composantes du crédit structuré.
• Performance multimodale générale : CAVE conserve des performances compétitives sur les références générales (MMStar, RealWorldQA, HallusionBench, etc.), obtenant des résultats en tête ou proches du sommet sur 4 des 6 références. Cela indique que l'optimisation pour l'exploration de preuves visuelles ne dégrade pas les capacités générales.
• Robustesse : CAVE démontre une dégradation plus lente des performances à mesure que la profondeur du raisonnement (sauts) et la distance inter-régionale augmentent, suggérant une stabilité améliorée dans les dépendances à longue portée.
• Efficacité : CAVE atteint une précision supérieure avec des budgets de jetons/outils comparables ou inférieurs aux bases de référence, comme en témoigne un taux de zoom « utile » plus élevé (proportion de zooms produisant des gains positifs).

5. Importance et affirmations

L'article affirme que CAVE comble un vide spécifique dans le raisonnement des VLM : l'incapacité à intégrer de manière fiable des preuves spatialement fragmentées et sémantiquement faibles.

• Attribution de crédit structurée : La contribution principale est la décomposition de la valeur de raisonnement intermédiaire en mise à jour de croyance, acquisition de preuves et contrôle adaptatif de la focalisation. Cela fournit une supervision ciblée au niveau de l'action que les récompenses au niveau de la trajectoire existantes ne capturent pas.
• Optimisation orientée processus : Les résultats suggèrent que les gains de performance ne proviennent pas de modèles plus grands ou de formats d'outils spécifiques, mais de la modélisation structurée du processus de progression des preuves visuelles.
• Généralisabilité : La méthode améliore les performances sur les tâches fragmentées tout en préservant les capacités multimodales générales, indiquant que la capacité apprise à explorer et intégrer les preuves visuelles est transférable.
• Étalonnage : TRACER-Bench fournit un cadre nécessaire pour évaluer le raisonnement par dépendance inter-régionale avec des chaînes de preuves intermédiaires vérifiables, comblant le manque d'analyse de preuves de processus dans les références existantes comme Tunnel Vision ou BabyVision.

Les auteurs concluent que CAVE guide efficacement les modèles à découvrir les preuves critiques pour la tâche, à mettre à jour les états de raisonnement et à se concentrer sur des régions informatives, conduisant à un raisonnement visuel plus robuste dans des conditions de faible séparabilité sémantique et de dépendances à longue portée.