Résumé technique : Diagnostic des modes de défaillance de la collaboration à état partagé pour les agents visuels aux ressources contraintes

Énoncé du problème

Les systèmes de raisonnement visuel modulaires s'appuient de plus en plus sur une mémoire de travail partagée (par exemple, des « tableaux blancs » ou des carnets de notes) pour extérioriser les états intermédiaires, permettant ainsi aux modèles à capacité limitée de décomposer des requêtes complexes en étapes vérifiables. Cependant, l'efficacité de ce paradigme reste non prouvée dans les régimes à ressources contraintes, spécifiquement lors de l'utilisation de modèles apprenants faibles (modèles de 4B à 8B de paramètres) avec des budgets de calcul stricts.

L'hypothèse centrale de ce travail est que, dans ces configurations à faible capacité, la boucle collaborative agit non pas comme un magasin de mémoire fiable, mais comme un canal de communication bruité. Chaque tour d'interaction supplémentaire induit des coûts computationnels linéaires tout en introduisant des risques d'accumulation de bruit, où des notes intermédiaires non fondées sont « durcies » en preuves erronées, ou de dérive de politique (policy drift), où le modèle glisse vers des sorties sous-spécifiées. L'article soutient que, sans un audit d'intégrité rigoureux, la dynamique de défaillance de l'évolution de l'état intermédiaire dans ces régimes reste sous-explorée.

Méthodologie : Le cadre CoSee

Pour étudier ces limites, les auteurs introduisent CoSee, un cadre d'audit et un protocole de collaboration conçus pour mesurer l'utilité du contexte partagé sous les contraintes de petits modèles.

1. Formalisation de la boucle d'inférence

Le problème est formulé comme un processus de décision séquentiel où un modèle de langage visuel $M_\theta$ génère une réponse $a$ conditionnée par une entrée visuelle $I$ et une requête $q$, médiatisée par une séquence d'états latents discrets (le Tableau, $B_{1:T}$). Le cadre traite la trajectoire d'inférence comme une trace probabiliste $\tau = (I, q, B_{1:T}, \hat{a})$.

2. Protocoles expérimentaux

L'étude compare trois protocoles d'inférence distincts sous des capacités de prompt et de décodage strictement identiques (maximum 32 nouveaux jetons par appel, $T=3$ étapes) :

• Inférence directe (Baseline) : Une génération en un seul tour sans suivi de l'état intermédiaire.
• Raffinement itératif en boucle ouverte :
  • Agent unique : Un agent met à jour le tableau de manière itérative.
  • Double agent (Scanner–Vérificateur) : Deux rôles dérivés du même socle opèrent en tours alternés (l'un propose des preuves, l'autre affine/réfute).
• Transition à porte (Tableau vérifié) : Un mécanisme de porte conditionnelle où une fonction de vérification $V_\phi$ (paramétrée par le même socle) filtre les entrées proposées au tableau. Seules les entrées marquées comme « Supportées » sont ajoutées au tableau ; les autres sont rejetées. Cela agit comme un goulot d'étranglement d'information pour empêcher la propagation du bruit.

3. Configuration de l'évaluation

• Socles (Backbones) : Les expériences utilisent des modèles de classe 4B–8B : Qwen3-VL-4B/8B-Instruct, Phi-4-multimodal-instruct, et Gemma-3-4B-it.
• Benchmarks : Trois distributions représentant des modes de défaillance distincts :
  • SlideVQA : Récupération multi-pages (régime de haut rappel).
  • ChartQAPro : Raisonnement quantitatif avec perturbations adverses (régime de haute précision).
  • VQAonline : Synthèse ouverte à partir de données web (régime sensible à la politique).
• Métriques : Au-delà de l'Exact Match (EM) et du Loose Match standards, les auteurs emploient un Scoring robuste au format (pour isoler l'hallucination des erreurs de formatage) et un F1 sensible à la politique (pour détecter l'effondrement de la couverture). Crucialement, ils imposent une politique de scoring « sans exclusion », conservant les sorties malformées ou fuyantes comme des échecs afin de pénaliser l'instabilité du protocole.
• Analyse des coûts : La performance est évaluée par rapport au coût computationnel en utilisant des frontières de Pareto Coût–Précision, traçant l'utilité (précision) contre le nombre total de jetons générés.

Résultats clés

L'investigation empirique révèle un paradoxe d'efficacité distinct : l'usage naïf de la mémoire partagée dégrade souvent la performance plutôt qu'il ne l'améliore pour les apprenants faibles.

1. Rendements négatifs sur le calcul

Sur les trois socles et jeux de données, les protocoles en boucle ouverte (multi-agents et agent unique) sous-performent fréquemment la ligne de base de l'inférence directe en un seul tour.

• ChartQAPro & VQAonline : La collaboration naïve montre des baisses de performance statistiquement significatives. Le calcul supplémentaire (jetons) est corrélé négativement avec la précision, plaçant ces méthodes dans le quadrant de l'« utilité négative » de la frontière de Pareto.
• SlideVQA : Bien que les tâches de récupération montrent des gains marginaux ou neutres, elles ne présentent pas la dégradation sévère observée dans les tâches de raisonnement intensif, suggérant que le mode de défaillance est spécifique aux chaînes de raisonnement plutôt qu'à la simple récupération de preuves.

2. Modes de défaillance identifiés

Les diagnostics au niveau de la trace isolent deux mécanismes dominants de dégradation :

• Renforcement du bruit (ChartQAPro) : Dans le raisonnement quantitatif, des notes intermédiaires non fondées (ex: mauvaise lecture d'une légende de graphique) sont inscrites sur le tableau et sont ensuite traitées comme des preuves de vérité par le répondant final. Cela crée une boucle de rétroaction positive où les erreurs de perception précoces sont « durcies » dans la réponse finale.
• Effondrement de la politique (VQAonline) : Dans la synthèse ouverte, la présence d'un contexte intermédiaire induit un changement de distribution. Le modèle s'effondre vers des réponses excessivement concises (passant de bacs de 17–32 jetons à des bacs de 0–16 jetons), entraînant un grave manque de couverture des composants requis de la réponse. Il s'agit d'une dépendance apprise envers le résumé du tableau plutôt que d'un résultat de la troncature des jetons.

3. Le rôle de la vérification

Le contrôle Verified-Board démontre que le goulot d'étranglement n'est pas la capacité de raisonnement mais la fidélité de la communication. L'introduction d'une simple porte de vérification (vérification Support/Réfuter) récupère la majeure partie de la perte de performance sur ChartQAPro, arrêtant efficacement la propagation des erreurs. Cela confirme que la vérification légère est la condition minimale nécessaire pour un passage à l'échelle fiable dans ce régime.

Signification et contributions

L'article apporte trois contributions majeures à la compréhension des agents visuels modulaires :

1. Cadre d'audit formel (CoSee) : Il fournit un protocole rigoureux pour tracer le flux d'information et l'intégrité dans les systèmes VQA modulaires, permettant une investigation systématique des limites de la collaboration des apprenants faibles.
2. Taxonomie des mécanismes de défaillance : Il établit une classification des modes de défaillance dominants — spécifiquement le Renforcement du bruit et l'Effondrement de la politique — démontrant que les espaces de travail partagés naïfs peuvent amplifier les hallucinations plutôt que de les résoudre.
3. Principes de conception pour les agents aux ressources contraintes : Les conclusions remettent en question l'intuition selon laquelle « réfléchir sur papier » améliore intrinsèquement le raisonnement. Au lieu de cela, l'article soutient que pour les modèles 4B–8B, le goulot d'étranglement réside dans la fidélité de la communication, et non dans la profondeur du raisonnement. Il postule qu'une conception modulaire fiable nécessite des contrôles en boucle fermée (transitions à porte) et des goulots d'étranglement d'information ancrés pour empêcher la thermodynamique de la propagation des erreurs, plutôt que de simplement proliférer des rôles en boucle ouverte.

En conclusion, l'ouvrage suggère que pour les agents aux ressources contraintes, l'augmentation du calcul au moment de l'inférence sans mécanismes de vérification explicites produit des rendements décroissants, voire négatifs. La voie vers des agents modulaires fiables réside dans l'ingénierie de mécanismes qui filtrent le bruit à la source, garantissant que l'état partagé agisse comme un support de raisonnement valide plutôt que comme un canal bruité.