🤖 AI

It's the Decoding Format, Not the Perturbation: Auditing Consistency-Based Selection for Vision-Language Test-Time Scaling

Cet article démontre que, bien que la sélection fondée sur la perturbation (Pgs) semble surpasser le vote majoritaire dans le cadre de la mise à l'échelle de test vision-langage, ses gains apparents sont largement un artefact de formats de décodage non contrôlés, car un contrôle avec format apparié révèle que la cohérence de la perturbation seule n'est pas un signal de sélection fiable une fois que les budgets et les formats de décodage sont correctement alignés.

Auteurs originaux : Puzhuo Zheng, Hasan Kurban

Publié 2026-08-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Puzhuo Zheng, Hasan Kurban

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot super intelligent comment résoudre des énigmes. Dans le monde de l'intelligence artificielle, il existe une astuce ingénieuse appelée « mise à l'échelle au moment du test » (test-time scaling). Au lieu de demander au robot de résoudre un problème une seule fois en espérant que tout se passe bien, vous lui demandez d'essayer de nombreuses solutions différentes en même temps. Ensuite, vous jouez le rôle de juge et choisissez la meilleure réponse parmi la pile. Pour les robots textuels uniquement, cela fonctionne comme par magie : si le robot réfléchit intensément et génère dix réponses différentes, celle qui apparaît le plus souvent est généralement la bonne. C'est comme poser une question de mathématiques à une pièce remplie de gens ; si neuf personnes disent « 42 » et une personne dit « 43 », vous choisirez probablement « 42 ».

Mais quand vous donnez des yeux à ces robots (faisant d'eux des « Modèles Vision-Langage » ou VLM), cela devient délicat. Ces robots peuvent voir des images, mais ils ont aussi une forte habitude de deviner en se basant sur ce qu'ils ont entendu auparavant, en ignorant l'image réelle. Parfois, le robot voit l'image d'une feuille mais devine « graine » parce qu'il se souvient d'une histoire où des graines deviennent des arbres. L'ancienne astuce consistant à simplement choisir la réponse la plus courante échoue ici car le robot peut deviner avec assurance la mauvaise chose dix fois de suite. Les scientifiques ont essayé de corriger cela en faisant en sorte que le robot « revérifie » son travail, mais une nouvelle étude pose une question très importante : le robot regarde-t-il réellement l'image, ou utilise-t-il simplement une autre façon de parler ?

Cet article étudie une nouvelle méthode appelée Sélection Fondée sur la Perturbation (Pgs). L'idée derrière la Pgs est simple et ludique : pour voir si le robot regarde vraiment l'image, vous « secouez » légèrement l'image — en la recadrant, en changeant la luminosité ou en masquant l'arrière-plan — et vous demandez au robot de résoudre le problème à nouveau. Si le robot donne toujours la même réponse même lorsque l'image change un peu, la méthode suppose que la réponse est « ancrée » dans l'image. Si la réponse change radicalement, elle suppose que le robot ne faisait que deviner en se basant sur sa mémoire. Les chercheurs voulaient voir si ce « test de secousse » (jitter test) pouvait aider à choisir la bonne réponse mieux que l'ancienne méthode de la « réponse la plus courante ».

Cependant, les chercheurs ont découvert un problème sournois dans la manière dont ces tests étaient habituellement réalisés. La nouvelle méthode (Pgs) demandait au robot de donner des réponses courtes et rapides lors de la vérification des images secouées, tandis que l'ancienne méthode (Vote Majoritaire) demandait de longues étapes de réflexion détaillées (appelées Chaîne de Pensée ou Chain-of-Thought) pour l'image originale. Il s'avère que demander des réponses courtes est plus facile pour le robot, qu'il regarde une image secouée ou non.

Pour corriger cela, l'équipe a créé une comparaison équitable appelée MatchedCtrl. Ils ont donné au robot exactement le même nombre de réponses courtes et rapides, mais cette fois, ils n'ont pas secoué l'image du tout ; ils ont simplement demandé au robot de répondre rapidement à l'image originale. Lorsqu'ils ont comparé la « méthode de secousse » (Pgs) à cette « méthode de réponse courte équitable » (MatchedCtrl), la magie a disparu. La méthode de secousse n'a pas permis de choisir de meilleures réponses. En fait, sur un test difficile appelé ViLP, la méthode de secousse a parfois donné de moins bons résultats.

L'article montre que, bien que la « secousse » crée une différence mesurable dans la façon dont le robot se comporte (le robot réagit effectivement aux changements d'image), cette réaction n'aide pas réellement le robot à choisir la bonne réponse mieux que si on lui demandait simplement de faire plus de tentatives de réponses courtes et rapides sur l'image originale. Le gain important que certains ont observé précédemment (jusqu'à +31,8 points sur un test) n'était pas dû au fait que le robot regardait soudainement l'image plus attentivement, mais simplement au fait qu'il répondait dans un format différent et plus court.

En fin de compte, les auteurs concluent que le simple fait de demander à un robot de répondre à nouveau à une image légèrement altérée n'est pas un moyen fiable de le forcer à regarder l'image si vous contrôlez déjà la manière dont le robot répond. Le signal de la « secousse » est réel, mais ce n'est pas un interrupteur magique qui rend le robot plus intelligent. Pour véritablement améliorer ces robots, nous devrons peut-être trouver un moyen de les faire regarder l'image qui ne repose pas simplement sur la façon dont ils formulent leurs réponses. L'étude suggère que, tant que nous n'avons pas trouvé une meilleure méthode, nous devrions être très prudents avant de prétendre qu'une nouvelle méthode fonctionne simplement parce qu'elle bat l'ancienne règle de la « réponse la plus courante » sans une comparaison équitable.

Résumé Technique : C'est le format de décodage, pas la perturbation

Énoncé du Problème

Le passage à l'échelle au moment de l'inférence (test-time scaling), une technique qui améliore le raisonnement des grands modèles de langage (LLM) en échantillonnant plusieurs solutions candidates et en sélectionnant la meilleure, s'est très mal transposée aux modèles de langage-vision (VLM). Des travaux récents indiquent que pour les VLM, le vote majoritaire simple surpasse souvent les méthodes de sélection sophistiquées basées sur l'auto-vérification ou l'auto-cohérence. Le problème central est qu'au niveau de la couche de sélection, une réponse ancrée dans l'image et une supposition confiante dérivée des priors linguistiques apparaissent souvent indiscernables pour le modèle. Les signaux de sélection standards (par exemple, la fréquence d'occurrence ou la confiance verbalisée) échouent car ils ne testent pas explicitement si une réponse dépend des pixels de l'entrée visuelle.

Les solutions existantes à cette « fuite de la couche de sélection » nécessitent généralement soit un entraînement intensif (apprentissage par renforcement, programmes d'utilisation d'outils), soit l'accès aux composants internes du modèle (masquage d'attention, réseaux de vérification externes). Il manque des mécanismes de sélection sans étiquette et sans entraînement qui opèrent uniquement au moment de l'inférence sur du matériel grand public.

Méthodologie

Les auteurs proposent et évaluent la Sélection Fondée sur la Perturbation (Pgs - Perturbation-Grounded Selection), une règle sans étiquette et sans entraînement conçue pour créer un signal de sélection qui ne peut être calculé sans l'image.

Sélection Fondée sur la Perturbation (Pgs)

Pgs évalue la stabilité des réponses candidates en mesurant leur stabilité sous des perturbations de l'image d'entrée préservant les étiquettes.

Échantillonnage : Le modèle génère $N$ réponses candidates initiales avec un raisonnement de type Chaîne de Pensée (CoT - Chain-of-Thought) à partir de l'image originale.
Perturbation : L'image d'entrée est transformée à l'aide d'un ensemble de perturbations préservant les étiquettes ( $T$ ), telles que le recadrage vers des régions pertinentes, le masquage des arrière-plans, ou l'application d'un léger jitter photométrique ou géométrique.
Redérivation : Pour chaque vue perturbée, le modèle génère $K$ échantillons courts, composés uniquement de la réponse (sans CoT).
Score : Une réponse candidate $c$ $c$ reçoit un score de support ancré $g(c)$ $g (c)$ , qui combine le nombre de votes originaux avec une somme pondérée de la fréquence de sa redérivation à travers les vues perturbées.
- Mathématiquement, $g(c) = \text{votes}_{\text{original}} + \lambda \sum \rho(c | t_m(x), q)$ , où $\rho$ est le score de cohérence sur les vues perturbées.
Sélection : La réponse ayant le $g(c)$ $g (c)$ le plus élevé est sélectionnée.
- Note : Si l'ensemble de perturbations est vide, Pgs se réduit au vote majoritaire standard.

Le Contrôle : MatchedCtrl

L'article identifie un biais de confusion critique dans les évaluations précédentes : comparer Pgs (qui utilise des échantillons courts, sans CoT, pour les perturbations) au vote majoritaire standard (qui utilise uniquement de longs échantillons CoT) confond le mécanisme de sélection avec un changement de format de décodage (CoT vs court).

Pour isoler l'effet de la perturbation, les auteurs introduisent MatchedCtrl :

Il utilise les mêmes $N$ échantillons CoT que la référence.
Il ajoute le même nombre d'échantillons courts, sans CoT ( $M \times K$ ) que Pgs.
Crucialement, ces échantillons courts supplémentaires sont tirés de l'image originale, non perturbée.
Cela garantit que toute différence de performance entre Pgs et MatchedCtrl est due uniquement au routage par perturbation, et non au format de décodage ou au budget de réponses courtes.

Contributions Clés

Identification d'un biais de format de décodage : L'article démontre que les gains rapportés des sélecteurs basés sur la perturbation par rapport au vote majoritaire uniquement CoT sont souvent des artefacts du passage de traces CoT longues à des traces courtes, de type réponse seule.
Contrôle MatchedCtrl : Un nouveau protocole expérimental qui isole le mécanisme de perturbation en égalisant le budget et le format de décodage (réponse courte, sans CoT) sur l'image originale.
Résultat Empirique Négatif : Sous le contrôle MatchedCtrl, Pgs ne montre aucun avantage significatif par rapport au contrôle sur aucun benchmark, y compris ceux exigeant un ancrage visuel.
Distinction entre Diagnostic et Routage : L'article établt que si la cohérence de la perturbation (l'écart de stabilité - Stability Gap) est un diagnostic valide de la dépendance visuelle (le score change lorsque l'image est altérée), elle ne fonctionne pas comme un signal de routage utilisable pour améliorer la précision de la sélection une fois le format de décodage contrôlé.
Outils Ouverts : Publication du code et d'outils d'audit (incluant les intervalles de confiance bootstrap appariés) pour permettre à la communauté d'auditer les futures affirmations de sélection basée sur la perturbation.

Résultats

Les auteurs ont évalué Pgs, le Vote Majoritaire (MV - Majority Voting) et MatchedCtrl à travers quatre benchmarks : TextVQA, MATH-Vision, MMMU et ViLP, en utilisant Qwen2.5-VL-7B et LLaVA-OneVision-7B.

Pgs vs. MV (Comparaison Injuste) : Pgs semblait nettement surpasser le vote majoritaire standard sur TextVQA (+31,8 points de pourcentage) et montrait des gains modestes ailleurs.
Pgs vs. MatchedCtrl (Comparaison Équitable) : Comparé à MatchedCtrl (qui utilise le même budget de "réponses courtes" sur l'image originale), Pgs n'a montré aucun avantage fiable sur aucun benchmark.
- Sur TextVQA, MatchedCtrl (87,6 %) a même légèrement surpassé Pgs (86,2 %).
- Sur ViLP (un benchmark spécifiquement conçu pour tester l'ancrage face aux priors linguistiques), MatchedCtrl (53,7 %) a surpassé Pgs (52,3 %).
Analyse de l'Écart de Stabilité (Stability Gap) : L'écart de stabilité "préserver/détruire" (la différence de score entre les entrées originales et celles vidées/détruites) était réel et dépendant de l'image (jusqu'à +0,48). Cependant, un écart important ne prédisait pas les victoires par instance de Pgs sur MatchedCtrl.
Ablations : Le fait de vider les entrées de perturbation a provoqué l'effondrement des performances de Pgs sur les tâches visuelles, confirmant que le signal dépend de l'image. Cependant, cela ne s'est pas traduit par des gains de sélection par rapport au contrôle.

Signification et Revendications

L'article conclut que la cohérence de la perturbation est, au mieux, un diagnostic partiel de la dépendance visuelle et, en soi, n'est pas un signal de sélection utilisable une fois le format de décodage contrôlé.

Réévaluation des Revendications : Les gains rapportés dans la littérature contre le vote majoritaire uniquement CoT surestiment probablement l'efficacité des méthodes basées sur la perturbation car ils ne tiennent pas compte des bénéfices de l'agrégation de réponses courtes sur l'image originale.
Le Résultat "Nul" : L'étude fournit un résultat nul mesuré : simplement ajouter la redérivation basée sur la perturbation n'améliore pas la précision de la sélection au-delà de ce qui est obtenu par l'agrégation de réponses courtes, sans CoT, de l'image originale.
Direction Future : Le progrès dans l'échelle de test pour les VLM nécessitera probablement des sources d'information allant au-delà de la cohérence au niveau de la réponse, telles que des sondes visuelles plus denses, des récompenses au niveau du processus, ou le désaccord entre modèles.
Standard Méthodologique : Les auteurs soutiennent que toute future règle de sélection utilisant un budget d'inférence supplémentaire dans un format de décodage différent doit inclure un contrôle correspondant au format (comme MatchedCtrl) afin d'éviter d'attribuer à tort les effets de format aux mécanismes d'ancrage.

L'article ne prétend pas que les signaux de perturbation sont inutiles ; il affirme plutôt qu'ils sont insuffisants en tant que sélecteur autonome une fois le biais de confusion du format de décodage contrôlé. L'écart de stabilité reste utile pour auditer si un modèle "voit" l'image, mais pas pour décider quelle réponse choisir lorsqu'un contrôle équitable est disponible.