🤖 AI

It's the Decoding Format, Not the Perturbation: Auditing Consistency-Based Selection for Vision-Language Test-Time Scaling

Dit artikel toont aan dat hoewel Perturbation Grounded Selection (Pgs) de indruk wekt beter te presteren dan majority voting bij vision-language test-time scaling, de schijnbare winst grotendeels een artefact is van ongecontroleerde decoding-formaten, aangezien een op format gematchte controle onthult dat perturbatie-consistentie alleen geen betrouwbaar selectiesignaal is zodra decoding-budgetten en formaten correct zijn afgestemd.

Oorspronkelijke auteurs: Puzhuo Zheng, Hasan Kurban

Gepubliceerd 2026-08-04

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Puzhuo Zheng, Hasan Kurban

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot probeert te leren hoe hij puzzels moet oplossen. In de wereld van kunstmatige intelligentie is er een slimme truc genaamd "test-time scaling". In plaats van de robot één keer een probleem te laten oplossen en op het beste te hopen, vraag je hem om tegelijkertijd aan veel verschillende oplossingen te werken. Daarna gedraag je je als een rechter en kies je het beste antwoord uit de stapel. Voor tekstgebaseerde robots werkt dit als magie: als de robot diep nadenkt en tien verschillende antwoorden genereert, is het antwoord dat het vaakst voorkomt meestal het juiste. Het is alsof je een kamer vol mensen een wiskundevraag stelt; als negen mensen "42" zeggen en één persoon "43", ga je waarschijnlijk voor "42".

Maar wanneer je deze robots ogen geeft (wat ze "Vision-Language Models" of VLM's maakt), wordt het lastig. Deze robots kunnen plaatjes zien, maar ze hebben ook de sterke gewoonte om te gokken op basis van wat ze eerder hebben gehoord, waarbij ze de eigenlijke afbeelding negeren. Soms ziet de robot een plaatje van een blad, maar raadt hij "zaadje" omdat hij zich een verhaal herinnert over zaadjes die uitgroeien tot bomen. De oude truc om gewoon het meest voorkomende antwoord te kiezen, faalt hier omdat de robot misschien tien keer achter elkaar met vol vertrouwen het verkeerde antwoord raadt. Wetenschappers hebben geprobeerd dit op te lossen door de robot zijn werk te laten "hercontroleren", maar een nieuwe studie stelt een zeer belangrijke vraag: kijkt de robot echt naar de afbeelding, of gebruikt hij gewoon een andere manier van praten?

Dit artikel onderzoekt een nieuwe methode genaamd Perturbation-Grounded Selection (Pgs). Het idee achter Pgs is simpel en speels: om te zien of de robot echt naar de afbeelding kijkt, laat je de afbeelding lichtjes "jitteren" — door te croppen, de helderheid te veranderen of de achtergrond te maskeren — en vraag je de robot om het probleem opnieuw op te lossen. Als de robot zelfs wanneer de afbeelding een beetje verandert nog steeds hetzelfde antwoord geeft, gaat de methode ervan uit dat het antwoord "gegrond" is in de afbeelding. Als het antwoord echter wild verandert, gaat de methode ervan uit dat de robot slechts op basis van geheugen gokte. De onderzoekers wilden zien of deze "jitter-test" kon helpen om de juiste antwoorden beter te kiezen dan de oude methode van het "meest voorkomende antwoord".

De onderzoekers ontdekten echter een sluipend probleem met hoe deze tests gewoonlijk werden uitgevoerd. De nieuwe methode (Pgs) vroeg de robot om korte, snelle antwoorden te geven bij het controleren van de jittered plaatjes, terwijl de oude methode (Majority Voting) vroeg om lange, gedetailleerde denkstappen (genaamd Chain-of-Thought) voor de originele afbeelding. Het blijkt dat vragen om korte antwoorden net iets makkelijker is voor de robot om goed te doen, ongeacht of hij nu naar een jittered plaatje kijkt of niet.

Om dit op te lossen, creëerde het team een eerlijke vergelijking genaamd MatchedCtrl. Ze gaven de robot exact hetzelfde aantal korte, snelle antwoorden, maar dit keer werd de afbeelding niet getweakt; ze vroegen de robot simpelweg om snel antwoord te geven op de originele afbeelding. Wanneer ze de "jitter-methode" (Pgs) vergeleken met deze "eerlijke korte-antwoord-methode" (MatchedCtrl), verdween de magie. De jitter-methode koos niet daadwerkelijk betere antwoorden. Sterker nog, op een moeilijke test genaamd ViLP deed de jitter-methode soms zelfs slechter.

Het artikel laat zien dat hoewel de "jitter" wel degelijk een meetbaar verschil creëert in hoe de robot zich gedraagt (de robot reageert wel degelijk op de veranderingen in de afbeelding), deze reactie de robot niet daadwerkelijk helpt om het juiste antwoord beter te kiezen dan wanneer je hem simpelweg vraagt om meer korte, snelle gokjes op de originele afbeelding. De grote winst die sommigen eerder zagen (tot wel +31,8 punten op één test), kwam niet doordat de robot plotseling nauwkeuriger naar de afbeelding keek, maar simpelweg omdat de robot in een ander, korter formaat antwoordde.

Uiteindelijk concluderen de auteurs dat het simpelweg vragen aan een robot om een licht gewijzigde afbeelding opnieuw te beantwoorden, geen betrouwbare manier is om de robot te dwingen naar de afbeelding te kijken als je al controleert hoe de robot antwoordt. Het "jitter"-signaal is echt, maar het is geen magische schakelaar die de robot slimmer maakt. Om deze robots echt te verbeteren, moeten we misschien een manier vinden waarop ze naar de afbeelding kijken die niet alleen afhankelijk is van de manier waarop ze hun antwoorden formatteren. De studie suggereert dat we, totdat we een betere manier vinden, heel voorzichtig moeten zijn met het claimen dat een nieuwe methode werkt, enkel omdat het de oude "meest voorkomende antwoord"-regel verslaat zonder een eerlijke vergelijking.

Technische Samenvatting: Het is het Decoderingsformaat, Niet de Perturbatie

Probleemstelling

Test-time scaling, een techniek die het redeneervermogen van Large Language Models (LLM's) verbetert door meerdere kandidaat-oplossingen te samplen en de beste te selecteren, is slecht overgedragen naar Vision-Language Models (VLM's). Recent werk wijst uit dat voor VLM's eenvoudige meerderheidsstemming (majority voting) vaak beter presteert dan geavanceerde selectiemethoden gebaseerd op zelfverificatie of zelfconsistentie. De kern van het probleem is dat op het selectieniveau een beeld-gegrond antwoord en een zelfverzekende gok afgeleid van taalprioriteiten voor het model vaak ononderscheidbaar lijken. Standaard selectiesignalen (bijv. frequentie van voorkomen of geverbaliseerde vertrouwen) falen omdat ze niet expliciet testen of een antwoord afhankelijk is van de visuele inputpixels.

Bestaande oplossingen voor dit "selectielaag-lek" vereisen over het algemeen ofwel uitgebreide training (reinforcement learning, tool-use curricula) of toegang tot de interne werking van het model (attention masking, externe verifier-netwerken). Er is een gebrek aan label-vrije, training-vrije selectiemechanismen die uitsluitend opereren tijdens de inferentie op consumentenhardware.

Methodologie

De auteurs stellen Perturbation-Grounded Selection (Pgs) voor en evalueren dit: een label-vrije, training-vrije regel ontwor릇 om een selectiesignaal te creëren dat niet berekend kan worden zonder de afbeelding.

Perturbation-Grounded Selection (Pgs)

Pgs scoort kandidaat-antwoorden door hun stabiliteit te meten onder label-behoudende perturbaties van de invoerafbeelding.

Sampling: Het model genereert $N$ initiële kandidaat-antwoorden met Chain-of-Thought (CoT) redenering vanuit de originele afbeelding.
Perturbatie: De invoerafbeelding wordt getransformeerd met behulp van een set label-behoudende perturbaties ( $T$ ), zoals het croppen naar relevante regio's, het maskeren van achtergronden, of het toepassen van milde fotometrische/geometrische jitter.
Herleiding (Re-derivation): Voor elke geperturbeerde weergave genereert het model $K$ korte, alleen-antwoord samples (geen CoT).
Scoring: Een kandidaat-antwoord $c$ $c$ ontvangt een gegronde ondersteuningsscore $g(c)$ $g (c)$ , die het oorspronkelijke stemmenaantal combineert met een gewogen som van de herleidingsfrequentie over geperturbeerde weergaven.
- Wiskundig gezien is $g(c) = \text{votes}_{\text{original}} + \lambda \sum \rho(c | t_m(x), q)$ , waarbij $\rho$ de consistentiescore op geperturbeerde weergaven is.
Selectie: Het antwoord met de hoogste $g(c)$ $g (c)$ wordt geselecteerd.
- Opmerking: Als de perturbatieset leeg is, reduceert Pgs tot standaard meerderheidsstemming.

De Controle: MatchedCtrl

Het artikel identificeert een kritieke confound in eerdere evaluaties: het vergelijken van Pgs (dat korte, no-CoT samples gebruikt voor perturbaties) met standaard Majority Voting (dat alleen lange CoT samples gebruikt) confundeert de selectiemechanisme met een verandering in decoderingsformaat (CoT vs. kort).

Om het effect van de perturbatie te isoleren, introduceren de auteurs MatchedCtrl:

Het gebruikt dezelfde $N$ CoT samples als de baseline.
Het voegt hetzelfde aantal korte, no-CoT samples ( $M \times K$ ) toe als Pgs.
Cruciaal is dat deze extra korte samples worden getrokken uit de originele, ongeperturbueerde afbeelding.
Dit zorgt ervoor dat elk prestatieverschil tussen Pgs en MatchedCtrl uitsluitend te wijten is aan de perturbatie-routing, en niet aan het decoderingsformaat of het budget aan korte antwoorden.

Belangrijkste Bijdragen

Identificatie van een Decoding-Format Confound: Het artikel demonstreert dat de gerapporteerde winsten van perturbatie-gebaseerde selectors ten opzichte van CoT-only meerderheidsstemming vaak artefacten zijn van de overstap van lange CoT-traces naar korte, alleen-antwoord traces.
MatchedCtrl Controle: Een nieuw experimenteel protocol dat de perturbatie-mechanisme isoleert door het budget en het decoderingsformaat (kort, no-CoT) te matchen op de originele afbeelding.
Negatief Empirisch Resultaat: Onder de MatchedCtrl controle vertoont Pgs geen significant voordeel ten opzichte van de controle op enig benchmark, inclusief die welke visuele gronding vereisen.
Onderscheid tussen Diagnostiek en Routing: Het artikel stelt vast dat hoewel perturbatie-consistentie (Stability Gap) een geldige diagnostiek is van visuele afhankelijkheid (de score verandert wanneer de afbeelding wordt gewijzigd), het niet functioneert als een bruikbaar routing-signaal om de selectienauwkeurigheid te verbeteren zodra het decoderingsformaat wordt gecontroleerd.
Open Tooling: De release van code en audit-tools (inclusclusief gepaarde bootstrap betrouwbaarheidsintervallen) om de gemeenschap in staat te stellen toekomstige claims van perturbatie-gebaseerde selectie te auditeren.

Resultaten

De auteurs evalueerden Pgs, Majority Voting (MV), en MatchedCtrl over vier benchmarks: TextVQA, MATH-Vision, MMMU, en ViLP, met behulp van Qwen2.5-VL-7B en LLaVA-OneVision-7B.

Pgs vs. MV (Oneerlijke Vergelijking): Pgs leek aanzienlijk beter te presteren dan standaard Majority Voting op TextVQA (+31,8 procentpunt) en liet matige winsten zien elders.
Pgs vs. MatchedCtrl (Eerlijke Vergelijking): Wanneer vergeleken met MatchedCtrl (die hetzelfde "korte antwoord" budget besteedt aan de originele afbeelding), toonde Pgs geen betrouwbaar voordeel op welke benchmark dan ook.
- Op TextVQA presteerde MatchedCtrl (87,6%) zelfs iets beter dan Pgs (86,2%).
- Op ViLP (een benchmark specif으로 ontworpen om gronding tegen taalprioriteiten te testen), presteerde MatchedCtrl (53,7%) beter dan Pgs (52,3%).
Stability Gap Analyse: De "preserve/destroy" stability gap (het verschil in scores tussen originele en blanked/vernietigde inputs) was echt en afbeelding-afhankelijk (tot +0,48). Echter, een grote gap voorspelde geen per-instantie winst voor Pgs over MatchedCtrl.
Ablaties: Het "blanken" van de perturbatie-inputs deed de Pgs-prestaties op visuele taken instorten, wat bevestigt dat het signaal afbeelding-afhankelijk is. Dit vertaalde zich echter niet naar selectiewinsten ten opzien van de controle.

Betekenis en Claims

Het artikel concludeert dat perturbatie-consistentie op zijn best een gedeeltelijke diagnostiek is van visuele afhankelijkheid en op zichzelf geen bruikbaar selectiesignaal is zodra het decoderingsformaat wordt gecontroleerd.

Herwaardering van Claims: De winsten gerapporteerd in de literatuur tegenover CoT-only meerderheidsstemming overschatten waarschijnlijk de effectiviteit van perturbatie-gebaseerde methoden omdat ze geen rekening houden met de voordelen van aggregatie van korte, no-CoT antwoorden op de originele afbeelding.
Het "Null" Resultaat: De studie biedt een gemeten nulresultaat: het simpelweg toevoegen van perturbatie-gebaseerde herleiding verbetert de selectienauwkeurigheid niet verder dan wat wordt bereikt door het aggregeren van korte, no-CoT antwoorden van de originele afbeelding.
Toekomstige Richting: Vooruitgang in test-time scaling voor VLM's vereist waarschijnlijk informatiebronnen die verder gaan dan antwoord-niveau consistentie, zoals dichtere visuele probes, proces-niveau beloningen, of cross-model onenigheid.
Methodologische Standaard: De auteurs stellen dat elke toekomstige selectieregel die een extra inferentie-budget gebruikt in een ander decoderingsformaat, een formaat-gematchte controle (zoals MatchedCtrl) moet bevatten om te voorkomen dat effecten van het formaat ten onrechte worden toegeschreven aan grondingsmechanismen.

Het artikel beweert niet dat perturbatie-signalen nutteloos zijn; het stelt eerder dat ze onvoldoende zijn als een standalone selector zonder de veranderlijke variabele van het decoderingsformaat te controleren. De stability gap blijft nuttig voor het auditeren of een model de afbeelding "ziet", maar niet voor het beslissen welk antwoord gekozen moet worden wanneer een eerlijke baseline beschikbaar is.