💬 NLP

Test-Time Scaling for Small VLMs on Multilingual Visual MCQ

Dit artikel toont aan dat voor kleine meertalige visie-taalmodellen de winst in schaalbaarheid tijdens de testtijd primair wordt gedreven door het waarborgen van de parseerbaarheid van de prompt en voldoende decoderingsbudgetten, in plaats door complexe zoek- of verificatiemechanismen, waarbij het onderliggende beleidsmodel de meest significante factor is voor het bereiken van state-of-the-art prestaties op visuele meerkeuze-benchmarks.

Oorspronkelijke auteurs: Spiros Baxevanakis, Peng-Jian Yang

Gepubliceerd 2026-07-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Spiros Baxevanakis, Peng-Jian Yang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een lastige, meertalige puzzel probeert op te lossen waarbij de aanwijzingen verborgen zitten in afbeeldingen. Je hebt een team van kleine, slimme robots (genaamd "Vision-Language Models") om je te helpen. Een lange tijd dachten mensen dat het geheim voor het oplossen van deze puzzels bestond uit het bouwen van een supercomplexe machine die elke stap in het denkproces van de robot kon controleren, of door de robot zijn eigen antwoorden te laten herschrijven totdat ze perfect waren.

Maar dit artikel, geschreven door onderzoekers van de Universiteit van Amsterdam voor de ImageCLEF 2026 wedstrijd, zegt: "Ho maar! Het geheim is geen fancy machine; het is simpelweg de robots meer tijd geven om hun zinnen af te maken."

De Grote Ontdekking: Meer Woorden, Minder Denken

De onderzoekers testten een hele reeks verschillende strategieën op een enorme set examenvragen (11 verschillende talen, 20 vakken) om te zien wat deze kleine robots er werkelijk beter in maakt om te redeneren. Ze ontdekten dat het belangrijkste niet was hoe slim de zoekmethode was, maar hoe lang de robot mocht praten voordat hij moest stoppen.

Denk aan een student die een toets maakt.

De Oude Manier: Je vertelt de student: "Denk heel goed na, controleer je werk en schrijf een perfect essay," maar je geeft ze slechts 1.000 woorden de tijd om het te doen. Ze kunnen het juiste antwoord misschien in hun hoofd al hebben gevonden, maar ze raken door de ruimte heen voordat ze de laatste letter (A, B, C, D of E) kunnen opschrijven. Ze hebben de redenering goed, maar falen voor de toets omdat ze nooit tot een antwoord zijn gekomen.
De Nieuwe Manier: Je vertelt de student: "Schrijf gewoon je gedachten op, maar je mag tot wel 2.048 woorden gebruiken." Plotseling hebben ze genoeg ruimte om hun verhaal af te maken en daadwerkelijk de antwoordletter op te schrijven.

De onderzoekers hebben dit nauwkeurig gemeten. Toen ze de woordlimiet verdubbelden van 1.000 naar 2.048 tokens, steeg de nauwkeurigheid met 3,7 procentpunt. Dat is een enorme winst! Maar toen ze probeerden meer antwoorden te krijgen door de robot 16 verschillende ketens van gedachten te laten genereren in plaats van 8 (het aantal pogingen verdubbelen), ging de score slechts met een minieme 0,15 procentpunt omhoog. Het is alsof je een student vraagt om hetzelfde essay 16 keer te schrijven in plaats van één keer; dat helpt niet veel als ze al vastzaten op de woordlimiet.

Wat Niet Werkte (De "Coole" Ideeën die Faalden)

De onderzoekers probeerden enkele zeer geavanceerde trucs die zouden moeten werken, maar de data lieten zien dat dit niet het geval was.

De "Stap-voor-stap" Coach: Ze gebruikten een speciale "Process Reward Model" (PRM) om als een coach te fungeren, die elke stap in de redenering van de robot controleert en hem stuurt zoals bij een beam search. Ze dachten dat dit beter zou zijn dan de robot gewoon vrij te laten raden. Resultaat: Het presteerde zelfs slechter dan de simpele methode, met een daling van 0,39 procentpunt, terwijl het 8,7 keer meer rekenkracht kostte. Het blijkt dat de coach in de war raakte door de plaatjes en de robot niet meer op het juiste spoor kon houden.
De "Rechter" Robot: Ze voegden een tweede robot toe om als rechter op te treden, die alle antwoorden leest en de beste kiest. Ze probeerden twee soorten: één die getraind was als criticus en één die gewoon een slim generatief model was. Resultaat: Geen van beide versloeg de simpele methode van een "meerderheidsstem" (de keuze die het vaakst voorkomt). Sterker nog, bij de slimmere robot maakten de rechters het er zelfs iets slechter van. Het artikel suggereert dat dit komt omdat de rechters het verschil niet konden zien tussen een goed en een fout antwoord wanneer de antwoorden dicht bij elkaar lagen.
Zelfcorrectie: Ze keken of het de robot hielp om zijn eigen fouten te herstellen. Resultaat: Nee. Op deze schaal zorgde het laten herschrijven van de eigen antwoorden door de robot er vaak voor dat het resultaat slechter werd.

De Echte Held: De Robot Zelf

De grootste boost kwam niet door een nieuwe strategie, maar door de robot te vervangen. Toen ze overstapten van een ouder model (Qwen2.5-VL-7B) naar een nieuwer, kleiner model (Qwen3.5-4B), sprong de score met 11,4 procentpunt omhoog. Dit suggereert dat het hebben van een slimmer "brein" (het policy model) veel belangrijker is dan het hebben van een fancy "denkproces" (de zoekmethode).

De "Fix-it" Truc

Er was één klein probleem: soms, zelfs met genoeg woorden, schreef de robot een geweldige uitleg maar vergat hij de uiteindelijke letter (A, B, C, etc.) te schrijven. De onderzoekers vonden een simpele "guided repair" truc: als de robot geen letter schreef, dwongen ze hem simpelweg om "Answer: [A/B/C/D/E]" te zeggen voor één enkele token. Dit loste het probleem op voor de resterende 2,67% van de vragen die anders zouden falen, waardoor de kloof effectief werd gedicht.

De Eindscore

Door de nieuwere robot (Qwen3.5-4B) te combineren met een ruimhartige woordlimiet (2.048 tokens), de robot 16 verschillende pogingen te laten doen en de simpele "fix-it" truc te gebruiken, bereikte het team een nauwkeurigheid van 84,1% op de laatste test. Hiermee bezetten ze de eerste plaats op de leaderboard.

De Belangrijkste Les

De belangrijkste les hier is dat voor kleine vision-language modellen engineering-details belangrijker zijn dan complexe algoritmen. Als je het model genoeg ruimte geeft om zijn gedachte af te maken (de token budget) en een prompt gebruikt die het dwingt zich vast te leggen op een antwoord, krijg je betere resultaten dan wanneer je een complex systeem probeert te bouwen om het werk te controleren. Het artikel suggereert dat totdat we betere modellen hebben, de beste strategie simpelweg is om het model langer te laten praten en de opmaak te corrigeren, in plaats van te proberen het te slim af te zijn met ingewikkelde zoekbomen of rechters.

Technische Samenvatting: Nika bij de ImageCLEF 2026 Taak op Multimodale Redenering

1. Probleemstelling

Het artikel behandelt de uitdaging van het toepassen van Test-Time Scaling (TTS) op kleine, open-weight Vision-Language Models (VLMs) (≤7B parameters) op meertalige visuele meerkeuzevragen (MCQs). Hoewel TTS effectief is gebleken voor grote tekstgebaseerde taalmodellen, blijft de effectiviteit ervan bij open VLMs onder strikte computationele beperkingen (enkele A40 GPU) onduidelijk. De auteurs onderzoeken of geavanceerde inferentietechnieken—zoals gestructureerd zoeken, process reward models (PRMs) en generatieve critici—beter kunnen presteren dan simpelere parallelle samplingsstrategieën op de EXAMS-V benchmark, die 13 talen en 20 schoolvakken beslaat.

2. Methodologie

De auteurs evalueerden twee open-weight policies: Qwen2.5-VL-7B-Instruct en de nieuwere, kleinere Qwen3.5-4B. Ze vergeleken twee primaire pipelines over twee schaalingsassen (parallelle keten-aantal en per-keten tokenbudget):

Flat Self-Consistency (SC): Het model genereert $N$ onafhankelijke redeneerketens (reasoning chains) geconditioneerd op een Chain-of-Thought (CoT) prompt die eindigt met een gestandaardiseerde antwoordcue (MMMU closer). Het uiteindelijke antwoord wordt bepaald door meerderheidsstemming (majority vote), met log-waarschijnlijkheid als tie-breaker.
Gestructureerd Zoeken (Beschrijven-Dan-Redeneren met PRM): Een pipeline waarbij het model eerst beeldgegronde beschrijvingen genereert, gevolgd door stapsgewijze redenering geleid door een PRM-gestuurde beam search (PRM-BAS). De PRM (Qwen-VL-PRM-7B) scoort redeneerstappen terwijl de toegang tot de originele afbeelding behouden blijft.
Selectors: Post-hoc selectiemethoden werden getest tegen meerderheidsstemming, inclusief een training-free generatieve critic en een discriminatieve PRM (one-shot scoring).
Engineering Interventies:
- Prompt Formaat: Overstappen naar een standaard antwoordcue om parse-fouten te verminderen.
- Guided Repair: Een mechanisme om de generatie van een antwoordletter af te dwingen via guided_choice constraints wanneer ketens er niet in slagen zich vast te leggen op een antwoord.
- Scaling: Systematische variatie van keten-aantal ( $N \in \{8, 16\}$ ) en tokenbudget (1k vs. 2k tokens).

Alle experimenten maakten gebruik van vLLM voor gebatchte parallelle decoding op een enkele A100-40 GB GPU, conform de ImageCLEF 2026 shared task beperkingen.

3. Belangrijkste Bevindingen en Resultaten

De Dominantie van Engineering en Policy boven Zoeken

De meest significante bevinding is dat engineering details en de keuze van de policy domineren over zoekstrategieën.

Parseerbaarheid: Een vroeg prompt-formaat zorgde ervoor dat ~9% van de redeneerketens er niet in slaagde een antwoordletter te produceren. Het overstappen naar een standaard cue en het implementeren van een guided repair stap verminderde de parse-fouten tot bijna nul, waardoor aanzienlijke nauwkeurigheid werd teruggewonnen.
Token Budget vs. Keten-aantal: Het verhogen van het per-keten tokenbudget van 1.000 naar 2.048 tokens leverde een winst op van 3,7 procentpunt (pp). In contrast hiermee leverde het verdubbelen van het aantal ketens van 8 naar 16 slechts +0,15 pp op. De auteurs concluderen dat het waarborgen dat ketens voldoende budget hebben om de redenering af te maken veel belangrijker is dan het samplen van meer ketens.
Policy Upgrade: Het overstappen van Qwen2.5-VL-7B naar Qwen3.5-4B resulteerde in een winst van +11,4 pp, de grootste enkele factor in de studie.

Ineffectiviteit van Complexe Zoekalgoritmen en Selectors

Gestructureerd Zoeken: De PRM-gestuurde beam search (PRM-BAS) presteerde slechter dan flat self-consistency met -0,39 pp, terwijl het 8,7 keer meer rekenkracht kostte. De stap-niveau scoring van de PRM raakte snel verzadigd, wat leidde tot een lage diversiteit in de beam search (71,9% van de vragen had alle beams die het eens waren over dezelfde letter), waardoor het zoeken ineffectief werd.
Selectors: Noch de training-free generatieve critic, noch de discriminatieve PRM presteerde beter dan de simpele meerderheidsstemming. Bij hoog-presterende pools (Q3.5) leverden beide selectors negatieve of null resultaten op, omdat ze vaak minder fouten corrigeerden dan ze introduceerden.

Gestratificeerde Prestaties

Talen: De nauwkeurigheidswinsten van de toename in tokenbudget waren geconcentreerd in het Engels (+17,3 pp) en Chinees (+8,5 pp). Talen met een hoge keten-overeenkomst (bijv. Chinees, waar 22,3% van de vragen een unanieme overeenstemming van 8/8 vertoonde) zagen SC regrederen of stagneren omdat de meerderheidsstemming gedeelde fouten eerder versterkte dan onafhankelijke fouten corrigeerde.
Vakken: STEM-vakken profiteerden het meest van TTS, terwijl tekstzware vakken (bijv. Islamitische studies) weinig verbetering lieten zien, wat suggereert dat de bottleneck in domeinkennis ligt in plaats van in redeneerdiversiteit.

4. Eindprestatie

De beste configuratie—Qwen3.5-4B met Self-Consistency ( $N=16$ ), een 2.048-token budget, en guided repair—behaalde:

81,64% op de volledige EXAMS-V validatieset.
84,06% op de uitgesloten ImageCLEF -2026 test-split.
Eerste plaats op de Visual MCQ leaderboard, waarbij het eerste plaats behaalde over alle zes de testtalen.

5. Betekenis en Claims

Het artikel claimt dat voor kleine open VLMs onder beperkte computationele budgetten:

TTS is effectief maar specifiek: De voordelen van TTS komen primair voort uit het laten voltooien van ketens (verhogen van het tokenbudget) en het verbeteren van de extractiebetrouwbaarheid (parseerbaarheid), niet uit complexe zoekalgoritmen of externe selectors.
De Policy Substraat is Cruciaal: Het upgraden van het basismodel levert grotere winsten op dan enige inference-time strategie.
Limieten van PRMs: Huidige PRMs getraind op wiskunde of specifieke domeinen zijn mogelijk niet goed in staat om te generaliseren naar multimodale, meertalige redenering, vooral wanneer ze er niet in slagen om tussen correcte en incorrecte redeneerstappen te onderscheiden met voldoende signaal om het zoeken te sturen.
Engineering boven Algoritme: Op het $\le$ 7B schaalniveau zijn de "engineering substrate" (prompt formaten, decoding budgetten) en modelkeuze impactvoller dan geavanceerde zoek- of verificatiemachinerie.

De auteurs concluderen dat toekomstig werk zich moet richten op het ontkoppelen van perceptie van redenering en het trainen van beter gekalibreerde PRMs op meertalige, niet-wiskundige inhoud, in plaats van te vertrouwen op de huidige zoekgebaseerde schaalingsmethoden.