💬 NLP

Test-Time Scaling for Small VLMs on Multilingual Visual MCQ

Questo articolo dimostra che, per i piccoli modelli multilingue visione-linguaggio, i guadagni di scaling al tempo del test sono guidati principalmente dall'assicurare la parzialità della decodifica del prompt e budget di decodifica sufficienti, piuttosto che da complessi meccanismi di ricerca o verifica, con il modello di policy sottostante che risulta il fattore più significativo per raggiungere prestazioni allo stato dell'arte nei benchmark visivi a scelta multipla.

Autori originali: Spiros Baxevanakis, Peng-Jian Yang

Pubblicato 2026-07-13

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Spiros Baxevanakis, Peng-Jian Yang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di risolvere un complicato puzzle multilingue dove gli indizi sono nascosti dentro delle immagini. Hai una squadra di piccoli robot intelligenti (chiamati "Vision-Language Models") per aiutarti. Per molto tempo, le persone hanno pensato che il segreto per risolvere questi puzzle fosse costruire una macchina super complessa capace di controllare ogni singolo passaggio del pensiero del robot, o far sì che il robot riscrivesse le proprie risposte finché non fossero perfette.

Ma questo articolo, scritto da ricercatori dell'Università di Amsterdam per il concorso ImageCLEF 2026, dice: "Calma il pomeriggio! Il segreto non è una macchina sofisticata; è solo dare ai robot più tempo per finire le loro frasi."

La Grande Scoperta: Più Parole, Meno Pensiero

I ricercatori hanno testato un sacco di diverse strategie su un enorme set di domande d'esame (11 lingue diverse, 20 materie) per vedere cosa aiuti davvero questi piccoli robot a migliorare il loro ragionamento. Hanno scoperto che la cosa più importante non era quanto fosse intelligente il metodo di ricerca, ma quanto tempo al robot fosse permesso parlare prima di dover smettere.

Pensa a uno studente che sostiene un esame.

Il Vecchio Modo: Dici allo studente: "Ragiona intensamente, controlla il tuo lavoro e scrivi un saggio perfetto", ma gli dai solo 1.000 parole per farlo. Potrebbe anche capire la risposta giusta nella sua testa, ma finisce lo spazio prima di poter scrivere la lettera finale (A, B, C, D o E). Il ragionamento è corretto, ma fallisce il test perché non è mai riuscito a impegnarsi su una risposta.
Il Nuovo Modo: Dici allo studente: "Scrivi pure i tuoi pensieri, ma puoi usare fino a 2.048 parole". Improvvisamente, ha abbastanza spazio per finire la sua storia e scrivere effettivamente la lettera della risposta.

I ricercatori hanno misurato questo con cura. Quando hanno raddoppiato il limite di parole da 1.000 a 2.048 token, l'accuratezza è salita di 3,7 punti percentuali. È una vittoria enorme! Ma quando hanno provato a ottenere più risposte chiedendo al robot di generare 16 diverse catene di pensiero invece di 8 (raddoppiando il numero di tentativi), il punteggio è salito solo di un minuscolo 0,15 punti percentuali. È come chiedere a uno studente di scrivere lo stesso saggio 16 volte invece di una; non aiuta molto se erano già bloccati dal limite di parole.

Cosa Non Ha Funzionato (Le Idee "Fighe" che sono Fallite)

I ricercatori hanno provato alcuni trucchi molto sofisticati che suonano come se dovessero funzionare, ma i dati hanno dimostrato il contrario.

L'Allenatore "Passo dopo Passo": Hanno provato a usare un particolare "Process Reward Model" (PRM) per agire come un allenatore, controllando ogni singolo passaggio del ragionamento del robot e guidandolo come una ricerca a fascio (beam search). Pensavano che sarebbe stato meglio lasciare che il robot indovinasse liberamente. Risultato: In realtà è andato peggio del metodo semplice, facendo scendere il punteggio di 0,39 punti percentuali pur costando 8,7 volte più potenza di calcolo. Si è scoperto che l'allenatore si confondeva con le immagini e non riusciva a riportare il robot sulla strada giusta.
Il Robot "Giudice": Hanno provato ad aggiungere un secondo robot per fare da giudice, leggendo tutte le risposte e scegliendo la migliore. Ne hanno provati due tipi: uno addestrato per essere un critico e uno che era semplicemente un modello generativo intelligente. Risultato: Nessuno dei due ha battuto il semplice metodo del "voto di maggioranza" (scegliere la risposta che appare più spesso). In effetti, sul robot più intelligente, i giudici hanno addirittura peggiorato leggermente le cose. L'articolo suggerisce che ciò sia dovuto al fatto che i giudici non riuscivano a distinguere tra una risposta giusta e una sbagliata quando le risposte erano molto simili.
Autocorrezione: Hanno osservato se lasciare che il robot correggesse i propri errori aiutasse. Risultato: No. A questa scala, lasciare che il robot riscriva le proprie risposte spesso lo rendeva peggiore.

L'Eroe Reale: Il Robot Stesso

La spinta maggiore non è arrivata da una nuova strategia in sé; è arrivata cambiando il robot. Quando sono passati da un modello più vecchio (Qwen2.5-VL-7B) a un modello più recente e piccolo (Qwen3.5-4B), il punteggio è balzato di 11,4 punti percentuali. Questo suggerisce che avere un "cervello" più intelligente (il modello di policy) conta molto di più rispetto ad avere un "processo di pensiero" (il metodo di ricerca) sofisticato.

Il Trucco del "Riparatore"

C'era un piccolo intoppo: a volte, anche con abbastanza parole, il robot scriveva una grande spiegazione ma si dimenticava di scrivere la lettera finale (A, B, C, ecc.). I ricercatori hanno trovato un semplice trucco di "riparazione guidata": se il robot non scriveva una lettera, lo costringevano semplicemente a dire "Risposta: [A/B/C/D/E]" per un singolo token. Questo ha risolto il problema per il restante 2,67% delle domande che stavano fallendo, colmando efficacemente il divario.

Il Punteggio Finale

Combinando il nuovo robot (Qwen3.5-4B), dando un limite di parole generoso (2.048 token), chiedendo 16 tentativi diversi e usando il semplice trucco del "riparatore", il team ha raggiunto un'accuratezza dell'84,1% nel test finale. Questo li ha portati al primo posto in classifica.

La Conclusione

La lezione principale qui è che, per i piccoli modelli vision-language, i dettagli di ingegneria contano più degli algoritmi complessi. Se dai al modello abbastanza spazio per finire il suo pensiero e un prompt che lo costringa a impegnarsi su una risposta, ottieni risultati migliori rispetto al provare a costruire un sistema complesso per controllare il suo lavoro. L'articolo suggerisce che finché non avremo modelli migliori, la strategia migliore è semplicemente lasciare che il modello parli più a lungo e ne corregga la formattazione, piuttosto che cercare di superarlo con alberi di ricerca complicati o giudici.

Riepilogo Tecnico: Nika a ImageCLEF 2026 Task su Ragionamento Multimodale

1. Definizione del Problema

Il documento affronta la sfida di applicare lo Scaling al Tempo di Test (Test-Time Scaling - TTS) a piccoli modelli Vision-Language (VLM) open-weight (≤7B parametri) su domande a scelta multipla (MCQ) visive e multilingue. Sebbene il TTS si sia dimostrato efficace per i grandi modelli linguistici solo testuali, la sua efficacia nei VLM open sotto rigorosi vincoli computazionali (singola GPU A40) rimane incerta. Gli autori indagano se tecniche di inferenza avanzate — come la ricerca strutturata, i modelli di ricompensa di processo (PRM) e i critici generativi — possano superare le più semplici strategie di campionamento parallelo sul benchmark EXAMS-V, che copre 13 lingue e 20 materie scolastiche.

2. Metodologia

Gli autori hanno valutato due policy open-weight: Qwen2.5-VL-7B-Instruct e la più recente e piccola Qwen3.5-4B. Hanno confrontato due pipeline primarie attraverso due assi di scaling (numero di catene parallele e budget di token per catena):

Self-Consistency (SC) Flat: Il modello genera $N$ catene di ragionamento indipendenti condizionate da un prompt Chain-of-Thought (CoT) che termina con un segnale di risposta standardizzato (MMMU closer). La risposta finale è determinata dalla maggioranza (majority vote), con risoluzione dei pareggi tramite log-probabilità.
Ricerca Strutturata (Descrizione-seguita-da-Ragionamento con PRM): Una pipeline in cui il modello prima genera descrizioni basate sull'immagine, seguite da un ragionamento passo dopo passo guidato da una ricerca a beam guidata da PRM (PRM-BAS). Il PRM (Qwen-VL-PRM-7B) valuta i passaggi di ragionamento mantenendo l'accesso all'immagine originale.
Selector: Metodi di selezione post-hoc testati contro la maggioranza, inclusi un critico generativo training-free e un PRM discriminativo (scoring one-shot).
Interventi di Ingegneria:
- Formato del Prompt: Il passaggio a un segnale di risposta standard per ridurre i fallimenti di parsing.
- Riparazione Guidata (Guided Repair): Un meccanismo per forzare la generazione di una lettera di risposta tramite vincoli guided_choice quando le catene non riescono a impegnarsi su una risposta.
- Scaling: Variazione sistematica del numero di catene ( $N \in \{8, 16\}$ ) e del budget di token (1k vs 2k token).

Tutti gli esperimenti hanno utilizzato vLLM per il decoding parallelo in batch su una singola GPU A100-40 GB, rispettando i vincoli del task condiviso di ImageCLEF 2026.

3. Risultati Chiave e Conclusioni

La Dominanza di Ingegneria e Policy sulla Ricerca

Il risultato più significativo è che i dettagli di ingegneria e la scelta della policy dominano le strategie di ricerca.

Parseabilità: Un formato del prompt iniziale ha causato il fallimento nella produzione di una lettera di risposta in circa il 9% delle catene di ragionamento. Passare a un segnale standard e implementare un passaggio di riparazione guidata ha ridotto i fallimenti di parsing quasi a zero, recuperando una precisione significativa.
Budget di Token vs Numero di Catene: Aumentare il budget di token per catena da 1.000 a 2.048 ha prodotto un guadagno di +3,7 punti percentuali (pp). Al contrario, raddoppiare il numero di catene da 8 a 16 ha aggiunto solo +0,15 pp. Gli autori concludono che garantire che le catene abbiano un budget sufficiente per concludere il ragionamento è molto più critico che campionare più catene.
Upgrade della Policy: Il passaggio da Qwen2.5-VL-7B a Qwen3.5-4B ha prodotto un guadagno di +11,4 pp, il singolo fattore più rilevante dello studio.

Inefficacia della Ricerca Complessa e dei Selector

Ricerca Strutturata: La ricerca a beam guidata da PRM (PRM-BAS) ha performato peggio della self-consistency flat di -0,39 pp pur costando 8,7 volte di più in termini di calcolo. Lo scoring a livello di step del PRM si è saturato rapidamente, portando a una bassa diversità nel beam search (il 71,9% delle domande presentava tutti i beam d'accordo sulla stessa lettera), rendendo la ricerca inefficace.
Selector: Né il critico generativo training-free né il PRM discriminativo hanno superato la semplice maggioranza. Su pool ad alte prestazioni (Q3.5), entrambi i selector hanno prodotto risultati negativi o nulli, correggendo spesso meno errori di quanti ne introducessero.

Performance Stratificata

Lingue: I guadagni di precisione dal aumento del budget di token sono stati concentrati in Inglese (+17,3 pp) e Cinese (+8,5 pp). Le lingue con alta concordanza tra le catene (es. Cinese, dove il 22,3% delle domande presentava un accordo unanime di 8/8) hanno visto la SC regredire o stagnare perché la maggioranza ha amplificato gli errori condivisi piuttosto che correggere quelli indipendenti.
Materie: Le materie STEM hanno beneficiato maggiormente del TTS, mentre le materie con forte componente testuale (es. Studi Islamici) hanno mostrato pochi miglioramenti, suggerendo un collo di bottiglia nella conoscenza del dominio piuttosto che nella diversità del ragionamento.

4. Performance Finale

La migliore configurazione — Qwen3.5-4B con Self-Consistency ( $N=16$ ), un budget di 2.048 token e riparazione guidata — ha ottenuto:

81,64% sull'intero set di validazione EXAMS-V.
84,06% sullo split di test tenuto separato (held-out) di ImageCLEF 2026.
Primo posto sulla classifica dei Visual MCQ, classificandosi primo in tutte le sei lingue di test.

5. Significato e Rivendicazioni

Il documento afferma che per i piccoli VLM open sotto vincoli di calcolo:

Il TTS è efficace ma specifico: I benefici del TTS derivano principalmente dal permettere alle catene di completarsi (aumentando il budget di token) e dal migliorare l'affidabilità dell'estrazione (parseabilità), non da algoritmi di ricerca complessi o selector esterni.
Il Substrato della Policy è Fondamentale: L'aggiornamento del modello base produce guadagni maggiori rispetto a qualsiasi strategia di inferenza.
Limiti dei PRM: Gli attuali PRM addestrati su matematica o domini specifici potrebbero non generalizzare bene al ragionamento multimodale e multilingue, specialmente quando non riescono a distinguere tra passaggi di ragionamento corretti e errati con un segnale sufficiente per guidare la ricerca.
Ingegneria sopra l'Algoritmo: Alla scala $\le$ 7B, il "substrato di ingegneria" (formati dei prompt, budget di decoding) e la scelta del modello sono più impattanti rispetto a sofisticate macchine di ricerca o verifica.

Gli autori concludono che il lavoro futuro dovrebbe concentrarsi sul disaccoppiamento della percezione dal ragionamento e sull'addestramento di PRM meglio calibrati su contenuti multilingui e non matematici, piuttosto che fare affidamento sugli attuali metodi di scaling basati sulla ricerca.