Test-time Scaling over Perception: Resolving the Grounding Paradox in Thinking with Images

1. Il Problema: Il Paradosso dell'Aggancio (Grounding Paradox)

Il lavoro identifica una limitazione fondamentale nei moderni Modelli Linguistici Multimodali (MLLM) che adottano il paradigma del "Pensare con le Immagini" (Thinking with Images). Questi modelli sono dotati di strumenti visivi (come zoom e ritaglio) per esaminare regioni specifiche di un'immagine durante l'inferenza.

Tuttavia, i sistemi attuali mostrano fragilità nel ragionamento visivo fine-granulare a causa di un circolo vizioso definito Grounding Paradox (Paradosso dell'Aggancio):

• La definizione: Un modello invoca uno strumento visivo perché il suo stato percettivo globale ($S_{global}$) manca delle informazioni dettagliate necessarie per rispondere a una domanda. Tuttavia, per selezionare correttamente la regione da esaminare ($R^*$), il modello ha già bisogno delle informazioni dettagliate che solo lo strumento potrebbe rivelare.
• La conseguenza: Il modello deve localizzare evidenze che non è ancora in grado di percepire. Senza un meccanismo per gestire questa incertezza, l'uso degli strumenti degenera in una "sondatura speculativa": il modello guarda regioni irrilevanti, ignora prove critiche o fallisce nell'invocare strumenti quando necessario, portando a errori sistematici piuttosto che incidentali.

2. Metodologia: Test-Time Scaling over Perception (TTSP)

Per risolvere questo paradosso, gli autori propongono TTSP, un framework che tratta la percezione stessa come un processo di inferenza scalabile. Invece di affidarsi a un singolo percorso di ragionamento, TTSP distribuisce la potenza computazionale al momento del test (test-time) per esplorare, validare e raffinare iterativamente le prove visive.

Il framework opera attraverso le seguenti fasi chiave:

A. Esplorazione Percettiva Parallela

Invece di un singolo tentativo, TTSP genera $K$ "tracce" percettive (percorsi di ragionamento) in parallelo per ogni round di inferenza.

• Tracce Fresche (Fresh Traces): Una frazione $\alpha$ delle tracce viene generata senza accesso alla conoscenza precedente, garantendo una copertura esplorativa ampia e prevenendo il bias di conferma.
• Tracce Guidate (Guided Traces): La frazione restante $(1-\alpha)$ è condizionata sulla conoscenza strutturata accumulata dai round precedenti, focalizzandosi sulle incertezze irrisolte.

B. Valutazione dell'Affidabilità e Filtraggio

Non tutte le tracce sono affidabili. TTSP utilizza un estimatore di affidabilità basato sull'entropia dei token.

• Calcola l'entropia di Shannon sui punti decisionali critici (es. selezione di coordinate, interpretazione di dettagli sottili).
• Assegna un punteggio di affidabilità (negativo dell'entropia media sui token più incerti).
• Scarta la frazione $\rho$ delle tracce con il punteggio più basso per evitare che allucinazioni o errori contaminino l'aggregazione finale.

C. Estrazione della Conoscenza Strutturata e Raffinamento Iterativo

Le tracce filtrate vengono distillate in una memoria di conoscenza strutturata che si evolve attraverso i round. Questa memoria è divisa in due componenti:

1. Conoscenza Confermata (Confirmed Knowledge): Osservazioni coerenti tra le tracce, verificate visivamente e trattate come fatti stabiliti per i round successivi (riducendo l'esplorazione ridondante).
2. Conflitti Aperti (Open Conflicts): Disaccordi tra le tracce. Ogni conflitto specifica le affermazioni contrapposte e, crucialmente, una direttiva spaziale che indica quale regione dell'immagine deve essere esaminata nel round successivo per risolvere il disaccordo.

D. Aggregazione Ponderata

Dopo $N$ round, la risposta finale viene generata aggregando tutte le tracce conservate. L'aggregazione è ponderata per l'affidabilità: le tracce con un punteggio di entropia più basso (maggiore sicurezza nei punti critici) hanno un peso maggiore nel voto finale.

3. Contributi Chiave

1. Identificazione del Paradosso: Formalizzazione del Grounding Paradox come ostacolo fondamentale nel ragionamento visivo assistito da strumenti, spiegando perché i sistemi attuali falliscono in modo sistematico.
2. Framework TTSP: Introduzione di un approccio principiato per lo scaling al momento del test sulla percezione, che trasforma l'uso degli strumenti da una "scommessa monouso" a un processo iterativo di ipotesi percettive.
3. Evidenza Empirica: Dimostrazione che scalare la percezione (non solo il ragionamento a valle) è una strategia efficace per migliorare il ragionamento multimodale, superando i baselines esistenti su diverse dimensioni (larghezza e profondità dell'esplorazione).

4. Risultati Sperimentali

Il framework è stato valutato su benchmark ad alta risoluzione (V*Bench, HR-Bench a 4K/8K, TreeBench) e su benchmark di ragionamento generale (MME-RealWorld-Lite), utilizzando backbones come Qwen3-VL (4B e 8B).

• Prestazioni Superiori: TTSP supera costantemente i baselines forti, inclusi modelli commerciali (GPT-4o), altri sistemi di "Thinking with Images" (Thyme, DeepEyes) e metodi di scaling al test-time (Self-Consistency, RTWI).
• Miglioramenti Specifici: I guadagni sono particolarmente pronunciati nei compiti che richiedono localizzazione precisa e percezione fine-granulare (es. riconoscimento di testo piccolo, attributi sottili).
• Efficienza: Nonostante l'uso di più tracce, TTSP è più efficiente in termini di token generati rispetto a metodi concorrenti (come RTWI) grazie alla distillazione della conoscenza che evita la ridondanza.
• Scalabilità:
  • Modello: Le prestazioni migliorano all'aumentare della dimensione del modello backbone.
  • Larghezza (Width): Aumentare il numero di tracce parallele migliora la probabilità di trovare la regione corretta.
  • Profondità (Depth): Aumentare i round iterativi permette di risolvere conflitti complessi, dimostrando che la percezione è un processo scalabile.
• Efficienza Inferenziale: Con l'avanzare dei round, il numero medio di chiamate agli strumenti e la lunghezza del ragionamento (Chain-of-Thought) diminuiscono, indicando che il modello impara a costruire su prove già validate.

5. Significato e Implicazioni

Questo lavoro segna un cambio di paradigma nel ragionamento multimodale. Dimostra che il collo di bottiglia principale non è la capacità di ragionare su fatti noti, ma la capacità di scoprire e validare i fatti rilevanti in un'immagine complessa.

• Risoluzione del Paradosso: TTSP rompe il circolo vizioso dell'aggancio trasformando l'incertezza percettiva in un processo di esplorazione attiva e validazione.
• Scalabilità della Percezione: Conferma che allocare più risorse computazionali al momento del test per la percezione (esplorazione visiva) è tanto cruciale quanto per il ragionamento logico.
• Futuro: Il framework offre una base solida per sistemi multimodali più robusti, capaci di gestire scenari reali ad alta risoluzione e scenari visivamente complessi dove l'informazione critica è nascosta o ambigua.

In sintesi, TTSP non si limita a "pensare di più", ma "guarda meglio" in modo sistematico, utilizzando la diversità delle traiettorie e la validazione iterativa per superare i limiti della percezione iniziale dei modelli.