💬 NLP

SPARC: Separating Perception And Reasoning Circuits for Test-time Scaling of VLMs

Questo articolo introduce SPARC, un framework modulare che disaccoppia la percezione visiva dal ragionamento nei modelli visione-linguaggio per consentire uno scaling asimmetrico ed efficiente durante il test-time e migliorare significativamente le prestazioni nei compiti di ragionamento visivo con budget di token ridotti.

Autori originali: Niccolo Avogaro, Nayanika Debnath, Li Mi, Thomas Frick, Junling Wang, Zexue He, Hang Hua, Konrad Schindler, Mattia Rigotti

Pubblicato 2026-06-25

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Niccolo Avogaro, Nayanika Debnath, Li Mi, Thomas Frick, Junling Wang, Zexue He, Hang Hua, Konrad Schindler, Mattia Rigotti

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di risolvere un puzzle complesso, ma invece di guardare l'intera immagine in una volta sola, devi descrivere ogni singolo pezzo in una storia lunga e sperticolata prima di poter indovinare l'immagine finale. È così che funzionano molti degli attuali "Vision-Language Models" (IA che vedono e parlano) oggi. Cercano di guardare un'immagine e ragionare su di essa contemporaneamente, spesso confondendosi, inventando dettagli o perdendosi nelle proprie lunghe spiegazioni.

Il documento presenta un nuovo metodo chiamato SPARC (Separating Perception And Reasoning Circuits). Pensa a SPARC come a un team intelligente di due specialisti che lavorano insieme, piuttosto che a un unico generalista sovraccarico che cerca di fare tutto da solo.

Ecco come funziona, usando analogie semplici:

1. Il Problema: Il detective che "pensa troppo"

Gli attuali modelli di IA sono come detective che cercano di risolvere un crimine fissando l'intera scena del crimine e parlando ad alta voce di ogni singola possibilità simultaneamente.

Il problema: Se il detective perde un piccolo indizio (come un granello di polvere) mentre è impegnato a parlare del meteo, potrebbe costruire un'intera teoria errata basata su quell'errore. Questo è chiamato "allucinazione".
Il costo: Per ottenere la risposta corretta, questi modelli devono spesso generare migliaere di parole di "pensiero" (token), il che è lento e costoso.

2. La Soluzione SPARC: Lo "Spotter" e il "Solver"

SPARC divide il lavoro in due passaggi distinti, ispirandosi al modo in cui funziona il cervello umano. Separa la Percezione (vedere) dal Ragionamento (pensare).

Passaggio 1: Lo Spotter (Circuito di Percezione)
Immagina uno spotter altamente addestrato il cui unico compito è guardare una foto e indicare con il dito la parte specifica dell'immagine rilevante per la domanda.
- Esempio: Se la domanda è "Di che colore è la sciarpa?", lo Spotter non risponde. Dice solo: "Guarda proprio qui, al collo della donna", e si concentra su quell'area minuscola.
- Questo passaggio è veloce, mirato e non cerca ancora di risolvere il puzzle. Si limita a trovare "l'ago nel pagliaio".
Passaggio 2: Il Solver (Circuito di Ragionamento)
Una volta che lo Spotter ha ingrandito l'area corretta, il Solver ottiene una vista chiara e ad alta risoluzione di proprio quel punto.
- Il Solver ora guarda l'immagine ingrandita e dice: "Ah, quella è una sciarpa verde".
- Poiché il Solver non è distratto dal resto dello sfondo disordinato, può dare la risposta rapidamente e con precisiono.

3. Perché è un cambiamento radicale

A. L'effetto "Lente d'Ingrandimento"
Il documento mostra che se fornisci all'IA una vista perfetta e ingrandita del punto giusto, può risolvere il problema anche se il resto dell'immagine è sfocato o di bassa qualità.

Analogia: È come cercare di leggere un'etichetta minuscola su una bottiglia. Non hai bisogno di vedere tutto il negozio; ti basta una lente d'ingrandimento sull'etichetta. SPARC agisce come quella lente d'ingrandimento, permettendo all'IA di usare meno potenza di calcolo ottenendo risultati migliori.

B. La "Rete di Sicurezza" (Self-Consistency)
A volte lo Spotter potrebbe indicare il punto sbagliato per errore. SPARC ha un trucco intelligente: chiede allo Spotter di indicare lo stesso punto otto volte rapidamente.

Se lo Spotter indica lo stesso punto 7 volte su 8, il sistema sa che quello è il posto giusto.
Questo è molto più economico rispetto a chiedere all'intero "Detective" di riflettere sul problema in otto modi diversi. È come chiedere a un team di spotter di votare sulla posizione, per poi inviare solo la risposta finale all'esperto solver.

C. Addestrare il team separatamente
Nel vecchio metodo, se provavi a insegnare all'IA ad essere migliore nel trovare le cose, avresti potuto accidentalmente renderla peggiore nel risolvere i problemi (come insegnare a un giocatore di scacchi a fare giocolismo, e lui che dimentica come giocare a scacchi).

Con SPARC, puoi addestrare lo "Spotter" a essere eccezionale nel trovare le cose senza toccare il "Solver". Questo significa che puoi migliorare la visione dell'IA senza danneggiarle il cervello.

4. I Risultati in parole semplici

I ricercatori hanno testato questo sistema su enigmi visivi molto difficili dove l'IA doveva trovare dettagli minuscoli in immagini enormi e ad alta risoluzione (come foto satellitari o diagrammi complessi).

Maggiore accuratezza: SPARC ha risposto correttamente a molte più domande rispetto ai modelli standard che "pensano troppo".
Molto più veloce: Ha utilizzato fino a 200 volte meno potenza di calcolo (token) per ottenere gli stessi o migliori risultati.
Robustezza: Anche quando l'immagine era sfocata o la domanda era complicata, SPARC non si è confuso o ha inventato risposte false con la stessa frequenza degli altri modelli.

Riassunto

SPARC è come assumere uno Spotter per trovare il pezzo giusto del puzzle e un Solver per metterlo insieme, invece di costringere una sola persona a fare entrambi i lavori mentre parla da sola per ore. Separando il "guardare" dal "pensare", l'IA diventa più veloce, più economica da gestire e molto meno incline a commettere errori.

Riepilogo Tecnico: SPARC – Separating Perception And Reasoning Circuits for Test-time Scaling of VLMs

1. Problema

Nonostante i recenti progressi, lo scaling al tempo di test (test-time scaling)—ovvero l'espansione dinamica del budget di token durante l'inferenza per migliorare le prestazioni—rimane fragile per i modelli visivo-linguistici (VLM). Gli approcci attuali, in particolare il paradigma "pensare con le immagini", si affidano a catene di ragionamento visivo non strutturate che intrecciano i token di percezione e di ragionamento. Questo intreccio porta a diversi problemi critici:

Errori a cascata: Piccoli errori percettivi nei primi passaggi del ragionamento possono propagarsi, portando a risposte finali completamente errate (allucinazioni o "ragionamento miraggio").
Inefficienza computazionale: Le catene non strutturate generano spesso contesti lunghi e disorganizzati, richiedendo un costoso apprendimento per rinforzo (RL) con ricompense progettate manualmente per l'ottimizzazione.
Inflessibilità: Gli approcci monolitici mancano di meccanismi per adattare l'allocazione della computazione in base alla difficoltà del compito. La decisione di terminare una risposta è lasciata al LLM, il che spesso risulta in un uso eccessivo di token per compiti percettivi semplici o in una focalizzazione insufficiente su dettagli complessi.
Complessità di addestramento: Gestire conversazioni multi-turno che mescolano token visivi e di ragionamento è computazionalmente costoso ed è soggetto al dimenticanza catastrofica delle capacità pre-addestrate, specialmente nei modelli più piccoli.

2. Metodologia: Il Framework SPARC

Ispirandosi all'elaborazione gerarchica delle informazioni nel cervello biologico (specificamente la separazione dei percorsi visivi "cosa" e "dove" che convergono nella corteccia prefrontale), gli autori propongono SPARC (Separating Perception And Reasoning Circuits). Si tratta di una pipeline modulare a due stadi che separa esplicitamente la percezione visiva dal ragionamento.

Stadio 1: Rilevamento dell'Rilevanza Implicita (IRD) - Il Circuito Percettivo

Invece di chiedere al modello di rispondere direttamente a una domanda, il primo stadio affida al modello l'esecuzione di una ricerca visiva esplicita.

Input: L'immagine originale e la domanda.
Output: Coordinate (bounding box o punti) che identificano le regioni dell'immagine rilevanti per la query.
Meccanismo: Il modello agisce come un circuito percettivo, localizzando rigorosamente le regioni salienti. Questo è definito "Rilevamento dell'Rilevanza Implicita" perché il modello deve inferire la rilevanza visiva latente da un prompt di alto livello, piuttosto che ricevere un nome di oggetto esplicito (come avviene nella standard Referring Expression Comprehension).
Ottimizzazione: Questo stadio può essere eseguito con un'allocazione di computazione asimmetrica. Ad esempio, possono essere generati molteplici rollout (es. $N=8$ ) con una cache KV condivisa per garantire una localizzazione robusta tramite Weighted Box Fusion (WBF), senza incorrere nel costo di intere catene di ragionamento.

Stadio 2: Ragionamento Percettivo - Il Circuito di Ragionamento

Il secondo stadio condiziona il processo di ragionamento sugli output del primo stadio.

Input: L'immagine originale (o una vista globale) combinata con i ritagli ad alta risoluzione identificati nello Stadio 1.
Output: La risposta finale.
Meccanismo: Il modello agisce come un circuito di ragionamento (analogamente alla corteccia prefrontale), sintetizzando una Catena di Pensiero (CoT) basata solo sulle prove visive ad alta fedeltà e rilevanti.
Ingegneria del Contesto: Fornendo un contesto strutturato che contenga solo il contenuto necessario ad alta risoluzione, SPARC evita la "visione a tunnel" o il collasso del contesto associato a multi-modal roll-out lunghi e disorganizzati.

Strategia di Addestramento

SPARC consente l'ottimizzazione indipendente. Gli autori dimostrano che il circuito percettivo può essere perfezionato (ad esempio, tramite Low-Rank Adaptation/LoRA) specificamente per il compito di IRD senza degradare le capacità pre-addestrate del backbone di ragionamento. Ciò evita la dimenticanza catastrofica spesso osservata quando si effettua il fine-tuning di modelli monolitici su tracce di ragionamento multi-turno complesse.

3. Contributi Chiave

Framework SPARC: Uno schema di prompting che consente uno scaling affidabile dei compiti di percezione al tempo di test in modalità zero-shot con un overhead computazionale minimo.
Allocazione Asimmetrica della Computazione: La capacità di scalare indipendentamente percezione e ragionamento. Gli autori mostrano che applicare la self-consistency (molteplici rollout) selettivamente alla branca percettiva produce guadagni significativi nelle prestazioni con una frazione del costo di token rispetto al naive ensembling di intere catene di ragionamento.
Addestramento Efficiente: Una dimostrazione del fatto che la separazione permette un fine-tuning mirato ed efficiente del modello di percezione (usando lo standard Supervised Fine-Tuning) senza compromettere le capacità originali del modello di ragionamento.
Compensazione della Risoluzione: Evidenza empirica che la guida percettiva accurata (ritaglio preciso) può compensare completamente la perdita di dettaglio visivo globale, permettendo a modelli a bassa risoluzione di eguagliare le prestazioni di modelli a risoluzione completa quando forniti con i ritagli corretti.

4. Risultati Sperimentali

Gli autori hanno valutato SPARC su benchmark di ragionamento visivo impegnativi, tra cui V* (localizzazione di oggetti ad alta risoluzione), HRBench-4K/8K e il benchmark di telerilevamento out-of-distribution (OOD) XLRS.

Guadagni di Prestazioni:
- Sul benchmark V*, SPARC ha migliorato Qwen3-VL 4B di 6,7 punti (da 41,7 a 51,0 a 256px di risoluzione) rispetto al baseline nativo.
- In un contesto OOD (XLRS), SPARC ha superato il paradigma "thinking with images" di 4,6 punti utilizzando un budget di token 200 volte inferiore.
- SPARC ha costantemente superato i baseline monolitici e i forti approcci di visual-grounding in tutte le famiglie di modelli (Qwen3-VL e Molmo2) e dimensioni testate (4B e 8B).
Efficienza:
- SPARC raggiunge una precisione superiore con significativamente meno token. Ad esempio, nell'impostazione a 256px di risoluzione, SPARC spesso supera il "thinking with images" eseguito a risoluzione completa.
- L'uso di Weighted Box Fusion (WBF) con 8 rollout nella fase di percezione ha prodotto solo circa 3,3 ritagli finali per Qwen3-VL 4B, riducendo drasticamente il conteggio dei token visivi per la fase di ragionamento.
Efficienza di Addestramento:
- Il fine-tuning del modulo di percezione con un adattatore LoRA specializzato (addestrato su dati sintetici generati da un modello teacher più grande) ha ulteriormente potenziato le prestazioni. Controintuitivamente, l'addestramento a risoluzioni inferiori (256px) ha prodotto una migliore generalizzazione rispetto all'addestramento a risoluzione completa, agendo come un regolarizzatore che ha costretto il modello a imparare caratteristiche strutturali robuste invece di fare overfitting su dettagli ad alta frequenza.
Robustezza:
- SPARC non ha sofferto di "visione a tunnel" su query globali o relazionali; l'architettura mantiene il contesto dell'immagine globale durante la fase di ragionamento, permettendo al modello di tornare alla vista completa quando necessario.

5. Significato e Rivendicazioni

Il paper sostiene che SPARC rappresenti un cambio di paradigma nell'inferenza dei VLM, passando da un ragionamento non strutturato e intrecciato a pipeline di percezione-ragionamento modulari e strutturate.

Plausibilità Biologica: L'architettura rispecchia la separazione tra elaborazione sensoriale e integrazione cognitiva di alto livello presente nel cervello, offrendo una strategia di inferenza più robusta ed efficiente.
Scalabilità: Decoupling (separando) i circuiti, SPARC consente un'allocazione dinamica delle risorse (es. spendere più computazione sulla percezione per compiti visivi difficili mantenendo bassi i costi di ragionamento).
Praticità: Il metodo è ampiamente privo di addestramento (si basa sul prompting), ma supporta anche un fine-tuning mirato ed efficiente senza l'instabilità dei complessi framework di apprendimento per rinforzo richiesti dagli approcci "thinking with images".
Limitazioni: Gli autori riconoscono che SPARC attualmente dipende da VLM con capacità di grounding spaziale nativo (output di coordinate o punti). Applicare questo a modelli puramente generativi di testo richiederebbe l'integrazione di un modello esterno di object detection.

In sintesi, SPARC dimostra che separare esplicitamente il "dove" (percezione) dal "perché" (ragionamento) permette ai VLM di scalare efficacemente, ridurre le allucinazioni e raggiungere prestazioni allo stato dell'arte con costi computazionali significativamente ridotti.