Riepilogo Tecnico: Apprendimento per Rinforzo Fondato per il Ragionamento Visivo (ViGoRL)

Enunciato del Problema

I compiti di ragionamento visivo variano significativamente nella struttura, richiedendo spesso ai modelli di dirigere l'attenzione visiva, interpretare input percettivi e ancorare il ragionamento astratto a evidenze spaziali. Sebbene l'Apprendimento per Rinforzo (RL) sulle catene di pensiero abbia fatto progredire i modelli linguistici in domini basati sul testo (matematica, programmazione), la sua applicazione ai Modelli Linguaggio-Visione (VLM) affronta sfide uniche. Gli autori identificano che i VLM standard operano spesso in modo end-to-end, prevedendo risposte in un singolo passaggio in avanti senza adattare le strategie computazionali alla scena di input.

Crucialmente, il documento sostiene che le applicazioni naive del RL ai VLM non riescono a indurre comportamenti cognitivi utili. Invece di imparare a esplorare sistematicamente le regioni, impostare sottobiettivi o verificare ipotesi, l'ottimizzazione RL standard sui VLM di base tende a collassare su "scorciatoie". Queste scorciatoie massimizzano le ricompense immediate del compito producendo ragionamenti astratti e non fondati, che trattano la visione come contesto statico piuttosto che come input attivamente referenziato. Di conseguenza, i modelli non sviluppano i meccanismi di attenzione spaziale necessari per il ragionamento visivo complesso, come localizzare piccoli oggetti in ambienti affollati o navigare interfacce web.

Metodologia: ViGoRL

Gli autori propongono ViGoRL (Visually Grounded Reinforcement Learning), un framework progettato per ancorare esplicitamente ogni passaggio di ragionamento a coordinate visive specifiche. L'ipotesi di base è che i modelli "vedono meglio" e "pensano meglio" quando il ragionamento testuale è accoppiato con un ancoraggio spaziale, mimando il processo decisionale visivo umano in cui lo sguardo si sposta selettivamente per raccogliere informazioni rilevanti per il compito.

L'approccio consiste in una pipeline a due stadi seguita da un'estensione multi-turno:

1. Avvio Caldo tramite Ricerca ad Albero Monte Carlo (MCTS)

Per superare il limite secondo cui i VLM di base mancano di comportamenti intrinseci di ragionamento visivo (ad esempio, ripercorrere i passi, esplorazione delle regioni), gli autori utilizzano MCTS per generare tracce di ragionamento di alta qualità e fondate.

• Modello Insegnante: Un modello insegnante congelato ad alta capacità (Qwen2.5-VL-72B) viene utilizzato per espandere i nodi nell'albero di ricerca.
• Nodi Fondati: Ogni passaggio di ragionamento è definito come una tupla $n_t = \langle s_t, (x_t, y_t) \rangle$, dove $s_t$ è un pensiero in linguaggio naturale e $(x_t, y_t)$ è una coordinata che ancora il pensiero a una regione dell'immagine.
• Processo di Ricerca: L'algoritmo MCTS (Selezione, Espansione, Simulazione, Backpropagation) esplora sistematicamente diverse regioni dell'immagine e percorsi di ragionamento. Incoraggia esplicitamente comportamenti come l'esplorazione ampia (diramazione per coprire regioni diverse) e il backtracking (abbandono dei rami fallimentari).
• Linearizzazione: Gli alberi di ricerca risultanti vengono linearizzati in esempi di addestramento, includendo sia catene di successo dirette che "catene corrette" che dimostrano il backtracking (ad esempio, "Aspetta, sembra sbagliato...").
• Fine-Tuning Supervisionato (SFT): Il modello di base viene affinato su queste tracce generate da MCTS per avviare la capacità di generare ragionamenti strutturati e fondati.

2. Apprendimento per Rinforzo con GRPO

Dopo l'SFT, il modello subisce un Apprendimento per Rinforzo utilizzando l'Ottimizzazione della Politica Relativa di Gruppo (GRPO).

• Progettazione della Ricompensa: La funzione di ricompensa incentiva due aspetti: (1) la correttezza della risposta finale ($r_{task}$) e (2) la validità del formato di output, richiedendo specificamente che tutti i riferimenti alle coordinate siano validi ($r_{fmt}$). Questo garantisce che il modello impari a mantenere l'ancoraggio durante tutto il processo di ragionamento.
• Obiettivo: Il processo RL affina i comportamenti fondati appresi durante l'SFT, rafforzando le sequenze che portano a risposte corrette mantenendo il vincolo di ancoraggio spaziale.

3. RL Multi-Turno con Feedback Visivo

Per compiti che richiedono ispezione visiva fine (ad esempio, piccoli elementi GUI), gli autori introducono una formulazione multi-turno.

• Microscopio Interattivo: Dopo aver previsto una coordinata, il modello può emettere una chiamata a strumento per richiedere un ritaglio ad alta risoluzione di quella regione.
• Ciclo di Feedback: L'ambiente restituisce l'immagine ritagliata, che diventa l'input per il turno di ragionamento successivo.
• Addestramento: Il modello viene addestrato su dialoghi multi-turno in cui impara a zoomare iterativamente quando necessario. La ricompensa include un bonus di diversità per incoraggiare l'esplorazione di coordinate distinte piuttosto che la ripetizione della stessa regione.

Contributi Chiave

1. Identificazione delle Modalità di Fallimento del RL: Il documento dimostra che il RL standard sui VLM senza incentivi espliciti di ancoraggio porta a ragionamenti non fondati, non riuscendo a indurre comportamenti come l'impostazione di sottobiettivi visivi o il backtracking.
2. Framework ViGoRL: Una pipeline innovativa che combina un avvio caldo basato su MCTS (per iniettare prior di ragionamento fondato) e GRPO (per affinare questi comportamenti), legando esplicitamente i passaggi di ragionamento alle coordinate dell'immagine.
3. Feedback Visivo Multi-Turno: Un meccanismo che consente ai modelli di zoomare dinamicamente sulle regioni dell'immagine durante il ragionamento, migliorando significativamente le prestazioni sui compiti fine-grained.
4. Analisi Comportamentale: Evidenza empirica che mostra come il ragionamento fondato amplifichi i comportamenti cognitivi come l'esplorazione delle regioni, la verifica visiva e il backtracking, assenti nelle baseline standard.

Risultati Sperimentali

ViGoRL è stato valutato su diversi benchmark, inclusi ragionamento spaziale (SAT-2, BLINK, RoboSpatial), ricerca visiva (V*Bench) e ancoraggio web (ScreenSpot, VisualWebArena).

• Ragionamento Spaziale: Su SAT-2, ViGoRL-3B ha raggiunto un'accuratezza del 62,9%, un miglioramento di 12,9 punti rispetto a Vanilla GRPO e di 16,8 punti rispetto al modello di base. Guadagni simili sono stati osservati su BLINK e RoboSpatial.
• Ancoraggio Web: Su ScreenSpot-Pro (ancoraggio GUI ad alta risoluzione), ViGoRL-3B ha raggiunto il 31,1%, superando il modello di base di 21,8 punti e Vanilla GRPO di 2,1 punti.
• Ricerca Visiva: Su V*Bench, il ViGoRL-7B multi-turno ha raggiunto un'accuratezza dell'86,4%, superando modelli proprietari come GPT-4o (66,0%) e pipeline avanzate che utilizzano strumenti come Sketchpad-GPT-4o (80,3%).
• Interazione Web Live: Su VisualWebArena (input solo visivo), ViGoRL ha superato il precedente stato dell'arte (ICAL) per la stessa dimensione del modello, nonostante la mancanza di accesso al testo HTML.
• Studi di Ablazione: La rimozione dell'ancoraggio esplicito o dell'avvio caldo MCTS ha degradato significativamente le prestazioni, confermando che sia l'inizializzazione dei comportamenti fondati che l'affinamento RL sono critici.
• Valutazione Umana: I valutatori umani hanno trovato le previsioni fondate del modello spazialmente accurate (accuratezza del 72,8%) e utili per comprendere i passaggi di ragionamento, in particolare quando la previsione era corretta.

Significato e Affermazioni

Gli autori affermano che il RL fondato visivamente è un paradigma forte per infondere nei modelli un ragionamento visivo a scopo generale. Sostengono che l'ancoraggio non è semplicemente uno strumento di visualizzazione, ma un principio architettonico e algoritmico centrale. Addestrando i modelli a ragionare con riferimento deittico (puntare, zoomare, verificare), l'approccio allinea il comportamento del modello alle strategie cognitive umane (routine visive, attenzione spaziale).

Il documento conclude che ancorare esplicitamente i passaggi di ragionamento a coordinate spaziali costringe i modelli a impegnarsi in una cognizione strutturata e allineata all'uomo. Questa impalcatura permette ai modelli di scomporre problemi complessi in passaggi gestibili e percettivamente fondati, portando a una migliore generalizzazione in contesti fuori distribuzione e a una maggiore interpretabilità. Il lavoro suggerisce che i sistemi futuri dovrebbero trattare l'ancoraggio come un meccanismo fondamentale per il ragionamento piuttosto che come un segnale ausiliario.