Sintesi Tecnica: H-GRPO per il Ragionamento Visivo Radicato

1. Definizione del Problema

I modelli visivo-linguistici (VLM) affrontano attualmente un distacco critico tra l'elevata accuratezza nei benchmark e la fedeltà del ragionamento visivo. Sebbene i modelli spesso ottengano prestazioni elevate, essi frequentemente si affidano a correlazioni superficiali, ignorano l'evidenza visiva rilevante o allucinano fatti intermedi. Questo problema è esacerbato quando i VLM vengono sottoposti a post-training tramite Reinforcement Learning (RL); ottimizzare esclusivamente la correttezza della risposta finale può amplificare il ragionamento basato su "scorciatoie" piuttosto che incoraggiare una deduzione radicata sull'evidenza.

I metodi esistenti basati su RL (ad esempio, R1-VL, Vision-R1) supervisionano principalmente il ragionamento testuale o gli esiti finali senza radicare i passaggi intermedi in evidenze visive localizzate. Al contrario, i metodi di radicamento (ad esempio, Visual-RFT, ViGoRL) trattano la localizzazione come ausiliaria piuttosto che integrale al processo di ragionamento. Inoltre, gli attuali dataset mancano di annotazioni su larga scala che catturino congiuntamente la struttura del ragionamento, le risposte intermedie e la specifica evidenza spaziale. Una sfida chiave nell'addestramento di tali modelli è che i percorsi di ragionamento validi non sono unici; modelli diversi possono risolvere lo stesso quesito visivo utilizzando diversi passaggi intermedi o ordini differenti. Il confronto standard a livello di sequenza penalizza il ragionamento corretto semplicemente perché devia da un ordine di riferimento fisso.

2. Metodologia

2.1 Decomposizione del Ragionamento Radicato

Il framework proposto costringe il modello a scomporre una query visiva globale in una sequenza di sottotask atomici e verificabili. Invece di un'inferenza monolitica, il modello genera un output strutturato $y$ composto da:

• Triplette Intermedie ($\tau_i$): Una sequenza $\{ \tau_1, \dots, \tau_m \}$ dove ogni tripletta contiene:
  • $q_i$: Una sotto-domanda.
  • $a_i$: Una risposta intermedia.
  • $b_i$: Un bounding box di evidenza spaziale ($[x_{min}, y_{min}, x_{max}, y_{max}]$) che localizza il supporto visivo per la risposta.
• Percorso di Ragionamento ($r$): Una sintesi in linguaggio naturale delle triplette.
• Risposta Finale ($a_{final}$): La risposta concisa alla domanda originale.

2.2 Sintesi dei Dati (GVRS)

Per affrontare la mancanza di dati di addestramento, gli autori hanno costruito il dataset Grounded Visual Reasoning Synthesis (GVRS).

• Pipeline: Un set di riferimento di alta qualità di 40 esempi è stato redatto da GPT-4o e raffinato tramite verifica human-in-the-loop. La precisione spaziale è stata migliorata utilizzando SAM3 per il raffinamento dei box.
• Scala: Utilizzando un prompt di sistema ottimizzato selezionato tramite punteggio di ricompensa, sono stati generati 10.000 campioni di addestramento da quattro fonti: Visual7W, Visual-CoT, A-OKVQA e ERQA.
• Validazione: Un sottoinsieme è stato validato manualmente da esperti per coerenza logica, correttezza semantica e accuratezza spaziale.

2.3 H-GRPO: Hungarian Group Relative Policy Optimization

L'innovazione principale è H-GRPO, un framework di RL invariante per permutazione progettato per gestire percorsi di ragionamento non unici.

• Corrispondenza Invariante per Permutazione: Inveve di confrontare le catene di ragionamento generate e di riferimento in un ordine fisso, H-GRPO formula la valutazione come un problema di associazione bipartita tra l'insieme delle triplette predette ($\hat{D}$) e le triplette di riferimento ($D^*$).

• Metrica di Similarità: Viene costruita una matrice di similarità $S$ in cui ogni voce combina:

  • Esistenza e compatibilità dei bounding box.
  • Similarità del coseno Sentence-BERT per le sotto-domande ($sim_q$) e le sotto-risposte ($sim_a$).
  • Intersezione su Unione (IoU) per la sovrapposizione spaziale.

• Algoritmo Ungherese: L'assegnazione ottimale uno-a-uno viene trovata utilizzando l'algoritmo ungherese per massimizzare il punteggio totale di similarità ($S_{HS}$).

• Funzione di Ricompensa: La ricompensa totale $R$ è un composito di:

  1. Ricompensa di Formato ($R_{format}$): Assicura che l'output segua la struttura delle triplette (sotto-domande, risposte, percorso di ragionamento, risposta finale).
  2. Ricompensa di Ragionamento Ungherese ($R_{HS}$): Una ricompensa densa a livello di processo derivata dal punteggio di associazione, sogliata per sopprimere il ragionamento debole.
  3. Ricompensa della Risposta Finale ($R_{answer}$): Attivata solo se il ragionamento è sufficientemente radicato (ovvero, se $R_{HS}$ supera una soglia).

  La formula è: $R = \alpha R_{format} + \beta R_{answer} \cdot R_{HS}$.

Questa formulazione garantisce che il modello riceva forti ricompense solo quando la risposta finale è corretta e derivata da passaggi intermedi semanticamente allineati e visivamente radicati, indipendentemente dall'ordine in cui tali passaggi vengono generati.

3. Contributi Chiave

1. Protocollo di Decomposizione del Ragionamento Radicato: Una nuova rappresentazione dei passaggi di ragionamento come triplette (sotto-domanda, sotto-risposta, evidenza spaziale), che forza l'esternalizzazione esplicita dell'evidenza visiva.
2. Pipeline di Sintesi dei Dati Scalabile: Un metodo per generare tracce di ragionamento radicate passo dopo passo senza estese annotazioni manuali, creando il dataset GVRS.
3. Framework H-GRPO: Un algoritmo di RL invariante per permutazione che utilizza l'associazione ungherese per allineare le triplette predette e di riferimento, consentendo traiettorie di ragionamento flessibili pur imponendo la coerenza dell'evidenza.
4. Protocollo di Valutazione Unificato: Una suite completa di metriche che misura la correttezza della risposta, la fedeltà del radicamento, l'allineamento passo-passo e la dipendenza dall'evidenza visiva.

4. Risultati Sperimentali

Il metodo è stato valutato su backbone VLM open-source (Qwen2.5-VL-3B e SmolVLM-2.2B) attraverso benchmark in-domain e out-of-distribution (OOD).

• Prestazioni In-Domain: H-GRPO ha ottenuto i migliori risultati su A-OKVQA e Visual7W per il backbone SmolVLM-2.2B (73,4% e 77,2%, rispettivamente), superando lo SFT standard e il vanilla GRPO. Per Qwen2.5-VL-3B, H-GRPO ha eguagliato o superato leggermente le prestazioni di SFT/GRPO, in particolare su Visual7W.
• Generalizzazione Out-of-Distribution: H-GRPO ha dimostrato una superiorità nella generalizzazione su compiti di ragionamento spaziale e geometrico. Ha ottenuto i punteggi più alti su RealWorldQA, RoboSpatial (70,2%) e MMStar. Il miglioramento su MMMU è stato moderato, suggerendo che il metodo è più efficace per compiti visivamente radicati piuttosto che per il puro ragionamento basato sulla conoscenza.
• Interpretabilità: Valutato tramite LLM-as-a-Judge, le tracce di ragionamento di H-GRPO hanno ottenuto i punteggi più alti in tutte le dimensioni (Rilevanza, Coerenza, Consistenza, Chiarezza, Interpretabilità), superando significativamente R1-VL, ViGoRL e Reason-RFT.
• Analisi Qualitativa: Gli esempi hanno mostrato che il modello riesce a radicare con successo il ragionamento di categoria, spaziale e d'azione in regioni specifiche dell'immagine (ad esempio, identificando uno chef tramite una giacca bianca e un bancone del cibo), riducendo il rischio di allucinazioni non supportate.

5. Significato e Rivendicazioni

Il paper sostiene che H-GRPO affronta il compromesso tra accuratezza del ragionamento e fedeltà del radicamento. Imponendo che ogni passaggio logico intermedio sia ancorato a una specifica regione visiva, il framework produce percorsi di ragionamento che sono:

• Verificabili: Gli esseri umani e le funzioni di ricompensa possono ispezionare l'evidenza visiva per ogni passaggio.
• Fedeli: La risposta finale emerge come una conseguenza logica di fatti visivi verificati piuttosto che come un indovinare statistico.
• Flessibili: La ricompensa invariante per permutazione permette diversi ordini di ragionamento validi, evitando la penalizzazione di una logica corretta che segue semplicemente una sequenza diversa rispetto al riferimento.

Gli autori notano che, sebbene H-GRPO migliori significativamente le prestazioni nei compiti ad alto carico di localizzazione e ragionamento spaziale, non compensa completamente le lacune nella conoscenza del dominio richieste per il ragionamento astratto o scientifico (ad esempio, MMMU). Concludono che il lavoro futuro deve estendere il supervisionamento radicato al ragionamento simbolico, basato su grafici e multimodale a lungo contesto per realizzare appieno il potenziale della deduzione visiva basata sull'evidenza.