Self-Questioning Vision-Language Models: Reinforcement Learning for Compositional Visual Reasoning

Riepilogo Tecnico: Modelli Vision-Language con Auto-Interrogazione

Definizione del Problema
I modelli Vision-Language (VLM) eccellono nei compiti di riconoscimento diretto di pattern, come l'identificazione di oggetti o la descrizione di scene, ma faticano con il ragionamento visivo compositivo. Questi sono problemi multi-step che richiedono l'incatenamento di operazioni intermedie — ad esempio, localizzare più oggetti, contarli e confrontare i risultati. Gli approcci esistenti per migliorare questo ragionamento si basano pesantemente su spiegazioni passo-passo annotate da esseri umani (ad esempio, Chain-of-Thought prompting o Supervised Fine-Tuning), che sono costose da creare e difficili da scalare. Inoltre, gli approcci di programmazione visiva dipendono da librerie di strumenti predefinite, limitando la generalizzazione a nuovi tipi di domande. La sfida centrale è consentire ai VLM di scoprire e utilizzare passaggi di ragionamento intermedi senza dimostrazioni umane esplicite.

Metodologia
Gli autori propongono un framework di auto-interrogazione (self-questioning) addestrato tramite Group Relative Policy Optimization (GRPO), un algoritmo di apprendimento per rinforzo (RL). Il framework opera come segue:

• Architettura del Modello: Lo studio utilizza Qwen2.5-VL-3B-Instruct, un VLM con 3 miliardi di parametri. Per rendere l'addestramento fattibile su hardware limitato, gli autori impiegano la Low-Rank Adaptation (LoRA), aggiornando meno dell'1% dei parametri mentre congelano i pesi originali.
• Obiettivo di Addestramento: A differenza del RL standard che premia solo la risposta finale, questo framework impone un formato di output strutturato. Il modello è istruito a generare una sequenza di coppie <sub-question> e <sub-answer> prima di produrre una <final-answer>.
• Funzione di Ricompensa: Il segnale di ricompensa è binario e rigoroso. Una completamento del modello riceve una ricompensa di +1.0 solo se soddisfa due condizioni: (1) aderisce strettamente al formato sub-question/answer (contenendo almeno una coppia), e (2) la risposta finale corrisponde alla verità di base (ground truth). Altrimenti, riceve -1.0.
• Nessuna Dimostrazione Umana: Fondamentalmente, al modello non vengono mai mostrati esempi di come scomporre le domande. Il comportamento di scomposizione delle query complesse in sotto-domande e sotto-risposte deve emergere esclusivamente dal segnale di ricompensa che incentiva il formato e la correttezza.
• Confronto con il Baseline: Per isolare l'effetto del formato di auto-interrogazione dai benefici generali del RL, gli autori addestrano un baseline Direct+GRPO. Questo modello utilizza lo stesso algoritmo GRPO e gli stessi dataset, ma è istruito a fornire solo una risposta diretta, con una funzione di ricompensa che controlla solo la correttezza e la concisione della risposta.

Contributi Chiave

1. Decomposizione Emergente: Il documento dimostra che un VLM può imparare a scomporre domande visive compositive in coppie sotto-domanda-risposta interamente attraverso l'apprendimento per rinforzo, senza tracce di ragionamento scritte da esseri umani.
2. Prima Applicazione di GRPO ai VLM: Questo lavoro è il primo ad applicare la Group Relative Policy Optimization (GRPO) a un modello vision-language per il ragionamento compositivo, adattando il metodo dai modelli testuali (come DeepSeek-R1) all'ambiente multimodale.
3. Premiare la Struttura: Gli autori introducono una funzione di ricompensa che penalizza esplicitamente la mancanza di decomposizione intermedia, rendendo la scomposizione strutturale del problema un obiettivo primario di addestramento insieme alla correttezza della risposta.

Risultati Sperimentali
Il framework è stato valutato su due benchmark: CLEVR (scene geometriche sintetiche) e A-OKVQA (fotografie del mondo reale che richiedono conoscenza esterna).

• Il RL Migliora l'Accuratezza: Sia i modelli Self-Questioning (SQ) che i modelli Direct RL hanno superato significativamente il modello base non addestrato su A-OKVQA. Il modello base ha raggiunto un'accuratezza del 46.8%, mentre Direct+GRPO ha raggiunto il 51.6% e SQ+GRPO il 52.2%.
• Beneficio Marginale dell'Auto-Interrogazione: Su A-OKVQA, il formato di auto-interrogazione ha fornito un guadagno marginale di +0.6% rispetto al Direct RL standard. Gli autori concludono che la maggior parte del miglioramento (+4.8%) deriva dal segnale di addestramento RL stesso (che orienta il modello verso risposte corrette) piuttosto che dalla strategia di decomposizione.
• Trasferimento Cross-Domain: Un risultato significativo è la trasferibilità della strategia di decomposizione. Un modello addestrato sui dati sintetici CLEVR utilizzando l'auto-interrogazione è migliorato di +2.6% quando testato su immagini A-OKVQA del mondo reale. Al contrario, il modello Direct+GRPO addestrato su CLEVR ha mostrato solo un guadagno del +0.2% su A-OKVQA. Ciò suggerisce che la strategia di scomporre le domande è una capacità domain-general che si trasferisce meglio rispetto alla specifica apprendimento a livello di risposta del RL standard.
• Tassa sul Formato per Compiti Semplici: Sui compiti più semplici (ad esempio, CLEVR), l'auto-interrogazione ha introdotto una "tassa sul formato". Il modello addestrato con SQ è sceso a un'accuratezza dell'81.0% su CLEVR quando costretto a usare il prompt di sub-question, rispetto al 97.4% del modello base. Tuttavia, quando valutato con un prompt diretto, l'accuratezza del modello SQ è tornata al 97.6%, indicando che le capacità visive del modello sono rimaste intatte ma erano ostacolate dall'overhead non necessario della decomposizione su query semplici.

Significato e Rivendicazioni
Il documento sostiene che insegnare ai sistemi di IA di porsi domande intermedie è una strategia promettente per il ragionamento visivo complesso, specialmente quando la difficoltà di una domanda giustifica una scomposizione esplicita passo dopo passo.

• Scalabilità: Il framework offre un'alternativa scalabile alle costose annotazioni umane per il ragionamento multi-step, poiché il comportamento di decomposizione emerge solo dai segnali di ricompensa.
• Valore Condizionale: Gli autori notano con modestia che il valore dell'auto-interrogazione è contingente sulla complessità della domanda. Fornisce vantaggi chiari per compiti che richiedono un ragionamento multi-step (ad esempio, conteggio, identificazione del materiale) e facilita il trasferimento cross-domain, ma può degradare le prestazioni su compiti più semplici dove la decomposizione crea rumore non necessario.
• Direzione Futura: I risultati suggeriscono che l'implementazione pratica, specialmente in domini critici per la sicurezza come la guida autonoma o l'imaging medico, potrebbe beneficiare di strategie di prompting adattive che applichino selettivamente l'auto-interrogazione solo quando la complessità stimata della domanda giustifica l'overhead.