GRIT: Teaching MLLMs to Think with Images

, ...`) e la validità sintattica dei riquadri di delimitazione (rilevata tramite espressioni regolari). Questa ricompensa non vincola l'accuratezza semantica del testo o delle regioni specifiche, ma solo il formato. 2. Ricompensa per il conteggio degli obiettivi fondati ($r_{count}$): Una ricompensa opzionale per compiti di conteggio in cui il numero di riquadri di delimitazione generati deve corrispondere al conteggio di verità fondamentale. 3. Ricompensa per l'accuratezza della risposta assistita da GPT ($r_{ans}$): Utilizza un VLM esterno (GPT-4o) per valutare la correttezza della risposta finale, integrata da un punteggio BLEU. Vantaggio chiave: Poiché le ricompense si concentrano sul formato e sull'accuratezza della risposta finale piuttosto che sui passaggi intermedi del ragionamento o sulle posizioni specifiche dei riquadri di delimitazione, GRIT elimina la necessità di dati di addestramento con annotazioni di catene di ragionamento o etichette esplicite per i riquadri di delimitazione. ## Contributi chiave 1. Framework GRIT: Un metodo innovativo che consente ai MLLM di "pensare con le immagini" generando catene di ragionamento che intercalano linguaggio naturale con coordinate esplicite di riquadri di delimitazione, unificando le capacità di fondazione e ragionamento. 2. Algoritmo GRPO-GR: Un algoritmo di apprendimento per rinforzo che addestra efficientemente i MLLM utilizzando solo triple immagine-domanda-risposta. Sfrutta nuove ricompense per formato e accuratezza, eliminando la dipendenza da annotazioni dense e costose per il ragionamento intermedio o la fondazione. 3. Efficienza dei dati: Il metodo dimostra un'efficienza dei dati eccezionale, raggiungendo capacità di ragionamento fondato con soli 20 campioni di addestramento tratti da dataset VQA esistenti (VSR e TallyQA). 4. Capacità unificate: Gli esperimenti mostrano che i modelli addestrati con GRIT uniscono con successo fondazione e ragionamento, spesso disconnessi nei MLLM di base, portando a output coerenti e accurati. ## Risultati sperimentali Gli autori hanno valutato i modelli addestrati con GRIT (Qwen 2.5-VL e InternVL 3) rispetto a baseline tra cui Query Diretta, Chain-of-Thought (CoT), ICL One-shot e SFT Few-shot su sette set di test (VSR, TallyQA, GQA, MME, MathVista-mini, OVDEval). * Prestazioni: I modelli addestrati con GRIT hanno superato tutte le baseline sia nell'accuratezza della risposta valutata da GPT che nell'IoU di fondazione (Intersezione su Unione dei riquadri generati rispetto alla verità fondamentale). In particolare, si sono generalizzati efficacemente a dati fuori dominio nonostante l'addestramento su soli 20 campioni. * Qualità della fondazione: L'analisi qualitativa ha rivelato che i modelli GRIT determinano dinamicamente quando la fondazione è necessaria, evitando falsi positivi per entità inesistenti. * Correlazione cross-modale: Una nuova metrica, "Correlazione Cross-Modale del Ragionamento Visione-Linguaggio", ha mostrato che le regioni dell'immagine selezionate dai modelli GRIT sono altamente coerenti semanticamente con il testo accompagnatorio, superando le baseline Zero-shot ICL e Few-shot SFT. * Meccanismo di attenzione: L'analisi dei punteggi di attenzione ha indicato che la presenza di riquadri di delimitazione nella catena di ragionamento aumenta significativamente l'attenzione del modello ai token visivi rilevanti nei passaggi di ragionamento successivi. * Scalabilità: L'aumento dei dati di addestramento da 20 a 7.000 campioni ha migliorato le prestazioni in dominio, ma ha mostrato rendimenti decrescenti e sfide di generalizzazione per compiti fuori dominio, suggerendo che la diversità dei dati è più critica del volume per la generalizzazione. ## Significato e affermazioni L'articolo afferma che GRIT rappresenta un passo significativo in avanti nel permettere ai MLLM di eseguire ragionamento fondato visivamente. Consentendo ai modelli di generare riferimenti visivi espliciti all'interno dei loro processi di pensiero, GRIT raggiunge una "unificazione riuscita delle capacità di ragionamento e fondazione". Gli autori sottolineano che questo è il primo approccio open-source a realizzare un ragionamento visivo-testuale intercalato tramite RL leggero senza la necessità di annotazioni esplicite per i passaggi intermedi. Sebbene lo studio si concentri su MLLM più piccoli per validare l'efficienza piuttosto che le prestazioni massime, i risultati suggeriscono che l'instillazione di ragionamento fondato complesso con dati minimi è fattibile. L'articolo conclude che i futuri miglioramenti nella generalizzabilità dipenderanno probabilmente più dalla diversità dei dati di addestramento e dal pre-addestramento del modello che dal semplice aumento del volume dei dati.