DiG: Differential Grounding for Enhancing Fine-Grained Perception in Multimodal Large Language Model

1. Il Problema

I Modelli Linguistici Multimodali (MLLM) hanno ottenuto risultati eccezionali in compiti di comprensione visiva olistica, come la descrizione di immagini e il ragionamento semantico globale. Tuttavia, mostrano limitazioni significative nella percezione visiva fine (fine-grained perception) e nel ragionamento spaziale preciso.

• Limitazioni attuali: Anche i modelli più avanzati spesso ignorano dettagli sottili come piccoli cambiamenti negli oggetti, variazioni di colore o elementi mancanti.
• Carenza di supervisione: I paradigmi di pre-addestramento attuali favoriscono l'allineamento semantico di alto livello ma non forniscono una supervisione sufficiente per sviluppare la sensibilità percettiva necessaria all'analisi dettagliata delle scene.
• Sfide nell'addestramento: Gli approcci esistenti basati sul Reinforcement Learning (RL) o su task di grounding (come RefCOCO) soffrono di trade-off tra specificità e generalizzazione, richiedono dataset costosi annotati manualmente o non sono progettati esplicitamente per rafforzare la percezione fine. Inoltre, l'ottimizzazione diretta su task di rilevamento differenze è ostacolata dalla sparsità dei segnali di reward: all'inizio dell'addestramento, il modello non riesce a localizzare differenze, portando a reward vicini allo zero e a un'ottimizzazione instabile.

2. Metodologia: DiG (Differential Grounding)

Gli autori propongono DiG, un nuovo framework di task proxy che addestra gli MLLM a identificare e localizzare tutte le differenze visive tra coppie di immagini simili, senza conoscere a priori il numero di differenze.

A. Generazione Dati Automatizzata (Pipeline 3D)

Per superare la scarsità di dati annotati manualmente e garantire la scalabilità, è stata sviluppata una pipeline di generazione dati automatizzata basata sul motore di rendering Blender 3D:

• Scena Procedurale: Vengono generate scene 3D base con oggetti dotati di attributi controllabili (forma, colore, dimensione, materiale, posizione).
• Modificazioni Stocastiche: Per creare la seconda immagine della coppia, vengono applicate modifiche casuali a un sottoinsieme di oggetti (aggiunta, rimozione, cambio di attributo).
• Ground Truth Perfetto: Poiché le modifiche sono definite programmariamente nello spazio 3D, le annotazioni delle bounding box (ground truth) possono essere estratte automaticamente e con precisione millimetrica dal renderer, eliminando la necessità di annotazione manuale.
• Controllo della Difficoltà: La pipeline permette di controllare esattamente il numero, la tipologia e la posizione delle differenze.

B. Formulazione del Task e Reward Modeling

Il task richiede al modello di prendere in input due immagini ($I_a$ e $I_b$) e un prompt, e di outputtare una lista di bounding box che localizzano le differenze sulla prima immagine.
L'addestramento avviene tramite Reinforcement Learning utilizzando l'algoritmo GRPO (Group Relative Policy Optimization). La funzione di reward è composta da tre componenti:

1. Reward di Formato ($r_{format}$): Garantisce che l'output sia sintatticamente corretto e parsabile (es. una lista JSON di coordinate).
2. Reward di Accuratezza ($r_{acc}$): Combina due metriche fondamentali:
   • F1 Score: Misura la completezza del rilevamento (quante differenze sono state trovate).
   • IoU (Intersection over Union): Misura la precisione spaziale della localizzazione.
   • Viene utilizzata l'algoritmo ungherese per l'assegnazione one-to-one tra predizioni e ground truth.
3. Reward Totale: Una combinazione ponderata che favorisce la validità strutturale e la precisione percettiva.

C. Curriculum Learning

Per risolvere il problema della sparsità dei reward (il modello non trova differenze all'inizio), viene adottata una strategia di Curriculum Learning:

1. Fase 1 (Singola differenza): Addestramento su coppie con una sola differenza. Fornisce segnali di reward densi e facili da interpretare.
2. Fase 2 (Doppia differenza): Aumento progressivo della complessità.
3. Fase 3 (Differenze Miste): Addestramento su scenari con fino a 4 differenze, senza fornire al modello il numero esatto di differenze da trovare, costringendolo a inferirlo.

3. Contributi Chiave

1. Framework DiG: Introduzione di un nuovo task proxy che forza gli MLLM a sviluppare capacità di ragionamento percettivo fine attraverso il confronto differenziale di immagini.
2. Pipeline di Dati Scalabile: Sviluppo di un generatore di dati basato su rendering 3D che produce dataset di alta qualità, controllabili e privi di annotazione manuale.
3. Strategia di Ottimizzazione: Proposta di una strategia di Curriculum Learning combinata con GRPO per stabilizzare l'addestramento in presenza di segnali di reward inizialmente sparsi.
4. Validazione Sperimentale: Dimostrazione che le competenze apprese tramite DiG si trasferiscono efficacemente a task downstream standard.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli Qwen3-VL (varianti 4B e 8B) e valutati su una vasta gamma di benchmark.

• Benchmark di Percezione Visiva: DiG ha portato a miglioramenti consistenti su dataset come HalBench (riduzione delle allucinazioni), HRBench-8K, POPE e VSR (ragionamento spaziale visivo). Ad esempio, il modello 8B ha mostrato un aumento di +3.4 punti su HalBench.
• Benchmark di Grounding: Il modello ha ottenuto guadagni significativi su RefCOCO, RefCOCO+ e RefCOCOg, migliorando l'accuratezza nella localizzazione di regioni specifiche basate su descrizioni linguistiche (miglioramenti medi di 2-3 punti).
• Benchmark Multimodali Generali: I modelli addestrati con DiG hanno mostrato miglioramenti su task di ragionamento generale come MMBench, MM-Vet e ScienceQA, dimostrando che la percezione fine rafforza anche il ragionamento astratto.
• Analisi Ablativa: Lo studio ha confermato che il Curriculum Learning è essenziale per la convergenza stabile e che la combinazione di reward basati su IoU e F1 è superiore all'uso di singoli segnali.

5. Significato e Impatto

Il lavoro DiG rappresenta un passo significativo verso l'integrazione di una percezione visiva di basso livello (dettagli, spazialità) con il ragionamento di alto livello nei modelli multimodali.

• Scalabilità: L'uso del rendering 3D risolve il collo di bottiglia della creazione di dati per task di grounding fine-grained.
• Robustezza: Dimostra che l'addestramento su task proxy strutturati e controllabili può migliorare le capacità percettive dei modelli senza richiedere dati annotati manualmente su larga scala.
• Futuro: DiG offre un paradigma scalabile per colmare il divario tra la comprensione semantica globale e l'analisi visiva dettagliata, aprendo la strada a sistemi multimodali più precisi e affidabili per applicazioni che richiedono un'attenzione ai dettagli (es. diagnostica medica, ispezione industriale, robotica).