Getting to the Point: Why Pointing Improves LVLMs

Titolo

Getting to the Point: Perché il puntamento (Pointing) migliora i Modelli Visivo-Linguistici su Grande Scala (LVLM)

1. Il Problema

I Modelli Visivo-Linguistici su Grande Scala (LVLM) hanno ottenuto risultati eccellenti in compiti come la descrizione di immagini e la risposta a domande visive. Tuttavia, le loro prestazioni crollano in compiti cognitivi complessi che richiedono capacità spaziali, temporali o di conteggio.
Inoltre, spesso manca la spiegabilità: i modelli forniscono una risposta finale senza ancorarla visivamente all'immagine, rendendo difficile per gli umani verificare la correttezza del ragionamento.
Sebbene metodi basati sul "puntamento" (generare coordinate 2D prima della risposta) abbiano mostrato miglioramenti nell'accuratezza, rimangono tre domande chiave irrisolte:

1. Il puntamento favorisce l'apprendimento di abilità generali (es. contare) o solo l'adattamento a compiti ristretti?
2. Le coordinate generate sono ancorate correttamente all'immagine e possono servire come spiegazioni visive affidabili?
3. Qual è il meccanismo sottostante che porta a questi miglioramenti?

2. Metodologia

Gli autori studiano il ruolo del puntamento nel contesto del conteggio zero-shot (contare oggetti specificati da una query testuale senza esempi specifici). Per isolare le variabili e prevenire contaminazioni dai dati di addestramento, hanno generato dataset sintetici controllati utilizzando il framework CIVET.

Dataset e Configurazione

• Ambiente: Immagini sintetiche con sfondo nero, oggetti disposti su una griglia 9x9 per garantire una distribuzione spaziale uniforme ed evitare bias posizionali (es. oggetti sempre al centro).
• Oggetti: 10 target diversi (forme e colori) e distrattori.
• Dataset:
  • Base/NoisyTR: Addestramento su conteggi da 1 a 9, con e senza distrattori.
  • ID (In-Distribution): Test su conteggi 1-9 con combinazioni diverse.
  • OOD (Out-of-Distribution): Test su conteggi da 10 a 18 (mai visti in addestramento) per valutare la generalizzazione.
  • NoisyTS: Test con fino a 9 distrattori per valutare la robustezza.

Approcci Confrontati

Sono stati fine-tunati quattro LVLM all'avanguardia (Qwen2.5-VL 3B/7B, LLaVA-OneVision 8B, InternVL3.5 8B) con due strategie:

1. Direct Counting (DC): Il modello riceve immagine e query e predice direttamente il numero totale.
2. Point-then-Count (PtC): Il modello deve prima generare le coordinate $(x, y)$ degli oggetti target, e solo successivamente generare il conteggio totale basato su quelle coordinate.

3. Contributi Chiave e Risultati

A. Apprendimento di Abilità vs. Overfitting

• Generalizzazione OOD: L'approccio PtC supera significativamente il DC nei casi OOD (conteggi > 9). Mentre i modelli DC tendono a fallire quando il numero di oggetti supera quello visto in addestramento, i modelli PtC mostrano una capacità di generalizzazione superiore.
• Conclusione: Il puntamento insegna al modello una procedura di conteggio più generale (basata sulla localizzazione) piuttosto che memorizzare pattern statistici su intervalli numerici ristretti.

B. Affidabilità delle Coordinate come Spiegazioni

• Ancoraggio: Le coordinate predette sono correttamente ancorate all'immagine in oltre l'89% dei casi (misurato tramite F1-score).
• Bias Spaziali: Tuttavia, l'analisi a livello di cella rivela che alcuni modelli (es. LLaVA-OneVision) mostrano bias spaziali (prestazioni che peggiorano verso i bordi o a destra), mentre altri (es. InternVL3.5) mantengono un'ancoratura uniforme.
• Coerenza: In setting OOD, la coerenza tra il numero di coordinate generate e la risposta finale diminuisce, suggerendo che a volte il modello "sbaglia" il conteggio anche se ha localizzato correttamente gli oggetti.

C. Meccanismo di Miglioramento (Analisi Causale)

Attraverso esperimenti di ablazione, gli autori hanno scoperto perché il puntamento funziona:

1. Importanza delle Coordinate Spaziali: Sostituendo le coordinate con un token generico "X", le prestazioni OOD crollano drasticamente. Questo dimostra che l'informazione spaziale è cruciale per la generalizzazione.
2. Dipendenza dal Testo: Quando si rimuove l'immagine di input e si forniscono solo le coordinate (ground truth), le prestazioni rimangono quasi invariate. Al contrario, rimuovere le coordinate fa crollare l'accuratezza.
   • Implicazione: I modelli PtC tendono a ignorare quasi completamente la modalità visiva durante la fase di conteggio finale, affidandosi esclusivamente alle coordinate testuali generate come "intermediario strutturato". Il ragionamento avviene sul testo delle coordinate, non sull'immagine grezza.

D. Robustezza ai Distrattori

L'approccio PtC è generalmente più robusto alla presenza di oggetti irrilevanti (distrattori), specialmente per modelli come InternVL3.5 e Qwen2.5-VL 7B, che mantengono un'accuratezza vicina al 100% anche con 9 distrattori.

4. Significato e Conclusioni

Il paper dimostra che decomporre un compito cognitivo complesso (contare) in sottocompiti espliciti (localizzare poi contare) è una strategia vincente per gli LVLM.

• Apprendimento di Skill: Il puntamento non è solo un trucco per l'accuratezza, ma facilita l'apprendimento di abilità trasferibili che generalizzano meglio a scenari non visti (OOD).
• Trasparenza: Fornisce spiegazioni visive verificabili (le coordinate), aumentando la fiducia nell'output del modello.
• Limiti e Futuro: Sebbene efficace, il metodo introduce un costo computazionale aggiuntivo. Inoltre, il fatto che i modelli ignorino l'immagine nella fase finale suggerisce che l'integrazione tra percezione visiva e ragionamento strutturato può ancora essere migliorata.

In sintesi, il lavoro conferma che l'introduzione di un passo intermedio di grounding (ancoraggio) trasforma il modo in cui gli LVLM apprendono, spostandoli dalla memorizzazione statistica verso procedure di ragionamento più robuste e interpretabili.