Do MLLMs Understand Pointing? Benchmarking and Enhancing Referential Reasoning in Egocentric Vision

1. Il Problema: Allucinazioni Referenziali nella Visione Egocentrica

Gli agenti AI egocentrici (come gli occhiali intelligenti) dipendono dai gesti di puntamento per risolvere le ambiguità nei comandi linguistici naturali. Tuttavia, la ricerca evidenzia che i moderni Modelli Linguistici Multimodali (MLLM), nonostante i loro avanzamenti, falliscono nel comprendere con precisione la semantica spaziale del puntamento in prima persona.

• Il Fenomeno: I modelli tendono a ignorare la proiezione geometrica precisa del dito e si affidano invece a correlazioni spurie basate sulla prossimità visiva o sulla salienza dell'oggetto.
• Conseguenza: Questo porta a un fenomeno definito "Allucinazione Referenziale" (Referential Hallucination), dove il modello identifica erroneamente l'oggetto su cui l'utente sta puntando, spesso scegliendo oggetti vicini alla mano o visivamente prominenti ma non pertinenti al gesto.
• Gap nei Dati: Esiste una scarsità di dati di alta qualità che allineino visione, linguaggio e spazio ("Vision-Language-Space") in scenari egocentrici. I dataset esistenti si basano su viste in terza persona o mancano di annotazioni dense sul rapporto "gesto-oggetto".

2. Metodologia: EgoPoint-Bench e Point-Sim

Per colmare questo divario, gli autori introducono EgoPoint-Bench, un benchmark completo per valutare e migliorare il ragionamento spaziale multimodale.

A. Costruzione del Dataset (EgoPoint-Bench)

Il dataset è composto da oltre 11.700 campioni (10.567 sintetici + 1.162 reali) e copre tre livelli di complessità referenziale e cinque dimensioni di valutazione:

1. Percezione di Base (BP): Attributi fondamentali (colore, categoria).
2. Funzione & Stato (FS): Proprietà semantiche e stati dinamici.
3. Contesto Spaziale (SC): Relazioni spaziali egocentriche e raggiungibilità.
4. OCR: Estrazione di testo dagli oggetti.
5. Resilienza Adversariale (AR): Capacità di resistere a input ingannevoli o riferimenti vuoti.

Livelli di Deissi (Linguaggio):

• L1 (Azione Esplicita): "L'oggetto che sto puntando".
• L2 (Locativo Visivo): "Quella cosa là".
• L3 (Pronome Implicito): "Questo".

B. Pipeline di Generazione Dati (Point-Sim)

Per superare la scarsità di dati reali, è stato sviluppato un framework di simulazione basato sulla fisica:

• Ambienti 3D: Utilizzo di ambienti ad alta fedeltà (AI2-THOR, HSSD, ReplicaCAD, HM3D).
• Allineamento Cinematico: Un sistema di ray-casting calcola la traiettoria esatta del dito e la allinea alla linea di vista verso l'oggetto target, garantendo un'etichettatura priva di rumore.
• Diversità: Vengono utilizzati 42 modelli di mani diversi (variazioni di tono della pelle, stile di abbigliamento, mano destra/sinistra) per evitare bias.
• Validazione: Un controllo rigoroso scarta i campioni in cui il raggio di puntamento interseca ostacoli prima di raggiungere il target.
• Dati Reali: Raccolta di 1.162 campioni da volontari con occhiali MLVision in ambienti reali (negozi, case, parchi), con annotazione umana per la verità fondamentale (Ground Truth).

C. Strategia di Valutazione

Gli autori hanno testato sia modelli proprietari (Gemini 3, GPT-5) che open-source (LLaVA, Qwen3-VL, InternVL) in due modalità:

1. Inferenza Zero-Shot: Uso diretto del modello pre-addestrato.
2. Instruction Tuning (LoRA): Fine-tuning efficiente sui dati sintetici generati da Point-Sim, testando poi la generalizzazione sui dati reali.

3. Risultati Chiave

I risultati sperimentali dimostrano un divario significativo tra le capacità attuali dei modelli e le esigenze reali, ma anche una soluzione efficace:

• Fallimento dei Modelli "Off-the-Shelf": Anche i modelli più avanzati (es. Gemini 3 Pro, GPT-5) ottengono una precisione media intorno al 60% su compiti di puntamento egocentrico, con un divario enorme rispetto alle prestazioni umane (~96%). I modelli falliscono soprattutto nel ragionamento spaziale geometrico fine.
• Guadagni Significativi con il Fine-Tuning: L'addestramento sui dati sintetici di EgoPoint-Bench tramite LoRA porta a miglioramenti consistenti, con guadagni che vanno dal +15% al +25% sulla precisione media.
  • Esempio: LLaVA-NeXT-7B mostra un miglioramento del +25.41%.
• Generalizzazione Sim-to-Real: I modelli addestrati esclusivamente su dati sintetici generalizzano efficacemente ai dati reali (zero-shot cross-domain). Ad esempio, Qwen3-VL-8B passa dal 58.14% al 71.96% di accuratezza sui dati reali dopo il fine-tuning sui dati simulati.
• Analisi degli Errori: L'analisi qualitativa rivela che gli errori principali sono "Distrazione Prossimale" (il modello guarda l'oggetto vicino al dito) e "Negligenza del Gesto". Il fine-tuning riduce drasticamente questi errori, dimostrando che i modelli hanno imparato a seguire la geometria del puntamento piuttosto che la salienza visiva.

4. Contributi Principali

1. EgoPoint-Bench: Il primo benchmark progettato specificamente per valutare il ragionamento spaziale multimodale in visione egocentrica, unificando dati sintetici e reali con annotazioni geometriche precise.
2. Pipeline Point-Sim: Un metodo di generazione dati guidato dalla fisica che garantisce precisione geometrica e diversità linguistica, risolvendo il problema della scarsità di dati etichettati per il puntamento.
3. Dimostrazione di Generalizzazione: La prova che dati sintetici di alta qualità possono colmare il divario di dominio, permettendo agli agenti AI di comprendere gesti di puntamento complessi in scenari reali senza bisogno di enormi quantità di dati reali etichettati.

5. Significato e Impatto

Questo lavoro evidenzia una limitazione critica nei modelli foundation attuali: la mancanza di una comprensione intrinseca della meccanica spaziale del "puntare".

• Per l'AI Egocentrica: Fornisce una strada scalabile per creare assistenti AI per occhiali intelligenti e realtà aumentata che possono interagire naturalmente con gli utenti, risolvendo ambiguità tramite gesti.
• Per la Ricerca: Sottolinea l'importanza della supervisione spaziale consapevole e suggerisce che la sintesi dati fisica è un approccio vitale per addestrare modelli su compiti di interazione uomo-macchina complessi dove i dati reali sono difficili da ottenere.

In sintesi, il paper dimostra che mentre i MLLM attuali soffrono di allucinazioni referenziali nel contesto egocentrico, un addestramento mirato su dati sintetici di alta fedeltà può ripristinare la capacità di ragionamento spaziale, rendendo possibili interazioni più intuitive e robuste.