EgoGapBench: Benchmarking Egocentric Action Selection in Multi-Agent Scenes

Sintesi Tecnica: EgoGapBench

Problema
I benchmark esistenti per la visione egocentrica si basano principalmente su dati in prima persona (es. Ego4D, EPIC-KITCHENS). Gli autori sostengono che questi benchmark confondano due capacità distinte: la comprensione dell'input in prima persona (interpretare indizi visivi come mani, piedi o distorsioni della telecamera) e la comprensione di una prospettiva egocentrica (adottare il punto di vista di un osservatore per determinare le azioni appropriate). Nei dataset attuali, i modelli spesso hanno successo rilevando gli indizi corporei visibili di chi indossa la telecamera invece di ragionare sulla prospettiva stessa. Di conseguenza, è difficile isolare se un modello comprenda realmente la prospettiva egocentrica o se riconosca semplicemente artefatti in prima persona. Inoltre, nelle scene multi-agente, i modelli faticano a distinguere tra le azioni disponibili all'osservatore e le azioni compiute da altri agenti visibili, selezionando spesso erroneamente queste ultime.

Metodologia: EgoGapBench
Per affrontare questo problema, gli autori introducono EgoGapBench, un benchmark diagnostico progettato per misurare la Selezione dell'Azione Egocentrica (EAS - Egocentric Action Selection). La EAS è definita come la capacità di selezionare un'azione appropriata dalla prospettiva di un agente in presenza di altri agenti, senza fare affidamento su visibili indizi corporei in prima persona.

La costruzione del benchmark aderisce a due principi fondamentali di progettazione:

1. Assenza di indizi specifici della prima persona: Le immagini sono tratte da dataset generali (COCO, Wikimedia) e filtrate per escludere parti del corpo visibili del portatore della telecamera (mani, piedi) o distorsioni specifiche della FPV (first-person-view).
2. Vincolo del Singolo (Singleton Constraint): Le opzioni di distrazione sono costruite utilizzando "azioni singleton": azioni che non possono essere duplicate da più agenti nella stessa situazione (es. un battitore che agita una mazza). Se un agente visibile sta già compiendo un'azione singleton, l'agente dal punto di vista non può compierla. Ciò rende la copia dell'azione di un altro agente un errore strutturalmente errato piuttosto che un'alternativa plausibile.

Il dataset consiste in 1.000 elementi derivati da 440 immagini, caratterizzati da scene multi-agente. Ogni elemento presenta una domanda che chiede la prossima azione appropriata, con opzioni che includono:

• Corretta: Un'azione disponibile dalla prospettiva assegnata.
• Intrusione Motoria (Motor Intrusion): Un'azione osservata essere compiuta da un altro agente nella scena (strutturalmente errata a causa del vincolo singleton).
• Fuori dal Punto di Vista (Off-Vantage): Un'azione che si adatta all'attività ma richiede una posizione che l'agente dal punto di vista non occupa.

Gli elementi sono formattati come domande a scelta multipla a 3 opzioni (n3) o 4 opzioni (n4).

Contributi Chiave

1. Formalizzazione della EAS: Il documento separa formalmente la comprensione della prospettiva egocentrica dalla comprensione della visione in prima persona, definendo la EAS come una capacità specifica richiesta per la selezione dell'azione in scenari multi-agente.
2. Benchmark Diagnostico: L'introduzione di EgoGapBench, che utilizza distrattori di tipo "azione singleton" per creare un segnale diagnostico chiaro per la confusione tra sé e l'altro.
3. Analisi Empirica: Una valutazione completa di modelli linguistici multimodali (MLLM) open-source e proprietari che rivela un divario significativo tra le prestazioni umane e quelle dei modelli, caratterizzato da una tendenza sistematica a copiare le azioni osservate.

Risultati

• Divario Umano-Modello: Gli esseri umani raggiungono un'accuratezza del 94,5% su EgoGapBench. Al contrario, il modello proprietario più forte (GPT-5.4) raggiunge solo il 66,1%, mentre la maggior parte dei modelli open-source si posiziona vicino o al di sotto del caso (indovinare casualmente).
• Pattern di Errore Sistematici: I modelli non falliscono casualmente; selezionano sistematicamente errori di "intrusione motoria" (azioni compiute da altri agenti visibili). Questa tendenza è particolarmente forte per le azioni "dirette" (interventi attivi) rispetto alle azioni "indirette" (risposte passive come l'osservazione).
• Inefficacia del Tuning FPV Esistente: Il fine-tuning dei modelli sui dataset di istruzioni egocentriche esistenti (EgoIT-99K) non riesce a migliorare le prestazioni della EAS. In realtà, degrada le prestazioni su EgoGapBench in media del 33,9%, lasciando pressoché invariate le prestazioni sui benchmark standard di comprensione della scena FPV (EgoThink). Ciò suggerisce che i dati FPV esistenti insegnano ai modelli a fare affidamento sugli indizi corporei, che sono assenti in EgoGapBench, portando a un trasferimento negativo.
• Tuning Specifico per la EAS: Il fine-tuning sui dati di addestramento di EgoGapBench migliora l'accuratezza (es. Qwen3.5 sale dal 29,0% al 75,2%), ma non colma il divario con le prestazioni umane. Inoltre, mentre gli errori di "intrusione motoria" diminuiscono, gli errori di "fuori dal punto di vista" aumentano, indicando che i modelli imparano a evitare di copiare gli altri ma faticano ancora con la localizzazione precisa del punto di vista.
• Robustezza: Il divario di prestazioni persiste attraverso diverse formulazioni di prompt (inclusi istruzioni esplicite di ignorare le azioni degli altri agenti) e dataset fuori dominio (Wikimedia), suggerendo che il problema sia fondamentale per l'attuale architettura o i paradigmi di addestramento dei modelli.

Significatività
Il documento afferma che la EAS è una capacità distinta che non può essere acquisita esclusivamente dai dati in prima persona. I risultati indicano che gli attuali MLLM, anche quelli sottoposti a fine-tuning su dati egocentrici, mancano della capacità di ancorare la selezione dell'azione a un punto di vista specifico quando gli indizi corporei sono assenti e sono presenti altri agenti. Gli autori postulano che il miglioramento della EAS richieda avanzamenti strutturali oltre la standard comprensione della scena, muovendo i modelli verso il vero adottare un punto di vista di osservatore anziché limitarsi a interpretare gli artefatti visivi. EgoGapBench è proposto come uno strumento diagnostico necessario per misurare i progressi verso questo obiettivo.