EgoGapBench: Benchmarking Egocentric Action Selection in Multi-Agent Scenes

Technische Samenvatting: EgoGapBench

Probleemstelling
Bestaande benchmarks voor egocentrisch visie vertrouwen primair op first-person-view (FPV) data (bijv. Ego4D, EPIC-KITCHENS). De auteurs stellen dat deze benchmarks twee verschillende vermogens met elkaar verwarren: het begrijpen van FPV-input (het interpreteren van visuele aanwijzingen zoals handen, voeten of cameradistortie) en het begrijpen van een egocentrisch perspectief (het aannemen van het standpunt van een waarnemer om de juiste acties te bepalen). In huidige datasets slagen modellen vaak door de zichtbare lichaamskenmerken van de camera-drager te detecteren in plaats van te redeneren over het gezichtspunt zelf. Bijgevolg is het moeilijk om te isoleren of een model het egocentrische perspectief werkelijk begrijpt of slechts first-person artefacten herkent. Bovendien worstelen modellen in multi-agent scenario's met het onderscheid tussen acties die beschikbaar zijn voor de waarnemer en acties die worden uitgevoerd door andere zichtbare agenten, waarbij ze vaak onterecht de laatste selecteren.

Methodologie: EgoGapBench
Om dit aan te pakken, introduceren de auteurs EgoGapBench, een diagnostische benchmark ontworpen om Egocentric Action Selection (EAS) te meten. EAS wordt gedefinieel als het vermogen om een passende actie te selecteren vanuit het perspectief van een agent in aanwezigheid van andere agenten, zonder te vertrouwen op zichtbare first-person lichaamskenmerken.

De constructie van de benchmark volgt twee kernprincipes van ontwerp:

1. Geen first-person-specifieke kenmerken: Afbeeldingen zijn afkomstig van algemene datasets (COCO, Wikimedia) en zijn gefilterd om zichtbare lichaamsdelen van de camera-drager (handen, voeten) of FPV-specifieke distorties uit te sluiten.
2. Singleton-beperking: Distractor-opties worden geconstrueerd met behulp van "singleton-acties"—acties die niet door meerdere agenten in dezelfde situatie kunnen worden uitgevoerd (bijv. een slagman die met een knuppel slaat). Als een zichtbare agent al een singleton-actie uitvoert, kan de viewpoint-agent deze niet uitvoeren. Dit maakt het kopiëren van de actie van een andere agent een structureel onjuiste fout in plaats van een plausibel alternatief.

De dataset bestaat uit 1.000 items afgeleid van 440 afbeeldingen, met scenario's met meerdere agenten. Elk item presenteert een vraag over de volgende passende actie, met opties die bestaan uit:

• Correct: Een actie die beschikbaar is vanuit het toegewezen gezichtspunt.
• Motor Intrusion: Een actie die door een andere agent in de scène wordt uitgevoerd (structureel incorrect vanwege de singleton-beperking).
• Off-Vantage: Een actie die past bij de activiteit, maar een positie vereist die de viewpoint-agent niet inneemt.

Items zijn geformatteerd als 3-optie (n3) of 4-optie (n4) meerkeuzevragen.

Belangrijkste Bijdragen

1. Formalisering van EAS: Het artikel formaliseert de scheiding tussen begrip van het egocentrische perspectief en first-person-view begrip, waarbij EAS wordt gedefinieerd als een specifiek vermogen dat vereist is voor actieselectie in multi-agent scenario's.
2. Diagnostische Benchmark: De introductie van EgoGapBench, die gebruikmaakt van singleton-actie distractors om een duidelijk diagnostisch signaal te creëren voor zelf-ander verwarring.
3. Empirische Analyse: Een uitgebreide evaluatie van open-source en propriëtaire Multimodale Large Language Models (MLLMs) die een aanzienlijk gat onthult tussen menselijke en modelprestaties, gekenmerkt door een systematische neiging om geobserveerde acties te kopiëren.

Resultaten

• Mens-Model Gat: Mensen behalen 94,5% nauwkeurigheid op EgoGapBench. In contrast hiermee bereikt het sterkste propriëtaire model (GPT-5.4) slechts 66,1%, terwijl de meeste open-source modellen presteren nabij of onder kansniveau (willekeurige gokken).
• Systematische Foutpatronen: Modellen falen niet willekeurig; ze selecteren systematisch "motor intrusion" fouten (acties uitgevoerd door andere zichtbare agenten). Deze neiging is bijzonder sterk voor "directe" acties (actieve interventies) vergeleken met "indirecte" acties (passieve reacties zoals observeren).
• Ineffectiviteit van Bestaande FPV Fine-tuning: Fine-tuning van modellen op bestaande egocentrische instructie-datasets (EgoIT-99K) slaagt er niet in de EAS-prestaties te verbeteren. In feite verslechtert het de prestaties op EgoGapBench met gemiddeld 33,9%, terwijl de prestaties op standaard FPV scène-begrip benchmarks (EgoThink) grotendeels onveranderd blijven. Dit suggereert dat bestaande FPV-data modellen leert om te vertrouwen op lichaamskenmerken, die afwezig zijn in EgoGapBench, wat leidt tot negatieve transfer.
• EAS-Specifieke Tuning: Fine-tuning op de EgoGapBench trainingsdata verbetert de nauwkeurigheid (bijv. Qwen3.5 stijgt van 29,0% naar 75,2%), maar overbrugt het gat naar menselijke prestaties niet. Bovendien nemen, terwijl "motor intrusion" fouten afnemen, "off-vantage" fouten toe, wat aangeeft dat de modellen leren om het kopiëren van anderen te vermijden, maar nog steeds worstelen met precieze viewpoint lokalisatie.
• Robuustheid: De prestatiekloof blijft bestaan over verschillende prompt-formuleringen (inclusief expliciete instructies om de acties van andere agenten te negeren) en out-of-domain datasets (Wikimedia), wat suggereert dat het probleem fundamenteel is aan de huidige architectuur of trainingsparadigma's van de modellen.

Betekenis
Het artikel beweert dat EAS een onderscheidend vermogen is dat niet uitsluitend verkregen kan worden uit first-person-view data. De resultaten wijzen erop dat huidige MLLMs, zelfs als ze zijn gefinetuned op egocentrische data, niet het vermogen hebben om actieselectie te funderen in een specifiek gezichtspunt wanneer lichaamskenmerken afwezig zijn en andere agenten aanwezig zijn. De auteurs stellen dat het verbeteren van EAS structurele vooruitgang vereist die verder gaat dan standaard scène-begrip, waarbij modellen worden bewogen naar het werkelijk aannemen van een waarnemersstandpunt in plaats van louter het interpreteren van visuele artefacten. EgoGapBench wordt voorgesteld als een noodzakelijk diagnostisch instrument om de vooruitgang naar dit doel te meten.