EgoCross: Benchmarking Multimodal Large Language Models for Cross-Domain Egocentric Video Question Answering

Deze paper introduceert EgoCross, een nieuw benchmark voor het beoordelen van de cross-domein generalisatie van multimodale grote taalmodellen in egocentrische video-vraag-antwoordtaken, waarbij wordt aangetoond dat bestaande modellen moeite hebben met domeinen die afwijken van het dagelijkse leven, zoals chirurgie en extreme sporten.

De kern

Stel je voor dat je een superintelligente robot hebt die al jarenlang meekijkt terwijl mensen in hun keuken koken, hun huis poetsen of in de tuin werken. Deze robot is een meester geworden in het begrijpen van alledaagse situaties. Hij weet precies wat een mes is, hoe je een ei breekt en wat er gebeurt als je een pan op het vuur zet.

Maar wat gebeurt er als je deze robot plotseling meeneemt naar een operatiekamer, een fabriek, een extreem sportevenement of zelfs op de rug van een kat?

Dat is precies het probleem dat dit nieuwe onderzoek, genaamd EgoCross, aanpakt. Hier is een uitleg in gewone taal, met een paar leuke vergelijkingen:

1. Het Probleem: De "Keuken-Bril"

Tot nu toe zijn de slimme computers (die we Multimodale Large Language Models of MLLMs noemen) getraind op video's van alledaagse dingen. Het is alsof ze alleen maar een keukenbril hebben gedragen. Ze zijn experts in het zien van eieren en paniek in de keuken.

Maar in de echte wereld moeten robots ook kunnen helpen bij:

• Chirurgie: Waar ze niet zomaar een "mes" zien, maar moeten onderscheiden tussen een 'grasper', een 'cautery hook' en een 'bipolar forceps'.
• Industrie: Waar ze complexe reparaties aan printplaten moeten volgen.
• Extreme Sporten: Waar de camera razendsnel beweegt en alles wazig is (denk aan skydiven of skiën).
• Dierperspectief: Video's gemaakt door camera's op de rug van dieren, waar de wereld er heel anders uitziet (grote poten, lage hoeken).

De onderzoekers ontdekten dat deze slimme robots, zodra ze de keukenbril afzetten en de operatiebril opzetten, volledig in de war raken. Ze weten niet meer wat ze zien.

2. De Oplossing: EgoCross (De Nieuwe Test)

Om dit te testen, hebben de onderzoekers EgoCross bedacht. Dit is geen gewone test, maar een grote uitdaging voor deze robots.

• Het Concept: Stel je voor dat je een student die perfect kan rekenen met appels en peren, plotseling een examen geeft over kwantumfysica en astrofysica. EgoCross is dat examen.
• De Inhoud: Het bevat bijna 1.000 vragen over 798 video's uit de vier moeilijke werelden (chirurgie, industrie, sport, dieren).
• De Vragen: De vragen zijn niet zomaar "Wat zie je?". Ze zijn slim en specifiek, zoals: "Welk instrument gebruikte de linkerhand van de chirurg tussen 0 en 20 seconden?" of "Welke richting gaat de skiër als hij de volgende bocht neemt?"

3. De Resultaten: De Robots Struikelen

Toen de onderzoekers de beste robots ter wereld (zoals GPT-4, Gemini en andere open-source modellen) deze test lieten doen, was het resultaat schokkend:

• Ze faalden. Zelfs de slimste robots haalden vaak minder dan 55% goed. Dat is alsof je een examen doet en meer dan de helft van de vragen fout hebt, terwijl je toch een "slimme" robot bent.
• De "Dagelijkse" Robots waren het slechtst: Interessant genoeg deden robots die speciaal waren getraind voor dagelijkse taken het zelfs slechter dan de algemene robots. Het was alsof een chef-kok die alleen maar pizza's kan maken, volledig vastloopt als je hem vraagt om een auto te repareren.
• De "Grote Broers" deden het iets beter: De allerduurste, meest geavanceerde modellen (zoals Gemini 2.5 Pro) deden het iets beter, maar zelfs zij hadden moeite. Ze konden de basis zien, maar faalden bij het begrijpen van de complexe logica (bijvoorbeeld: "Welke stap komt er na deze chirurgische ingreep?").

4. Wat hebben ze geleerd? (De Pilot Studies)

De onderzoekers probeerden de robots te helpen door ze extra te trainen (zoals een student die extra leert voor het examen).

• Simpele hints geven (Prompting): Hielp een beetje.
• Extra leren (Fine-tuning): Hielp in sommige gebieden, maar niet overal.
• Leren door fouten te maken (Reinforcement Learning): Dit was de winnaar! Door de robot te laten oefenen en feedback te geven op zijn fouten, werd hij veel beter in het aanpassen aan deze nieuwe werelden. Het is alsof je een robot niet alleen instructies geeft, maar hem laat "proberen en falen" tot hij het snapt.

Conclusie: Waarom is dit belangrijk?

Deze studie is een wake-up call. Het laat zien dat onze slimme robots nog niet klaar zijn voor de echte, complexe wereld. Ze zijn geweldig in de keuken, maar ze moeten nog veel leren om veilig en nuttig te zijn in ziekenhuizen, fabrieken of bij extreme sporten.

EgoCross is de nieuwe meetlat om te zien of robots echt "slim" zijn, of dat ze alleen maar goed zijn in het herhalen van wat ze al kennen. Het is de eerste stap naar robots die echt kunnen meedenken in elke situatie, of ze nu een scalpel vasthouden of op een skateboard staan.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "EgoCross: Benchmarking Multimodal Large Language Models for Cross-Domain Egocentric Video Question Answering" in het Nederlands.

Probleemstelling

Multimodale Grootte Taalmodellen (MLLMs) hebben aanzienlijke vooruitgang geboekt op het gebied van het beantwoorden van vragen over egeocentrische video's (video's opgenomen vanuit het perspectief van de drager, vaak een mens). Echter, bestaande benchmarks en studies zijn grotendeels beperkt tot alledaagse activiteiten zoals koken, schoonmaken en tuinieren.

In de praktijk van de echte wereld zijn toepassingen echter vaak onderhevig aan domeinverschuivingen (domain shifts). In scenario's zoals chirurgie, industriële assemblage, extreme sporten of het perspectief van dieren, verschillen de visuele stijl en semantische inhoud aanzienlijk van dagelijkse situaties. De kernvraag die dit paper adresseert is: Kunnen bestaande MLLMs zich effectief generaliseren naar deze onbekende, domeinspecifieke scenario's? Het paper stelt dat huidige modellen hierin tekortschieten, maar dit gebrek aan evaluatie in cross-domein settings een groot gat in de literatuur vormt.

Methodologie: De EgoCross Benchmark

Om dit gat te dichten, stellen de auteurs EgoCross voor, een uitgebreide benchmark ontworpen om de cross-domein generalisatie van MLLMs in EgocentricQA te evalueren.

1. Domeinselectie en Data:
EgoCross omvat vier uitdagende en diverse domeinen die sterk afwijken van dagelijkse activiteiten:

• Chirurgie (Surgery): Hoge precisie, complexe instrumenten en sequentiële procedures (bronnen: EgoSurgery, CholecTrack20).
• Industrie: Complexe workflows, reparatietaken en tool-gebruik (bron: ENIGMA-51).
• Extreme Sporten: Snelle camera-bewegingen, wazigheid en zeldzame omgevingen (bron: ExtremeSportFPV).
• Dierperspectief: Niet-menselijke bewegingspatronen en camerahoeken (bron: EgoPet).

Het dataset bestaat uit 798 video-clips en ongeveer 1.000 vraag-antwoordparen (957 in de statistieken), afkomstig van vijf bestaande open-source datasets die zijn verfijnd.

2. Taak Taxonomie:
De benchmark is gestructureerd rond vier hoofdcategorieën, verder opgesplitst in 15 specifieke sub-taken:

• Identificatie: Herkennen van objecten, acties en gebeurtenissen (bijv. welk chirurgisch instrument wordt gebruikt?).
• Locatie (Localization): Bepalen van de ruimtelijke of temporale locatie van objecten of interacties.
• Voorspelling (Prediction): Voorspellen van toekomstige acties of fasen op basis van causale relaties.
• Tellen (Counting): Het tellen van distincte objecten of gebeurtenissen in dynamische scenario's.

Elke vraag is beschikbaar in twee formaten voor grondige evaluatie:

• CloseQA: Meerkeuzevragen (4 opties).
• OpenQA: Vrije tekstantwoorden.

3. Data Curation Pipeline:
De auteurs ontwikkelden een multi-stadia proces:

• Refinement: Het uniformeren en handmatig controleren van bestaande annotaties.
• Template Design: Het ontwerpen van QA-sjablonen en het uitbreiden daarvan met een LLM (Gemini 2.5 Pro) voor linguïstische diversiteit.
• Batch Generation & QC: Het genereren van vragen en het uitvoeren van een strikte kwaliteitscontrole (menselijke verificatie van 10% van de data).

Belangrijkste Resultaten

De auteurs hebben EgoCross gebruikt om 8 state-of-the-art MLLMs te evalueren, waaronder proprietaire modellen (GPT-4.1, Gemini 2.5 Pro), open-source modellen (Qwen2.5-VL, VideoLLaMA3, InternVL3) en gespecialiseerde egocentrische modellen (EgoVLPv2, EgoGPT).

1. Prestaties:

• De meeste modellen kampen met ernstige prestatiedalingen in cross-domein settings.
• CloseQA: De gemiddelde nauwkeurigheid ligt onder de 55% (willekeurige gokkans is 25%). Proprietaire modellen presteren het beste, maar open-source en gespecialiseerde modellen scoren vaak lager dan 45%.
• OpenQA: De prestaties zijn nog slechter, met een gemiddelde nauwkeurigheid onder de 35%.
• Vergelijking met EgoSchema: Er is een significante daling van 1,6x in nauwkeurigheid waargenomen wanneer modellen van dagelijkse taken (EgoSchema) naar cross-domein taken (EgoCross) worden verplaatst. Bijvoorbeeld, "Action Temporal Localization" daalde van 92% op EgoSchema naar 34% op EgoCross.

2. Analyse van Domeinverschillen:

• Dierperspectief bleek het minst uitdagend (dichtst bij dagelijkse activiteiten).
• Industrie en Extreme Sporten waren het meest uitdagend vanwege complexe visuele ruis en snelle bewegingen.
• Chirurgie toonde een interessante dynamiek: hoewel visueel complex, presteerden sterke modellen hier relatief goed, wat suggereert dat ze robuust zijn voor visuele variatie maar worstelen met diepere semantische redenering in andere domeinen.
• Gespecialiseerde modellen (zoals EgoGPT) presteerden verrassend slecht, vaak slechter dan algemene MLLMs, wat aantoont dat training op dagelijkse egocentrische data geen garantie biedt voor generalisatie naar niche-domeinen.

3. Pilot Studies:
De auteurs onderzochten drie technieken om de prestaties te verbeteren:

• Prompt Learning: Kende een kleine verbetering.
• Supervised Fine-Tuning (SFT): Verbeterde prestaties in sommige domeinen (bijv. Industrie), maar faalde in andere (Dierperspectief) door beperkte trainingsdata.
• Reinforcement Learning (RL): Toonde de meest significante verbetering (gemiddeld +22%), wat suggereert dat RL-modellen beter kunnen leren van feedback en complexere beslissingsprocessen in nieuwe domeinen kunnen aanpassen.

Bijdragen

1. Definitie van Cross-Domain EgocentricQA: Het is het eerste werk dat deze taak expliciet definieert en motiveert als een cruciaal, maar onderbelicht gebied voor real-world toepassingen.
2. Publicatie van EgoCross: De eerste cross-domein benchmark voor EgocentricQA, met vier distincte domeinen en ~1k hoogwaardige QA-paren.
3. Uitgebreide Evaluatie: Een kwantitatieve analyse van 8 SOTA-modellen die de beperkingen van huidige MLLMs buiten dagelijkse domeinen blootlegt.
4. Toekomstgericht Onderzoek: Pilot studies die inzicht geven in potentiële oplossingen (zoals RL) voor het verbeteren van domein-robustheid.

Significantie

EgoCross is een mijlpaal voor de gemeenschap van computer vision en multimodale AI. Het paper benadrukt dat het simpelweg trainen op bestaande dagelijkse datasets onvoldoende is voor robuuste AI-systemen die in de echte wereld moeten functioneren (bijv. chirurgische robots, industriële assistenten). Door de prestatiekloof tussen dagelijkse en professionele domeinen te kwantificeren, biedt EgoCross een fundamentele basis voor het ontwikkelen van de volgende generatie domein-adaptieve en robuuste MLLMs. Het paper roept onderzoekers op om zich te richten op generalisatie en redenering in onbekende contexten in plaats van alleen op prestaties binnen bekende, dagelijkse scenario's.