🤖 AI

EgoBench: An Interactive Egocentric Multimodal Benchmark for Tool-Using Agents

EgoBench introduceert de eerste interactieve multimodale benchmark voor hulpmiddelgebruikende agenten, met 1.045 egocentrische videotaken en een gesimuleerde gebruikersomgeving om de synergie van waarneming, redenering en dynamische interactie streng te evalueren, waarbij blijkt dat huidige state-of-the-art-modellen aanzienlijk moeite hebben met deze complexe vaardigheden.

Oorspronkelijke auteurs: Yunqi Liu, Tong Niu, Zitong Wang, Zhenlong Dai, Yuqi Qing, Weiqiang Wang, Jian Liu

Gepubliceerd 2026-05-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yunqi Liu, Tong Niu, Zitong Wang, Zhenlong Dai, Yuqi Qing, Weiqiang Wang, Jian Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een robotbutler te leren hoe hij je kan helpen bij het koken van het avondeten of het boodschappen doen, terwijl je een camera op je hoofd draagt. Je wilt dat de robot niet alleen ziet wat je doet, maar ook nadenkt over wat als volgende moet gebeuren, tools gebruikt om een database te raadplegen (zoals een kookboek of een prijslijst), en terugpraat als hij in de war raakt.

Het artikel introduceert EgoBench, wat in wezen een gigantisch, zeer moeilijk "eindexamen" is voor deze robotbutlers. Hier is een uitleg van wat het artikel doet, met behulp van eenvoudige analogieën:

1. Het Probleem: De "Te Makkelijke" Tests

Stel je voor dat je een hond traint. Als je hem alleen test door te vragen of hij "zit" op een rustig, leeg veld, lijkt hij misschien een genie. Maar in de echte wereld moet de hond zitten terwijl een auto toetert, een eekhoorn langsrent en je een complexe opdracht geeft zoals "zit, haal dan de bal, maar alleen als hij rood is".

De auteurs zeggen dat de huidige tests voor AI-agenten vergelijkbaar zijn met dat rustige veld. Ze zijn te simpel. Ze testen niet of de AI kan:

Zien wat er gebeurt in een rommelige, bewegende video (zoals een eerstepersoonsbeeld van je handen die koken).
Nadenken over een meerstaps logische puzzel (bijvoorbeeld: "Als de tomaat rood is, check dan de koelkast; als hij verlopen is, koop dan een nieuwe").
Praten met een mens die misschien ongeduldig is, vergeetachtig is of verwarrende hints geeft.

2. De Oplossing: EgoBench (De "Obstakelbaan")

EgoBench is een nieuw testterrein dat specifiek is gebouwd om te zien of AI-agenten het chaos van het echte leven aankunnen. Het heeft drie hoofdonderdelen:

De Video (De Ogen): In plaats van statische afbeeldingen, bekijkt de AI korte eerstepersoonsvideo's (zoals GoPro-beelden van je hoofd). Het is alsof de AI je bril draagt. Het moet uitzoeken: "Ah, dat is een tomaat links, en ik heb hem zojuist opgepakt."
De Tools (De Handen): De AI kan niet zomaar gissen. Het moet "tools" gebruiken (zoals een digitaal telefoonboek of een database) om verborgen informatie te vinden. Bijvoorbeeld: de video toont een fles wijn, maar de video zegt niet of deze verlopen is. De AI moet een tool gebruiken om de database te controleren.
De Gesimuleerde Gebruiker (De Mond): Dit is het slimme deel. Het artikel heeft een "nepmens" (een computerprogramma dat zich als een mens gedraagt) gebouwd om met de AI te praten. Deze nepmens kan zijn:
- Gemakkelijk: Alleen beleefd vragen stellen.
- Moeilijk: Ongeduldig zijn, irrelevante informatie geven ("Trouwens, het weer is mooi!") of boos worden als de AI te langzaam is.
- Statisch: Alle instructies in één keer geven in één groot alinea.

3. Het Beoordelingssysteem: Geen Valsspelen Toegestaan

In veel AI-tests leest een slimme computer (een andere AI) het antwoord en zegt: "Dat klinkt goed!" Dit is subjectief.

EgoBench gebruikt een deterministisch beoordelingssysteem. Denk hierbij aan een videospeelscore:

Procescontrole: Heeft de AI de juiste tools aangeroepen? (Heeft het de prijs gecontroleerd? Heeft het de vervaldatum gecontroleerd?)
Resultaatcontrole: Stemde de uiteindelijke database-status overeen met het doel? (Is het artikel daadwerkelijk in de winkelwagen? Is het recept bijgewerkt?)
Als de AI zegt "Ik heb het gedaan" maar de database toont de wijziging niet, krijgt het een nul. Geen discussie met de leraar.

4. De Resultaten: De "Realiteitscheck"

De auteurs hebben 8 van de slimste, meest geavanceerde AI-modellen die vandaag beschikbaar zijn, op dit examen getest.

Het oordeel? Ze faalden jammerlijk.

Zelfs het beste model haalde ongeveer 19% tot 30% van de taken goed, afhankelijk van hoe moeilijk de "nepmens" zich gedroeg.
In het makkelijkste scenario (Retail/Winkelen) kreeg het beste model nog steeds slechts ongeveer 30% goed.

Waarom faalden ze? Het artikel vond dat de AI-agenten worstelden met:

Het verkeerd interpreteren van de video: "Ik dacht dat het een tomaat was, maar het was eigenlijk een rode paprika."
Hallucineren: Feiten verzinnen die niet in de video of de database stonden.
Slechte logica: De "Als/Dan"-regels verkeerd toepassen.
Risicovolle bewegingen: Dingen doen die de gebruiker niet vroeg, zoals items uit een lijst verwijderen.

Samenvatting

Het artikel betoogt dat AI, hoewel het goed wordt in praten en naar afbeeldingen kijken, nog steeds zeer slecht is in het combineren van die vaardigheden om daadwerkelijk dingen te doen in een rommelige, realistische omgeving waar het met een mens moet praten, tools moet gebruiken en complexe regels moet volgen. EgoBench is de nieuwe liniaal die we gebruiken om precies te meten hoe ver we nog moeten gaan.

Belangrijke Opmerking: Het artikel presenteert alleen deze benchmark en de testresultaten. Het beweert niet dat deze AI-agenten klaar zijn om te worden gebruikt in ziekenhuizen, voor zelfrijdende auto's of in enige andere specifieke real-world toepassing. Het zegt simpelweg: "Hier is een test, en hier is hoe slecht de huidige topmodellen erop presteren."

Technische Samenvatting: EgoBench

Probleemstelling

Naarmate AI-agenten overgaan van gestructureerde, tekstgebaseerde workflows naar open, real-world omgevingen, vereisen zij een synergetische integratie van multimodale perceptie, tool-uitvoering met multi-hop redenering en dynamische gebruikersinteractie. Bestaande benchmarks falen in het gezamenlijk evalueren van deze capaciteiten vanwege drie primaire uitdagingen:

Capaciteitskoppeling: Het is moeilijk om taken te ontwerpen die werkelijk gelijktijdig visueel begrip, logisch redeneren en tool-uitvoering vereisen, aangezien modellen vaak gebruikmaken van shortcuts of vertrouwen op één enkele capaciteit.
Realistische interactiesimulatie: Het genereren van gebruikersfeedback die zowel natuurlijk is als strikt afgestemd op taakdoelen, is uitdagend gezien de onvoorspelbaarheid van agentgedrag.
Objectieve evaluatie: Het extraheren van kwantificeerbare metrieken uit dynamische, subjectieve interacties (bijvoorbeeld dialoog) is moeilijk, maar essentieel voor reproduceerbare beoordeling.

Huidige benchmarks missen vaak multimodale gronding, dynamische gebruikersinteractie of objectieve, resultaatgerichte validatie, waardoor er een gat blijft in de evaluatie van agenten voor gesitueerde, eerstepersoons (egocentrische) scenario's.

Methodologie

De auteurs introduceren EgoBench, de eerste interactieve multimodale benchmark voor tool-gebruikende agenten die is gegrondvest op egocentrisch video. De benchmark wordt opgebouwd via een drie-fasige synergetische pijplijn en geëvalueerd via een deterministisch gezamenlijk validatiekader.

1. Benchmarkconstructie

Verzameling egocentrische video's (Fase 1): De dataset omvat 1.045 taken over vier dagelijkse scenario's: Dineren, Keukentaken, Bestellen van Eten en Retail. Video's (82,4% zelf verzameld via slimme brillen/telefoons, 17,6% uit Ego4D) bevatten expliciete ruimtelijk-temporele aanwijzingen en zijn beperkt tot 10–30 seconden om het gebruik van draagbare apparaten te reflecteren.
Toolbibliotheek en Database (Fase 2): Een scenario-specifieke toolbibliotheek is ontworpen met principes van functionaliteit en parameteronduidelijkheid (waardoor gedeeltelijke overeenkomsten mogelijk zijn). Cruciaal wordt een visueel-data-informatiekloof geïntroduceerd: zichtbare attributen worden uit video's gehaald, terwijl onzichtbare maar contextueel relevante data (bijvoorbeeld voedingsinformatie, houdbaarheid) wordt opgeslagen in een gestructureerde database. Dit dwingt agenten om tools te gebruiken om informatie op te halen die niet zichtbaar is in de video.
Tataontwerp (Fase 3): Taken zijn ontworpen om een vierstaps afhankelijkheidsketen af te dwingen:
1. Multimodale perceptie van de video.
2. Opvragen van onzichtbare informatie via tools.
3. Logisch redeneren (voorwaardelijke vertakkingen, filtering op meerdere attributen).
4. Wijziging van de database-status via tools.
  De waarheid (ground truth) wordt gedefinieerd als een reeks van essentiële tool-aanroepen en de uiteindelijke database-status, geannoteerd door mensen met strenge kwaliteitscontroles.

2. Multi-Agent Gesimuleerde Gebruiker

Om dynamische interactie te evalueren, maakt EgoBench gebruik van een multi-agent gesimuleerde gebruiker met een Actor-Evaluator-Samenvatter-structuur:

Actor: Genereert gebruikersreacties op basis van dialooggeschiedenis en taakdoelen.
Evaluator: Beoordeelt de output van de Actor tegen vier binaire criteria: Rolconsistentie, Opvolging van instructies, Veerkracht tegen agentinterferentie en Contextuele Robuustheid. Schendingen leiden tot hergeneratie.
Samenvatter: Houdt een compacte geschiedenis-samenvatting bij om taakvoortgang te volgen.
De benchmark ondersteunt drie interactiemodi: Statisch (alle informatie in één keer), Dynamisch Eenvoudig (standaard multi-turn) en Dynamisch Moeilijk (met introductie van ongeduld, ruis en afleidende onderwerpen).

3. Gezamenlijk Validatiekader

Evaluatie is deterministisch en objectief, zonder gebruik van subjectieve LLM-rechters. Succes wordt gemeten aan de hand van:

Procesgebaseerde Validatie: Controleren of de reeks tool-aanroepen van de agent alle noodzakelijke waarheidsaannames ( $\tau^* \subseteq \tau$ ) dekt.
Resultaatgebaseerde Validatie: Verifiëren of de uiteindelijke database-status overeenkomt met de waarheidsaanneming via hashing.
Gezamenlijke Succesratio: De primaire metriek, die zowel procesdekking als resultaat-equivalentie vereist.

Belangrijkste Bijdragen

EgoBench Benchmark: Een uitgebreide dataset van 1.045 egocentrisch video-gegrondeerde taken die vier real-world scenario's bestrijken, met gezamenlijke evaluatie van multimodale perceptie, multi-hop redenering en dynamische interactie.
Synergetische Taakgeneratie: Een pijplijn die garandeert dat elke taak de geïntegreerde toepassing vereist van visuele perceptie en tool-verrijkt redeneren, waardoor exploitatie van shortcuts wordt voorkomen.
Hoogtrouw Gebruikerssimulatie: Een multi-agent kader dat robuuste, doelgerichte gebruikersreacties genereert, met ondersteuning voor variërende interactiecomplexiteiten (Statisch, Dynamisch Eenvoudig, Dynamisch Moeilijk).
Deterministische Evaluatie: Een gezamenlijk validatiekader dat objectieve beoordeling garandeert via proces- en resultaat-equivalentie, gekoppeld aan een multidimensionale foutanalyse die falen categoriseert in vijf modi (perceptuele misinterpretatie, hallucinatie, structurele non-compliance, logische drogredenen, risicovolle operaties).

Experimentele Resultaten

De auteurs hebben acht state-of-the-art video-MLLM's (waaronder Gemini-3.1-Pro, Qwen3.5 en Doubao-Seed-2.0-Pro) op EgoBench getest.

Prestatieplafond: Huidige modellen vertonen ernstige beperkingen. Het best presterende model, Gemini-3.1-Pro, behaalde een Gezamenlijke Succesratio van slechts 30,62% in het Retail-scenario (het makkelijkste scenario) en een gemiddelde van 19,43% over alle vier scenario's.
Interactiemodi: Modellen presteerden het slechtst in Dynamisch Moeilijk Modus, wat tekortkomingen blootlegt in robuust dialoogbeheer en interferentie-resistente status-tracking. Verrassend genoeg verbeterde Statische Modus de nauwkeurigheid voor veel modellen niet significant, wat suggereert dat het multi-turn interactiemechanisme in Dynamisch Eenvoudig Modus planningstekorten soms compenseert door taken op te breken.
Foutanalyse: Falen werd voornamelijk veroorzaakt door Multimodale Perceptuele Misinterpretaties en Logische Drogredenen. Hoewel modellen over het algemeen outputformaten volgden (structurele naleving), hadden ze moeite met het oplossen van ruimtelijke/temporele verwijzingen in egocentrische video's en het uitvoeren van complexe voorwaardelijke logica.
Efficiëntie: Tokenverbruik was negatief gecorreleerd met succespercentages; hoger presterende modellen (zoals Gemini-3.1-Pro) behaalden betere resultaten met minder tokens, wat wijst op efficiënter redeneren en minder redundante exploratie.

Betekenis

Het artikel positioneert EgoBench als een cruciale stap in de richting van het evalueren van AI-agenten voor implementatie in de real-world. Door een aanzienlijke kloof bloot te leggen tussen huidige modelcapaciteiten en de vereisten voor betrouwbare, end-to-end taakvoltooiing in open omgevingen, benadrukt de benchmark specifieke knelpunten—met name in multimodale gronding en complex redeneren—die moeten worden aangepakt. De auteurs stellen dat EgoBench een rigoureus, objectief kader biedt om toekomstige modelontwikkeling te sturen, en verder gaat dan tekst-only of statische evaluaties om agenten te beoordelen in gesitueerde, interactieve en tool-gemedieerde contexten.