The First EgoCross Challenge at EgoVis 2026: Cross-Domain Egocentric Video Question Answering
Dit technische rapport introduceert de EgoCross Challenge, een benchmark voor cross-domein egocentrische video-vraagbeantwoording gehost bij EgoVis 2026 die multimodale grote taalmodellen heeft geëvalueerd op vier gespecialiseerde domeinen via twee afzonderlijke tracks, wat resulteerde in meer dan 1.500 inzendingen en publiekelijk vrijgegeven bronnen om het vakgebied vooruit te helpen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een robot leert de wereld te begrijpen via een camera die aan zijn hoofd is bevestigd. Dit is het vakgebied van egocentrisch video-begrip, waarbij computers proberen het leven te begrijpen vanuit een eerste-persoons perspectief, precies zoals jij dat ziet. Meestal worden deze robots getraind op saaie, alledaagse taken zoals het maken van toast of het opvouwen van de was. Maar het echte leven is rommelig en vol verrassingen. Wat gebeurt er als die robot een hartoperatie moet uitvoeren, een complexe machine moet assembleren, een berg af moet skiën, of de wereld moet zien vanuit het perspectief van een hond? Dit is de "domeingap": de angstaanjagende sprong van weten hoe je een ei bakt naar weten hoe je een scalpel moet hanteren. De grote vraag die onderzoekers zich stellen is: kan een slimme computer leren om deze totaal andere, risicovolle werelden aan te pakken zonder alles opnieuw te hoeven leren vanuit het begin?
Dit artikel is het rapportcijfer voor een gigantisch experiment genaamd de First EgoCross Challenge, gehouden in 2026. De organisatoren zetten een zware test op om te zien of moderne "superintelligente" video-robots konden generaliseren buiten hun dagelijkse routines. Ze creëerden een benchmark met 798 videoclips en 957 lastige vragen over vier zeer verschillende werelden: chirurgie, industriële assemblage, extremesporten en dierenperspectieven. Het doel was simpel maar moeilijk: kijk een video, lees een vraag en kies het juiste antwoord uit vier opties. De uitdaging verdeelde de deelnemers in twee groepen. Eén groep, de "Source-Limited Track", moest werken met een piepkleine, vaste set voorbeelden (slechts 80 samples!) en een specifiek robotbrein. De andere groep, de "Open-Source Track", mocht grotere breinen en meer publieke data gebruiken, maar mocht niet handmatig op zoek gaan naar nieuwe trainingsvideo's uit de doelwerelden.
De resultaten waren een mix van "wow" en "nog steeds lastig". Meer dan 130 teams leverden meer dan 1.500 pogingen aan. Het winnende team, DomainWiseInfer, probeerde niet simpelweg het probleem te forceren met een grotere robot; ze bouwden een slim "verkeersregelaar"-systeem. In plaats van één generieke strategie voor alles te gebruiken, realiseerden zij zich dat een vraag over een ski-ongeluk een totaal andere manier van denken vereist dan een vraag over een chirurgisch instrument. Ze stuurden de vragen door naar gespecialiseerde "inferentiestrategieën" op basis van het domein. Zo richtten ze zich bij diervideo's bijvoorbeeld op het volgen van interacties en het stabiliseren van schokkerige camerabewegingen. Voor chirurgie richtten ze zich op het verifiëren of een instrument daadwerkelijk zichtbaar was. Deze aanpak, die nauwelijks nieuwe training vereiste, verhoogde de nauwkeurigheid van de robot van een baseline van ongeveer 46% naar een winnende 66,98%.
Een ander topteam, OmniEgo-R2, behandelde het probleem als een detective die een mysterie oplost. Ze braken de taak af in stappen: eerst de videoframes organiseren met tijdstempels; daarna bepalen welk type "vaardigheid" de vraag nodig heeft (zoals het tellen van objecten of het vinden van een locatie); en ten slotte elke mogbare optie controleren tegen het bewijs in de video om er zeker van te zijn dat het geen leugen is. Deze "gerouteerde redenering" hielp hen een score van 66,35% te behalen in de strikte track en 66,77% in de open track.
Een team dat op de derde plaats eindigde in de open track, Reflective Dialogue, probeerde een andere truc. In plaats van de robot alleen voorbeelden te tonen, maakten ze van de voorbeelden een gesprek tussen een "Docent" en een "Oplosser". De Docent stelt een vraag, de Oplosser raadt het antwoord, en als de Oplosser het fout heeft, legt de Docent uit waarom het fout was en wat het visuele bewijs daadwerkelijk liet zien. Dit "reflectieve" gesprek werd vervolgens als een hint aan de robot gevoerd voordat deze de echte testvragen beantwoordde. Deze methode hielp de robot een nauwkeurigheid van 65,94% te bereiken.
Het artikel suggereert dat we weliswaar vooruitgang boeken, maar dat de robot nog steeds het meeste moeite heeft met chirurgie en extremesporten, waarbij dingen snel bewegen of heel specifiek zijn. Echter, de robots waren verrassend goed in dierenperspectieven, waarschijnlijk omdat deze video's meer leunen op algemene visuele aanwijzingen. De belangrijkste les is niet dat we het probleem hebben opgelost, maar dat de beste weg vooruit niet simpelweg het maken van grotere robots is. Het is in plaats daarvan het geven van slimmere manieren om na te denken: vragen routeren naar de juiste experts, problemen opdelen in logische stappen, en leren van "gesprekken" over fouten. De uitdaging bewees dat met de juiste strategie een robot kan beginnen met het begrijpen van de wilde, diverse uithoeken van onze wereld, zelfs als hij er slechts een paar voorbeelden van heeft gezien.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.