Results of the 1st Asynchronous CASTLE Challenge at the Joint Egocentric Vision Workshop in Conjunction with CVPR 2026
Dit artikel vat de bijdragen en resultaten samen van de 1ste Asynchronous CASTLE Challenge, die werd gehouden tijdens de Joint Egocentric Vision Workshop in samenhang met CVPR 2026.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je probeert te onthouden wat er tijdens een vakantie van vier dagen is gebeurd, niet alleen de hoogtepunten, maar elk gesprek, elk verplaatst object en elke kleine verandering in de kamer, terwijl je tegelijkertijd door de ogen van tien verschillende mensen kijkt. Dit is het soort geheugentest waar computers moeite mee hebben, zelfs wanneer ze worden gevoed met duizenden uren aan video. In het vakgebied van kunstmatige intelligentie proberen onderzoekers systemen te bouwen die lange, ongeprogrammeerde opnames van het dagelijsende leven kunnen bekijken en er specifieke vragen over kunnen beantwoorden, net zoals een mens dat zou doen na het lezen van een dagboek of het kijken naar een film. De uitdaging ligt in de enorme hoeveelheid informatie en de noodzaak om details te verbinden die uren of dagen van elkaar verwijderd kunnen zijn. Als een machine dit kan leren, zou het ons uiteindelijk kunnen helpen bij het doorzoeken van jaren aan persoonlijke beelden om een specifiek moment te vinden of complexe patronen in hoe mensen leven te begrijpen.
Om te testen hoe dicht we bij het oplossen hiervan zijn, organiseerde een groep onderzoekers een competitie genaamd de CASTLE Challenge. Ze voorzagen teams van een enorme dataset met meer dan 600 uur aan ultra-high-definition video, opgenomen op een hoge snelheid om elk detail vast te leggen. De beelden kwamen van camera's die door tien deelnemers werden gedragen terwijl ze hun normale leven leidden, samen met vijf stationaire camera's die vanuit de kamer toekeken. De data was rijk, inclusief audio, hartslagmeters en zelfs thermische beelden, wat een compleet digitaal verslag maakte van vier dagen activiteit. De taak voor de concurrerende teams was in theorie simpel maar in de praktijk ongelooflijk moeilijk: ze moesten 185 meerkeuzevragen beantwoorden over wat er in de video's gebeurde. Deze vragen vereisten dat de computer mensen volgde, objecten telde, zich herinnerde waar dingen verborgen waren en het tijdsverloop van gebeurtenissen begreep, zoals uitzoeken wie als eerste een stuk taart at of hoe snel iemand op de laatste dag zijn auto oplaadde.
Vier teams namen de uitdaging aan, elk met een verschillende strategie voor het probleem. Het winnende team, bekend als WDL, behandelde de taak als een detective die aanwijzingen verzamlt. In plaats van alle 600 uur aan video in één keer te bekijken, keek hun systeem eerst naar de vraag om trefwoorden te vinden, zoals een naam van een persoon of een specifieke dag. Vervolgens gebruikte het deze aanwijzingen om alleen de meest relevante delen van de video en de gesproken transcripten eruit te halen, en de rest te negeren. Ze trainden hun computermodel om zich strikt te concentreren op het gevonden bewijs, waarbij ze strikte, gebalanceerde en agressieve prompt-varianten voor elke vraag draaiden om consistentie te waarborgen via multi-sample zelfconsistentie. Deze aanpak stelde hen in staat om een nauwkeurigheid van bijna 58 procent te bereiken, wat betekent dat ze ongeveer 108 van de 185 vragen goed hadden.
Een ander team, MARS, koos voor een meer interactieve aanpak. Ze bouwden een systeem dat fungeerde als een nieuwsgierige agent, die stap voor stap besliste welk type informatie het als volgende zou bekijken. Als een vraag over fysieke activiteit ging, koos het systeem er bijvoorbeeld voor om specifelijk de hartslaggegevens te controleren voor die queries. Als het ging over waar iemand naar keek, haalde het de eye-tracking data op. Door dynamisch te kiezen welk stuk bewijsmateriaal te onderzoeken in plaats van te proberen alles tegelijk te verwerken, verbeterden ze hun score naar 57 procent. Een derde team, TAHAKOM, organiseerde de informatie in een gestructureerde kaart van relaties, waarbij mensen, plaatsen en objecten met tijdstempels werden verbonden. Dit stelde hen in staat om het systeem specifieke vragen te stellen over de verbindingen tussen gebeurtenissen, waarmee ze een nauwkeurigheid van 54,6 procent behaalden. Het laatste team, CuriosAI, richtte zich op het voorkomen dat de computer dingen verzint. Ze bouwden een strikt proces waarbij het systeem bewijs moest zoeken, dit moest verifiëren tegen de ruwe video en vervolgens een antwoord moest geven, om er zeker van te zijn dat elke bewering gebaseerd was op wat er daadwerkelijk werd gezien of gehoord. Hun beste methode bereikte een nauwkeurigheid van 49,7 procent.
De resultaten van de competitie laten zien dat hoewel computers beter worden in het begrijpen van lange video's, ze nog een lange weg te gaan hebben. De topteams beantwoordden meer dan de helft van de vragen correct, wat een aanzienlijke verbetering is ten opzichte van willekeurig gokken, maar ze misten nog steeds bijna de helft van de antwoorden. Wat misschien wel het meest onthullende is, is dat de teams niet allemaal dezelfde vragen goed hadden. Wanneer je de juiste antwoorden van alle vier de teams combineert, slaagden ze erin om 176 van de 185 vragen op te lossen, waardoor er slechts negen overbleven die geen enkel team kon beantwoorden. Dit suggereert dat geen enkele methode op zichzelf nog perfect is, maar dat verschillende benaderingen verschillende stukjes van de puzzel vastleggen. De onderzoekers vonden dat de grootste hindernis nog steeds het vermogen is om voldoende bewijs te dekken zonder verloren te raken in de enorme hoeveelheid data. Hoewel de systemen honderden uren aan beelden kunnen navigeren, blijft de taak om te redeneren over ongeprogrammeerde, echte gebeurtenissen over lange perioden een moeilijke opgave. De competitie heeft het probleem niet opgelost, maar het heeft duidelijk aangetoond dat het combineren van deze verschillende strategieën de sleutel kan zijn tot het bouwen van machines die ons dagelijks leven werkelijk begrijpen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.