Results of the 1st Asynchronous CASTLE Challenge at the Joint Egocentric Vision Workshop in Conjunction with CVPR 2026
Dieses Paper fasst die Beiträge und Ergebnisse der 1. Asynchronen CASTLE-Challenge zusammen, die im Rahmen des Joint Egocentric Vision Workshop in Verbindung mit der CVPR 2026 stattfand.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie müssten versuchen, sich an alles zu erinnern, was während eines viertägigen Urlaubs passiert ist – nicht nur an die Höhepunkte, sondern an jedes Gespräch, jede bewegte Sache und jede kleine Veränderung im Raum, während Sie gleichzeitig aus den Augen von zehn verschiedenen Personen zusehen. Dies ist die Art von Gedächtnistest, mit dem Computer Schwierigkeiten haben, selbst wenn sie mit tausenden Stunden Videomaterial gefüttert werden. Im Bereich der künstlichen Intelligenz versuchen Forscher, Systeme zu entwickeln, die in der Lage sind, lange, ungeskriptete Aufnahmen des täglichen Lebens zu betrachten und spezifische Fragen dazu zu beantworten, ganz ähnlich wie ein Mensch nach dem Lesen eines Tagebuchs oder dem Ansehen eines Films. Die Herausforderung liegt im schieren Volumen der Informationen und der Notwendigkeit, Details zu verknüpfen, die vielleicht Stunden oder Tage voneinander entfernt liegen. Wenn eine Maschine lernen kann, dies zu tun, könnte sie uns letztendlich dabei helfen, durch jahrelange persönliches Filmmaterial zu suchen, um einen spezifischen Moment zu finden oder komplexe Muster in der Lebensweise von Menschen zu verstehen.
Um zu testen, wie nah wir einer Lösung nahe sind, organisierte eine Gruppe von Forschern einen Wettbewerb namens CASTLE Challenge. Sie stellten den Teams einen massiven Datensatz mit über 600 Stunden hochauflösendem Video zur Verfügung, das mit hoher Geschwindigkeit aufgenommen wurde, um jedes Detail einzufangen. Das Filmmaterial stammte von Kameras, die zehn Teilnehmern bei ihren normalen Aktivitäten an den Körper getragen wurden, zusammen mit fünf stationären Kameras, die aus dem Raum heraus beobachteten. Die Daten waren reichhaltig und enthielten Audio, Herzfrequenzmonitore und sogar Wärmebilder, was ein vollständiges digitales Protokoll von vier Tagen Aktivität schuf. Die Aufgabe für die teilnehmenden Teams war in der Theorie einfach, aber in der Praxis unglaublich schwierig: Sie mussten 185 Multiple-Choice-Fragen darüber beantworten, was in den Videos geschah. Diese Fragen erforderten, dass der Computer Menschen verfolgte, Objekte zählte, sich daran erinnerte, wo Dinge versteckt waren, und den zeitlichen Ablauf von Ereignissen verstand, wie zum Beispiel herauszufinden, wer zuerst ein Stück Kuchen gegessen hat oder wie schnell jemand am letzten Tag sein Auto aufgeladen hat.
Vier Teams stellten sich der Herausforderung und brachten jeweils eine unterschiedliche Strategie für das Problem mit. Das Gewinnerteam, bekannt als WDL, behandelte die Aufgabe wie einen Detektiv, der Spuren sammelt. Anstatt zu versuchen, alle 600 Stunden Video auf einmal anzusehen, suchte ihr System zuerst nach der Frage nach Schlüsselwörtern, wie etwa einem Personennamen oder einem bestimmten Tag. Dann nutzte es diese Hinweise, um gezielt nur die relevantesten Teile des Videos und der gesprochenen Transkripte herauszufiltern und den Rest zu ignorieren. Sie trainierten ihr Computermodell darauf, sich strikt auf die gefundenen Beweise zu konzentrieren, indem sie für jede Frage strikte, ausgewogene und aggressive Prompt-Varianten ausführten, um die Konsistenz durch Multi-Sample-Selbstkonsistenz sicherzustellen. Dieser Ansatz ermöglichte es ihnen, eine Genauigkeit von fast 58 Prozent zu erreichen, was bedeutet, dass sie etwa 108 der 185 Fragen richtig beantworteten.
Ein anderes Team, MARS, wählte einen interaktiveren Ansatz. Sie bauten ein System, das wie ein neugieriger Agent agierte, der Schritt für Schritt entschied, welche Art von Information es als Nächstes untersuchen sollte. Wenn eine Frage nach körperlicher Aktivität gestellt wurde, entschied sich das System vielleicht dafür, gezielt die Herzfrequenzdaten für diese Abfragen aufzurufen. Wenn es darum ging, wohin jemand blickte, rief es die Eye-Tracking-Daten ab. Durch das dynamische Wählen des Informationsstücks, das untersucht werden sollte, anstatt zu versuchen, alles auf einmal zu verarbeiten, verbesserten sie ihre Punktzahl auf 57 Prozent. Ein drittes Team, TAHAKOM, organisierte die Informationen in einer strukturierten Karte von Beziehungen und verknüpfte Menschen, Orte und Objekte mit Zeitstempeln. Dies ermöglichte es ihnen, dem System spezifische Fragen über die Verbindungen zwischen Ereignissen zu stellen, wobei sie eine Genauigkeit von 54,6 Prozent erreichten. Das letzte Team, CuriosAI, konzentrierte sich darauf, den Computer daran zu hindern, Dinge zu erfinden. Sie entwickelten einen strengen Prozess, bei dem das System Beweise suchen, diese gegen das Rohvideo verifizieren und dann antworten musste, um sicherzustellen, dass jede Behauptung auf dem basierte, was tatsächlich gesehen oder gehört wurde. Ihre beste Methode erreichte eine Genauigkeit von 49,7 Prozent.
Die Ergebnisse des Wettbewerbs zeigen, dass Computer zwar besser darin werden, lange Videos zu verstehen, sie aber noch einen weiten Weg vor sich haben. Die Spitzenteams beantworteten mehr als die Hälfte der Fragen korrekt, was eine signifikante Verbesserung gegenüber dem bloßen Raten darstellt, aber sie verfehlten immer noch fast die Hälfte der Antworten. Was vielleicht am aufschlussreichsten ist, ist, dass die Teams nicht alle die gleichen Fragen richtig beantwortet haben. Wenn man die korrekten Antworten aller vier Teams kombiniert, konnten sie 176 der 185 Fragen lösen, was nur neun Fragen übrig ließ, die kein Team beantworten konnte. Dies deutet darauf hin, dass noch keine einzelne Methode perfekt ist, aber verschiedene Ansätze unterschiedliche Teile des Puzzles erfassen. Die Forscher fanden heraus, dass das größte Hindernis weiterhin darin besteht, genügend Beweise abzudecken, ohne sich in der schieren Menge der Daten zu verlieren. Während die Systeme in der Lage sind, hunderte von Stunden Filmmaterial zu navigieren, bleibt die Aufgabe, durch ungeskriptete, reale Ereignisse über lange Zeiträume hinweg zu schlussfolgern, ein schwieriges Problem. Der Wettbewerb hat das Problem nicht gelöst, aber er hat deutlich gezeigt, dass die Kombination dieser verschiedenen Strategien der Schlüssel zum Bau von Maschinen sein könnte, die unser tägliches Leben wirklich verstehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.