TRACE: Temporal Retrieval with Anchored and Convergent Evidence for Long-Horizon Video Understanding

Das Ansehen eines langen Videos, um eine spezifische Frage zu beantworten, ist eine Aufgabe, die sich für einen Menschen einfach anfühlt, für künstliche Intelligenz jedoch überraschend schwierig bleibt. Wenn ein Mensch einen Film sieht, betrachtet er nicht nur einen Strom von Bildern; er baut eine mentale Landkarte der Ereignisse auf und erinnert sich daran, dass ein Charakter im ersten Akt einen Schlüssel aufhob und dass dieser Schlüssel im Schlussszenen verwendet wurde, um eine Tür zu öffnen. Aktuelle Computersysteme hingegen haben oft Schwierigkeiten mit dieser Art von langfristigem Verständnis. Sie schauen sich vielleicht einige Schnappschüsse des Videos an und raten die Antwort, oder sie versuchen, eine Textzusammenfassung der Handlung zu lesen und übersehen dabei die visuellen Details vollständig. Das Kernproblem besteht darin, dass viele Fragen zu langen Videos von Beweisen abhängen, die über verschiedene Zeitpunkte hinweg verstreut sind. Wenn ein System auch nur einen dieser verstreuten Momente übersieht, kann es die Wahrheit nicht kennen, dennoch könnte es eine selbstbewusste, korrekt aussehende Antwort produzieren, indem es einfach rät. Diese Lücke zwischen dem, was ein System zu wissen behauptet, und dem, was es tatsächlich gesehen hat, ist die zentrale Herausforderung, die Forscher zu lösen versuchen.

Ein Team von Forschern hat einen neuen Ansatz namens TRACE vorgestellt, der darauf ausgelegt ist, künstliche Intelligenz dazu zu zwingen, die richtigen Teile eines Videos anzusehen, bevor sie antwortet. Anstatt sich auf Textzusammenfassungen zu verlassen oder basierend auf ein paar zufälligen Einzelbildern zu raten, agiert TRACE wie ein aufmerksamer Beobachter, der seine Antwort Stück für Stück aufbaut. Es beginnt damit, das Video zu scannen, um kleine, spezifische Clips oder „Anker“ zu finden, die für die Frage relevant erscheinen. Dann gruppiert es diese Clips und fordert das System auf, die Frage ausschließlich basierend auf dem zu beantworten, was es bisher gesehen hat. Das System hält hier nicht inne. Es fügt seiner Sammlung ständig neue Clips hinzu und stellt die Frage immer wieder neu. Der Prozess setzt sich nur so lange fort, bis sich die Antwort nicht mehr ändert, was anzeigt, dass das System genügend visuelle Beweise gesammelt hat, um Gewissheit zu erlangen. Entscheidend ist, dass das System seine eigene Arbeit überprüft, indem es den finalen Satz an Clips ein letztes Mal abspielt, um sicherzustellen, dass die Antwort Bestand hat. Diese Methode stellt sicher, dass die endgültige Antwort keine Schätzung basierend auf einer teilweisen Ansicht ist, sondern eine Schlussfolgerung, die auf einem vollständigen Satz visueller Fakten gründet.

Um zu testen, ob diese Methode tatsächlich funktioniert, haben die Forscher ein neues Testfeld namens VES-Bench geschaffen. Dies ist eine Sammlung von 600 Fragen aus 348 öffentlichen Videos, die Aufgaben abdecken wie das Ermitteln der Reihenfolge, in der Ereignisse stattfanden, oder das Zählen, wie oft eine bestimmte Handlung vorkam. Im Gegensatz zu früheren Tests, die nur prüften, ob die endgültige Antwort richtig oder falsch war, auditiert VES-Bench den Prozess selbst. Es verfolgt genau, welche Frames des Videos das System angesehen hat, bevor es seine Entscheidung traf. Der Test verifiziert, ob das System tatsächlich jeden einzelnen Moment gesehen hat, der erforderlich ist, um die Frage korrekt zu beantworten. Wenn ein System die richtige Antwort gibt, aber eine entscheidende Szene übersehen hat, markiert das Audit dies als Fehler, da die Antwort nicht wirklich durch die Beweise gestützt wurde. Diese strenge Evaluierung zeigt, dass viele bestehende Methoden oft Glück haben und korrekt antworten, ohne alle notwendigen Teile des Videos gesehen zu haben.

Als die Forscher TRACE diesem strengen Test unterzogen, zeigten die Ergebnisse einen klaren Vorteil. Unter Verwendung derselben zugrunde liegenden Technologie wie andere fortschrittliche Systeme beantwortete TRACE 50,7 Prozent der Fragen korrekt und stellte gleichzeitig sicher, dass es mindestens zwei unterschiedliche Frames aus jeder einzelnen erforderlichen Szene gesehen hatte. Im Vergleich dazu versagten andere Methoden, die eine ähnliche Anzahl von Frames betrachteten, oft dabei, alle notwendigen Szenen abzudecken, oder sie mussten mehr als doppelt so viele Frames betrachten, um dieselbe Sicherheit zu erreichen. TRACE erreichte dieses hohe Maß an Genauigkeit, während es im Durchschnitt weniger als 100 Frames pro Frage verwendete – ein Bruchteil der Kosten, die Systeme verursachen, die das Video einfach in einem gleichmäßigen Rhythmus scannen. Die Studie fand heraus, dass der Schlüssel zum Erfolg nicht nur darin bestand, mehr Daten anzusehen, sondern zu wissen, wann man aufhören muss zu suchen. Indem es wartete, bis sich die Antwort stabilisierte, und dann die rohen visuellen Beweise doppelt überprüfte, vermied TRACE die Falle, basierend auf unvollständigen Informationen zu raten.

Die Forscher entdeckten auch, dass es nicht immer zu besseren Antworten führt, wenn man einfach die Anzahl der Frames erhöht, die ein System betrachtet. Als sie Standard-Systeme testeten, die immer mehr Frames betrachteten, verbesserte sich die Genauigkeit nur bis zu einem gewissen Punkt, wonach das Hinzufügen weiterer Frames nicht mehr half. Dies deutet darauf an, dass das Problem nicht ein Mangel an Daten ist, sondern ein Mangel an einer Strategie dafür, welche Daten wichtig sind. TRACE löste dies durch die Verwendung einer „Trajektorie“ von Beweisen, bei der das System lernt, zu erkennen, wann es genug Informationen gesammelt hat, um sicher zu sein. Die Studie bestätigt, dass für lange Videos die Fähigkeit, spezifische visuelle Momente zu lokalisieren und zu integrieren, wichtiger ist als das bloße gleichzeitige Verarbeiten einer massiven Menge an Video. Indem es Antworten in rohen visuellen Clips verankert und erst stoppt, wenn die Beweise vollständig sind, demonstriert TRACE einen zuverlässigeren Weg für Maschinen, die Welt zu verstehen, während sie sich entfaltet.