Agentic Very Long Video Understanding

Das Paper stellt EGAgent vor, ein agentic Framework, das auf Entitäts-Szenengraphen basiert, um durch strukturierte Suche und hybride visuell-auditive Analyse kontinuierliche, langfristige Ego-Videos für kontextuelle Verständnisaufgaben zu interpretieren und dabei state-of-the-art Ergebnisse auf EgoLifeQA und Video-MME (Long) erzielt.

Das Wesentliche

Stell dir vor, du trägst eine unsichtbare Brille, die den ganzen Tag über alles aufzeichnet, was du siehst und hörst – von deinem morgendlichen Kaffee bis hin zu deinen Abenteuern am Wochenende. Nach einer Woche hast du nicht nur ein paar Minuten, sondern 50 Stunden an Video und Ton.

Die Frage ist: Wie kann eine künstliche Intelligenz (KI) aus diesem riesigen Datenberg eine spezifische Frage beantworten? Zum Beispiel: „Wer saß gestern beim Mittagessen neben mir, als wir über das neue Auto gesprochen haben?"

Herkömmliche KIs scheitern an dieser Aufgabe. Sie haben ein zu kurzes „Gedächtnis" (den sogenannten Kontext-Fenster) und können sich nicht an Dinge erinnern, die vor Tagen passiert sind, oder sie verlieren den Überblick, wer zu wem gehört.

Die Forscher von Meta und der University of Wisconsin-Madison haben eine Lösung namens EGAgent entwickelt. Hier ist eine einfache Erklärung, wie es funktioniert, mit ein paar kreativen Vergleichen:

1. Das Problem: Der riesige Datenberg

Stell dir das Video als einen riesigen, unendlichen Fließband vor, auf dem Millionen von Bildern und Tönen vorbeiziehen. Wenn du eine KI fragst, was vor drei Tagen passiert ist, muss sie normalerweise den ganzen Fließband-Strom durchsuchen. Das ist wie der Versuch, eine bestimmte Nadel in einem Heuhaufen zu finden, indem man den ganzen Heuhaufen auf einmal in den Mund stecken will – es geht nicht.

2. Die Lösung: Der „Lebendige Stammbaum" (Entity Scene Graph)

Statt das ganze Video auf einmal zu lesen, baut EGAgent einen intelligenten Index, den sie „Entity Scene Graph" nennen.

• Die Analogie: Stell dir das Video nicht als Film vor, sondern als ein riesiges, interaktives Adressbuch, das sich ständig aktualisiert.
• Die Knoten (Nodes): In diesem Adressbuch gibt es Einträge für Menschen (z. B. „Jake"), Orte (z. B. „Küche") und Gegenstände (z. B. „Auto").
• Die Verbindungen (Edges): Das Besondere ist, dass dieses Adressbuch nicht nur Namen auflistet, sondern Beziehungen und Zeitstempel speichert. Es weiß: „Jake hat um 14:00 Uhr mit Anna gesprochen" oder „Jake hat gestern das Auto benutzt".

Dieser Graph ist wie ein Landkarte der Beziehungen, die zeigt, wer wann mit wem interagiert hat. Er vergisst nichts und behält den Überblick über Tage hinweg.

3. Der Detektiv: Der „Planende Agent"

EGAgent ist nicht nur ein passiver Speicher; es ist ein aktiver Detektiv. Wenn du eine Frage stellst, tut der „Planende Agent" Folgendes:

1. Zerlegen: Er zerlegt deine große Frage in kleine, machbare Schritte.
   • Frage: „Wer war beim Essen?"
   • Schritt 1: Finde heraus, wann das Essen stattfand.
   • Schritt 2: Suche heraus, wer anwesend war.
   • Schritt 3: Prüfe, ob jemand erwähnt wurde.
2. Werkzeuge nutzen: Der Agent hat drei spezielle Werkzeuge, um die Antworten zu finden:
   • Das visuelle Suchwerkzeug: Schaut sich kurz die Bilder an (wie ein schneller Blick durch ein Fotoalbum).
   • Das Transkript-Werkzeug: Sucht im Text, was gesagt wurde (wie das Durchsuchen eines Tagebuchs).
   • Das Graph-Werkzeug (Das Herzstück): Fragt direkt den „Lebendigen Stammbaum". Statt das ganze Video zu durchsuchen, fragt es: „Zeig mir alle Einträge, wo 'Jake' mit 'Anna' gesprochen hat, zwischen Montag und Mittwoch." Das ist extrem schnell und präzise.

4. Warum ist das so genial?

Frühere Methoden mussten oft raten oder das ganze Video neu analysieren. EGAgent hingegen verknüpft die Informationen.

• Beispiel: Die Frage ist: „Wer saß mir beim letzten Taxi-Fahrt gegenüber?"
  • Der Agent sucht im Audio-Werkzeug nach dem Wort „Taxi".
  • Er findet einen Zeitpunkt.
  • Er schaut im Graph-Werkzeug nach, wer zu diesem Zeitpunkt in der Nähe war.
  • Er kombiniert die Informationen und sagt: „Es war Shure."

Das System kann sogar Muster erkennen, die über Tage verteilt sind, wie zum Beispiel: „Wie oft habe ich diese Woche Wasser getrunken?" oder „Wer war bei jedem Treffen dabei?"

Zusammenfassung in einem Satz

EGAgent verwandelt einen chaotischen, 50-stündigen Videostream in einen organisierten, durchsuchbaren Wissensspeicher, der Beziehungen zwischen Menschen und Dingen über die Zeit hinweg versteht, ähnlich wie ein sehr guter Freund, der sich an jedes Detail deines Lebens erinnert und dir sofort sagen kann, wer wann was gemacht hat.

Das Ergebnis: Auf Tests konnte dieses System Fragen über lange Zeiträume viel besser beantworten als alle bisherigen KIs, besonders wenn es darum ging, komplexe Beziehungen und Abläufe über mehrere Tage hinweg zu verstehen.

Technische Zusammenfassung

Titel: Agentic Very Long Video Understanding (EGAgent)

Autoren: Aniket Rege et al. (Meta Reality Labs Research & University of Wisconsin-Madison)

---

1. Problemstellung

Die Entwicklung von „Always-On"-persönlichen KI-Assistenten, ermöglicht durch tragbare Geräte wie intelligente Brillen (z. B. Ray-Ban Meta), erfordert ein neues Verständnis von Kontext. Diese Systeme müssen nicht nur isolierte Ereignisse verstehen, sondern den kontinuierlichen, longitudinalen Strom von Egocentric-Video (Erstperson-Perspektive) über Tage oder sogar Wochen hinweg interpretieren.

Die bestehenden Herausforderungen sind:

• Begrenzte Kontextfenster: Große Sprachmodelle (LLMs) und Multimodale LLMs (MLLMs) können nicht die gesamte visuelle und auditive Information über extrem lange Zeiträume (z. B. 50+ Stunden Video) gleichzeitig verarbeiten.
• Mangel an zusammengesetzter Logik: Herkömmliche Methoden (wie Retrieval-Augmented Generation, RAG) scheitern oft an der Fähigkeit, mehrstufiges (multi-hop) reasoning über lange Zeiträume durchzuführen, insbesondere wenn es darum geht, Beziehungen zwischen Entitäten (Personen, Objekte, Orte) über mehrere Tage hinweg zu verfolgen.
• Fehlende zeitliche Kohärenz: Bestehende Ansätze haben Schwierigkeiten, wiederkehrende Verhaltensmuster oder spezifische Interaktionen über lange Zeiträume präzise zu lokalisieren und zu verknüpfen.

2. Methodik: EGAgent

Die Autoren stellen EGAgent vor, ein erweitertes agentenbasiertes Framework, das auf Entity Scene Graphs (Entitäts-Szenengraphen) basiert. Das System kombiniert strukturierte Suche, visuelle und auditive Suche mit einem planenden Agenten.

A. Entity Scene Graph (Entitäts-Szenengraph)

Das Herzstück der Methode ist die Extraktion eines Graphen aus dem langen Video, der zeitlich annotiert ist:

• Knoten (Nodes): Repräsentieren Entitäten wie Personen, Orte und Objekte.
• Kanten (Edges): Repräsentieren Beziehungen (z. B. TALKS_TO, USES, INTERACTS_WITH, MENTIONS).
• Zeitliche Annotation: Jede Kante ist mit Zeitintervallen (t_start, t_end) versehen, die angeben, wann die Beziehung gilt.
• Aufbau: Der Graph wird aus Audio-Transkripten und visuellen Szenenbeschreibungen (aus 1-fps-gesampelten Frames) extrahiert. Er wird in einer SQLite-Datenbank gespeichert und kann inkrementell erweitert werden.

B. Das Agente Framework

EGAgent nutzt einen Planning Agent, der komplexe Benutzeranfragen in eine Sequenz von Teilaufgaben (Subtasks) zerlegt. Der Agent nutzt drei spezialisierte Suchwerkzeuge (Retriever Tools), um Informationen zu sammeln:

1. Visual Search Tool: Sucht in einer Vektordatenbank nach visuellen Embeddings von Frames (1 FPS) unter Verwendung von semantischer Suche und Attributfiltern.
2. Audio Transcript Search Tool: Sucht in den transkribierten Audio-Daten (mittels LLM-basierter Suche oder BM25).
3. Entity Graph Search Tool: Führt SQL-Abfragen auf dem Entity Graph aus, um Beziehungen zwischen Entitäten über spezifische Zeitfenster hinweg zu finden.

Der Workflow:

1. Der Planning Agent dekomponiert die Frage und wählt die passenden Werkzeuge aus.
2. Die Retriever Tools holen relevante Daten (Bilder, Transkripte, Graph-Relationen).
3. Ein Analyzer Tool (LLM) filtert und analysiert die zurückgegebenen Daten, extrahiert Evidenz und aktualisiert ein Arbeitsgedächtnis (Working Memory).
4. Dieser Prozess ist iterativ, bis genügend Informationen gesammelt sind.
5. Ein VQA Agent (Visual Question Answering) generiert basierend auf dem gesammelten, multimodalen Kontext die finale Antwort.

Ein besonderes Merkmal ist die „Strict-to-Relaxed"-Suchstrategie beim Entity Graph: Wenn eine exakte Abfrage keine Ergebnisse liefert, werden die Constraints (Zeitfenster, Entitätsnamen, Beziehungstypen) schrittweise gelockert, um die Recall-Rate zu erhöhen.

3. Wichtige Beiträge

• Neue Repräsentation: Einführung einer zeitlich annotierten Entity-Graph-Repräsentation für sehr lange Videos, die strukturiertes, multimodales Reasoning über lange Zeiträume ermöglicht.
• Agentic Framework: Entwicklung von EGAgent, das den Entity Graph mit visuellen und auditiven Suchwerkzeugen kombiniert, um komplexe, longitudinale Fragen zu beantworten.
• State-of-the-Art Performance: Das System erreicht neue Bestleistungen auf dem EgoLifeQA-Benchmark und ist auf Video-MME (Long) wettbewerbsfähig.
• Effizienz: Das System verarbeitet Videos mit deutlich weniger Frames als vergleichbare Methoden, behält aber durch den Graphen die semantische Tiefe bei.

4. Ergebnisse

Die Evaluation erfolgte auf zwei Benchmarks: EgoLifeQA (50 Stunden Egocentric-Video, 500 Fragen) und Video-MME (Long) (300 Videos, 30–60 Minuten).

• EgoLifeQA:

  • EGAgent erreicht eine Genauigkeit von 57,5 % (mit Gemini 2.5 Pro als Backbone), was einen neuen State-of-the-Art darstellt.
  • Im Vergleich zum vorherigen SOTA (EgoButler) gibt es Verbesserungen von +20,6 % im Durchschnitt.
  • Besonders starke Verbesserungen in den Kategorien RelationMap (+32 % gegenüber SOTA) und TaskMaster (+39,7 %), die mehrstufiges relationales Reasoning erfordern.
  • Der Einsatz des Entity Graphs allein (ohne visuelle/auditive Suche) verbessert die Leistung bereits signifikant, aber die Kombination aller Werkzeuge (EG + F + T) ist am effektivsten.

• Video-MME (Long):

  • EGAgent erreicht 74,1 % Genauigkeit und ist konkurrenzfähig zu den besten Modellen, verarbeitet dabei jedoch über 10-mal weniger Frames als einige Baselines.
  • Es übertrifft Video-RAG und andere agentenbasierte Ansätze deutlich.

• Ablationsstudien:

  • Die Kombination aus visuellen, auditiven und graph-basierten Suchen ist entscheidend für die Leistung.
  • Die Entity-Graph-Suche ist besonders effizient und bietet eine gute Abwägung zwischen Latenz und Recall, insbesondere für grobe zeitliche Vorauswahl.

5. Bedeutung und Ausblick

Diese Arbeit ist ein wichtiger Schritt hin zu praktischen, immer aktiven persönlichen KI-Assistenten. Sie demonstriert, dass reine LLM-basierte Ansätze für extrem lange Videos an ihre Grenzen stoßen und dass strukturierte Repräsentationen (wie Entity Graphs) in Kombination mit agenter Planung notwendig sind, um:

• Langzeitgedächtnis über Tage/Wochen zu simulieren.
• Komplexe Beziehungen und wiederkehrende Muster zu erkennen.
• Multimodales Reasoning (Verknüpfung von Bild, Ton und Struktur) effizient durchzuführen.

Die Methode zeigt, dass die Zukunft des Video-Verständnisses nicht nur in größeren Kontextfenstern liegt, sondern in intelligenten Agenten, die Werkzeuge nutzen, um Wissen über lange Zeiträume hinweg zu strukturieren, zu indizieren und abzufragen. Dies ist essenziell für die nächste Generation von Wearable-AI-Systemen.