EventMemAgent: Hierarchical Event-Centric Memory for Online Video Understanding with Adaptive Tool Use

Die Arbeit stellt EventMemAgent vor, ein aktives Agenten-Framework, das durch ein hierarchisches Gedächtnis und adaptiven Werkzeuggebrauch die Herausforderung des Online-Video-Verständnisses in unendlichen Datenströmen löst, indem es kurzfristige Ereigniserkennung mit langfristiger Ereignisarchivierung kombiniert.

Das Wesentliche

Stell dir vor, du siehst einen Film, der niemals endet. Er läuft einfach weiter und weiter, wie ein unendlicher Strom aus Bildern. Jetzt stell dir vor, dein Gehirn (oder in diesem Fall eine künstliche Intelligenz) hat nur ein sehr kleines Notizbuch, in das es nur wenige Seiten gleichzeitig schreiben kann.

Das ist das große Problem bei der "Online-Video-Verstehung": Wie kann eine KI einen unendlichen Film verstehen, wenn ihr "Gedächtnis" so klein ist, dass sie alles Vergangene schnell wieder vergisst?

Die Autoren dieses Papiers haben eine Lösung namens EventMemAgent entwickelt. Hier ist die Erklärung, wie das funktioniert, ganz einfach und mit ein paar Bildern im Kopf:

1. Das Problem: Der "Fließband-Effekt"

Bisherige KIs arbeiten wie ein passiver Zuschauer am Fließband. Sie schauen sich Bilder an, schreiben sie in ihr kleines Notizbuch und wenn das Buch voll ist, werfen sie die alten Seiten einfach weg.

• Das Problem: Wenn du gerade einen wichtigen Moment verpasst hast, weil das Buch voll war, oder wenn du dich an etwas erinnern musst, das vor 10 Minuten passierte, ist es weg. Oder schlimmer: Die KI merkt sich nur die letzten paar Sekunden, aber vergisst den Kontext, was vorhin passiert ist.

2. Die Lösung: Der "Event-Agent" mit zwei Gedächtnis-Ebenen

EventMemAgent ist wie ein sehr organisierter Detektiv, der nicht einfach nur zuschaut, sondern aktiv arbeitet. Er nutzt zwei Arten von Gedächtnis:

A. Das Kurzzeit-Gedächtnis (Der "Aktuelle Fall")

Stell dir vor, der Detektiv hat einen kleinen Schreibtisch (das Kurzzeitgedächtnis).

• Keine starren Grenzen: Früher teilten KIs Videos in starre 30-Sekunden-Blöcke auf. Das ist dumm, weil eine Handlung (z. B. "Jemand schneidet eine Zwiebel") genau in der Mitte eines Blocks abgeschnitten werden könnte.
• Intelligente Schnitte: EventMemAgent wartet, bis eine Handlung abgeschlossen ist. Wenn jemand eine Zwiebel schneidet, hält er den Block offen, bis die Zwiebel fertig ist. Erst dann macht er einen neuen Block auf.
• Der "Reservoir-Trick": Wenn eine Handlung sehr lange dauert (z. B. jemand malt ein Bild für 10 Minuten), würde der Schreibtisch sonst platzen. Der Agent nutzt hier einen cleveren Trick: Er behält nicht jedes einzelne Bild, sondern wählt zufällig ein paar repräsentative Bilder aus, die den ganzen Vorgang zusammenfassen. So bleibt Platz für Neues, ohne den Kontext zu verlieren.

B. Das Langzeit-Gedächtnis (Der "Aktenkoffer")

Sobald eine Handlung auf dem Schreibtisch fertig ist, wird sie nicht weggeworfen. Der Agent packt sie in einen ordentlichen Aktenkoffer (das Langzeitgedächtnis).

• Er schreibt nicht nur "Bild 1, Bild 2, Bild 3" auf.
• Er schreibt eine Zusammenfassung (z. B. "Jemand hat eine Zwiebel geschnitten"), speichert ein Schlüsselsbild (den ersten Moment) und notiert sich, was sich geändert hat.
• Wenn der Agent später gefragt wird: "Was hat die Person vor 5 Minuten gemacht?", greift er nicht blind auf alte Bilder zu, sondern sucht gezielt in seinen Akten nach dem passenden "Fall".

3. Der aktive Werkzeugkasten: "Ich suche, also finde ich"

Das ist vielleicht der coolste Teil. Früher mussten KIs warten, bis jemand ihnen die richtigen Bilder schickte. EventMemAgent ist aktiv.

• Er hat einen Werkzeugkasten dabei.
• Wenn er eine Frage bekommt, denkt er: "Hmm, ich brauche mehr Details."
• Dann greift er zu:
  • Suche im Aktenkoffer: "Was ist vorhin passiert?"
  • Text-Scanner (OCR): "Was steht auf diesem Schild?"
  • Objekt-Erkennung: "Ist das wirklich ein Hund oder nur ein Spielzeug?"
• Er holt sich die Informationen genau dann, wenn er sie braucht, statt alles auf einmal zu speichern.

4. Das Training: Lernen durch "Verstärkung"

Wie lernt der Agent, diese Werkzeuge richtig zu benutzen? Durch Agentic Reinforcement Learning (eine Art Belohnungssystem).

• Stell dir vor, der Agent ist ein Schüler. Wenn er die richtige Antwort findet, bekommt er einen Punkt. Wenn er die falschen Werkzeuge benutzt oder vergisst, nachzufragen, bekommt er keinen Punkt.
• Nach vielen Versuchen lernt er von selbst: "Aha! Wenn die Frage nach der Vergangenheit geht, muss ich zuerst im Aktenkoffer suchen. Wenn es um Text geht, muss ich den Scanner benutzen." Er internalisiert diese Strategie, bis sie zur zweiten Natur wird.

Zusammenfassung in einem Satz

EventMemAgent ist wie ein super-organisierter Filmkritiker, der unendliche Filme nicht einfach nur ansieht, sondern sie in sinnvolle Szenen unterteilt, diese in einem gut sortierten Archiv ablegt und bei Fragen aktiv seine Werkzeuge nutzt, um die perfekten Details zu finden – alles ohne sein kleines Notizbuch zu überfüllen.

Das Ergebnis? Die KI versteht lange Videos viel besser als frühere Modelle, braucht weniger Rechenleistung und kann sich an Dinge erinnern, die vor langer Zeit passiert sind, ohne den Überblick zu verlieren.

Technische Zusammenfassung

1. Problemstellung

Das Verständnis von Online-Videos erfordert, dass Modelle kontinuierliche Wahrnehmung und langfristige Schlussfolgerungen innerhalb potenziell unendlicher visueller Datenströme durchführen. Die fundamentale Herausforderung liegt im Konflikt zwischen der Ungebundenheit von Streaming-Eingaben und dem begrenzten Kontextfenster von Multimodalen Large Language Models (MLLMs).

Bestehende Ansätze leiden unter zwei Hauptproblemen:

• Passive Verarbeitung: Methoden wie Token-Pruning oder gleitende Fenster führen zu einem unvermeidlichen Zerfall und Verlust historischer Informationen, sobald der Videostream fortschreitet.
• Externe Speicher: Ansätze, die externe Speicher nutzen, um vergangene Frames zu archivieren, führen oft zu hohem Overhead und mangelnder semantischer Interpretierbarkeit. Zudem fehlt es passiven Systemen oft an der Fähigkeit, feingranulare Details bei der Verarbeitung riesiger Mengen visueller Token in einem einzigen Durchlauf präzise zu erfassen.

2. Methodik: EventMemAgent

Die Autoren schlagen EventMemAgent vor, einen aktiven Agenten-Framework, der von einer passiven Informationsverarbeitung zu einem aktiven, agenticen Paradigma übergeht. Das System besteht aus drei Kernkomponenten:

A. Hierarchischer Speicher-Modul (Dual-Layer-Strategie)

Um die Informationsflut zu bewältigen, wird ein speicherbasiertes System auf Ereignis-Ebene (Event-Centric) implementiert:

• Kurzzeitgedächtnis (Short-Term Memory, STM):
  • Dient als Puffer für den aktuellen Videostream.
  • Online-Ereignisse-Segmentierung: Anstatt Frames starr nach Zeitintervallen zu trennen, wird die Konsistenz des Inhalts (basierend auf Graustufen-Histogrammen und Pearson-Korrelation) analysiert. Ein neuer Frame löst eine Ereignisgrenze aus, wenn die Konsistenz einen Schwellenwert unterschreitet.
  • Reservoir-Sampling auf Ereignis-Ebene: Innerhalb eines semantisch kohärenten Ereignisses wird Reservoir-Sampling angewendet. Dies verhindert, dass ein einzelnes, langes Ereignis den begrenzten Kontextspeicher (z. B. 32 Frames) vollständig auffüllt, und stellt sicher, dass der Puffer eine unverzerrte Stichprobe des Ereignisses darstellt.
• Langzeitgedächtnis (Long-Term Memory, LTM):
  • Wenn ein Ereignis den STM verlässt (um Platz für neue Frames zu machen), wird es strukturiert im LTM archiviert.
  • Die Speicherung erfolgt als Ereignis-Tupel: {Erster Frame (visueller Anker), Caption (Textzusammenfassung), Semantisches Embedding, Änderungsprotokoll (Change Log)}.
  • Dies ermöglicht eine semantisch durchsuchbare Historie, die narrative Kontinuität bewahrt und Redundanz vermeidet.

B. Multi-Granularer Wahrnehmungs-Toolset

Der Agent ist nicht auf den passiven Abruf von Informationen beschränkt, sondern kann aktiv Werkzeuge nutzen, um Beweise zu sammeln:

• Speichersuche: Abruf von historischen Ereignissen basierend auf zeitlichen Intervallen oder semantischer Ähnlichkeit (Cosine-Similarity).
• Spezialisierte Tools: Nutzung von OCR (für Texterkennung) und Objekterkennung (z. B. Grounding DINO), um feingranulare Details in spezifischen Frames oder visuellen Ankern zu extrahieren.
• Der Agent entscheidet autonom, welche Werkzeuge wann einzusetzen sind, um die Fragestellung präzise zu beantworten.

C. Agentic Reinforcement Learning (Agentic RL)

Um die Strategie des Agenten zu optimieren, wird Group Relative Policy Optimization (GRPO) eingesetzt:

• Anstatt manuell Prompts zu entwerfen, wird der Agent durch End-to-End-Training gelehrt, Denkpfade (Reasoning) und Werkzeugaufrufe zu internalisieren.
• Die Belohnungsfunktion basiert ausschließlich auf der Korrektheit der finalen Antwort.
• Dies ermöglicht dem Agenten, effiziente Strategien zu entwickeln, um bei Bedarf in das Langzeitgedächtnis zu suchen oder spezifische Frames mit Werkzeugen zu analysieren.

3. Hauptbeiträge

1. EventMemAgent Framework: Ein aktiver Agent, der komplexe Videotasks in Subaufgaben zerlegt und relevante Informationen iterativ wahrnimmt, anstatt sie passiv zu speichern.
2. Hierarchischer Speicher: Eine neuartige Architektur, die Online-Ereignisse-Segmentierung und Reservoir-Sampling im Kurzzeitgedächtnis mit einer strukturierten, ereignisbasierten Archivierung im Langzeitgedächtnis kombiniert. Dies löst das Problem der semantischen Fragmentierung bei festen Zeitfenstern.
3. Internalisierung von Fähigkeiten: Durch Agentic RL werden Reasoning- und Tool-Use-Strategien zu intrinsischen Fähigkeiten des Modells, was die Abhängigkeit von manueller Prompt-Engineering reduziert.

4. Ergebnisse

Das Modell wurde auf zwei führenden Benchmarks für Online-Videofragen beantwortung evaluiert: OVO-Bench und StreamingBench.

• Leistung auf OVO-Bench: EventMemAgent (basierend auf einem 8B-Modell mit maximal 32 Eingabeframes) erreicht eine durchschnittliche Genauigkeit von 60,75 %. Dies übertrifft sowohl alle aktuellen Open-Source-Modelle als auch proprietäre Modelle wie GPT-4o (59,54 %).
• Leistung auf StreamingBench: Das Modell erzielt mit 77,00 % eine sehr wettbewerbsfähige Leistung über 12 verschiedene Echtzeitaufgaben hinweg.
• Effizienz: Trotz der Beschränkung auf wenige Eingabeframes (≤32) kann das System unendliche Streams effizient verarbeiten, da es nur die relevanten Informationen aktiv abruft.
• Ablationsstudien:
  • Der Vergleich mit einer festen Speicherlänge zeigt, dass die ereignisbasierte Segmentierung die Leistung signifikant verbessert (Vermeidung von semantischer Fragmentierung).
  • Das Entfernen von Werkzeugen (OCR, Objekterkennung) führt zu deutlichen Leistungseinbußen, was die Notwendigkeit der multi-granularen Wahrnehmung unterstreicht.
  • Der Vergleich mit einem untrainierten Agenten zeigt, dass das RL-Training entscheidend ist, um flexible Werkzeugnutzung und logisches Schlussfolgern zu erlernen.

5. Bedeutung und Fazit

EventMemAgent markiert einen Paradigmenwechsel im Bereich des Online-Video-Verständnisses. Anstatt sich auf die reine Erweiterung des Kontextfensters oder passive Kompression zu verlassen, nutzt das System aktive Wahrnehmung und strukturiertes Gedächtnismanagement.

Die Bedeutung liegt in der Fähigkeit, unendliche visuelle Ströme unter festen Hardwarebeschränkungen zu verarbeiten, ohne dabei semantische Kohärenz oder feingranulare Details zu opfern. Durch die Internalisierung von Werkzeugnutzung mittels Reinforcement Learning schafft das Framework einen neuen Standard für autonome Agenten in dynamischen Umgebungen, wie sie z. B. bei autonomen Fahrzeugen, Überwachungssystemen oder robotischen Assistenten vorkommen. Der Code wird als Open Source veröffentlicht, um die Weiterentwicklung in diesem Bereich zu fördern.