💬 NLP

Keep It Simple: Multi-Key Episodic Memory Retrieval for Ultra-Long Video Understanding

Das Paper schlägt MERIT vor, ein einfaches, aber effektives Framework für das Verständnis von Ultra-Langzeit-Videos, das die Konstruktion eines episodischen Gedächtnisses mit hohem Recall durch Multi-Key-Repräsentationen priorisiert und komplexe semantische Argumentation durch On-Demand-zeitliche Expansion auf die Inferenzzeit verschiebt, wodurch State-of-the-Art-Leistung ohne den Rechenaufwand einer Vorab-Modellierung globaler Relationen erreicht wird.

Ursprüngliche Autoren: Yeeun Choi, Youngbeom Yoo, Joon-Young Lee, Hyolim Kang, Seon Joo Kim

Veröffentlicht 2026-08-11

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yeeun Choi, Youngbeom Yoo, Joon-Young Lee, Hyolim Kang, Seon Joo Kim

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, sich an ein bestimmtes Gespräch aus einem Film-Marathon zu erinnern, der drei ganze Tage lang dauerte. Wenn Sie versuchen würden, das Ganze noch einmal anzusehen, nur um einen einzigen Dialogsatz zu finden, würde Ihr Gehirn wahrscheinlich vor der schieren Menge an Informationen schmelzen. Dies ist genau das Problem, vor dem moderne „KI-Gehirne“ stehen, die als Multimodale Große Sprachmodelle (MLLMs) bekannt sind. Dies sind superintelligente Computer, die sehen, hören und lesen können, aber sie haben eine strikte Grenze dafür, wie viel „Video“ sie gleichzeitig in ihrem Arbeitsgedächtnis halten können. Wenn Videos zu lang werden – über Stunden oder sogar Tage hinweg – werden diese KI-Modelle überfordert. Um dieses Problem zu lösen, versuchen Wissenschaftler, „externe Speicher“ für die KI zu bauen, ähnlich einer digitalen Bibliothek, in der die KI das Video speichern kann, um dann bei einer Frage schnell die richtige Seite nachzuschlagen. Die große Frage war bisher: Sollten wir versuchen, diese Bibliothek in eine komplexe, vorgefertigte Karte zu organisieren, noch bevor wir wissen, welche Fragen die Menschen stellen werden? Oder sollten wir einfach die Rohfakten speichern und die Verbindungen erst später herausfinden, sobald wir wissen, wonach der Nutzer sucht?

Ein Team von Forschern der Yonsei University und Adobe Research legt nahe, dass komplizierte, vorgefertigte Karten eigentlich eine Verschwendung von Zeit und Rechenleistung sind. Sie schlagen ein neues System namens MERIT (Multi-key Episodic Retrieval with Inference-time Temporal expansion) vor. Betrachten Sie MERIT nicht als einen Bibliothekar, der Wochen damit verbringt, Bücher in ein komplexes, hierarchisches Ablagesystem zu sortieren, bevor überhaupt der erste Kunde eintrifft, sondern als eine superschnelle, flexible Suchmaschine, die die Bücher in einfachen, unsortierten Stapeln aufbewahrt. Anstatt zu erraten, was der Kunde möchte, und die gesamte Geschichte vorab zusammenzufassen, schreibt MERIT für jedes 30-Sekunden-Stück des Videos vier verschiedene „Tags“ auf: was passiert ist (Ereignisse), was gesagt wurde (Dialoge), welche Objekte beteiligt waren und eine kurze Zusammenfassung.

Wenn ein Nutzer eine Frage stellt, sucht MERIT nicht einfach nur nach einem perfekten Treffer. Es nutzt diese multiplen Tags, um die relevantesten Videoclips zu finden, selbst wenn die Frage auf eine ungewöhnliche Weise formuliert ist. Aber hier kommt der clevere Teil: Sob sobald es einen Clip gefunden hat, hört es nicht auf. Es greift sofort die Clips unmittelbar vor und nach diesem auf und erweitert so den Kontext gerade genug, um die Geschichte sinnvoll zu erfassen. Dieses „Nachbarschafts-Filtern“ findet erst statt, wenn die Frage gestellt wird, was massiv Energie spart. Die Forscher testeten dies an Videos mit einer Länge von einer Stunde bis hin zu über 44 Stunden. Sie fanden heraus, dass MERIT nicht nur viel schneller und kostengünstiger im Betrieb ist als bisherige Methoden, die komplexe Graphen und Hierarchien aufbauten, sondern auch Fragen präziser beantwortet. Indem es darauf wartet, das intensive Denken erst zu leisten, wenn die Frage tatsächlich gestellt wird, beweist MERIT, dass manchmal der einfachste, flexibelste Ansatz der klügste ist.

Technisches Resümee: MERIT (Multi-key Episodic Retrieval with Inference-time Temporal expansion)

Problemstellung

Die rasante Entwicklung von multimodalen Large Language Models (MLLMs) hat das Videoverständnis von kurzen Clips hin zu ultra-langen Streams verschoben, die Stunden oder sogar Tage umfassen können. Eine direkte End-to-End-Verarbeitung solcher ultra-langen Videos ist jedoch aufgrund der Beschränkungen des Kontextfensters rechnerisch nicht machbar. Während Frameworks für Retrieval-Augmented Generation (RAG) eine Lösung bieten, leiden bisherige Ansätze im Ultra-Long-Szenario unter zwei kritischen Ineffizienzen:

Abfrageunabhängiger Overhead (Query-Agnostic Overhead): Bestehende Methoden (z. B. hierarchische Zusammenfassungen oder graphbasierter Speicher) investieren erhebliche Rechenressourcen in die Vorab-Modellierung hochgradiger semantischer Relationen und Strukturen bevor die nachgeschaltete Abfrage bekannt ist. Dies erzwingt eine „abfrageunabhängige Abstraktion“, die möglicherweise nicht mit den spezifisch benötigten Informationen übereinstimmt.
Fehlallokation von Intelligenz (Intelligence Misallocation): Die Verwendung leistungsstarker MLLMs für die Konstruktion komplexer, statischer Speicher (z. B. das Verschmelzen von Segmenten zu tagesbasierten Zusammenfassungen oder den Aufbau von Wissensgraphen) verschwendet hohe Kapazitäten für Aufgaben, deren Bearbeitung auf einen späteren Zeitpunkt verschoben werden könnte.

Die Autoren argumentieren, dass sich der Flaschenhals von der Konstruktion komplexer statischer Semantik im Voraus hin zur Ermöglichung eines High-Recall-Retrievals verschieben sollte, der konsistent die richtigen feingranularen Belege liefert, wobei die semantische Komposition erst zur Inferenzzeit erfolgt, wenn die Abfrage bekannt ist.

Methodik: MERIT

MERIT ist ein leichtgewichtiges, agentenbasiertes Framework, das für das Verständnis ultra-langer Videos entwickelt wurde. Es verfolt ein minimalistisches zweistufiges Paradigma: Episodische Speicherkonstruktion (abfrageunabhängig) gefolgt von Agentic Retrieval and Answering (abfragespezifisch).

1. Episodische Speicherkonstruktion (Stufe 1)

Anstatt komplexe hierarchische Graphen oder multiskalige Zusammenfassungen zu erstellen, unterteilt MERIT das Video $V$ in überlappungsfreie 30-Sekunden-Clips. Für jeden Clip generiert es eine dichte Bildunterschrift (Dense Caption) und extrahiert eine Menge von Multi-Keys ( $K_i$ ).

Multi-Key-Repräsentation: Jeder Clip wird durch vier unterschiedliche, komplementäre Schlüssel indiziert, um diverse Perspektiven zu erfassen:
- Event/Action Key (Ereignis-/Aktions-Key): Beobachtbare physische Handlungen und Interaktionen.
- Dialogue/Mention Key (Dialog-/Erwähnungs-Key): Gesprochener Inhalt, Befehle oder spezifische Wörter.
- Object Key (Objekt-Key): Spezifische Gegenstände, die gehandhabt, angefordert oder bewegt werden, einschließlich Zustandsübergängen.
- Summary Key (Zusammenfassungs-Key): Eine kompakte, schlagwortartige Abstraktion der Kernhandlung.
Speicherstruktur (Memory Store): Der Speicher $M$ ist ein einfacher Key-Value-Store, in dem Schlüssel ( $K_i$ ) das Retrieval ermöglichen und Werte ( $v_i, d_i$ ) die Rohbelege bereitstellen.

2. Agentic Retrieval and Answering (Stufe 2)

Zur Inferenzzeit arbeitet das System in einer iterativen Multi-Turn-Schleife:

Multi-Key Retrieval: Der Solver generiert eine Retrieval-Abfrage $q^{(j)}$ und gleicht sie mittels eines Satz-Embedding-Modells mit den gespeicherten Schlüsseln ab. Die Relevanz des Retrievals wird durch die maximale Ähnlichkeit über alle Schlüssel eines Clips bestimmt:
$S_i^{(j)} = \max_{k \in K_i} \text{sim}(E(q^{(j)}), E(k))$
Dies ermöglicht es, einen Clip abzurufen, wenn irgendeiner seiner Schlüssel mit der Abfrage übereinstimmt, was den Recall signifikant verbessert.
Nachbarschafts-Filterung (Temporale Expansion): Da Belege oft über mehrere benachbarte Momente hinweg bestehen, verlässt sich MERIT nicht ausschließlich auf den abgerufenen 30-Sekunden-Anker. Nach dem Abruf einer Menge von Clips erweitert das System dynamisch den temporalen Kontext, indem es benachbarte Clips einschließt (z. B. $\pm \Delta$ Clips).
Abfragespezifische Filterung (Query-Aware Filtering): Der Solver fungiert als Filter für diesen erweiterten lokalen Kontext und destilliert nur die Informationen, die für die spezifische Abfrage relevant sind. Dies rekonstruiert einen kohärenten Kontext ohne vorab berechnete globale Strukturen.
Iteratives Reasoning: Der Agent bewertet, ob die akkumulierten Belege ausreichend sind. Falls nicht, verfeinert er die Abfrage und wiederholt das Retrieval; andernfalls integriert er die Belege, um die finale Antwort zu generieren.

Zentrale Beiträge

Paradigmenwechsel in der Intelligenzallokation: Das Paper schlägt vor, die semantische Komposition auf die Inferenzzeit zu verschieben, anstatt in abfrageunabhängige Vorverarbeitung zu investieren. Dies nutzt die volle Denkkapazität des MLLM erst dann, wenn die Aufgabe spezifiziert ist.
Einfache, aber effektive Multi-Key-Indizierung: Durch das Anfügen von vier heterogenen Schlüsseln an minimale episodische Segmente erreicht MERIT ein High-Recall-Retrieval ohne den Rechenaufwand hierarchischer oder graphbasierter Speicherkonstruktionen.
On-Demand Temporale Expansion: Der Mechanismus der „Nachbarschafts-Filterung“ erfasst einen breiteren semantischen Kontext, indem er den temporalen Umfang ausschließlich um die abgerufenen Segmente herum zur Inferenzzeit erweitert, wodurch die massiven Kosten einer globalen Speicherkonstruktion vermieden werden.
Minimalistische Architektur: MERIT eliminiert die Notwendigkeit teurer mehrstufiger Speicher-Konsolidierungen und setzt statenstatt auf einen einfachen Key-Matching-Mechanismus und dynamische Kontextexpansion.

Experimentelle Ergebnisse

MERIT wurde auf drei Long-Video-Benchmarks evaluiert: EgoLifeQA (ultra-lang, egozentrisch), LVBench (stundenlang) und Video-MME (Long).

State-of-the-Art Performance: MERIT erreichte neue SOTA-Ergebnisse in allen Benchmarks.
- Auf EgoLifeQA erreichte MERIT (mit GPT-5 als Solver) eine durchschnittliche Genauigkeit von 71,2 % und übertraf damit den bisherigen SOTA (WorldMM mit GPT-5) um +5,6 %.
- Auf LVBench erreichte MERIT (GPT-5) 71,8 % und übertraf den vorherigen SOTA um +9,9 %.
- Auf Video-MME (Long) erzielte MERIT 77,7 % und übertraf damit WorldMM (76,6 %).
Effizienz: MERIT zeigte signifikante Effizienzgewinne bei der Speicherkonstruktion. Im Vergleich zu WorldMM reduzierte es die Input-Token um den Faktor 8,4 und die Output-Token um den Faktor 8,6, während die Anzahl der LLM-Aufrufe von ca. 23.700 auf ca. 6.200 sank.
Retrieval-Qualität: MERIT erreichte eine höhere Hit Rate (0,56) im Vergleich zu hierarchischen (EgoRAG: 0,15) und graphbasierten (WorldMM: 0,53) Baselines, was bestätigt, dass präzises, feingranulares Retrieval entscheidend für die QA-Performance ist.
Ablationsstudien:
- Nachbarschafts-Filterung (Neighbor Filtering): Das Entfernen dieser Komponente senkte die Leistung erheblich, insbesondere in Kategorien, die einen breiteren Kontext erfordern (z. B. RelationMap, HabitInsight).
- Multi-Key-Kombinationen: Die gleichzeitige Verwendung aller vier Schlüssel lieferte die höchste Genauigkeit, was die komplementäre Natur der Schlüssel validiert.
- Solver-Abhängigkeit: Die Leistung skalierte signifikant mit stärkeren Solvern (z. B. GPT-5 vs. Qwen3-VL-8B), was die Hypothese untermauert, dass der Speicher leichtgewichtig sein sollte, während der Solver die komplexe Argumentation übernimmt.

Bedeutung und Behauptungen

Das Paper behauptet, dass die Verschiebung der semantischen Komposition auf die Abfragezeit ein prinzipiellerer und effektiverer Ansatz ist als die Investition in abfrageunabhängige Vorverarbeitung. Die Ergebnisse legen nahe, dass:

Einfachheit effektiv ist: Ein einfacher episodischer Multi-Key-Speicher in Kombination mit bedarfsgerechter temporaler Expansion kann komplexe hierarchische und graphbasierte Architekturen übertreffen.
Retrieval der Flaschenhals ist: Ein High-Recall-Retrieval von feingranularen Belegen ist kritischer als vorab berechnete semantische Strukturen.
Skalierbarkeit: Das Framework ist hochgradig skalierbar für beliebig lange Videos, da es die kaskadierenden Rechenkosten vermeidet, die mit der Aktualisierung komplexer globaler Speicherstrukturen bei zunehmender Videolänge einhergehen.

Die Autoren positionieren MERIT als praktisches und skalierbares Fundament für das zukünftige Verständnis ultra-langer Videos und betonen, dass die für komplexe Argumentation erforderliche „Intelligenz“ in die Inferenzphase verlagert werden sollte, in der die Abfrage die notwendigen Abstraktionen definiert.