💻 computer science

MARC: Memory-Augmented RL Token Compression for Efficient Video Understanding

Das Paper schlägt MARC vor, ein speicheraugmentiertes Reinforcement-Learning-Framework, das durch eine neuartige Retrieve-then-Compress-Strategie, die einen Visual Memory Retriever und eine Compression Group Relative Policy Optimization-Distillationsmethode kombiniert, eine nahezu auf dem Baseline-Niveau liegende Genauigkeit beim Video-Verständnis erreicht, während gleichzeitig die visuellen Token um 95 % und der GPU-Speicher um 72 % reduziert werden.

Ursprüngliche Autoren: Peiran Wu, Zhuorui Yu, Yunze Liu, Chi-Hao Wu, Enmin Zhou, Junxiao Shen

Veröffentlicht 2026-02-10

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Peiran Wu, Zhuorui Yu, Yunze Liu, Chi-Hao Wu, Enmin Zhou, Junxiao Shen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine riesige HD-Filmdatei, die Sie einem sehr intelligenten, aber beschäftigten Assistenten (einem KI-Modell) zeigen müssen. Das Problem ist: Die Datei ist so gewaltig, dass der Assistent überfordert wird, der Speicher vollläuft und es ewig dauert, bis er Ihnen eine Antwort gibt. Dies ist das aktuelle Problem beim Verständnis von Videos durch KI: Videos sind zu groß, um sie schnell zu verarbeiten.

Das Paper stellt ein neues System namens MARC (Memory-Augmented RL Token Compression) vor, um dieses Problem zu lösen. Stellen Sie sich MARC wie einen „intelligenten Editor“ vor, der zwei Schritte ausführt, um einen Film so weit zu schrumpfen, dass er die Größe eines einzelnen Fotos hat, ohne die Geschichte zu verlieren.

So funktioniert es, erklärt anhand einfacher Analogien:

1. Das Problem: Der „Zu viele Informationen“-Engpass

Um ein Video zu verstehen, versuchen KI-Modelle derzeit oft, jedes einzelne Frame zu betrachten, als würde man einen Film mit 60 Bildern pro Sekunde ansehen. Wenn das Video lang ist, erzeugt dies einen Berg an Daten.

Die Analogie: Stellen Sie sich vor, Sie müssten ein 500-seitiges Buch lesen, um eine einzige einfache Frage zu beantworten. Das ist ineffizient. Sie müssen nicht jedes Wort auf jeder Seite lesen; Sie müssen nur die spezifischen Kapitel finden, in denen die Antwort verborgen ist.

2. Schritt Eins: Der „Visual Memory Retriever“ (Der kluge Bibliothekar)

Bevor die KI versucht, das Video zu komprimieren, muss sie zuerst die richtigen Teile finden. Das Paper nennt dieses Werkzeug den Visual Memory Retriever (VCR).

Wie es funktioniert: Anstatt das Video als kontinuierlichen Strom zu betrachten, fungiert dieses Werkzeug wie ein menschlicher Bibliothekar, der Geschichten versteht. Es unterteilt das Video in „Ereignisse“ (wie Szenen in einem Film).
Die Metapher: Wenn Sie fragen: „Was ist passiert, als das Auto verunfallte?“, zeigt Ihnen der Bibliothekar nicht den ganzen Film. Er zieht sofort die spezifischen 3 Clips heraus, in denen der Crash passiert sowie die Momente kurz davor und danach. Er ignoriert die langweiligen Teile, in denen nichts passiert.
Das Ergebnis: Die KI muss sich nun nur noch mit wenigen kurzen, relevanten Clips statt mit dem gesamten Film befassen.

3. Schritt Zwei: C-GRPO (Das „Meister und Lehrling“-Training)

Nun hat die KI zwar die richtigen Clips, aber sie hat immer noch zu viele Details (Tokens), um sie effizient zu verarbeiten. Das Paper führt eine neue Trainingsmetheg namens C-GRPO ein.

Die Analogie: Stellen Sie sich einen Meisterkoch (den Lehrer) vor, der ein komplexes 64-Gänge-Menü in einer vollen Küche zubereitet. Dann haben Sie einen Lehrling (den Schüler), der nur einen winzigen Campingkocher und eine einzige Zutat verwenden darf.
Die Herausforderung: Normalerweise schmeckt das Essen schrecklich, wenn man den Lehrling dazu zwingt, so wenig zu verwenden.
Die Lösung: Das Paper nutzt ein spezielles „Reinforcement Learning“-Belohnungssystem. Der Lehrling versucht zu kochen, und das System prüft: „Hat das Gericht des Lehrlings genauso gut geschmeckt wie das des Meisters, obwohl er so wenig verwendet hat?“
- Wenn der Lehrling Erfolg hat, erhält er eine Belohnung.
- Wenn er scheitert, erhält er eine Strafe.
Das Ergebnis: Durch diesen Prozess von Versuch und Irrtum lernt der Lehrling, die Essenz des Geschmacks (die Logik/das Reasoning) unter Verwendung von nur einem winzigen Bruchteil der Zutaten zu extrahieren.

4. Die Ergebnisse: Den Elefanten schrumpfen

Das Paper behauptet, dass durch die Kombination aus dem „klugen Bibliothekar“ (Finden der richtigen Clips) und dem „Meister/Lehrling“-Training (Komprimierung der Daten):

Größenreduktion: Sie können ein Video, das normalerweise 64 Frames an Daten erfordert, um verstanden zu werden, auf das Äquivalent von nur 1 Frame komprimieren. Das ist eine Reduktion der Daten um 95 %.
Leistung: Trotz der Verwendung von 95 % weniger Daten bleibt die Fähigkeit der KI, Fragen zu beantworten, fast exakt dieselbe, als hätte sie die vollen 64 Frames gesehen.
Geschwindigkeit & Speicher:
- Speicher: Es nutzt 72 % weniger Computer-Arbeitsspeicher (RAM).
- Geschwindigkeit: Es generiert Antworten 23,9 % schneller.

Warum das wichtig ist (laut dem Paper)

Die Autoren geben an, dass dies es möglich macht, diese leistungsstarken Video-KI-Modelle auf Geräten mit begrenzten Ressourcen laufen zu lassen. Sie erwähnen spezifisch Anwendungen wie:

Echtzeit-Video-Beantwortung (Fragen zu einem Video stellen, während es abläuft).
Überwachungssysteme (Kameras überwachen, ohne Supercomputer zu benötigen).
Autonomes Fahren (Autos, die Videos schnell mit begrenzter Onboard-Leistung verstehen müssen).

Kurz gesagt lehrt MARC eine KI, eher ein „Skimmer“ (Überflieger) als ein „Leser“ zu sein – sie findet die wichtigsten Momente und lernt, diese tiefgehend zu verstehen, ohne die gesamte Datei verarbeiten zu müssen.

Technisches Resümee: MARC – Gedächtnisgestützte Reinforcement Learning-basierte Token-Kompression für effizientes Video-Verständnis

Problemstellung

Visuelle Sprachmodelle (Visual Language Models, VLMs) stehen vor erheblichen Rechenengpässen, wenn sie von der Bild- auf die Video-Verständnis skalieren. Hohe Bildraten und lange Videodauern erfordern die Verarbeitung tausender Token, was zu einem drastischen Anstieg der Inferenzkosten, der Latenz und des GPU-Speicherbedarfs führt. Dies behindert den Einsatz in ressourcenbeschränkten und latenzsensitiven Umgebungen wie dem autonomen Fahren oder der Videoüberwachung.

Obwohl die Token-Kompression eine vielversprechende Lösung darstellt, verlassen sich bestehende Methoden primär auf trainingsfreie Strategien (z. B. räumliche oder zeitliche Token-Merging-Verfahren). Die Autoren argumentieren, dass diese trainingsfreien Ansätze zwangsläufig zu Informationsverlusten während der Kompression führen, was eine signifikante Verschlechterung der Modellleistung zur Folge hat. Die zentrale Herausforderung besteht darin, eine aggressive Reduktion der Token (z. B. die Reduktion eines Videos auf die Token-Anzahl eines einzelnen Bildes) zu erreichen, ohne die Denkfähigkeiten des Modells zu opfern.

Methodik

Das Paper schlägt MARC (Memory-Augmented Reinforcement Learning-based Token Compression) vor, ein zweistufiges Framework, das darauf ausgelegt ist, relevante Informationen vor der Kompression abzurufen.

1. Visual Memory Retriever (VMR)

Inspiriert von der Kognitionswissenschaft und der Theorie der Ereignissegmentierung, ersetzt der VMR feste Zeitfenster durch einen semantischen, ereignisbasierten Ansatz.

Ereignisbasierte Segmentierung: Ein tiefes Netzwerk zur Ereigniserkennung partitioniert kontinuierliche Videoströme in semantisch kohärente, kurze Clips (visuelle Gedächtnisfragmente) basierend auf Szenenwechseln, Themenwechseln oder dem Beginn von Handlungen.
Gedächtnisabruf (Memory Retrieval): Query-Repräsentationen und visuelle Fragmente werden mittels kontrastivem Lernen in einen gemeinsamen latenten Raum abgebildet. Eine Nearest-Neighbor-Suche ruft die Top- $k$ Fragmente ab, die am relevantesten für die Benutzeranfrage sind.
Funktion: Dieser Schritt fungiert als Filter, der den Suchraum reduziert und sicherstellt, dass die nachfolgende Kompression nur auf „episodischen Erinnerungen“ operiert, die die kausal nützlichsten Belege enthalten, anstatt auf redundanten Frames.

2. Gedächtnisbewusste zeitliche Kompression (Memory-Aware Temporal Compression)

Vor der RL-Distillation wird eine spezifische Kompressionsschicht auf die abgerufenen Segmente angewendet:

Lokale Kohärenz: Innerhalb jedes abgerufenen Ereignissegments werden aufeinanderfolgende Frames basierend auf der Kosinus-Ähnlichkeit zusammengeführt, um die lokale Dynamik beizubehalten und gleichzeitig Redundanz zu reduzieren.
Globale Konsolidierung: Falls das Token-Budget weiterhin überschritten wird, wird ein leichtgewichtiges Cross-Segment-Merging angewendet. Dies stellt sicher, dass die durch den VMR definierte Ereignisstruktur erhalten bleibt.

3. Compression Group Relative Policy Optimization (C-GRPO)

Um die Leistung unter extremer Kompression (Reduktion des Inputs auf die Menge der Token eines einzelnen Frames) aufrechtzuerhalten, führen die Autoren C-GRPO ein, eine Post-Training-Reinforcement-Learning-Strategie.

Lehrer-Schüler-Distillation: Ein „Lehrer“-Netzwerk verarbeitet 64 Frames, während ein „Schüler“-Netzwerk den komprimierten Single-Frame-Input verarbeitet.
Retention Alignment Reward: Im Gegensatz zu Standard-GRPO, das sich auf die Korrektheit der Antwort konzentriert, führt C-GRPO eine Kompressionsbelohnung ( $r_c$ $r_{c}$ ) ein. Diese Belohnung wird basierend auf dem Erhaltungsverhältnis ( $\eta$ $η$ ) berechnet, welches misst, wie viel der Leistung des Lehrers der Schüler beibehält.
- $r_c = \alpha \cdot \max(0, \eta - \tau)$ , wobei $\tau$ ein minimal akzeptabler Erhaltungsschwellenwert (festgesetzt auf 0,6) ist.
Gating-Mechanismus: Die Erhaltungsbelohnung wird durch die Korrektheit ( $1[\text{correct}]$ ) gegatet, um sicherzustellen, dass nur semantisch valide Generierungen den Bonus erhalten. Dies verhindert „Reward Hacking“, bei dem das Modell rein durch Zufall korrekt antwortet, ohne tatsächlich die Fähigkeit zur logischen Schlussfolgerung beizubehalten.
Zielsetzung: Die Policy wird darauf optimiert, die Beibehaltung der Denkfähigkeit des Lehrers zu maximieren und gleichzeitig das strikte Token-Budget einzuhalten.

Wichtigste Beiträge

MARC-Framework: Eine neuartige Architektur, die strukturierte visuelle Abfrage (VMR) mit RL-basierter Token-Kompression integriert und so ein effizientes Video-Verständnis ermöglicht, das das menschliche episodische Gedächtnis imitiert.
C-GRPO-Algorithmus: Die erste Post-Training-RL-Strategie, die speziell für die Video-Token-Kompression entwickelt wurde. Sie destilliert erfolgreich komplexe Denkfähigkeiten von einem High-Token-Lehrer zu einem Low-Token-Schüler, indem sie explizit auf die Beibehaltung der Leistung optimiert.
Empirische Validierung: Umfangreiche Experimente über sechs Benchmarks hinweg zeigen, dass die Methode eine nahezu identische Leistung wie die Baseline erzielt und dabei die Rechenkosten drastisch senkt.

Experimentelle Ergebnisse

Die Autoren evaluierten MARC auf sechs Benchmarks: VSI-Bench, VideoMMMU, MMVU, MVBench, TempCompass und VideoMME, wobei Qwen2.5-VL-3B als Backbone diente.

Leistung: MARC erreichte einen Mittelwert von 42,20, was nahezu identisch mit der 64-Frame-Baseline von 42,21 ist.
- Es übertraf die Baseline bei MMVU, MVBench und TempCompass.
- Es war leistungsfähiger als größere Modelle (z. B. InternVL3.5-4B, Gemma-3-4B), obwohl es ein 3B-Parameter-Modell verwendet.
Token-Reduktion: Die Methode reduzierte die visuellen Token um 95 % (von ca. 2590 Token auf ca. 123 Token), was effektiv nur dem Token-Äquivalent eines einzelnen Frames entspricht (4,71 % der Original-Token).
Effizienzgewinne:
- GPU-Speicher: Reduziert um 72,4 % (von 41,63 GB auf 11,48 GB auf einer A6000).
- Latenz: Die Generierungslatenz wurde um 23,9 % reduziert, mit einer Reduktion der End-to-End-Latenz um 11,1 % bei der Verarbeitung von Samples.
Ablationsstudien:
- VMR: Die alleinige Verwendung von VMR steigerte die Baseline-Genauigkeit (Mittelwert 45,56 gegenüber 42,21), was den Wert der ereignisbasierten Abfrage beweist.
- C-GRPO vs. SFT: MARC (C-GRPO) übertraf eine Supervised Fine-Tuning (SFT) Baseline um 9,6 % im Mittelwert, was die Überlegenheit der RL-Distillation für Kompressionsaufgaben unterstreicht.
- Schwellenwert ( $\tau$ ): Ein Schwellenwert von 0,6 bot das optimale Gleichgewicht zwischen Stabilität und Erhaltung der Leistung.

Bedeutung und Ansprüche

Das Paper behauptet, dass MARC eine robuste Lösung für die Post-Training-Kompression großer Modelle bietet und die Lücke zwischen Effizienz und Genauigkeit schließt. Durch die Kombination von kognitiv inspirierter Abfrage mit RL-basierter Distillation ermöglicht die Methode den Einsatz von VLMs in Szenarien mit strengen Ressourcenbeschränkungen, wie etwa Echtzeit-Videofragenbeantwortung, Überwachung und autonomem Fahren.

Die Autoren betonen, dass ihr Ansatz die typische Leistungsdegradation herkömmlicher trainingsfreier Kompressionsmethoden vermeidet. Stattdessen behandelt MARC die Kompression als ein Alignment-Problem, bei dem der Schüler die Denkweise des Lehrers widerspiegeln muss, wodurch eine hohe Treue selbst bei einer Reduktion des Inputs auf die Menge eines einzelnen Frames gewährleistet wird. Die Arbeit stellt einen praktischen Weg dar, um das Video-Verständnis skalierbar und in realen, latenzsensitiven Anwendungen einsetzbar zu machen.