💻 computer science

One Token per Highly Selective Frame: Towards Extreme Compression for Long Video Understanding

Die Arbeit stellt \name vor, ein extrem komprimiertes Modell für das Verständnis langer Videos, das durch lernbare token- und frame-level Kompression sowie eine lokale Aufmerksamkeitsstrategie eine hohe Frame-Dichte bei verbesserter Leistung erreicht.

Ursprüngliche Autoren: Zheyu Zhang, Ziqi Pang, Shixing Chen, Xiang Hao, Vimal Bhat, Yu-Xiong Wang

Veröffentlicht 2026-04-16

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zheyu Zhang, Ziqi Pang, Shixing Chen, Xiang Hao, Vimal Bhat, Yu-Xiong Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

🎬 Das Problem: Der riesige Videopool und der kleine Eimer

Stellen Sie sich vor, Sie möchten einem sehr intelligenten, aber etwas vergesslichen Assistenten (einem KI-Modell) einen ganzen Fernsehfilm zeigen, damit er Ihnen die Handlung erklärt.

Das Problem ist: Ein Film besteht aus Tausenden von Bildern (Frames). Wenn die KI jedes Bild als einen riesigen Stapel Papier (Tokens) verarbeitet, wird der Stapel so hoch, dass der Assistent den Überblick verliert. Er hat nur Platz für einen kleinen Stapel in seinem Arbeitsgedächtnis. Um Platz zu schaffen, schaut er sich nur ein paar zufällige Bilder an und übersieht dabei die wichtigen Details in der Mitte. Das ist, als würde man jemandem ein 2-stündiges Buch zeigen, indem man ihm nur Seite 1, Seite 50 und Seite 100 gibt – die Geschichte ergibt keinen Sinn mehr.

Bisherige Methoden versuchten, diesen Stapel Papier zu verkleinern, indem sie einfach "wichtige" Seiten aussuchten oder mehrere Seiten zu einer zusammenklebten. Aber oft ging dabei zu viel Information verloren, wie ein Foto, das zu stark komprimiert wurde und nur noch Pixelbrei ist.

💡 Die Lösung: XComp – Der Meister-Verkleinerer

Die Forscher haben eine neue Methode namens XComp entwickelt. Ihr Ziel ist extrem: Ein einziges, hochintelligentes Bild pro Videosekunde.

Stellen Sie sich vor, anstatt 100 Seiten Papier pro Minute zu zeigen, verwandelt die KI jede Minute in ein einziges, perfekt zusammengefasstes Notizblatt, das alles Wesentliche enthält.

Das funktioniert durch zwei clevere Tricks:

1. Der lernende Verkleinerer (LP-Comp) – "Der geschickte Redakteur"

Früher haben Computer versucht, Bilder zu verkleinern, indem sie einfache Regeln anwendeten (z. B. "nimm immer das erste und letzte Bild"). Das war wie ein Roboter, der blind schneidet.

XComp macht etwas anderes: Es lehrt die KI, wie man Informationen zusammenfasst.

Die Analogie: Stellen Sie sich vor, Sie haben einen langen, verworrenen Brief. Ein Anfänger würde einfach Wörter streichen. Ein erfahrener Redakteur (die KI) lernt jedoch, den ganzen Brief zu lesen und am Ende nur den einen perfekten Satz zu schreiben, der die ganze Geschichte zusammenfasst.
Der Trick: Die KI macht das nicht auf einmal, sondern Schritt für Schritt. Sie reduziert den Stapel Papier langsam, Schicht für Schicht, bis am Ende nur noch ein einziges, hochkomprimiertes "Super-Bild" pro Videosekunde übrig bleibt. Dabei vergisst sie nichts Wichtiges, weil sie es gelernt hat, was wichtig ist.

2. Der Frage-bezogene Filter (QC-Comp) – "Der Detektiv mit der Lupe"

Selbst wenn wir die Bilder verkleinert haben, wollen wir nicht alle Bilder sehen, wenn wir eine spezifische Frage haben.

Die Analogie: Wenn Sie fragen: "Was hat die Frau in der Küche gemacht?", interessiert es die KI nicht, ob im Hintergrund eine Blume steht oder wie das Wetter draußen ist.
Das Problem: KI-Modelle haben oft eine Schwäche: Sie achten zu sehr auf den Anfang und das Ende eines Videos und vergessen die Mitte (wie ein Buch, bei dem man nur das Inhaltsverzeichnis und das letzte Kapitel liest).
Die Lösung von XComp: Die KI teilt den langen Film in kurze Szenen auf (wie kleine Filmrollen). In jeder kleinen Rolle sucht sie gezielt nach den Bildern, die mit Ihrer Frage zu tun haben. Sie ignoriert den "Rauschen" und konzentriert sich nur auf die relevanten Momente.

🚀 Das Ergebnis: Mehr sehen, weniger speichern

Durch diese Kombination aus lernendem Verkleinern und zielgerichtetem Filtern passiert Magie:

Platzgewinn: Die KI kann jetzt 2- bis 4-mal mehr Bilder verarbeiten als zuvor, ohne dass ihr Gehirn (der Speicherplatz) überläuft.
Bessere Antworten: Weil sie mehr Bilder sieht (aber in kompakter Form), versteht sie lange Videos viel besser. Sie verliert keine Details in der Mitte des Films.
Effizienz: Die KI wird schneller und benötigt weniger Rechenleistung, weil sie nicht mehr Tausende von unnötigen Datenstapeln durchwühlen muss.

Zusammenfassung in einem Satz

XComp ist wie ein genialer Filmredakteur, der einen ganzen Spielfilm in eine handliche, perfekt zusammengefasste Zusammenfassung verwandelt, bei der jedes einzelne Bild die wichtigste Information trägt – und das alles lernt er sich selbst an, statt nur starre Regeln zu befolgen.

Das Ergebnis: Die KI kann endlich lange Filme wirklich "verstehen", anstatt sie nur zu überfliegen.

Problemstellung

Das Verständnis langer Videos stellt eine enorme Herausforderung für Vision-Language-Modelle (VLMs) dar. Herkömmliche VLMs stoßen aufgrund der begrenzten Kontextlänge der zugrunde liegenden Large Language Models (LLMs) an ihre Grenzen, wenn sie Videos mit tausenden von Frames verarbeiten müssen. Da jeder Video-Frame typischerweise in Dutzende oder Hunderte von Tokens kodiert wird, führt das Verarbeiten von mehr als 1.000 Frames schnell zu einem Überschreiten der Kontextfenster oder zu prohibitiven Rechenkosten.
Bestehende Lösungsansätze versuchen dies durch heuristische Kompression (z. B. einfaches Pooling oder das Auswählen von Tokens ohne Training) oder durch uniformes Sampling zu umgehen. Diese Methoden neigen jedoch dazu, kritische visuelle und zeitliche Informationen zu verlieren, insbesondere bei extrem hohen Kompressionsraten. Zudem leiden LLMs bei langen Kontexten unter einem Positions-Bias („Lost-in-the-Middle"-Effekt), bei dem die Aufmerksamkeit des Modells überproportional auf den Anfang und das Ende der Sequenz gerichtet ist, während wichtige Informationen in der Mitte übersehen werden.

Methodik: XComp

Die Autoren stellen XComp vor, ein Framework für eine extreme Token-Kompression, das darauf abzielt, jeden Video-Frame am Ende der LLM-Schichten auf ein einziges, hochinformatives Token zu reduzieren. Das System kombiniert zwei Hauptkomponenten:

1. Lernbare und progressive Token-Kompression (LP-Comp)

Im Gegensatz zu heuristischen Methoden, die Tokens nach festen Regeln verwerfen, wird bei LP-Comp die Fähigkeit zur Kompression durch Training erlernt.

Supervised Compression Tuning (SCT): Das LLM wird in einem zusätzlichen Feinabstimmungsschritt (Fine-Tuning) trainiert, um die visuelle Information aus vielen Tokens in weniger Tokens zu kondensieren. Dieser Prozess benötigt nur 2,5 % der Daten des ursprünglichen Feinabstimmungsdatensatzes von VideoChat-Flash.
Progressiver Ansatz: Die Kompression erfolgt nicht abrupt in einer einzigen Schicht, sondern schrittweise über alle LLM-Schichten hinweg. Die Anzahl der Tokens pro Frame ( $N^{(l)}$ ) nimmt gemäß einer glatten Kosinus-Kurve ab. Dies verhindert den plötzlichen Verlust kritischer Informationen.
Suffix-Erhaltung: Ein entscheidendes Designmerkmal ist die Erhaltung der Suffix-Tokens (die letzten Tokens eines Frames). Da LLMs oft kausale Aufmerksamkeit nutzen, können spätere Tokens Merkmale früherer Tokens absorbieren. Durch das Entfernen der ersten Tokens und das Beibehalten der letzten wird die Informationsdichte maximiert.

2. Frage-bedingte Frame-Kompression (QC-Comp)

Um die Effizienz weiter zu steigern, werden nicht nur Tokens pro Frame reduziert, sondern auch die Anzahl der verarbeiteten Frames ( $T$ ) selektiv angepasst.

Attention-basierte Selektion: Die Relevanz eines Frames für eine spezifische Frage wird über die internen Aufmerksamkeitswerte (Attention Scores) zwischen den Frage-Tokens und den Video-Tokens berechnet. Frames mit niedriger Relevanz werden verworfen.
Segmentierte lokale Aufmerksamkeit: Um das Problem des „Lost-in-the-Middle"-Effekts zu lösen, wird das lange Video in kurze, überlappende Segmente (Chunks) unterteilt. Die Aufmerksamkeit wird lokal innerhalb dieser Segmente berechnet, anstatt global über das gesamte Video. Dies stellt sicher, dass Frames in der Mitte des Videos nicht ignoriert werden.

Wichtige Beiträge

Extreme Token-Kompression: XComp erreicht den Zustand von einem Token pro Frame am Ende des LLM, was eine bisher unerreichte Dichte an verarbeitbaren Frames ermöglicht.
Lernbare statt heuristischer Kompression: Die Arbeit zeigt, dass heuristische Methoden bei extremen Kompressionsraten versagen. Stattdessen wird ein lernbarer Mechanismus eingeführt, der das LLM selbst zur Informationsverdichtung anregt.
Überwindung von Positions-Bias: Durch die Einführung von segmentierter lokaler Aufmerksamkeit (QC-Comp) wird der bekannte Bias von LLMs in langen Kontexten effektiv gemildert.
Dateneffizienz: Das Modell wird mit nur 2,5 % der üblichen Feinabstimmungsdaten trainiert, was die Methode sehr ressourcenschonend macht.

Ergebnisse

Das Modell wurde auf mehreren Benchmarks für das Verständnis langer Videos evaluiert (LongVideoBench, MLVU, VideoMME, LVBench) und auf der Basis von VideoChat-Flash-2B trainiert.

Leistungssteigerung: XComp übertrifft das Basismodell VideoChat-Flash signifikant. Auf dem LVBench steigt die Genauigkeit von 42,9 % auf 46,2 %. Auf LongVideoBench erreicht es 59,7 % (im Vergleich zu 58,3 % beim Baseline).
Skalierbarkeit: Im Gegensatz zu anderen Modellen, deren Leistung bei steigender Frame-Anzahl oft abfällt, verbessert sich XComp kontinuierlich mit der Anzahl der Eingabe-Frames, da die extreme Kompression mehr visuelle Details zulässt.
Vergleichbarkeit: XComp (2B Parameter) erreicht Leistungen, die mit einigen 7B-Modellen vergleichbar sind und sogar proprietäre Modelle wie GPT-4o in bestimmten Szenarien übertreffen.
Effizienz: Die Methode reduziert die Rechenkosten (TFLOPs) und die Latenz um ca. 53–58 % bei gleichzeitiger Verbesserung der Genauigkeit.

Bedeutung und Ausblick

XComp demonstriert, dass extreme Kompression von Video-Tokens nicht zwangsläufig zu Informationsverlust führt, wenn das LLM korrekt trainiert wird, um diese Verdichtung zu lernen. Die Kombination aus lernbarer Token-Kompression und frage-basierter Frame-Auswahl mit lokaler Aufmerksamkeit bietet einen neuen Weg, um lange Videos (bis zu Stunden) effizient und präzise zu verstehen.

Die Arbeit legt nahe, dass zukünftige Forschungsschwerpunkte darin liegen könnten, diese lernbare Kompression in das Pre-Training von VLMs zu integrieren und die Methode auf noch größere Modelle zu skalieren. Zudem wird die Möglichkeit diskutiert, die Frame-Auswahl gemeinsam mit den LLM-Schichten zu optimieren, um noch höhere Kompressionsraten zu erreichen.