💻 computer science

EarlyTom: Early Token Compression Completes Fast Video Understanding

Das Papier stellt EarlyTom vor, ein trainingsfreies Framework, das eine visuelle Token-Kompression in der Frühphase innerhalb des Vision-Encoders durchführt, um die Latenz bis zum ersten Token und die Rechenkosten erheblich zu senken und gleichzeitig eine Genauigkeit zu gewährleisten, die mit Voll-Token-Baselines vergleichbar ist.

Ursprüngliche Autoren: Hesong Wang, Xin Jin, Lu Lu, Chenhaowen Li, Jian Chen, Qiang Liu, Huan Wang

Veröffentlicht 2026-05-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Hesong Wang, Xin Jin, Lu Lu, Chenhaowen Li, Jian Chen, Qiang Liu, Huan Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem sehr intelligenten, aber sehr beschäftigten Freund (der KI) einen 30-minütigen Film zu beschreiben. Ihr Freund muss den gesamten Film zuerst ansehen, bevor er Ihre Fragen beantworten kann.

Das Problem: Der „langsame Start"
Derzeit verhält sich eine KI, wenn sie versucht, ein Video zu verstehen, wie ein Schüler, der darauf besteht, jede einzelne Seite eines Lehrbuchs zu lesen, bevor er eine einzige Frage beantwortet.

Der alte Weg: Die KI betrachtet jeden einzelnen Frame des Videos, zerlegt ihn in Tausende winziger Stücke (Tokens) und gibt diesen riesigen Haufen dann an ihr „Gehirn" (das Large Language Model) weiter, um ihn zu verarbeiten.
Der Flaschenhals: Die Studie hat herausgefunden, dass die größte Verzögerung nicht die Denkzeit der KI ist; es ist die Zeit, die allein für das Ansehen und Organisieren des Videos zu Beginn aufgewendet wird. Es ist wie das Verbringen von 40 Minuten mit dem Sortieren eines Kartendecks, bevor man überhaupt das Spiel beginnt. Selbst wenn andere Methoden später versuchten, einige Karten wegzuwerfen, war das anfängliche Sortieren immer noch langsam.

Die Lösung: EarlyTom (der „intelligente Editor")
Die Autoren haben eine neue Methode namens EarlyTom entwickelt. Stellen Sie sich EarlyTom als einen hocheffizienten Filmeditor vor, der während des Sehens des Videos eingreift, nicht danach.

Anstatt zu warten, bis das Video vollständig verarbeitet ist, um zu entscheiden, was behalten werden soll, bearbeitet EarlyTom das Video während des Betrachtungsprozesses. Es nutzt zwei Haupttricks:

1. Der „Merge"-Trick (Zeitkompression)
Stellen Sie sich vor, Sie schauen ein Video, in dem eine Person 10 Sekunden lang stillsteht und spricht. Das Video enthält 300 Frames derselben Person.

Alter Weg: Die KI verarbeitet alle 300 Frames einzeln.
EarlyTom: Es bemerkt: „Hey, diese 300 Frames sind fast identisch." Anstatt sie alle zu verarbeiten, fasst es sie zu einem einzigen, hochwertigen Zusammenfassungsframe zusammen. Es ist wie die Zusammenfassung eines 10-minütigen Monologs zu einem einzigen Satz, bevor er weitergegeben wird. Dies geschieht innerhalb der Kameraoptik (des Vision-Encoders), sodass die schwere Arbeit viel schneller erledigt wird.

2. Der „Spotlight"-Trick (Raumauswahl)
Stellen Sie sich nun vor, die KI muss eine Menschenmenge in einem Video betrachten.

Die Falle: Die Studie hat festgestellt, dass KI eine seltsame Gewohnheit namens „Attention Sinking" (Aufmerksamkeitssinken) hat. Es ist wie ein Scheinwerfer, der auf ein paar bestimmte Stellen (wie eine leere Wand oder ein Logo) stecken bleibt und dort zu hell scheint, während er die eigentliche Handlung, die anderswo stattfindet, ignoriert. Wenn Sie einfach die „hellsten" Stellen auswählen, könnten Sie die wichtige Handlung verpassen.
EarlyToms Korrektur: Es teilt die Menge in zwei Gruppen auf:
- Die „Bewegte" Gruppe: Für Teile des Videos, in denen sich Dinge ändern (Handlung), wählt es die wichtigsten Details global aus.
- Die „Statische" Gruppe: Für Teile, in denen Dinge statisch sind, verwendet es einen lokalen „Fenster"-Ansatz, um sicherzustellen, dass es nicht durch den steckengebliebenen Scheinwerfer abgelenkt wird. Es stellt sicher, dass die KI einen ausgewogenen Blick auf die Szene erhält, ohne durch diese steckengebliebenen Stellen verzerrt zu werden.

Das Ergebnis: Geschwindigkeit ohne Intelligenzverlust
Durch diese Bearbeitung früh im Prozess erreicht EarlyTom zwei erstaunliche Dinge:

Super schneller Start: Es verkürzt die Zeit, die benötigt wird, um die erste Antwort zu erhalten (Time-to-First-Token), um bis zu 2,65-fach. Wenn der alte Weg 900 Millisekunden benötigte, dauert dieser etwa 336 Millisekunden.
Weniger Aufwand: Es reduziert die benötigte Gesamtrechenleistung um bis zu 61 %.

Das Fazit
Die Studie behauptet, dass EarlyTom Video-KI extrem schnell und effizient macht, ohne dass sie neu trainiert werden muss oder ihre Fähigkeit verliert, das Video genau zu verstehen. Es beweist, dass man nicht jeden einzelnen Frame ansehen muss, um die Geschichte zu verstehen; man muss nur wissen, wann man aufhören soll zu schauen und anfangen soll zu denken.

Kurz gesagt: EarlyTom ist ein trainingsfreies Werkzeug, das das Video während des Sehens bearbeitet, wodurch Video-KI schneller und kostengünstiger im Betrieb wird, während ihre Antworten genauso intelligent bleiben.

Technische Zusammenfassung: EarlyTom

Problemstellung

Video Large Language Models (Video-LLMs) haben starke Fähigkeiten im Videoverständnis demonstriert, stoßen jedoch aufgrund der rechenineffizienten Verarbeitung massiver Mengen visueller Tokens auf erhebliche Hindernisse für den praktischen Einsatz. Während neuere Token-Komprimierungsmethoden niedrige Token-Erhaltungsraten mit minimalen Genauigkeitsverlusten erreichen, operieren sie überwiegend im späten Stadium des Prefilling-Prozesses (nach dem Vision-Encoder) oder innerhalb des LLM selbst.

Die Latenzprofilierung offenbart einen kritischen Engpass: Die Vision-Encoding-Stufe verbraucht einen erheblichen Anteil der Time-to-First-Token (TTFT). In Baseline-Modellen macht die Vision-Encoding 36,3 % der TTFT aus. Bei state-of-the-art-Methoden, die für die LLM-Prefill-Latenz optimiert sind (z. B. HoliTom, VisionZip), steigt dieser Anteil auf 55,8 % bzw. 68,4 %, da diese Methoden den Vision-Encoder nicht optimiert lassen. Darüber hinaus führen bestehende Komprimierungsstrategien häufig zu nicht-trivialen Rechenkosten während der Token-Verarbeitung, was die Latenz weiter erhöht. Zudem sind Standard-Top-K-Token-Auswahlmethoden anfällig für „Attention Sinks" – spezifische Tokens, die unabhängig vom Inhalt konsistent unverhältnismäßig hohe Aufmerksamkeitswerte anziehen – was zu einer verzerrten Komprimierung und einem potenziellen Verlust semantischer Informationen in dynamischen Frames führt.

Methodik: EarlyTom

Die Autoren schlagen EarlyTom vor, ein trainingsfreies Token-Komprimierungsframework, das darauf ausgelegt ist, die Komprimierung frühzeitig innerhalb des Vision-Encoders durchzuführen und eine entkoppelte räumliche Auswahlstrategie zu nutzen. Das Framework besteht aus zwei Kernstufen:

1. Inner Vision Encoder Frame Merging (Temporale Komprimierung)

Diese Stufe komprimiert redundante visuelle Informationen während des Encoding-Prozesses, um die Anzahl der Tokens zu reduzieren, bevor sie den Projektor oder das LLM erreichen.

Streaming Frame Segmentation: Das Eingabevideo wird adaptiv basierend auf der Frame-Ähnlichkeit segmentiert. Die Kosinusähnlichkeit zwischen aufeinanderfolgenden Frames wird berechnet und mittels eines Exponential Moving Average (EMA) geglättet. Eine Segmentgrenze wird definiert, wenn die geglättete Ähnlichkeit unter einen Schwellenwert ( $\tau_{seg}$ ) fällt.
Middle Frame Merge: Innerhalb jedes Segments werden mittlere Frames (ohne den ersten und den letzten) zusammengeführt, wenn sie ihren Nachbarn sehr ähnlich sind und zueinander ähnlicher sind als zum nachfolgenden Paar.
Weighted Frame Merge: Zusammengeführte Frames werden durch eine gewichtete Fusion der Frame-Features erzeugt, wobei die Gewichte durch die Ähnlichkeitswerte bestimmt werden. Dies stellt sicher, dass die zusammengeführte Repräsentation um semantisch wichtige Inhalte konzentriert bleibt, während die temporale Redundanz reduziert wird.

2. Decoupled Spatial Token Selection

Um die durch Attention Sinks eingeführte Verzerrung zu adressieren und die Token-Anzahl weiter zu reduzieren, setzt die Methode nach dem Frame-Merging eine systemweit co-designte Auswahlstrategie ein.

Dynamic vs. Static Decomposition: Zusammengeführte Frames werden in dynamische (Kopf- und Endframes von Segmenten mit hoher diskriminativer Kraft) und statische (mittlere Frames) Mengen unterteilt.
Global Top-K Selection (Dynamic): Für dynamische Frames wird eine globale Top-K-Auswahl basierend auf pro-Token-Aufmerksamkeitswerten durchgeführt, um bewegungsempfindliche Tokens über die zeitliche Dimension hinweg zu erhalten.
Local Window Top-K Selection (Static): Für statische Frames werden die Frames, um die Verzerrung zu vermeiden, bei der Attention Sinks die Auswahl dominieren, in lokale Fenster unterteilt. Innerhalb jedes Fensters wird der Token mit dem maximalen Aufmerksamkeitswert ausgewählt. Dies erhält die ursprüngliche räumliche Verteilung und mildert die negativen Effekte struktureller Attraktoren.
System Co-Design: Zur Steigerung der Effizienz wird die rechnerisch leichtere statische Token-Auswahl an die CPU ausgelagert, während die GPU die intensiveren dynamischen Token-Auswahlvorgänge übernimmt, wodurch heterogene Rechenressourcen genutzt werden.

Hauptbeiträge

Inner-Vision Encoder Frame Merge: Ein Mechanismus, der redundante visuelle Informationen während der Encoding-Phase komprimiert, visuelle Tokens effektiv mit vernachlässigbarem Overhead reduziert und die TTFT signifikant senkt.
Decoupled Token Selection: Eine Strategie, die Frames in dynamische und statische Mengen trennt und unterschiedliche Abtastverfahren (Global Top-K vs. Local Window Top-K) anwendet, um Tokens zu reduzieren, ohne Verzerrungen durch Attention Sinks einzuführen.
State-of-the-Art Performance: Umfassende Experimente an den Modellen LLaVA-OneVision-0.5B und 7B zeigen, dass EarlyTom eine überlegene Beschleunigung erreicht und gleichzeitig eine Genauigkeit beibehält, die mit Full-Token-Baselines vergleichbar ist.

Experimentelle Ergebnisse

Evaluiert auf einer einzelnen NVIDIA A100 GPU mit LLaVA-OneVision-7B und vier Benchmarks (MVBench, EgoSchema, LongVideoBench, VideoMME):

Effizienz: EarlyTom reduziert die TTFT um bis zu 2,65× (von 889 ms auf 336 ms bei 10 % Erhaltung) und senkt die FLOPs um bis zu 61 % im Vergleich zur Full-Token-Baseline. Sie übertrifft konsistent andere trainingsfreie Methoden (z. B. VisionZip, HoliTom, FastVID) in Durchsatz und Latenz über verschiedene Erhaltungsraten (10 %–25 %).
Genauigkeit: Die Methode behält eine wettbewerbsfähige Downstream-Qualität bei. Bei einer Erhaltungsrate von 10 % erreicht EarlyTom eine durchschnittliche Benchmark-Punktzahl von 56,2 (96,2 % der Full-Token-Baseline) und übertrifft andere Methoden, die unter aggressivem Beschneiden erhebliche Genauigkeitsverluste erleiden.
Generalisierbarkeit: Der Ansatz wurde an den Architekturen LLaVA-Video-7B und Qwen2.5-VL-7B validiert und zeigt konsistente Verbesserungen bei der FLOPs-Reduktion und TTFT-Beschleunigung unter Beibehaltung der Genauigkeit.
Ablation: Das Entfernen entweder des Frame-Mergings oder der entkoppelten Auswahlstrategie führt zu einer Leistungsverschlechterung, was die Notwendigkeit beider Komponenten für die Balance zwischen Effizienz und Fidelity bestätigt.

Bedeutung

Die Arbeit behauptet, dass EarlyTom einen fundamentalen Engpass beim Einsatz von Video-LLMs adressiert, indem es das Komprimierungsparadigma von der späten Phase (post-Encoder) in die frühe Phase (innerhalb des Vision-Encoders) verlagert. Durch die direkte Optimierung der zeitintensivsten Komponente der Inferenzpipeline (Vision-Encoding) und die Einführung einer verzerrungsbewussten räumlichen Auswahlstrategie ermöglicht EarlyTom eine signifikant schnellere Inferenz (niedrigere TTFT) und einen höheren Durchsatz ohne Einbußen bei der Modellleistung. Diese Arbeit legt den Grundstein für den praktischen Einsatz von Video-LLMs in realen, latenzsensitiven Produktionsszenarien, in denen Rechenressourcen begrenzt sind.