🤖 AI

OTT-Vid: Optimal Transport Temporal Token Compression for Video Large Language Models

Das Papier stellt OTT-Vid vor, ein trainingsfreies Framework zur zeitlichen Token-Kompression für Video-Sprachmodelle, das optimalen Transport mit nicht-uniformer Token-Masse und lokalisierungsorientierten Kosten nutzt, um Kompressionsbudgets dynamisch basierend auf der Komprimierbarkeit von Bildpaaren zuzuweisen, und dabei State-of-the-Art-Leistung erzielt, während nur 10 % der visuellen Token beibehalten werden.

Ursprüngliche Autoren: Minseok Kang, Minhyeok Lee, Jungho Lee, Minjung Kim, Donghyeong Kim, Dayeon Lee, Heeseung Choi, Ig-jae Kim, Sangyoun Lee

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Minseok Kang, Minhyeok Lee, Jungho Lee, Minjung Kim, Donghyeong Kim, Dayeon Lee, Heeseung Choi, Ig-jae Kim, Sangyoun Lee

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Zu viel Video, nicht genug Rechenkraft

Stellen Sie sich vor, Sie versuchen, einen 10-minütigen Film anzusehen, aber Ihr Gehirn (das KI-Modell) kann nur eine winzige Menge an Informationen gleichzeitig speichern. Um den Film zu verstehen, zerlegt die KI jeden einzelnen Frame in Tausende von winzigen Puzzleteilen, die als "Tokens" bezeichnet werden.

Bei einem langen Video explodiert die Anzahl dieser Puzzleteile. Es ist, als würde man versuchen, einen Berg von Ziegelsteinen in einem Schubkarren zu transportieren; die KI wird überfordert, verlangsamt sich und kostet ein Vermögen, um sie laufen zu lassen.

Die alte Lösung: "Wenn es gleich aussieht, werfe es weg"

Um dies zu beheben, versuchten Forscher, die zusätzlichen Ziegelsteine wegzuwerfen. Ihre alte Regel war einfach: "Wenn ein Ziegelstein im Frame 5 genau wie ein Ziegelstein im Frame 6 aussieht, lösche den im Frame 6."

Der Fehler: Das ist, als würde man ein Video von einer Person betrachten, die stillsteht, und sagen: "Sie hat sich nicht bewegt, also werde ich sie löschen." Aber diese Person ist die Hauptfigur! Wenn Sie sie löschen, vergisst die KI, dass sie existiert.

Das Ergebnis: Die KI verliert den Überblick über Dinge, die gleich bleiben (wie ein stationäres Objekt oder eine wartende Person), weil sie denkt, sie seien langweilige Duplikate. Außerdem hat sie Schwierigkeiten, Fragen zu beantworten, wie lange etwas gedauert hat oder wann es passiert ist.

Die neue Lösung: OTT-Vid (Der intelligente Bibliothekar)

Die Autoren dieses Papiers schlagen OTT-Vid vor, eine neue Methode zur Videokomprimierung, die nicht nur prüft, ob Dinge ähnlich aussehen, sondern fragt: "Ist dieses Stück wichtig?"

Sie verwenden ein mathematisches Konzept namens Optimaler Transport (denken Sie daran als einen superintelligenten Logistikplaner), um zu entscheiden, was behalten und was verworfen wird. So funktioniert es in drei Schritten:

1. Der "Marker" (Räumliches Beschneiden)

Zuerst betrachtet die KI einen einzelnen Frame und markiert die interessantesten Teile.

Analogie: Stellen Sie sich einen Lehrer vor, der einen Test korrigiert. Er liest nicht jedes einzelne Wort mit gleicher Aufmerksamkeit. Er markiert die Schlüsselsätze. OTT-Vid macht dies für jeden Video-Frame, behält nur die "markierten" Tokens bei und ignoriert das langweilige Hintergrundrauschen.

2. Der "Wichtigkeits-Score" (Massenzuweisung)

Das ist das Geheimnis. Die KI weist jedem verbleibenden Token eine "Masse" (ein Gewicht) zu.

Der Twist: In diesem System gilt Wichtig = Leichtes Gewicht und Unwichtig = Schweres Gewicht.
Warum? Denken Sie an einen Lieferwagen. Sie möchten die zerbrechlichen, wertvollen Gegenstände (die wichtigen Tokens) sicher aufbewahren. Sie wollen sie nicht zerquetschen. Daher geben Sie ihnen einen "leichten" Status, damit das System weiß, sie nicht wegzuwerfen. Der langweilige Hintergrund bekommt einen "schweren" Status, was bedeutet, dass er leicht weggelassen oder zusammengeführt werden kann.
Ergebnis: Selbst wenn eine Person 10 Sekunden lang stillsteht, weiß die KI, dass sie wichtig ist (leichtes Gewicht) und weigert sich, sie zu löschen, selbst wenn sie dem vorherigen Frame identisch sieht.

3. Der "Logistikplan" (Optimaler Transport)

Jetzt muss die KI entscheiden, wie sie das Video zwischen Frame 1 und Frame 2, Frame 2 und Frame 3 usw. komprimiert.

Die Analogie: Stellen Sie sich vor, Sie ziehen um. Sie haben eine begrenzte Anzahl an Kartons (ein Budget).
- Alte Methode: Sie werfen einfach Duplikate weg.
- OTT-Vid-Methode: Die KI berechnet eine "Transport-Schwierigkeit".
  - Wenn zwei Frames sehr ähnlich sind und voller langweiliger Dinge stecken, ist die "Schwierigkeit" gering. Die KI sagt: "Toll, wir können diese in einen Karton packen und Platz sparen!"
  - Wenn zwei Frames wichtige Veränderungen aufweisen (wie ein Auto, das sich zu bewegen beginnt), ist die "Schwierigkeit" hoch. Die KI sagt: "Fassen Sie das nicht an! Wir müssen unsere Kartons dafür aufheben."
Dynamisches Budgeting: Die KI gibt nicht jedem Paar von Frames die gleiche Anzahl an Kartons. Sie gibt mehr Kartons für die aufregenden Teile des Videos und weniger Kartons für die langweiligen Teile.

Warum es besser ist (Die Ergebnisse)

Die Forscher testeten dies an sechs verschiedenen Video-Herausforderungen, darunter:

Video-Frage-Antwort: "Was ist im Video passiert?"
Temporale Verankerung: "Wann genau hat die Person den Kuchen geschnitten?"

Das Ergebnis:

Sie warfen 90 % der Videodaten weg (behielten nur 10 % der Tokens).
Video-Fragen: Die KI erhielt 95,8 % der Antworten richtig, verglichen mit dem Ansehen des gesamten Videos.
Zeitfragen: Die KI behielt 73,9 % ihrer Genauigkeit bei Zeitaufgaben.

Die Kernaussage:
Frühere Methoden scheiterten bei Zeitaufgaben, weil sie die "langweiligen" stationären Teile löschten, die tatsächlich bewiesen, wie lange ein Ereignis dauerte. OTT-Vid behält diese Teile, weil es ihre Wichtigkeit versteht, nicht nur ihre Ähnlichkeit.

Zusammenfassung

OTT-Vid ist wie ein intelligenter Redakteur, der nicht einfach wiederholte Szenen ausschneidet, nur weil sie gleich aussehen. Stattdessen fragt der Redakteur: "Ist diese Szene wichtig für die Geschichte?" Wenn eine Charakter stillsteht, aber für die Handlung entscheidend ist, behält der Redakteur sie. Wenn der Hintergrund langweilig und wiederholend ist, schneidet der Redakteur ihn heraus. Dies ermöglicht es der KI, lange Videos schnell anzusehen, ohne die wichtigen Details zu vergessen.

Technische Zusammenfassung: OTT-Vid

Problemstellung

Da sich Video-Sprachmodelle (Video-LLMs) skalieren, um längere und komplexere Videos zu verarbeiten, stoßen sie auf einen kritischen Engpass bei der Inferenz: Die Anhäufung visueller Token über Frames hinweg erhöht die Sequenzlänge und die Rechenkosten drastisch. Obwohl trainingfreie Token-Komprimierung eine praktische Lösung bietet, leiden bestehende zeitliche Komprimierungsmethoden unter zwei primären Einschränkungen:

Übermäßige Abhängigkeit von Ähnlichkeit: Aktuelle Methoden verlassen sich hauptsächlich auf die Ähnlichkeit von Token zwischen Frames oder auf Segmentierungsheuristiken. Sie unterscheiden nicht zwischen uninformative Wiederholungen im Hintergrund und der Persistenz semantisch wichtiger Inhalte (z. B. stationäre Objekte). Folglich führt hohe Ähnlichkeit oft zur aggressiven Komprimierung wesentlicher zeitlicher Beweise, was die Leistung bei Aufgaben verschlechtert, die Dauer, Kontinuität und die Erkennung von Ereignisgrenzen erfordern, wie z. B. beim zeitlichen Grounding.
Statische Budgetzuweisung: Bestehende Ansätze behandeln Komprimierung nicht explizit als Zuweisungsproblem. Sie wenden einheitliche Komprimierungsschwellenwerte oder harte Grenzen an, die sich nicht an die unterschiedliche Komprimierbarkeit verschiedener Frame-Paare anpassen. Dies führt zu einer Unterkomprimierung hochredundanter Bereiche und einer Überkomprimierung von Frames, die kritische zeitliche Beweise enthalten.

Methodik: OTT-Vid

Die Autoren schlagen OTT-Vid vor, ein trainingfreies Framework, das die zeitliche Token-Komprimierung als Optimal-Transport (OT)-Problem mit adaptiver Budgetzuweisung formuliert. Die Methode arbeitet in zwei gekoppelten Stufen:

1. Räumliches Beschneiden und Massenzuweisung

Vor der zeitlichen Komprimierung wird jeder Frame unabhängig einem räumlichen Beschneiden unterzogen, um redundante Token innerhalb des Frames zu entfernen.

Auswahl: Ein salienzgewichteter Abdeckungs-Objektivwert wählt repräsentative Token gierig aus. Dies balanciert die semantische Wichtigkeit (Salienz) mit der Repräsentativität (Abdeckung), um ein Zusammenfallen von Token in redundante Cluster zu verhindern.
Massenzuweisung: Eine „Leave-One-Out"-Strategie quantifiziert den unersetzlichen Beitrag jedes behaltenen Tokens. Wenn das Entfernen eines Tokens die Darstellung des ursprünglichen Frames erheblich verschlechtert, gilt es als wichtig.
Inverse Masse: Entscheidend ist, dass die Transportmasse $m_t$ invers zur Token-Wichtigkeit zugewiesen wird. Semantisch kritische Token erhalten eine kleinere Masse (widerstehen der Komprimierung), während weniger informative Token eine größere Masse erhalten (erleichtern den Transfer). Dies kodiert die Erhaltungspriorität direkt in die OT-Randbedingungen.

2. Optimaler Transport für zeitliche Komprimierung

Die zeitliche Komprimierung zwischen benachbarten Frames ( $t$ und $t+1$ ) wird als entropisch regularisiertes OT-Problem gelöst.

Kostenfunktion: Die Transportkosten kombinieren semantische Dissimilarität (kosinische Distanz) und räumliche Distanz. Ein Mischkoeffizient $\alpha_t$ passt sich dynamisch an die Szenenbewegung an: In statischen Szenen wird die räumliche Lokalität höher gewichtet, um das Matching visuell ähnlicher, aber räumlich entfernter Objekte zu verhindern; in dynamischen Szenen dominiert die semantische Dissimilarität, um Matching über größere Verschiebungen hinweg zu ermöglichen.
Transportplan: Die Lösung des OT-Problems ergibt eine Kopplungsmatrix $P_t$ , die Token-Korrespondenzen rangiert. Hohe Kopplungswerte zeigen Kandidaten für Komprimierung (Zusammenführung oder Beschneiden) an.
Transport-Schwierigkeit: Die Gesamtkosten des Transportplans ( $W_t$ ) dienen als Metrik für die „Komprimierbarkeit" eines Frame-Paars. Ein niedriges $W_t$ impliziert hohe Redundanz (einfach zu komprimieren), während ein hohes $W_t$ das Vorhandensein einzigartiger zeitlicher Beweise anzeigt.

3. Adaptive Budgetzuweisung

Das Framework verteilt das globale Komprimierungsbudget nicht-uniform über alle benachbarten Frame-Paare basierend auf $W_t$ .

Inverse Zuweisung: Unter Verwendung eines negativen Softmax erhalten Paare mit geringerer Transport-Schwierigkeit (hohe Redundanz) größere Komprimierungsbudgets, während Paare mit hoher Schwierigkeit (geringe Redundanz) kleinere Budgets erhalten.
Ausführung: Die Komprimierung wird parallel ausgeführt. Ausgewählte Quell-Token werden entweder mit ihrem Ziel zusammengeführt (wenn die Kosten unter einem Schwellenwert $\tau_c$ liegen) oder beschneiden. Ketten von Zusammenführungen über aufeinanderfolgende Frames hinweg werden über einen Union-Find-Algorithmus aufgelöst, um globale Konsistenz sicherzustellen.

Hauptbeiträge

Wichtigkeitsbewusste zeitliche Komprimierung: Im Gegensatz zu früheren ähnlichkeitsgetriebenen Methoden integriert OTT-Vid die Token-Wichtigkeit innerhalb eines Frames in den Prozess der zeitlichen Komprimierung. Durch die inverse Zuweisung von Masse zu wichtigen Token bewahrt es Beweise für Dauer und Kontinuität, die ähnlichkeitsbasierte Methoden typischerweise verwerfen.
Aus dem Transport abgeleitete Budgetzuweisung: Die Arbeit stellt eine prinzipielle Methode vor, um die Komprimierbarkeit jedes Frame-Paars über die Transport-Schwierigkeit ( $W_t$ ) zu schätzen. Dies ermöglicht eine dynamische, nicht-uniforme Budgetzuweisung, die sich an die spezifischen Redundanzmerkmale des Videoinhalts anpasst.
Einheitliches Framework: OTT-Vid vereint Token-Ebene-Komprimierungsentscheidungen (über den Transportplan) und Frame-Paar-Ebene-Budgetzuweisung (über die Transport-Schwierigkeit) innerhalb einer einzigen Optimal-Transport-Formulierung.

Experimentelle Ergebnisse

Die Autoren evaluierten OTT-Vid auf sechs Benchmarks: vier Video-Frage-Antwort-Datensätzen (VQA) (MVBench, VideoMME, LongVideoBench, MLVU) und zwei Video-Zeitliches-Grounding-Datensätzen (VTG) (Charades-STA, ActivityNet-Captions mit TimeLens-Annotationen).

Leistungserhalt: Auf der Basis von Qwen2.5-VL-7B behält OTT-Vid 95,8 % der unkomprimierten VQA-Leistung und 73,9 % der VTG-Leistung bei, während es nur 10 % der ursprünglichen Token beibehält.
Vergleich: Es übertrifft konsistent die fortschrittlichsten trainingfreien Baselines (HoliTom, FastVID, FlashVID, UniComp). Die Leistungslücke ist bei VTG-Aufgaben am signifikantesten, wo ähnlichkeitsgetriebene Methoden aufgrund des Verlusts zeitlicher Beweise eine starke Verschlechterung erleiden (Rückgang auf ca. 50–60 % Erhaltung).
Generalisierung: Die Methode zeigt Robustheit über verschiedene Video-LLM-Basen (LLaVA-OneVision, LLaVA-Video) und verschiedene Token-Erhaltungsraten hinweg.
Effizienz: OTT-Vid erzielt eine 2,0-fache Beschleunigung bei der Time-to-First-Token (TTFT) mit einem Spitzen-Speicherbedarf, der mit anderen effizienten Methoden vergleichbar ist, was bestätigt, dass der Komprimierungsaufwand die Inferenzgewinne nicht zunichtemacht.

Bedeutung und Behauptungen

Die Autoren behaupten, dass die primäre Bedeutung von OTT-Vid in seiner Fähigkeit liegt, semantische Persistenz von visueller Ähnlichkeit zu entkoppeln. Indem die zeitliche Komprimierung als Transportproblem mit wichtigkeitsbewusster Masse behandelt wird, bewahrt die Methode erfolgreich die „Beweise", die für komplexe zeitliche Schlussfolgerungsaufgaben erforderlich sind, was früheren ähnlichkeitsbasierten Heuristiken nicht gelang.

Die Autoren betonen, dass ihr Ansatz trainingfrei ist und somit die Kompatibilität mit bestehenden vortrainierten Video-LLMs ohne Notwendigkeit eines Nachtrainings gewährleistet. Sie weisen darauf hin, dass ihre Methode derzeit Transportpläne parallel von initial räumlich beschneideten Sätzen berechnet (unter Vernachlässigung von Repräsentationsänderungen, die durch frühere Komprimierung induziert werden); diese Designentscheidung priorisiert geringen Overhead und Effizienz im Single-Pass-Betrieb. Zukünftige Arbeiten könnten eine sequenzielle Ausführung zur Verfeinerung der Transportpläne untersuchen, obwohl dies die Rechenkosten erhöhen würde.

Zusammenfassend adressiert OTT-Vid den kritischen Engpass der Inferenz bei langen Videos durch die Bereitstellung eines theoretisch fundierten, adaptiven Mechanismus, der Token-Wichtigkeit mit inter-frame-Redundanz ausbalanciert und bestehende Methoden bei der Bewahrung zeitlicher Fidelity unter aggressiver Komprimierung signifikant übertrifft.