Stellen Sie sich vor, Sie versuchen, einem superintelligenten Roboter beizubringen, Filme zu verstehen. Um dies zu tun, zerlegen Sie jedes Einzelbild des Films in tausende winzige digitale „Pixel“ der Bedeutung, sogenannte Token. Der Roboter liest diese massive Liste von Token dann wie einen Satz, um herauszufinden, was gerade passiert. Das Problem ist: Filme sind lang und voller Wiederholungen. Wenn eine Figur zehn Sekunden lang regungslos in einem Raum steht, ist der Roboter gezwungen, tausende Male hintereinander exakt dasselbe „Stehen im Raum“-Token zu lesen. Es ist, als würde man ein Buch lesen, in dem das Wort „der“ eine Million Mal wiederholt wird, nur um Platz zu füllen; das verschwendet die Gehirnleistung des Roboters und macht ihn unglaublich langsam bei der Beantwortung von Fragen. Wissenschaftler haben versucht, dies zu beheben, indem sie den Roboter lehren, die langweiligen Teile zu überspringen oder ähnliche Teile zusammenzufassen, während er den Film sieht, aber das erfordert normalerweise, dass der Roboter für jeden einzelnen Film, den er sieht, zusätzliche Berechnungen durchführt, was immer noch sehr langsam und teuer ist.

Dieses Paper stellt einen neuen Weg vor, um dies mit ONCE zu handhaben. Anstatt den Roboter dazu zu bringen, das Sortieren und Überspringen bei jedem neuen Video mühsam selbst zu erleden, haben die Forscher beschlossen, die schwere Arbeit zu leisten, bevor der Roboter jemals einen Film sieht. Sie haben ein „Globales Codebuch“ erstellt, was im Grunde ein riesiger, vorgefertigter Index der am häufigsten vorkommenden visuellen Muster aus tausenden Stunden Videomaterial ist. Denken Sie an eine Bibliothek, in der jedes Buch bereits perfekt in ein Regal einsortiert ist. Wenn ein neuer Film eintrifft, muss der Roboter nicht erst mühsam selbst herausfinden, wie er ihn organisiert; er sucht einfach die Muster in seinem vorgefertigten Index nach, schnappt sich die relevanten „Regale“ und bildet deren Durchschnitt. Dies ermöglicht es dem Roboter, Videos viel schneller zu verarbeiten, da er nur einen schnellen Abgleich vornimmt, anstatt eine komplexe Berechnung durchzuführen. Die Forscher fanden heraus, dass diese Methode unglaublich gut funktioniert, insbesondere wenn sie gezwungen sind, sehr wenige Token zu verwenden – der Roboter bleibt schnell, ohne zu vergessen, was er gerade sieht.

Das Problem: Das überforderte Gehirn des Roboters

Video-Large-Language-Models (Video-LLMs) sind wie superstarke Detektive, die ein Video beobachten und Fragen dazu beantworten können. Um dies zu tun, verwandeln sie das Video in eine lange Kette digitaler Token. Aber hier liegt der Haken: Wenn man dem Detektiv einen zweistündigen Film vorsetzt, wird die Kette der Token so lang, dass sie das Gedächtnis des Detektivs überfordert.

Viel schlimmer noch: Filme sind voller Redundanz. Wenn eine Szene zeigt, wie eine Katze fünf Minuten lang auf einer Couch sitzt, generiert der Video-Encoder tausende Token, die alle „Katze auf Couch“ sagen. Der Detektiv muss jeden einzelnen von ihnen lesen, obwohl sie alle identisch sind. Bestehende Methoden versuchen, dies zu beheben, indem sie den Detektiv anweisen, diese Token während des Sehens des Videos zu „beschneiden“ (pruning) oder zu „verschmelzen“ (merging). Aber das ist so, als würde man den Detektiv bitten, jedes Mal, wenn er ein neues Video sieht, seine Notizen anzuhalten und neu zu organisieren. Das kostet jedes Mal zusätzliche Zeit und Energie, und die Regeln für die Organisation ändern sich je nachdem, welchen Detektiv (Modell) man verwendet.

Die Lösung: ONCE und das „Globale Codebuch“

Die Autoren dieses Papers, Jiayang He und sein Team, schlugen einen anderen Ansatz vor. Sie fragten: „Was wäre, wenn wir das Organisieren einmal für alle erledigen würden, anstatt den Detektiv jedes Mal aufs Neue dazu zu zwingen?“

Sie entwickelten ein System namens ONCE (Offline-to-Online Video Token Compression). So funktioniert es, mithilfe einer einfachen Analogie:

Stellen Sie sich vor, Sie sind ein Bibliothekar, der Millionen von Büchern sortieren muss.

• Der alte Weg (bestehende Methoden): Jedes Mal, wenn eine neue Lieferung Bücher eintrifft, müssen Sie anhalten, jedes einzelne Buch lesen, entscheiden, welche ähnlich sind, und sie dann physisch gruppieren, bevor Sie sie ins Regal stellen können. Das dauert bei jeder einzelnen Lieferung sehr lange.
• Der ONCE-Weg: Bevor überhaupt eine neue Lieferung Bücher eintrifft, verbringen Sie Zeit damit, eine riesige Sammlung von Büchern zu studieren, die Sie bereits besitzen. Sie erstellen einen „Master-Index“ (das Globale Codebuch), der auflistet, welche Arten von Büchern Sie jemals gesehen haben (z. B. „Actionheld“, „Kochshow“, „Naturdokumentation“). Sie legen zudem eine Regel fest: „Wenn ein Buch wie eine ‚Naturdokumentation‘ aussieht, lege es in Behälter A.“

Wenn nun eine neue Lieferung Bücher (ein neues Video) eintrifft, müssen Sie nicht mehr jedes Buch sorgfältig lesen. Sie werfen nur einen kurzen Blick auf jedes Buch, prüfen Ihren „Master-Index“, um zu sehen, in welchen Behälter es gehört, und werfen es hinein. Dann nehmen Sie alle Bücher aus Behälter A und fassen sie in einer einzigen Notiz zusammen. Das geht unglaublich schnell, weil Sie nicht bei jeder neuen Lieferung die Sortierregeln neu erfinden müssen; Sie nutzen einfach die Regeln, die Sie einmal gelernt haben.

Wie es im Detail funktioniert

1. Offline-Lernen (der „Once“-Teil): Die Forscher nahmen einen riesigen Videosatz (LLaVA-Video-178K) und analysierten die visuellen Muster. Sie wählten nicht einfach zufällige Muster aus; sie stellten sicher, dass sie Muster aus verschiedenen Zeitabschnitten des Videos (temporale Stratifizierung) erfassten und diese nach ihrer Häufigkeit gewichteten. Anschließend nutzten sie eine mathematische Technik namens „Optimal Transport“, um ein Globales Codebuch aus 8.192 repräsentativen „Prototypen“ (oder Codewörtern) zu erstellen. Dieses Codebuch fungt als Landkarte der visuellen Welt.
2. Online-Kompression (der „Überall“-Teil): Wenn ein neues Video eintrifft, trainiert das System nichts Neues. Es schaut sich einfach die visuellen Token des Videos an und fragt: „Welchem meiner 8.192 Prototypen ähnelt dies?“ Es wählt die am häufigsten vorkommenden Prototypen aus, die im Video erscheinen, weist alle Videotoken diesen Prototypen neu zu und bildet dann deren Durchschnitt. Dies verwandelt tausende von Token in eine viel kleinere, handhabbare Anzahl (wie etwa 256 oder 512), ohne die Kernbedeutung zu verlieren.

Was sie herausgefunden haben

Das Team testete ONCE auf vier verschiedenen Benchmarks für das Verständnis von Videos (MVBench, EgoSchema, Video-MME und LongVideoBench) unter Verwendung von zwei verschiedenen KI-Modellen (LLaVA-OneVision-7B und Qwen3.5-9B).

• Geschwindigkeit: Die Ergebnisse waren beeindruckend. ONCE reduzierte die Arbeitslast des Sprachmodells um etwa 96 % in Bezug auf die Vorberechnungszeit (Prefill FLOPs). In der Praxis bedeutete dies, dass das System im Vergleich zum Betrieb ohne Kompression im Durchschnitt 2,96-mal schneller lief.
• Genauigkeit: Normalerweise wird ein System „dümmer“, wenn man es schneller macht, indem man Daten weglässt. Aber ONCE war überraschend intelligent. Als das Token-Budget sehr knapp war (nur 32, 64 oder 128 Token erlaubt), erzielte ONCE tatsächlich höhere Werte als andere Kompressionsmethoden. Es war besonders gut in Aufgaben wie dem Zählen von Ereignissen oder dem Erkennen von Zustandsänderungen.
• Effizienz: Das System erreichte diese Geschwindigkeitssteigerungen, ohne das Haupt-KI-Modell neu trainieren zu müssen. Das Codebuch wurde einmal gelernt und konnte dann für alles wiederverwendet werden.

Was sie ausgeschlossen haben

Das Paper argumentiert explizit gegen die Vorstellung, dass Kompression für jedes einzelne Video „online“ (während der Videowiedergabe) durchgeführt werden muss. Sie zeigten, dass es ineffizient und redundant ist, die schwere Arbeit während der Inferenz (während des Zuschauens) zu verrichten. Sie demonstrierten auch, dass das einfache Auswählen zufälliger Token oder die Verwendung eines festen Satzes von Token für jedes Video nicht so gut funktioniert wie ihre Methode, die zwar die Gruppierungsregeln beibehält, aber die richtigen Prototypen dynamisch für das spezifische Video auswählt.

Darüber hinaus fanden sie heraus, dass das „Globale Codebuch“ nicht nur Trainingsbeispiele speichert, sondern eine wiederverwendbare Struktur lernt. Selbst als es mit Videos getestet wurde, die es noch nie gesehen hatte (ein öffentlicher Video-Stresstest), schnitt das Codebuch besser ab als zufällige Gruppierungen, was darauf hindeutet, dass es tatsächlich die zugrunde liegende „Grammatik“ visueller Muster erfasst hat.

Das Fazative (The Bottom Line)

Die Autoren legen nahe, dass ONCE eine neue Art des Denkens für Video-KI bietet: Anstatt die KI für jedes neue Video härter arbeiten zu lassen, können wir ihr einmal eine universelle Sprache visueller Muster beibringen und sie dann diese Sprache fließend und schnell sprechen lassen, wann immer sie es braucht. Obwohl die Methode weiterhin ein separates Codebuch für verschiedene KI-Modelle benötigt (da diese Dinge unterschiedlich „sehen“), deutet das Ergebnis darauf hin, dass dieser „Einmal lernen, überall komprimieren“-Ansatz ein mächtiger Weg ist, um Video-KI schneller und effizienter zu machen, ohne die Fähigkeit zu opfern, das Geschehen auf dem Bildschirm zu verstehen. Das Paper schließt mit dem Hinweis, dass dies ein vielversprechender Schritt ist, um das Verständnis langer Videos für den alltäglichen Gebrauch praktikabel zu machen.