UniComp: Rethinking Video Compression Through Informational Uniqueness

Dieses Paper stellt UniComp vor, einen informationsunabhängigkeitsgetriebenen Video-Kompressionsrahmen, der durch Minimierung der bedingten Entropie und die Einführung von Modulen für semantische Frame-Gruppierung, adaptive Ressourcenallokation und räumliche dynamische Kompression eine überlegene Bildqualität unter begrenzten Rechenbudgets gewährleistet.

Das Wesentliche

Stell dir vor, du hast einen riesigen Videovorrat, aber dein Gehirn (oder dein Computer) kann nur eine bestimmte Menge an Informationen auf einmal verarbeiten. Früher haben Computer versucht, das Wichtigste zu finden, indem sie sich auf das konzentrierten, was sie gerade „anschauen" (das nennt man Attention). Das ist wie ein Fotograf, der immer nur auf das hellste Licht schaut und dabei vergisst, dass im Hintergrund vielleicht eine wichtige Geschichte passiert.

Die Forscher von UniComp haben eine völlig neue Idee: „Informationelle Einzigartigkeit".

Hier ist die Erklärung, wie das funktioniert, mit ein paar einfachen Vergleichen:

1. Das Problem: Der überfüllte Rucksack

Stell dir vor, du musst einen langen Film in einen kleinen Rucksack packen.

• Die alten Methoden (Attention-basiert): Der Fotograf schaut sich den Film an und packt nur die Dinge ein, die gerade sehr laut oder hell sind. Aber wenn im Film jemand 10 Sekunden lang still auf einer Bank sitzt, wird das vielleicht als „langweilig" eingestuft und weggelassen. Dabei könnte genau in dieser Stille eine wichtige Information stecken.
• Das neue Problem: Wenn du zu viel weglässt, weil es „ähnlich" aussieht wie das, was du schon hast, verlierst du Details.

2. Die Lösung: Der „Einzigartigkeits"-Filter

UniComp fragt nicht: „Ist das laut?" oder „Ist das hell?". Es fragt: „Ist das neu und einzigartig?"

Stell dir den Videovorrat wie einen Stapel Karten vor:

• Karte A: Ein roter Ball.
• Karte B: Ein roter Ball (fast identisch mit A).
• Karte C: Ein blauer Ball.
• Karte D: Ein roter Ball (wieder fast identisch).

Die alten Methoden würden vielleicht alle roten Bälle behalten, weil sie „wichtig" aussehen, und den blauen Ball ignorieren, wenn er leise ist.
UniComp sagt: „Moment! Der rote Ball ist schon da. Ich brauche keine Kopie davon. Aber der blaue Ball ist einzigartig! Den muss ich auf jeden Fall behalten."

3. Die drei Zaubertricks (Die Module)

UniComp nutzt drei Schritte, um den Rucksack zu füllen:

• Schritt 1: Die Zeit-Gruppen (Frame Group Fusion)

  • Vergleich: Stell dir vor, du filmst eine Landschaft, die sich kaum bewegt. Du musst nicht 30 Bilder pro Sekunde speichern, wenn sich nichts ändert.
  • Was UniComp tut: Es schaut sich die Zeit an. Wenn 10 Bilder fast gleich aussehen, fasst es sie zu einem super-detaillierten Bild zusammen. Es spart Platz, indem es die „langweiligen" Wiederholungen streicht.

• Schritt 2: Der Verteiler (Token Allocation)

  • Vergleich: Stell dir vor, du hast nur 100 Euro Budget für einen Einkauf.
  • Was UniComp tut: Es gibt den „einzigartigen" Szenen mehr Geld (mehr Speicherplatz). Wenn eine Szene plötzlich eine Explosion hat oder ein neues Objekt erscheint, bekommt sie mehr Aufmerksamkeit. Wenn eine Szene langweilig ist, bekommt sie weniger. Es verteilt das Budget intelligent, nicht gleichmäßig.

• Schritt 3: Der Detail-Sucher (Spatial Dynamic Compression)

  • Vergleich: Stell dir ein riesiges Puzzle vor.
  • Was UniComp tut: Innerhalb eines einzelnen Bildes schaut es sich jeden einzelnen Puzzleteil an. Wenn 5 Teile fast genau das Gleiche zeigen (z. B. ein blauer Himmel), nimmt es nur ein Teil davon und verschmilzt die anderen damit. Es behält nur die Teile, die wirklich etwas Neues erzählen.

4. Warum ist das so genial?

• Es ist schlauer als das Gehirn: Die Forscher haben gezeigt, dass UniComp selbst dann noch versteht, was im Video passiert, wenn sie nur 5% der ursprünglichen Informationen behalten. Andere Methoden würden bei so wenig Daten komplett durcheinanderkommen.
• Es ist universell: Du musst den Computer nicht neu programmieren. Es ist wie ein „Stecker-und-Lös"-System. Du steckst es in dein bestehendes System, und plötzlich läuft alles schneller und effizienter.
• Es ist schnell: Weil weniger Daten verarbeitet werden müssen, ist das Video viel schneller fertig (bis zu 4-mal schneller!).

Zusammenfassung in einem Satz

UniComp ist wie ein sehr kluger Bibliothekar, der nicht einfach die lautesten Bücher in den Regalbereich packt, sondern nur die einzigartigen Geschichten auswählt, die es noch nirgendwo gibt, und die Kopien weglässt – so passt die ganze Bibliothek in einen kleinen Koffer, ohne dass man etwas Wichtiges verliert.

Technische Zusammenfassung

1. Problemstellung

Die Verarbeitung dichter Videoeingaben in multimodalen großen Sprachmodellen (MLLMs) stellt aufgrund des hohen rechnerischen Aufwands einen kritischen Engpass für Skalierbarkeit und Effizienz dar. Bestehende Kompressionsmethoden basieren primär auf aufmerksamkeitsbasierten (attention-based) Scoring-Verfahren, die saliente Inhalte hervorheben. Diese Ansätze weisen jedoch erhebliche Nachteile auf:

• Sie führen oft zu Redundanz über Frames hinweg und vernachlässigen feingranulare Details.
• Unter aggressiven Kompressionssettings gehen wesentliche Informationen verloren.
• State-of-the-Art-Methoden (wie FastVid oder HoliTom) erfordern oft das Tuning vieler Hyperparameter oder tiefgreifende Änderungen an den Attention-Layern des LLMs, was die Generalisierbarkeit auf verschiedene Architekturen erschwert.

Das Paper argumentiert, dass das Wesen der Videokompression nicht in der „Aufmerksamkeit", sondern in der Informationellen Einzigartigkeit (Informational Uniqueness) liegt. Redundante oder überlappende Darstellungen können aus anderen Frames rekonstruiert werden; daher sollten Frames und Tokens priorisiert werden, die einzigartige und unersetzliche Informationen tragen.

2. Methodik: Das UniComp-Framework

UniComp ist ein kompressionsframework, das von informationstheoretischen Prinzipien geleitet wird. Es modelliert den Kompressionsprozess als Minimierung der bedingten Entropie $H(X | S)$ zwischen dem gesamten Token-Set $X$ und dem ausgewählten Subset $S$. Dies ist äquivalent zur Minimierung des Rekonstruktionsfehlers.

Das Framework besteht aus drei synergistischen Modulen, die alle auf dem Prinzip der Maximierung der Informationseinzigartigkeit basieren:

A. Theoretische Grundlage: Informationelle Einzigartigkeit

Die Einzigartigkeit $U_i$ eines Tokens wird definiert als der Durchschnitt der paarweisen Einzigartigkeit zu allen anderen Tokens. Die paarweise Einzigartigkeit $u_{ij}$ wird als $1 - \text{CosineSimilarity}(x_i, x_j)$ berechnet.
Das Paper leitet eine obere Schranke für den Rekonstruktionsfehler her, die direkt mit der Einzigartigkeit korreliert: Wenn verworfene Tokens eine hohe Einzigartigkeit haben, steigt der Fehler. Daher wird eine gierige Auswahlstrategie (greedy selection) basierend auf Einzigartigkeit vorgeschlagen.

B. Die drei Module

1. Frame Group Fusion (FGF) – Temporale Redundanzreduktion:

   • Video-Frames enthalten oft starke semantische Ähnlichkeiten. FGF gruppiert Frames adaptiv basierend auf ihrer globalen Einzigartigkeit.
   • Frames, die sich semantisch wenig von einem Repräsentanten-Frame unterscheiden (Einzigartigkeit unter einem Schwellenwert $U_f$), werden fusioniert (durch Mittelwertbildung).
   • Dies reduziert die Anzahl der Frames, behält aber dynamische Übergänge bei, indem bei großen semantischen Sprüngen neue Gruppen gebildet werden.

2. Token Allocation (TA) – Globale Ressourcenverteilung:

   • Nach der Frame-Fusion werden Token-Budgets pro Frame basierend auf deren globaler Einzigartigkeit zugewiesen.
   • Frames mit hoher Einzigartigkeit (große semantische Abweichung) erhalten mehr Token, während redundante Frames weniger Token erhalten.
   • Dies erfolgt durch eine Softmax-Funktion über die skalierten Einzigartigkeitsscores.

3. Spatial Dynamic Compression (SDC) – Feingranulare räumliche Kompression:

   • Innerhalb jedes Frames werden Token basierend auf ihrer lokalen Einzigartigkeit ausgewählt.
   • Selektion: Token werden nach Einzigartigkeit sortiert.
   • Fusion: Anstatt redundante Token einfach zu löschen, werden benachbarte Token (mit geringer paarweiser Einzigartigkeit $< U_c$) fusioniert. Dies geschieht durch eine gewichtete Mittelwertbildung, was die Informationsdichte erhöht.
   • Der Prozess wird durch eine matrixbasierte Parallelisierung optimiert, um die Rechenkomplexität drastisch zu senken.

Vorteile: UniComp ist „Plug-and-Play", benötigt nur zwei Hyperparameter ($U_f$ und $U_c$) und erfordert keine Änderungen an den inneren LLM-Schichten, was eine hohe Generalisierbarkeit über verschiedene ViT- und LLM-Architekturen hinweg ermöglicht.

3. Hauptbeiträge

• Informationstheoretische Formulierung: Einführung des Konzepts der „Informationellen Einzigartigkeit" zur Quantifizierung von Feature-Redundanz und Herleitung einer theoretischen Verbindung zwischen Einzigartigkeit und Informationsfidelität (durch Minimierung der bedingten Entropie).
• Neues Framework (UniComp): Ein einheitliches System, das temporale Fusion, globale Allokation und räumliche Kompression unter dem Prinzip „Behalte Einzigartiges" vereint.
• Hohe Generalisierbarkeit: Minimale Hyperparameter und geringer Implementierungsaufwand ermöglichen den Einsatz ohne Neutuning des Modells.
• State-of-the-Art-Leistung: Überlegene Ergebnisse auf mehreren Benchmarks für das Verständnis langer Videos.

4. Ergebnisse und Evaluation

Das Paper evaluiert UniComp auf vier Benchmarks für lange Videos: LongVideoBench, EgoSchema, MLVU und VideoMME. Es wurden Modelle wie LLaVA-OneVision-7B, LLaVA-Video-7B und Eagle2.5 verwendet.

• Leistung: UniComp übertrifft konsistent bestehende Methoden (VisionZip, HoliTom, FastVid) unter allen Kompressionsraten (von 25% bis 10% Token-Retention).
  • Bei 10% Retention erreicht UniComp eine durchschnittliche Genauigkeit von 59,80% (gegenüber 58,90% bei HoliTom).
  • Interessanterweise übertrifft UniComp bei bestimmten Einstellungen sogar das unkomprimierte Baseline-Modell (Full Tokens), da es irrelevante Redundanz filtert und den Fokus auf informative Inhalte legt.
• Skalierbarkeit: Bei Eingaben von bis zu 320 Frames (komprimiert auf das gleiche Token-Limit wie 32 Frames) zeigt UniComp robuste Leistung, während andere Methoden aufgrund von temporaler Redundanz stark einbrechen.
• Effizienz: UniComp reduziert die Time-To-First-Token (TTFT) um bis zu 4,15-fach im Vergleich zur vollen Token-Inferenz bei langen Videos.
• Qualitative Analyse: Visuelle Beispiele zeigen, dass UniComp auch bei extrem niedrigen Raten (5%) kritische Details (wie Text auf Karten oder spezifische Objektinteraktionen) erkennt, wo andere Methoden versagen.

5. Bedeutung und Fazit

Die Arbeit stellt einen Paradigmenwechsel in der Videokompression für MLLMs dar. Anstatt sich auf Aufmerksamkeit zu verlassen, nutzt sie die informationstheoretische Einzigartigkeit als treibende Kraft. Dies führt zu einem leichten, effizienten und hochgeneralisierbaren Framework, das nicht nur die Rechenkosten senkt, sondern durch die gezielte Eliminierung von Redundanz die semantische Fidelität und die Leistungsfähigkeit der Modelle sogar steigern kann. UniComp bietet somit eine praktische Lösung für die Skalierung multimodaler Modelle auf Stunden lange Videos.