💬 NLP

AVOC: Enhancing Hour-Level Audio-Video Understanding in Omni-Modal LLMs via Retrieval-Inspired Token Compression

Das Papier schlägt AVOC vor, ein von Retrieval inspiriertes Token-Kompression-Framework, das das Verständnis von Audio-Video-Inhalten auf Stundenbasis in Omni-Modalen LLMs verbessert, indem es die Token-Selektion als ein Top- $K$ -Retrieval-Problem basierend auf Relevanz, Wichtigkeit und Diversität neu formuliert und dadurch eine State-of-the-Art-Leistung bei Long-Form-Benchmarks unter Beibehaltung der Robustheit in stundenlangen Kontexten erzielt.

Ursprüngliche Autoren: Yijing Chen, Wenhui Tan, Xiaoyi Yu, Yuyue Wang, Xin Cheng, Kaisi Guan, Hao Jiang, Xiangyang Li, Guojie Zhu, Ruihua Song

Veröffentlicht 2026-06-24

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yijing Chen, Wenhui Tan, Xiaoyi Yu, Yuyue Wang, Xin Cheng, Kaisi Guan, Hao Jiang, Xiangyang Li, Guojie Zhu, Ruihua Song

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie besitzen eine riesige Bibliothek mit Filmen und Aufzeichnungen von Meetings, die Stunden gehen. Sie möchten einer superintelligenten KI-Assistentin eine spezifische Frage zu einem dieser langen Videos stellen, wie zum Beispiel: „Wie viele Personen sind nach dieser speziellen Dialogzeile in den Keller gelaufen?“

Das Problem ist, dass das „Gehirn“ (das Gedächtnisfenster) der KI zu klein ist, um das gesamte Video auf einmal aufzunehmen. Wenn Sie versuchen, das gesamte Video einzuspeisen, bekommt sie keine Luft. Wenn Sie versuchen, es zu verkleinern, indem Sie einfach zufällige Frames auswählen, übersehen Sie vielleicht den entscheidenden Moment. Wenn Sie versuchen, jedes einzelne Detail beizubehalten, geht Ihnen der Platz aus.

AVOC: Der kluge Bibliothekar

Die Autoren dieses Papers haben ein neues System namens AVOC entwickelt. Stellen Sie sich AVOC wie einen hochqualifizierten Bibliothekar vor, der eine Zusammenfassung eines einstündigen Films in Form eines winzigen, 10-seitigen Spickzettels erstellen muss – mit dem ganz spezifischen Ziel: Dieser Spickzettel muss nur die Informationen enthalten, die benötigt werden, um Ihre Frage zu beantworten.

So funktioniert AVOC, unter Verwendung von drei einfachen Regeln, die davon inspiriert sind, wie Suchmaschinen die besten Ergebnisse finden:

1. Relevanz: „Passt das zur Frage?“

Stellen Sie sich vor, Sie fragen den Bibliothekar: „Wer ist in den Keller gelaufen?“

Der alte Weg: Der Bibliothekar zeigt Ihnen vielleicht eine Seite über die Küche oder das Wetter draußen, weil diese Szenen laut oder farbenfroh waren.
AVOCs Weg: AVOC schaut sich zuerst Ihre Frage an. Es scannt das Video und das Audio und sagt: „Okay, ich muss den Teil finden, in dem Menschen über den Keller sprechen.“ Es hebt die spezifischen Momente im Video und die spezifischen Wörter im Audio hervor, die sich direkt auf Ihre Frage beziehen. Dies wird als Text-Guided Scoring bezeichnet.

2. Wichtigkeit: „Ist das auch ohne die Frage interessant?“

Manchmal ist Ihre Frage vage, oder die Antwort hängt von etwas ab, das das Video zeigt, aber nicht explizit ausspricht.

Die Analogie: Stellen Sie sich vor, Sie suchen eine bestimmte Person in einer Menge. Selbst wenn Sie deren Namen nicht kennen, könnten Sie sie entdecken, weil sie einen leuchtend roten Hut trägt (ein einzigartiges visuelles Merkensehen) oder weil sie die Einzige ist, die tanzt (ein einzigartiges akustisches Merkensehen).
AVOCs Weg: AVOC prüft, ob ein Moment an sich schon „wichtig“ ist. Es schaut nach, wie Video und Audio miteinander interagieren. Wenn ein Gesicht (Video) zu einem bestimmten Geräusch (Audio) passt, erhält dieser Moment einen hohen „Wichtigkeitsscore“, selbst wenn Ihre Frage dies nicht erwähnt hat. Dies stellt sicher, dass die KI keine verborgenen Hinweise übersieht.

3. Diversität: „Zeig mir nicht dasselbe zweimal!“

Dies ist der schwierigste Teil. Wenn Sie eine Szene haben, in der eine Figur in einen Raum geht, dann wieder hinausgeht und dann wieder hineingeht, würde ein dummes System vielleicht alle drei Momente auswählen, weil sie alle sehr ähnlich aussehen. Das verschwendet Platz.

Die Analogie: Stellen Sie sich vor, Sie packen einen Koffer für eine Reise. Sie brauchen nicht drei Paar exakt dieselbe rote Socke. Sie brauchen ein rotes Paar, ein blaues Paar und ein grünes Paar, um verschiedene Bedürfnisse abzudecken.
AVOCs Weg: AVOC verwendet eine spezielle Regel namens Temporal-Aware Diversity. Es sagt: „Wenn ich bereits einen Moment ausgewählt habe, in dem jemand in einen Raum geht, werde ich die nächste Sekunde, in der er genau dasselbe tut, nicht noch einmal auswählen.“ Wenn jedoch dasselbe Ereignis eine Stunde später im Film passiert, wird AVOC dieses trotzdem auswählen, da es ein anderes Ereignis in der Zeit ist. Dies hält die Zusammenfassung frisch und deckt die gesamte Zeitlinie ab, ohne sich zu wiederholen.

Das Ergebnis: Eine superintelligente Zusammenfassung

Durch die Kombination dieser drei Regeln nimmt AVOC einen massiven, einstündigen Video- und Audiostream und komprimiert ihn in eine winzige, hocheffiziente „Token“-Sequenz. Es wirft die langweiligen, repetitiven oder irrelevanten Teile weg und behält nur die „Goldstücke“ der Information.

Was haben sie herausgefunden?

Es arbeitet besser als alles andere: In Tests mit langen Videos (bis zu 90 Minuten) beantwortete AVOC Fragen viel genauer als andere Top-Modelle. Es übertraf das zweitbeste Modell um eine deutliche Marge (im Durchschnitt um etwa 5 Punkte höher).
Es findet die „Nadel im Heuhaufen“: Sie testeten, ob die KI eine spezifische geheime Zahl finden kann, die irgendwo in einem einstündigen Video versteckt ist. AVOC konnte sie fast perfekt finden, selbst in Videos, die eine Stunde lang waren, während andere Modelle bei längeren Videos anfingen, zu scheitern.
Es ist schnell: Obwohl es diese komplexe Sortierung durchführt, verlangsamt es die KI kaum. Tatsächlich kann die KI das Video dank AVOC sogar schneller verarbeiten, weil so viele unnütze Daten weggeworfen werden.

Kurz gesagt: AVOC lehrt die KI, wie man ein besserer Leser wird: Die KI liest nicht einfach jedes Wort eines 500-seitigen Buches; sie lernt, zu überfliegen, die wichtigen Teile hervorzuheben und den unwichtigen Ballast zu ignorieren, damit sie Ihre Frage perfekt beantworten kann.

Technisches Resümee: AVOC – Verbesserung des stundenlangen Audio-Video-Verständnisses durch Retrieval-inspiriertes Token-Compression

1. Problemstellung

Multimodale Large Language Models (MLLMs) haben signifikante Erfolge bei kurzformatigen Audio-Video-Aufgaben erzielt. Die Erweiterung dieser Fähigkeiten auf stundenlanges Audio-Video-Verständnis stößt jedoch auf zwei primäre Engpässe:

Beschränkungen des Kontextfensters: Die massiven Token-Sequenzen, die durch langanhaltende Video- und hochfrequente Audiodaten generiert werden, überschreiten die Kontextfenster aktueller MLLMs.
Informationsredundanz: Rohe Audio-Video-Streams enthalten erhebliche Redundanzen. Naive Reduktionsstrategien (z. B. uniforme spärliche Abtastung) übersehen oft kritische, kurzlebige Ereignisse, während eine dichte Abtastung das Kontextbudget erschöpft, was zu Sequenzverkürzungen und der Verwässerung wichtiger Merkmale führt.

Bestehende Kompressionsmethoden für Omni-Modale LLMs verlassen sich oft auf asymmetrische, unidirektionale Designs (z. B. die Nutzung von Audio zur Pruning von Video oder umgekehrt). Diese Ansätze riskieren, kritische Informationen zu verwerfen, wenn die „leitende“ Modalität schwache oder spärliche Signale liefert, wodurch die komplexe, interdependenten Natur realer multimodaler Inhalte wie Filme oder Meetings nicht erfasst wird.

2. Methodik: AVOC-Framework

Die Autoren schlagen AVOC vor, ein Framework, das die multimodale Token-Kompression als ein Top-K-Retrieval-Problem neu definiert. Gegeben ein festes Kontextbudget $K$ und einen großen Pool an Kandidaten-Token, besteht das Ziel darin, eine kompakte Teilmenge zu extrahieren, die die Beantwortung einer Benutzeranfrage am besten unterstützt. AVOC integriert drei klassische Kriterien der Informationsabfrage (Information Retrieval, IR) in eine einheitliche, lernbare Kompressionspipeline, die zwischen den Modalitäts-Encodern und dem LLM-Backbone positioniert ist.

2.1 Kernkomponenten

Das Kompressionsmodul arbeitet in drei Stufen, um Token zu generieren und auszuwählen:

Relevanz (Text-gesteuerte Cross-Attention-Scoring):
- Mechanismus: Behandelt die Textanfrage des Benutzers als Suchanfrage und die multimodalen Token als Korpus der Kandidaten.
- Implementierung: Berechnet Cross-Attention-Scores zwischen Text-Embeddings und multimodalen Token-Embeddings. Der Relevanz-Score eines Tokens ist das durchschnittliche Attention-Logit, das von allen Text-Tokens empfangen wird.
- Ziel: Priorisiert Tokens, die für die spezifische Benutzeranfrage relevant sind.
Wichtigkeit (Bidirektionale Video-Audio Cross-Attention Scoring):
- Mechanismus: Erfasst die intrinsische Informationsdichte unabhängig von der Anfrage (abfrage-agnostisch) und adressiert Fälle, in denen die Anfrage im Verhältnis zum reichhaltigen Audio-Visuellen Inhalt spärlich ist.
- Implementierung: Berechnet innerhalb jedes temporalen Blocks eine bidirektionale Cross-Attention zwischen Video- und Audio-Tokens. Tokens, die stark mit der entgegengesetzten Modalität interagieren, erhalten höhere Scores.
- Ziel: Stellt sicher, dass semantisch dichte Regionen (z. B. eine Szene mit sowohl Dialog als auch Handlung) erhalten bleiben, selbst wenn sie nicht explizit abgefragt werden.
Diversität (Temporal-Aware Maximal Marginal Relevance - TA-MMR):
- Mechanismus: Verhindert die Auswahl redundanter, benachbarter Tokens, während gleichzeitig temporal distinkte, aber semantisch ähnliche Ereignisse bewahrt werden.
- Implementierung: Ein Re-Ranking-Stadium unter Verwendung eines modifizierten MMR-Objektivs. Im Gegensatz zu Standard-MMR beschränkt TA-MMR die Redundanzstrafe auf ein lokales temporales Fenster ( $W$ ). Es bestraft Ähnlichkeit nur unter Tokens innerhalb von $[\tau_i - W, \tau_i + W]$ .
- Ziel: Unterdrückt informationsrepetitive benachbarte Tokens (z. B. statische Szenen), ohne wiederkehrende Ereignisse zu unterdrücken, die zu anderen Zeiten auftreten.

2.2 Selektion und Training

Budgetallokation: Das gesamte Token-Budget $K$ wird in modalitätsspezifische Budgets ( $K_{video}, K_{audio}$ ) aufgeteilt, um eine ausgewogene kreuzmodale Repräsentation zu gewährleisten. TA-MMR wird unabhängig innerhalb jeder Modalität angewendet.
Differenzierbares Training: Um ein End-to-End-Training zu ermöglichen, wird die diskrete Top-K-Selektion mittels Gumbel-Softmax mit einem Straight-Through-Estimator approximiert. Das TA-MMR Re-Ranking wird während des Trainings deaktiviert (aufgrund seiner gierigen, iterativen Natur) und erst während der Inferenz aktiviert.
Zweistufiges Training:
1. Stufe 1: Feintuning des LLM-Backbones auf Daten ohne das Kompressionsmodul, um ein stabiles Gradientensignal zu etablieren.
2. Stufe 2: Gemeinsames Training des zufällig initialisierten Kompressionsmoduls und des LLMs.

3. Zentrale Beiträge

Neuartige Perspektive: Umformulierung der multimodalen Token-Kompression als Top-K-Retrieval-Problem, was die Anpassung klassischer IR-Prinzipien (Relevanz, Wichtigkeit, Diversität) an den Audio-Video-Bereich ermöglicht.
Lernbares Kompressionsmodul: Design eines einheitlichen Moduls, das drei IR-Kriterien durch maßgeschneiderte Mechanismen instanziiert: textgesteuerte Cross-Attention, bidirektionale Cross-Modal Attention und Temporal-Aware MMR.
Omni-Modale Kapazität: Entwicklung eines Omni-Modalen LLMs (AVOC), das in der Lage ist, stundenlange Audio-Video-Streams zu verarbeiten und dabei sowohl eine ganzheitliche Komprehension als auch eine feingliedrige Retrieval-Leistung unter engen Kontextbudgets zu erzielen.

4. Experimentelle Ergebnisse

Die Autoren evaluierten AVOC auf mehreren Long-Form Audio-Video-Benchmarks sowie einer benutzerdefinierten Needle-in-a-Haystack (NIAH) Aufgabe.

Benchmark-Performance:
- OmniVideoBench: AVOC erreichte eine durchschnittliche Genauigkeit von 39,8 % im (10, 30]-Minuten-Subset und 42,3 % insgesamt, womit es das zweitbeste Modell um jeweils 4,9 bzw. 5,5 Punkte übertraf.
- LVOmniBench: AVOC erreichte 41,3 % im Medium-Subset und 35,5 % im High-Subset, mit einem Gesamtdurchschnitt von 40,3 %, womit es das zweitbeste Modell um 5,5 Punkte übertraf.
- WorldSense: AVOC erreichte eine Genauigkeit von 52,6 %, eine Verbesserung um 1,7 Punkte gegenüber dem zweitbesten Modell.
- Beobachtung: Die Leistungssteigerungen skalieren mit der Videodauer, was darauf hindeutet, dass die Methode besonders effektiv für ultra-lange Inhalte ist, in denen die Redundanz am höchsten ist.
Audio-Video Needle-in-a-Haystack (AV-NIAH):
- AVOC demonstrierte robuste Retrieval-Fähigkeiten für „Nadeln“ (geheime Schlüsselwörter), die in Videos von bis zu 3600 Sekunden (1 Stunde) Länge verborgen waren.
- Im Gegensatz zu Baselines (z. B. OmniZip), die eine signifikante Genauigkeitsdegradation jenseits von 2000–3000 Sekunden zeigten, behielt AVOC eine hohe Genauigkeit über das gesamte Dauer-Tiefe-Gitter bei.
Ablationsstudien:
- Das Entfernen einer einzelnen Komponente (Relevanz, Wichtigkeit oder Diversität) führte zu einer Verschlechterung der Leistung, was deren komplementäre Natur bestätigt.
- Das optimale Verhältnis des Modalitätsbudgets wurde mit 2:1 (Video:Audio) ermittelt, was die höhere Informationsdichte visueller Merkmale in den getesteten Benchmarks widerspiegelt.
- Die TA-MMR-Hyperparameter ( $\lambda=0,15, W=3$ ) waren entscheidend; eine Einstellung des Fensterradius auf Unendlich (was zu Standard-MMR degeneriert) verursachte Leistungsabfälle, was die Notwendigkeit der temporalen Bewusstheit validiert.
Effizienz:
- Das Kompressionsmodul verursacht minimalen Overhead (ca. 1,8 s für vollständigen Erhalt).
- Aggressive Kompression (Retention-Ratio $\rho=0,1$ ) reduzierte die Prefilling-Latenz um fast das 9-fache (von 4,45 s auf 0,5 s) im Vergleich zum unkomprimierten Backbone.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass AVOC einen bedeutenden Schritt hin zu Omni-Modalen LLMs darstellt, die in der Lage sind, über reichhaltige, stundenlange multimodale Inhalte zu schlussfolgern. Durch den Übergang von starren, asymmetrischen Kompressionsstrategien zu einem symmetrischen, Retrieval-inspirierten Ansatz adressiert AVOC den grundlegenden Zielkonflikt zwischen Kontextfenster-Beschränkungen und Informationsredundanz. Die Autoren postulieren, dass ihr Framework es Modellen ermöglicht, eine robuste Verständnis- und feingliedrige Retrieval-Fähigkeit in realen Szenarien (z. B. Filme, Meetings, Tutorials) aufrechtzuerhalten, die zuvor aufgrund von Sequenzlängenbeschränkungen unzugänglich waren.