💬 NLP

AVOC: Enhancing Hour-Level Audio-Video Understanding in Omni-Modal LLMs via Retrieval-Inspired Token Compression

Het artikel stelt AVOC voor, een op retrieval geïnspireerd framework voor tokencompressie dat het begrip van audio-video op uurniveau in Omni-Modale LLM's verbetert door tokenselectie te herformuleren als een top- $K$ retrieval-probleem gebaseerd op relevantie, belang en diversiteit, waardoor het een state-of-the-art prestatie levert op long-form benchmarks terwijl de robuustheid in contexten van een uur behouden blijft.

Oorspronkelijke auteurs: Yijing Chen, Wenhui Tan, Xiaoyi Yu, Yuyue Wang, Xin Cheng, Kaisi Guan, Hao Jiang, Xiangyang Li, Guojie Zhu, Ruihua Song

Gepubliceerd 2026-06-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yijing Chen, Wenhui Tan, Xiaoyi Yu, Yuyue Wang, Xin Cheng, Kaisi Guan, Hao Jiang, Xiangyang Li, Guojie Zhu, Ruihua Song

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische bibliotheek hebt met films en vergaderopnames die urenlang duren. Je wilt een intelligente AI-assistent een specifieke vraag stellen over wat er in een van die lange video's is gebeurd, zoals: "Hoeveel mensen liepen de kelder in na die specifieke zin?"

Het probleem is dat de "hersenen" (het geheugenvenster) van de AI te klein zijn om de hele video in één keer vast te houden. Als je probeelt de hele video te voeren, raakt hij overbelast. Als je probeert het te verkleinen door simpelweg willekeurige frames te kiezen, mis je misschien het cruciale moment. Als je probeert elk detail te behouden, raak je uit je geheugenruimte.

Ontmoet AVOC: De Slimme Bibliothecaris

De auteurs van dit paper hebben een nieuw systeem ontwikkeld genaamd AVOC. Zie AVOC als een zeer bekwame bibliothecaris die een film van 1 uur moet samenvatten tot een compacte "spiekbrief" van 10 pagina's voor de AI, maar met een heel specifiek doel: de spiekbrief moet alleen de informatie bevatten die nodig is om jouw vraag te beantwoorden.

Zo werkt AVOC, met drie eenvoudige regels geleend van hoe zoekmachines de beste resultaten vinden:

1. Relevantie: "Komt dit overeen met de vraag?"

Stel je voor dat je de bibliothecaris vraagt: "Wie liep de kelder in?"

De oude manier: De bibliothecaris laat je misschien een pagina zien over de keuken of het weer buiten, omdat die scènes luid of kleurrijk waren.
AVOC's manier: AVOC kijkt eerst naar je vraag. Het scant de video en audio en zegt: "Oké, ik moet het deel vinden waar mensen praten over de kelder." Het markeert de specifieke momenten in de video en de specifieke woorden in de audio die direct verband houden met je vraag. Dit wordt Text-Guided Scoring genoemd.

2. Belang: "Is dit interessant, zelfs zonder de vraag?"

Soms is je vraag vaag, of hangt het antwoord af van iets wat de video laat zien maar niet expliciet bespreekt.

De analogie: Stel je voor dat je een specifiek persoon zoekt in een menigte. Zelfs als je hun naam niet weet, kun je hen misschien spotten omdat ze een opvallende rode hoed dragen (een unieke visuele aanwijzing) of omdat zij de enige zijn die danst (een unieke audio-aanwijzing).
AVOC's manier: AVOC controleert of een moment op zichzelf "belangrijk" is. Het kijkt naar hoe de video en audio met elkaar communiceren. Als iemands gezicht (video) overeenkomt met een specifiek geluid (audio), krijgt dat moment een hoge "belangrijkheidsscore", zelfs als je vraag dat niet expliciet vermeldde. Dit zorgt ervoor dat de AI geen verborgen aanwijzingen mist.

3. Diversiteit: "Laat me niet twee keer hetzelfde zien!"

Dit is het lastigste deel. Als je een scène hebt waarin een personage een kamer binnenloopt, dan weer naar buiten loopt, en dan weer terug naar binnen gaat, zou een dom systeem misschien alle drie de momenten kiezen omdat ze allemaal op elkaar lijken. Dit verspilt ruimte.

De analogie: Stel je voor dat je een koffer inpakt voor een reis. Je hebt geen drie paar exact dezelfde rode sokken nodig. Je hebt één paar rood, één paar blauw en één paar groen nodig om verschillende behoeften te dekken.
AVOC's manier: AVOC gebruikt een speciale regel genaamd Temporal-Aware Diversity. Het zegt: "Als ik al een moment heb gekozen waarop iemand een kamer binnenloopt, kies ik niet het volgende seconde waarin ze precies hetzelfde doen." Echter, als hetzelfde gebeurt een uur later in de film, zal AVOC dat wel kiezen, omdat het een ander evenement in de tijd is. Dit houdt de samenvatting fris en dekt de hele tijdlijn zonder zichzelf te herhalen.

Het Resultaat: Een Super-Slimme Samenvatting

Door deze drie regels te combineren, comprimeert AVOC een enorme, uur durende video- en audiostroom tot een kleine, uiterst efficiënte "token"-sequentie. Het gooit de saaie, repetitieve of irrelevante delen weg en houdt alleen de "gouden brokken" informatie over.

Wat hebben ze ontdekt?

Het werkt beter dan ieder ander: Bij tests op lange video's (tot 90 minuten) beantwoordde AVOC vragen veel nauwkeuriger dan andere topmodellen. Het versloeg het op één na beste model met een aanzienlijke marge (gemiddeld ongeveer 5 punten hoger).
Het vindt de "naald in de hooiberg": Ze testten of de AI een specifiek geheim nummer kon vinden dat ergens verborgen zat in een video van 1 uur. AVOC kon dit bijna perfect vinden, zelfs in video's van een uur lang, terwijl andere modellen begonnen te falen naarmate de video's langer werden.
Het is snel: Ondanks dat het deze complexe sortering uitvoert, vertraagt het de AI niet veel. Sterker nog, omdat het zoveel nutteloze data weggooit, kan de AI de video zelfs sneller verwerken dan voorheen.

Kortom, AVOC leert de AI hoe het een betere lezer kan zijn: het leest niet alleen elk woord van een boek van 500 pagina's; het leert te scannen, de belangrijke delen te markeren en de onzin te negeren, zodat het jouw vraag perfect kan beantwoorden.

Technische Samenvatting: AVOC – Het verbeteren van audio-visueel begrip op uurniveau via retrieval-geïnspireerde tokencompressie

1. Probleemstelling

Multimodale Large Language Models (MLLM's) hebben aanzienlijk succes geboekt in kortdurende audio-visuele taken. Het uitbreiden van deze capaciteiten naar audio-visueel begrip op uurniveau stuit echter op twee primaire knelpunten:

Beperkingen van het contextvenster: De enorme sequentie van tokens gegenereerd door langdurige video en audio met een hoge bemonsteringsfrequentie overschrijdt de contextvensters van huidige MLLM's.
Informatieredundantie: Ruwe audio-visuele stromen bevatten aanzienlijke redundantie. Naïve reductiestrategieën (bijv. uniforme ijle bemonstering) missen vaak kritieke, kortstondige gebeurtenissen, terwijl dichte bemonstering de contextbudgetten uitput, wat leidt tot sequentie-afkorting en de verwatering van cruciale aanwijzingen.

Bestaande compressiemethoden voor Omni-Modale LLM's vertrouwen vaak op asymmetrische, unidirectionele ontwerpen (bijv. het gebruik van audio om video te snoeien of vice versa). Deze benaderingen lopen het risico cruciale informatie weg te gooien als de "sturende" modaliteit zwakke of ijle signalen geeft, waardoor ze er niet in slagen de complexe, onderling afhankelijke aard van real-world multimodale content zoals films of vergaderingen te vatten.

2. Methodologie: AVOC-framework

De auteurs stellen AVOC voor, een framework dat multimodale tokencompressie herdefinieert als een top-K retrieval-probleem. Gegeven een vast contextbudget $K$ en een grote pool van kandidaat-tokens, is het doel om een compacte subset te extraheren die het beste ondersteunt bij het beantwoorden van een gebruikersvraag. AVOC integreert drie klassieke Information Retrieval (IR) criteria in een verenigde, leerbare compressie-pipeline gepositioneerd tussen de modality encoders en de LLM-backbone.

2.1 Kerncomponenten

De compressiemodule werkt in drie stadia om tokens te genereren en te selecteren:

Relevantie (Tekst-gestuurde Cross-Attention Scoring):
- Mechanisme: Behandelt de tekstuele gebruikersvraag als de zoekopdracht en de multimodale tokens als de kandidaat-corpus.
- Implementatie: Berekent cross-attention scores tussen tekstembeddings en multimodale tokenembeddings. De relevantiescore voor een token is het gemiddelde attention logit ontvangen van alle tekstuele tokens.
- Doel: Prioriteert tokens die relevant zijn voor de specifieke gebruikersvraag.
Belangrijkheid (Bidirectionele Video-Audio Cross-Attention Scoring):
- Mechanisme: Legt intrinsieke informatieve waarde vast die onafhankelijk is van de vraag (query-agnostisch), wat zaken aanpakt waarbij de vraag relatief ijle is ten opzichte van rijke audio-visuele content.
- Implementatie: Berekent binnen elk temporeel blok bidirectionele cross-attention tussen video- en audiotokens. Tokens die sterk interageren met de tegenovergestelde modaliteit ontvangen hogere scores.
- Doel: Zorgt ervoor dat semantisch dichte regio's (bijv. een scène met zowel dialoog als actie) behouden blijven, zelfs als ze niet expliciet worden bevraagd.
Diversiteit (Temporal-Aware Maximal Marginal Relevance - TA-MMR):
- Mechanisme: Voorkomt de selectie van redundante, aangrenzende tokens, terwijl onderscheidende maar semantisch gelijkaardige gebeurtenissen worden behouden.
- Implementatie: Een re-ranking stadium met een gemodificeerde MMR-objective. In tegen tegenstelling tot standaard MMR, beperkt TA-MMR de redundantie-straf tot een lokale temporele window ( $W$ ). Het straft gelijkenis alleen af onder tokens binnen $[\tau_i - W, \tau_i + W]$ .
- Doel: Onderdrukt informatieel repetitieve aangrenzende tokens (bijv. statische scènes) zonder herhalende gebeurtenissen die op verschillende tijdstippen voorkomen te onderdrukken.

2.2 Selectie en Training

Budgetallocatie: Het totale tokenbudget $K$ wordt verdeeld in modaliteit-specifieke budgetten ( $K_{video}, K_{audio}$ ) om een gebalanceerde cross-modale representatie te garanderen. TA-MMR wordt onafhankelijk binnen elke modaliteit toegepast.
Differentieerbare Training: Om end-to-end training mogelijk te maken, wordt de discrete top-K selectie benaderd met behulp van Gumbel-Softmax met een Straight-Through Estimator. De TA-MMR re-ranking wordt tijdens de training uitgeschakeld (vanwege het gulzige, iteratieve karakter) en geactiveerd tijdens de inferentie.
Tweestaps-training:
1. Fase 1: Fine-tune de LLM-backbone op data zonder de compressiemodule om een stabiel gradiëntsignaal te vestigen.
2. Fase 2: Train gezamenlijk de willekeurig geïnitialiseerde compressiemodule en de LLM.

3. Belangrijkste Bijdragen

Nieuw Perspectief: Het herformuleren van multimodale tokencompressie als een top-K retrieval-probleem, waardoor de aanpassing van klassieke IR-principes (relevantie, belangrijkheid, diversiteit) aan het audio-visuele domein mogelijk wordt.
Leerbaar Compressiemodule: Het ontwerp van een verenigde module die drie IR-criteria instantiëert via op maat gemaakte mechanismen: tekst-gestuurde cross-attention, bidirectionele cross-modale attention en Temporal-Aware MMR.
Omni-Modale Capaciteit: Ontwikkeling van een Omni-Modale LLM (AVOC) die in staat is om urenlange audio-visuele stromen te verwerken, waarbij zowel holistisch begrip als fijnmazige retrieval onder strikte contextbudgetten wordt bereikt.

4. Experimentele Resultaten

De auteurs hebben AVOC geëvalueerd op meerdere long-form audio-visuele benchmarks en een aangepaste Needle-in-a-Haystack (NIAH) taak.

Benchmark Prestaties:
- OmniVideoBench: AVOC behaalde een gemiddelde nauwkeurigheid van 39,8% op de (10, 30] min subset en 42,3% totaal, waarmee het de op één na beste modellen met respectievelijk 4,9 en 5,5 punten versloeg.
- LVOmniBench: AVOC behaalde 41,3% op de Medium subset en 35,5% op de High subset, met een gemiddelde van 40,3%, waarmee het de tweede beste met 5,5 punten versloeg.
- WorldSense: AVOC behaalde 52,6% nauwkeurigheid, een verbetering van 1,7 punt ten opzichte van de tweede beste.
- Observatie: De prestatiewinst schaalt met de videoduur, wat aangeeft dat de methode bijzonder effectief is voor ultra-lange content waar redundantie het hoogst is.
Audio-Video Needle-in-a-Haystack (AV-NIAH):
- AVOC demonstreerde robuuste retrieval-capaciteiten voor "needles" (geheime trefwoorden) verborgen in video's tot wel 3600 seconden (1 uur) lang.
- In tegenstelling tot baselines (bijv. OmniZip) die een significante degradatie in nauwkeurigheid vertoonden voorbij 2000–3000 seconden, behield AVOC een hoge nauwkeurigheid over het gehele duur-diepte rooster.
Ablatie Studies:
- Het verwijderen van een enkele component (Relevantie, Belangrijkheid of Diversiteit) resulteerde in een prestatievermindering, wat hun complementaire aard bevestigt.
- De optimale modaliteit budgetratio werd gevonden op 2:1 (Video:Audio), wat de hogere informatiedichtheid van visuele aanwijzingen in de geteste benchmarks reflecteert.
- De TA-MMR hyperparameters ( $\lambda=0.15, W=3$ ) waren cruciaal; het instellen van de window radius op oneindig (waardoor het degradeert naar standaard MMR) veroorzaakte prestatieverlies, wat de noodzaak voor temporele awareness valideert.
Efficiëntie:
- De compressiemodule voegt minimale overhead toe (ongeveer 1,8s voor volledige retentie).
- Agressieve compressie (retentieratio $\rho=0.1$ ) verminderde de prefilling latentie met bijna 9x (van 4,45s naar 0,5s) vergeleken met de ongecomprimeerde backbone.

5. Betekenis en Claims

Het artikel beweert dat AVOC een belangrijke stap vormt naar Omni-Modale LLM's die in staat zijn tot redeneren over rijke, urenlange multimodale content. Door verder te gaan dan rigide, asymmetrische compressiestrategieën naar een symmetrische, retrieval-geïnspireerde benadering, adresseert AVOC de fundamentele trade-off tussen contextvensterbeperkingen en informatieredundantie. De auteurs stellen dat hun framework modellen in staat stelt om een robuust begrip en fijnmazige retrieval-capaciteiten te behouden in real-world scenario's (bijv. films, vergaderingen, tutorials) die voorheen ontoegankelijk waren vanwege sequentielengte-beperkingen.