💻 computer science

O-MARC: Omni Memory-Augmented Compression Distillation for Efficient Video Understanding

Dit artikel introduceert O-MARC, een trainingsvrij compressiedistillatiekader gekoppeld aan de UGC-AVQA-benchmark, dat de efficiëntie en nauwkeurigheid van omni-modale videobegrip aanzienlijk verbetert door de inferentielatentie en het geheugengebruik te verminderen terwijl essentiële audio-visuele associaties behouden blijven.

Oorspronkelijke auteurs: Peiran Wu, Yunze Liu, Chi-Hao Wu, Chen Chen, Junxiao Shen

Gepubliceerd 2026-05-27

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Peiran Wu, Yunze Liu, Chi-Hao Wu, Chen Chen, Junxiao Shen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Te Veel Ruis in de Bioscoop

Stel je voor dat je probeert een complex verhaal in een film te begrijpen. De film heeft twee hoofdstromen van informatie: wat je ziet (de acteurs, het decor) en wat je hoort (dialogen, geluidseffecten, achtergrondruis).

Huidige AI-modellen die proberen deze films te begrijpen, lijken op studenten in een bibliotheek die een stapel van 10.000 pagina's tekst en 10.000 audio-transcripten hebben gekregen. Om het antwoord te krijgen, moet de AI elk enkel woord lezen en elk enkel geluid beluisteren. Dit maakt het proces:

Traag: Het duurt eeuwig om te verwerken.
Duur: Het vereist een enorme hoeveelheid computergeheugen (alsof je probeert een hele bibliotheek in je rugzak te dragen).
Verwarrend: In echte video's (zoals die op TikTok of YouTube) zit veel "ruis". De AI raakt vaak afgeleid door irrelevante details en mist de connectie tussen een specifiek geluid en een specifieke visuele actie.

De Oplossing: Een Driedelige Toolkit

De auteurs van dit artikel bouwden een toolkit om dit op te lossen. Ze creëerden een nieuwe test, een nieuwe "compressie"-methode en een nieuwe "trainings"-methode.

1. De Nieuwe Test: "De Stumknop-uitdaging" (UGC-AVQA)

Ten eerste realiseerden de onderzoekers dat bestaande tests niet goed genoeg waren. Ze wilden weten of de AI daadwerkelijk geluid en zicht verbond, of gewoon gokte op basis van wat het zag.

De Analogie: Stel je een quiz voor waarbij je een video ziet van een persoon die een glas laat vallen.
- Oude Test: De AI ziet alleen het glas breken en raadt: "Het brak." (Makkelijk, maar bewijst niet dat het het crashgeluid hoorde).
- De Nieuwe Test (UGC-AVQA): De onderzoekers creëerden een speciale benchmark waarbij ze de video dovden voor een superslimme AI. Als de AI de vraag nog steeds perfect kon beantwoorden zonder geluid, was de vraag te makkelijk en werd deze weggegooid.
- Het Resultaat: Ze hielden alleen de "moeilijke" vragen over waarbij je het geluid moet horen om de visuele gebeurtenis te begrijpen (bijv. "Waarom stopte de hond met rennen?" -> Je moet horen dat de eigenaar "Stop!" schreeuwt). Dit zorgt ervoor dat de AI echt samen luistert en kijkt.

2. De "Slimme Samenvatter" (OMAC)

Vervolgens hadden ze een manier nodig om de AI sneller te maken zonder de belangrijke details te verliezen. Ze bedachten OMAC (Omni Memory-Augmented Compression).

De Analogie: Stel je voor dat je notities maakt voor een vriend die een film heeft gemist.
- De Oude Manier (Directe Pruning): Je verwijdert gewoon 70% van de pagina's willekeurig. Je zou de pagina kunnen verwijderen waarop de schurk zijn plan onthult.
- De OMAC Manier: Je doet alsof je een slimme redacteur bent.
  1. Visueel Geheugen: Je scant de film en zegt: "Oké, deze scène waar de autoachtervolging plaatsvindt is belangrijk. Ik houd die frames vast. Deze scène van de bewegend wolken is saai; ik vat het samen in één zin."
  2. Audio-Ankers: Je luistert naar de audio. "Het geschreeuw is belangrijk; houd dat vast. De achtergrondwind is saai; knip het weg."
  3. De Magische Link: Hier komt het slimme deel. Als de visuele redacteur besluit dat een specifieke scène superbelangrijk is, zegt de audio-redacteur: "Oké, ik geef meer ruimte aan het geluid in die exacte scène." Als de visuele scène saai is, wordt het geluid agressiever gecomprimeerd.
- Het Resultaat: De AI krijgt een "highlights reel" dat veel korter is, maar alle cruciale aanwijzingen behoudt die nodig zijn om het mysterie op te lossen. Het draait 34% sneller en gebruikt 34% minder geheugen.

3. De "Trainer" (O-MARC)

Tot slot realiseerden ze zich dat zelfs met een geweldige "highlights reel", de AI misschien niet wist hoe hij dit moest bestuderen. De AI was gewend om het volledige script te lezen, dus toen ze de samenvatting gaven, raakte het in de war.

De Analogie: Stel je een student voor die gewend is om een 500-pagina's dik handboek te lezen. Je geeft ze plotseling een samenvatting van 5 pagina's. Ze kunnen zakken omdat ze niet weten hoe ze de kernpunten uit de samenvatting moeten halen.
- De Oplossing (O-MARC): De onderzoekers creëerden een trainingsmethode waarbij de AI oefent op de "samenvatting" (de gecomprimeerde data) terwijl hij wordt begeleid door een "leraar" (de AI die het volledige script leest).
- Hoe het werkt: De leraar lost het probleem op met het volledige script. De student probeert het op te lossen met de gecomprimeerde samenvatting. Als de student het fout heeft omdat de samenvatting te kort was, krijgt de student extra punten voor het proberen om uit dat specifieke gat te leren.
- Het Resultaat: De AI leert robuust te zijn. Het wordt heel goed in het oplossen van problemen, zelfs als de informatie gecomprimeerd is.

De Resultaten: Klein maar Krachtig

De onderzoekers testten dit op een klein, efficiënt AI-model (3 miljard parameters, wat vergelijkbaar is met een "compacte auto" in vergelijking met de "zware vrachtwagens" van andere modellen).

Zonder hun hulp: Het kleine model scoorde 44,1.
Met OMAC (de samenvatter): Het scoorde 42,8 (een lichte daling, wat te verwachten is bij het weghalen van data).
Met O-MARC (de trainer): Het scoorde 45,8.

De Grote Overwinning: Door hun compressie- en trainingsmethode te gebruiken, versloeg het kleine, efficiënte model het grotere, niet-gecomprimeerde model (45,8 vs 44,1). Ze bewezen dat je geen enorme computer nodig hebt om video's goed te begrijpen; je hebt alleen een slimme manier nodig om de ruis te filteren en het model te trainen om met de gefilterde data om te gaan.

Samenvatting

Het artikel introduceert een manier om AI-video-interpretatie sneller, goedkoper en slimmer te maken door:

Het creëren van een moeilijkere test die de AI dwingt geluid en zicht te verbinden.
Het bouwen van een "slimme redacteur" die de belangrijke visuele en audio-aanwijzingen behoudt terwijl de ruis wordt verwijderd.
Het trainen van de AI om comfortabel te werken met deze "bewerkte" samenvattingen, waardoor kleine modellen kunnen presteren als grote modellen.

Technische Samenvatting: O-MARC: Omni Memory-Augmented Compression Distillation voor Efficiënt Videobegrip

1. Probleemstelling

Omnimodale grote taalmodellen (LLM's) zijn een veelbelovende richting gebleken voor een geïntegreerd begrip van audio, visuele informatie en taal. Hun inferentie blijft echter kostbaar vanwege de token-intensieve aard van zowel audio- als videomodaliiteiten. Het gezamenlijk verwerken van videoframes en audiostraten genereert lange multimodale sequenties, wat leidt tot aanzienlijke geheugenhoeveelheden en trage inferentie, met name voor lange video's.

Hoewel tokencompressie een natuurlijke oplossing is, is het uitbreiden daarvan naar audiovisuele invoer niet triviaal. In tegenstelling tot visuele compressie alleen, moet audiovisuele compressie twee modaliteiten met verschillende redundantiepatronen verwerken: videotokens vertonen vaak ruimtelijke en temporele redundantie, terwijl audiotokens korte maar beslissende aanwijzingen kunnen coderen. Cruciaal is dat het belang van elke modality vaak onderling afhankelijk is; een geluid krijgt betekenis wanneer het is verankerd in een zichtbare scène, en een visueel evenement kan dubbelzinnig blijven zonder het bijbehorende geluid. Bestaande compressiemethoden comprimeren modaliteiten vaak geïsoleerd, waardoor mogelijk de cross-modale bewijslast wordt verwijderd die noodzakelijk is voor nauwkeurig redeneren.

Bovendien slagen bestaande benchmarks er niet in om de audio-visuele associatie volledig te isoleren in ruisachtige, door gebruikers gegenereerde inhoud (UGC). Veel huidige benchmarks evalueren redeneren over lange video's, maar vertrouwen voornamelijk op op visie gebaseerde modellen die zelden audiosignalen gebruiken, of ze filteren vragen die alleen met visuele priors oplosbaar zijn niet expliciet uit.

2. Methodologie

Het artikel stelt een drievoudige aanpak voor: een nieuwe benchmark, een trainingsvrije compressiemethode en een compressiebewust distillatiekader.

2.1 UGC-AVQA Benchmark

Om de evaluatiekloof aan te pakken, introduceren de auteurs UGC-AVQA, een publieke benchmark opgebouwd uit 1.000 publieke UGC-kortvideo's met 4.816 QA-paren.

Focus: Gedetailleerde audio-visuele associatie over gebeurtenissen, scènes en temporele veranderingen.
Opbouw: Video's zijn geannoteerd met gedetailleerde bijschriften en meerkeuzevragen in vier categorieën: Audio-Visuele Voortgang van Gebeurtenissen, Audio-Visuele Scène/Temporele Overgang, Cross-Scène Uitlijning en Gedetailleerd Contrast.
Moeilijkheidsfilter: Om te waarborgen dat vragen beide modaliteiten vereisen, wordt een "audioverwijderingstest" toegepast. Een steekproef wordt alleen behouden voor de benchmark als een sterk model (Gemini-3.1-Flash) faalt wanneer de audiospoor wordt verwijderd. Dit filtert vragen uit die alleen met visuele priors oplosbaar zijn.
Verdeling: De dataset is verdeeld in een trainingsset (794 video's, 3.168 QA-paren) en een benchmarkset (206 video's, 1.648 QA-paren), waarbij menselijke beoordeling de kwaliteit waarborgt.

2.2 OMAC (Omni Memory-Augmented Compression)

OMAC is een trainingsvrije, plug-in compressiemethode die ontworpen is om opvallend visueel geheugen en temporeel verankerde audio-ankers te behouden zonder het backbone-model te wijzigen.

Visueel Geheugen:
- Frame Scoren: Frames worden samengevat en gescoord op relevantie voor de query. Hoogscorende frames worden geselecteerd als sleutelframes.
- Token Selectie: Binnen geselecteerde frames worden tokens gescoord op contrast met het framecentrum. Distinctieve tokens worden behouden als expliciet visueel geheugen, terwijl een compact frame-geheugentoken wordt gevormd via gewogen pooling.
- Structuur: Dit creëert een tweeledige geheugenstructuur: framesamenvattingen (grof geheugen) en distinctieve lokale tokens plus een compacte samenvatting (gedetailleerd geheugen).
Audio Geheugen & Budgetaanpassing:
- Ankers: Audiotokens worden gescoord op belangrijkheid. Hoogscorende tokens worden "ankers", en nabijgelegen weggegooide tokens worden ermee samengevoegd om compacte akoestische geheugenplekken te vormen.
- Cross-Modaal Budgetteren: OMAC gebruikt de visuele geheugenverdeling om het audio-budget aan te passen. Als een tijdssegment significant visueel geheugen behoudt, wordt het audio-budget voor dat segment verhoogd. Omgekeerd worden visueel lichte intervallen agressiever gecomprimeerd. Dit zorgt ervoor dat de gecomprimeerde sequentie de gebeurtenisstructuur over modaliteiten behoudt in plaats van geïsoleerde tokens.

2.3 O-MARC (Omni Memory-Augmented Compression Distillation)

Om compacte modellen robuust te maken voor gecomprimeerde invoer, introduceren de auteurs O-MARC, een compressiedistillatiekader gebaseerd op Group Relative Policy Optimization (GRPO).

Mechanisme: Voor elke query steekt het beleid twee rollouts: een "leraar"-tak die volledige tokens gebruikt en een "student"-tak die OMAC-gecomprimeerde tokens gebruikt.
Beloning Vormgeving: Het verschil tussen de leraar- en studentenbeloningen ( $\Delta_i$ ) meet degradatie veroorzaakt door compressie. Dit verschil wordt gebruikt om het GRPO-voordeel te herschikken.
Doel: Het trainingsdoel wordt gewijzigd om beleidsoptimalisatie te beïnvloeden naar gedrag dat robuust blijft onder geheugencompressie. Specifiek krijgen steekproeven die voordelig zijn onder GRPO maar sterk worden gedegradeerd door compressie, grotere positieve updates. Dit stelt het model in staat om effectief te redeneren binnen een verminderd tokenbudget.

3. Belangrijkste Bijdragen

UGC-AVQA: Een nieuwe publieke benchmark voor audio-visuele associatie in UGC-video's, met een audio-verwijderingsmoeilijkheidscontrole om te waarborgen dat vragen echt multimodaal redeneren vereisen.
OMAC: Een trainingsvrije plug-in compressiemethode die opvallend visueel geheugen behoudt en visuele context gebruikt om dynamisch audio-geheugenbudgetten toe te wijzen.
O-MARC: Een compressiedistillatiekader dat omnimodale modellen traint om robuust te redeneren onder gecomprimeerde multimodale contexten, en dat superieur presteert aan standaard tokenpruning en hedendaagse op training gebaseerde baselines.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op modellen variërend van 3B tot 30B parameters (Qwen2.5-Omni en Qwen3-Omni serie) over vier benchmarks: DailyOmni, UGC-AVQA, OmniVideo en WorldSense.

OMAC Prestaties: OMAC presteert consequent beter dan directe tokenpruning (OmniZip) en inferentie met volledige tokens in de afweging tussen efficiëntie en nauwkeurigheid.
- Op Qwen2.5-Omni-3B verbeterde OMAC de gemiddelde score tot 45,8, wat beter is dan inferentie met volledige tokens (44,1) en OmniZip (41,0).
- Het verlaagde de inferentielatentie met 34,6% (1,53× snelheidswinst) en het geheugengebruik met 34,7% ten opzichte van inferentie met volledige tokens.
O-MARC Prestaties:
- Efficiëntie: Op het 3B-model behaalde O-MARC (getraind met slechts 3k steekproeven) een gemiddelde score van 45,8, wat beter is dan de baseline met volledige tokens (44,1) en OMAC alleen (42,8).
- Schaalbaarheid: Wanneer geschaald naar het 7B-model met 100k+ trainingssteekproeven, behaalde O-MARC een gemiddelde score van 51,1, wat beter is dan de hedendaagse op training gebaseerde baseline OmniSIFT (48,7) en de nauwkeurigheid op UGC-AVQA significant verbeterde (64,6 versus 56,4).
Ablatiestudies:
- Compressieverhouding: OMAC behield hoge prestaties zelfs bij 70% compressie, terwijl de prestaties van OmniZip significant daalden.
- Leiding: Het volledige OMAC-ontwerp (Visueel $\to$ Audio-budgetaanpassing) presteerde beter dan varianten waarbij audio visuele compressie leidde of waarbij modaliteiten onafhankelijk werden gecomprimeerd.

5. Betekenis en Claims

Het artikel stelt dat efficiënt omnimodaal redeneren niet uitsluitend moet worden gezien als een techniek voor versnelling van inferentie, maar als een trainbare voorwaarde.

Onderlinge Afhankelijkheid: De resultaten tonen aan dat audio- en videocompressie niet geïsoleerd kunnen worden behandeld; het behoud van cross-modale bewijslast (bijvoorbeeld het gebruik van visueel geheugen om audio-budgettering te sturen) is cruciaal voor het behoud van redeneercapaciteiten.
Robuustheid: Via O-MARC tonen de auteurs aan dat compacte modellen kunnen worden getraind om effectief te redeneren onder verminderde tokenbudgetten, vaak beter presterend dan grotere modellen of inferentie met volledige tokens in efficiëntie-beperkte omgevingen.
Evaluatie: De introductie van UGC-AVQA benadrukt een gat in huidige benchmarks, en laat zien dat betrouwbare UGC audio-visuele QA meer vereist dan generieke visuele herkenning of unimodale priors, wat een expliciete evaluatie van audio-visuele associatie noodzakelijk maakt.

De auteurs concluderen dat hun verenigde studie van benchmarkopbouw, geheugencompressie en compressiebewuste training een weg biedt naar robuust en efficiënt omnimodaal redeneren voor real-world, ruisachtige video-inhoud.