Technische Samenvatting: OmniDrop

Probleemstelling

Omni-modale Grootte Taalmodellen (Omni-LLM's) hebben aanzienlijk potentieel aangetoond in holistische multimodale begrijpen, waarbij tekst, audio en video worden geïntegreerd. Een kritieke bottleneck voor real-time toepassingen en redeneren over lange duur is echter de "token-explosie" veroorzaakt door temporale data met hoge resolutie. Audio- en videosignalen genereren aanzienlijk meer tokens dan tekst (bijvoorbeeld kan een videoclip van één minuut projecteren naar meer dan 10.000 tokens), wat leidt tot een kwadratische groei in computatie- en geheugenoverhead.

Bestaande methoden voor tokencompressie voor Omni-LLM's voeren doorgaans pruning uit op het niveau van de input-embeddings. Deze benaderingen vertrouwen op aannames dat audio-video tokens semantisch zijn uitgelijnd via gedeelde representatieruimtes of temporale co-voorkomen. De auteurs betogen dat deze aannames onbetrouwbaar zijn om twee hoofdredenen:

1. Zwakke Pre-LLM Uitlijning: Audio- en video-embeddings bezetten distincte deelruimtes binnen de LLM-embeddingsruimte voordat verwerking plaatsvindt, wat resulteert in een lage cross-modale cosinusgelijkheid die geen zinvolle semantische relaties kan identificeren.
2. Onbetrouwbaar Temporale Co-voorkomen: Gelijktijdige audio- en visuele gebeurtenissen impliceren niet noodzakelijk semantische correspondentie (bijvoorbeeld kan achtergrondmuziek of voice-over buiten beeld niet overeenkomen met zichtbare inhoud).

Gevolg hiervan is dat pruning op inputniveau gebaseerd op embedding-afstand of co-voorkomen vaak belangrijke modality-specifiek bewijs verwijdert, wat leidt tot suboptimale tokenselectie.

Methodologie: OmniDrop

Om deze beperkingen aan te pakken, stellen de auteurs OmniDrop voor, een trainingsvrij, laag-voor-laag token-pruning framework. In tegenstelling tot eerdere methoden, pruneert OmniDrop tokens progressief binnen de decoderlagen van de LLM in plaats van op het inputstadium, waarbij gebruik wordt gemaakt van drie kernmechanismen:

1. Progressieve Laag-voor-laag Token Pruning (PLP)

Gedreven door de observatie dat omni-modale informatiefusie progressief plaatsvindt via decoderlagen, hanteert OmniDrop een dynamisch pruning-schema.

• Vroege Lagen: Pruning is conservatief (laag percentage) om voldoende omni-modale informatiefusie en integratie tussen audio- en videostralen toe te staan.
• Diepe Lagen: Pruning wordt agressief (hoog percentage) zodra het model duidelijke query-relevante tokenvoorkeuren heeft gevormd.
• Implementatie: Het pruning-percentage $p_l$ voor laag $l$ volgt een sigmoid-functie:
  $$p_l = p_{init} + (p_{final} - p_{init}) \cdot \sigma(l, t_{mid}, \beta)$$
  Dit zorgt ervoor dat tokens worden behouden in ondiepe lagen voor integratie en worden verwijderd in diepere lagen waar informatieve tokens beter onderscheidbaar zijn.

2. Query-geleide Token Belang

In plaats van audio- en video-tokens direct te vergelijken, gebruikt OmniDrop de tekstquery als semantische mediator.

• Mechanisme: De belangsscore $S$ voor audio- en video-tokens wordt berekend op basis van de gemiddelde attentiescores van tekst-tokens naar de audiovisuele tokens:
  $$S = \frac{1}{n_T} \sum_{q} \text{Attn}_{q \to \{V,A\}}$$
• Adaptiviteit: Dit stelt het model in staat om tokenbudgetten dynamisch toe te wijzen op basis van taakeisen. Voor audio-gerichte taken worden meer audiotokens behouden; voor video-gerichte taken worden meer videotokens bewaard. Dit zorgt voor minimale informatieverlies voor de specifieke query.

3. Temporale Diversiteitsscore (TDS)

Om over-pruning van tokens te voorkomen die temporale ver verwijderd zijn van de primaire attentiepiek (wat kan leiden tot verlies van globale context), introduceert OmniDrop een diversiteitsmetriek.

• Proces:
  1. Identificeer het "sleutelchunk" ($c_{max}$) dat de token met de hoogste belangsscore bevat.
  2. Selecteer een kandidaatbuffer van de tokens met de laagste scores.
  3. Bereken een genormaliseerde temporale afstand $D$ vanaf $c_{max}$.
  4. Verhoog de finale score: $S_{TDS} = S + \lambda_{div} \cdot D$.
• Effect: Tokens die temporale ver van de primaire attentiepiek verwijderd zijn, krijgen een scoreverhoging, wat een gebalanceerde token-overleving over de sequentie aanmoedigt en de globale temporale context behoudt.

4. Intra-modale Pruning

Voordat tokens de LLM ingevoerd worden, voert OmniDrop onafhankelijke intra-modale pruning uit om redundantie te verwijderen:

• Audio: Behoudt tokens met de hoogste attentiescores uit de laatste laag van de audio-encoder.
• Video: Gebruikt Temporal Token Merging (TTM) om opeenvolgende redundante visuele tokens te filteren op basis van cosinusgelijkheid.
• Resultaat: Deze voorverwerking reduceert het initiële tokenaantal tot ongeveer 45% voordat de laag-voor-laag pruning begint.

Belangrijkste Bijdragen

1. Analyse van Beperkingen op Inputniveau: Het artikel toont aan dat audio-video gelijkenis op inputniveau een zwak signaal biedt voor tokenpruning vanwege onvoldoende uitlijning in pre-LLM-embeddings en de onbetrouwbaarheid van temporale co-voorkomen als proxy voor semantische relevantie.
2. OmniDrop Framework: Een nieuw, trainingsvrij, laag-voor-laag pruning framework dat tekstqueries benut voor modality-agnostische en taak-adaptieve tokenselectie. Het hanteert een progressief pruning-schema en een temporale diversiteitsscore om efficiëntie en behoud van context in evenwicht te brengen.
3. Empirische Validatie: Uitgebreide experimenten op diverse benchmarks (VideoMME, WorldSense, AVUT) tonen aan dat OmniDrop bestaande SOTA trainingsvrije methoden (OmniZip, DASH) overtreft, terwijl het tegelijkertijd de latentie en geheugengebruik aanzienlijk reduceert.

Experimentele Resultaten

Geëvalueerd op Qwen2.5-Omni (7B en 3B modellen), behaalde OmniDrop het volgende:

• Prestatiewinst: Overtrof alle baselines met maximaal 3,58 punten (specifiek op de AVUT-benchmark met het 7B-model). Opmerkelijk is dat bij 30% tokenbehoud, OmniDrop de 100% full-token baseline op VideoMME overtrof.
• Robuustheid: Onder extreme compressie (20% behoud) vertoonde OmniDrop minimale prestatiedegradatie (gemiddelde daling van 0,18–0,47 punten) in vergelijking met baselines die met meer dan 1,0 punt daalden.
• Efficiëntie: Reduceerde de prefill-latentie met maximaal 40% en het GPU-geheugengebruik met maximaal 14,7% in vergelijking met full-token inferentie, terwijl het concurrerende prestaties behield.
• Taak-adaptiviteit: Analyse bevestigde dat het query-geleide mechanisme de tokenbehoudspercentages succesvol aanpast aan specifieke taakbehoeften (bijvoorbeeld meer audio behouden voor audioherkenningsopdrachten en meer video voor scèneherkenning).

Betekenis en Claims

Het artikel claimt dat OmniDrop een praktische oplossing biedt voor schaalbare en responsieve Omni-LLM's door tokenpruning fundamenteel te verschuiven van het inputniveau naar de decoderlagen. Door tekstqueries te benutten als geleidingssignaal en de progressieve aard van omni-modale fusie te erkennen, bereikt de methode superieure efficiëntie-prestatie trade-offs zonder dat modelhertraining of architecturale aanpassingen nodig zijn.

De auteurs erkennen beperkingen, waarbij zij opmerken dat de methode momenteel afhankelijk is van tekstprompts voor tokenselectie, wat het gebruik beperkt tot scenario's met alleen audio/video-inputs. Bovendien worden, als trainingsvrij framework, hyperparameters (zoals pruning-schema's) empirisch bepaald in plaats van geleerd. Toekomstig werk richt zich op het verkennen van methoden om semantische relaties te vangen zonder tekstuele begeleiding en het optimaliseren van pruning-beslissingen via kalibratiegegevens.