DASH: Dynamic Audio-Driven Semantic Chunking for Efficient Omnimodal Token Compression

Probleemstelling

Omnimodale Large Language Models (OmniLLMs) verwerken geluid en beeldstromen gelijktijdig binnen één transformer-framework. Dit leidt echter tot zeer lange sequenties van multimodale tokens, wat de inferentie extreem rekenintensief maakt door de kwadratische complexiteit van self-attention.

Bestaande compressiemethoden (zoals OmniZip) hebben twee fundamentele beperkingen:

1. Vaste vensterindeling: Ze verdelen tokens in statische, gelijkmatige blokken (bijv. elke 4 frames), wat de inherente semantische structuur van audio-visuele signalen negeert.
2. Enkelvoudige signaalafhankelijkheid: Ze vertrouwen uitsluitend op attention-scores voor het verwijderen van tokens. Dit leidt tot een "sparsity bias", waarbij tokens die structureel cruciaal zijn (bijv. op overgangspunten) maar een lage attention-score hebben, onterecht worden verwijderd.

Het resultaat is dat agressieve compressie vaak leidt tot het verlies van narratieve continuïteit en semantische samenhang, omdat de compressie niet rekening houdt met de pieksgewijze coherentie (piecewise-coherent organization) van de data.

Methodologie: DASH

De auteurs stellen DASH (Dynamic Audio-driven Semantic cHunking) voor, een trainingsvrij framework dat tokencompressie aligneert met de semantische structuur van de data. Het proces verloopt in drie hoofdfasen:

1. Dynamische Semantische Chunking (Segmentniveau)
In plaats van vaste blokken te gebruiken, detecteert DASH grenzen in de audio-stroom die semantische overgangen aanduiden (bijv. pauzes, onderwerpswisselingen).

• Methode: Er wordt gekeken naar de cosine-similariteit tussen opeenvolgende audio-embeddings. Een scherpe daling in similariteit duidt op een semantische discontinuïteit.
• Constraint: Er wordt een minimum-chunkgrootte ($C_{min}$) ingesteld om te voorkomen dat ruis leidt tot te kleine segmenten.
• Resultaat: Variabele lengte segmenten die de natuurlijke ritmes van de audio volgen.

2. Audio-gedreven Visuele Segmentatie (Cross-modaal niveau)
Om de audio-grenzen op de video toe te passen, projecteert DASH deze grenzen naar video-token indices via een tijdsverhoudingsmapping (temporal ratio mapping).

• Principe: Omdat audio en video in OmniLLMs tijdelijk gecoördineerd zijn, corresponderen audio-overgangen vaak met visuele veranderingen (bijv. een scènewissel).
• Refinement: Een greedy-strategie zorgt ervoor dat de gegenereerde video-segmenten groot genoeg blijven voor de onderliggende compressie-algoritmen (bijv. minimaal 2 frames), terwijl de sterkste semantische grenzen behouden blijven.

3. Tri-Signal Fusie voor Token Scoring (Tokenniveau)
Binnen elk dynamisch segment worden tokens geselecteerd op basis van een gewogen som van drie signalen, in plaats van alleen attention:

1. Grenskans (Boundary Probability): Prioriteit voor tokens op semantische overgangspunten (structuur).
2. Uniekheid op basis van dichtheid (Uniqueness): Gemeten via een multi-schaal Gaussische kernel op de feature-embeddings om inhoudelijke distinctiviteit te vangen.
3. Attention-score: De door het model waargenomen salientie.

Deze fusie creëert een gebalanceerd "belang-landschap" en redt tokens die door attention alleen zouden worden genegeerd, maar die essentieel zijn voor de narratieve structuur.

4. Adaptieve Compressie
Het compressiepercentage per video-segment wordt dynamisch aangepast op basis van de informatie-dichtheid van het corresponderende audio-segment. Segmenten met rijke audio (snelle dialoog) behouden meer visuele tokens; stille segmenten worden sterker gecomprimeerd.

Belangrijkste Bijdragen

• Structuurbewuste Compressie: Het formuleren van tokencompressie als een segmentatieprobleem dat semantische grenzen volgt in plaats van positieregulariteit.
• Trainingsvrij Framework: DASH vereist geen extra training of learnable parameters; het werkt als een plug-in tussen de modale encoders en de LLM.
• Cross-modale Alignement: Het uniek projecteren van audio-grenzen op video-tokens om expliciete, semantisch onderbouwde segmentatie over modaliteiten heen te bereiken.
• Tri-Signal Fusie: Het introduceren van een mechanisme dat structurele, inhoudelijke en model-gebaseerde signalen combineert om de sparsity-problematiek van pure attention-selectie op te lossen.

Resultaten

DASH werd geëvalueerd op drie benchmarks: AVUT, VideoMME en WorldSense, met gebruik van Qwen2.5-Omni (7B en 3B).

• Prestatie bij hoge compressie: DASH behaalt vergelijkbare of betere nauwkeurigheid met slechts 25% token-retentie (dus 75% compressie) dan bestaande methoden die 35% retentie nodig hebben.
  • Voorbeeld: Op de 7B-modellen behaalde DASH (25% retentie) een score van 60.9% op AVUT, wat vergelijkbaar is met OmniZip op 35% (60.6%), maar met slechts 20% van de FLOPs.
• Efficiëntie:
  • Prefill-snelheid: Tot 3.5x versnelling op het 7B-model en 3.8x op het 3B-model.
  • Latentie: Tot 1.7x reductie in end-to-end latency.
  • Geheugen: Significant lagere geheugenvraag (bijv. 26GB vs 35GB voor Full Tokens op het 7B-model).
• Stabiliteit: De methode presteert consistent over verschillende domeinen (van wetenschap tot sport) en modelgroottes, wat aangeeft dat het een algemene verbetering is en geen specifiek tuning-effect.

Betekenis

DASH toont aan dat tokencompressie in multimodale modellen effectiever is wanneer deze wordt geleid door de semantische structuur van de data in plaats van statische posities. Door audio te gebruiken als een "semantisch anker" en een drievoudig signaal voor token-selectie te gebruiken, kan DASH agressieve compressie toepassen zonder de narratieve continuïteit of cross-modale coherentie te verliezen. Dit maakt real-time, efficiënte inferentie van omniLLMs op beperkte hardware mogelijk, wat een cruciale stap is voor de praktische implementatie van deze modellen in de echte wereld.