OmniFocus: Query-Guided Modality-Balanced Token Compression for Omni-Modal Large Language Models

Technische Samenvatting: OmniFocus

Probleemstelling
Omni-modale Large Language Models (OmniLLMs) hebben het vermogen getoond om audio en video gezamenlijk te verwerken, wat taken mogelijk maakt zoals audio-visueel begrip, empathisch redeneren en bijschriften genereren. Echter, audio-visuele inputs genereren uitgebreide token-sequenties, wat leidt tot substantiële inferentiekosten die de toepasbaarheid in langdurige settings en omgevingen met beperkte middelen beperkt. Hoewel tokencompressie een standaardoplossing is voor het verminderen van inferentiekosten in unimodale of visie-taalmodellen, brengt het toepassen ervan op OmniLLMs unieke uitdagingen met zich mee: de methode moet gelijktijdig audio-bewijs, visueel bewijs en cross-modale uitlijning behouden.

Bestaande audio-visuele tokencompressiemethoden, zoals OmniZip, vertrouwen doorgaans op unimodale sturing (bijvoorbeeld het gebruik van audio-aandacht om de compressie van beide modaliteiten te sturen). De auteurs identificeren twee kritieke beperkingen in deze aanpak:

1. Verwaarlozing van Temporele Localiteit: Unimodaal-gestuurde methoden houden vaak geen rekening met de temporele localiteit van query-relevante bewijslast, waarbij ze aannemen dat de informatiedichtheid uniform verdeeld of uitgelijnd is over de modaliteiten.
2. Modaliteitsbias: Door één enkele modaliteit als gids te gebruiken, gaan deze methoden impliciet ervan uit dat de informatiedichtheidsdistributie van de sturende modaliteit ook geldt voor de andere. Dit leidt tot overfitting op de sturende modaliteit, terwijl potentieel cruciale bewijslast in de andere modaliteit wordt over het hoofd gezien, wat de prestaties op taken die vereisen dat er gezamenlijk audio-visueel wordt geredeneerd of die afhankelijk zijn van de niet-sturende modaliteit, verslechtert.

Methodologie: OmniFocus
De auteurs stellen OmniFocus voor, een training-vrije, query-gestuurde tokencompressiemethode die ontworpen is om modaal-symmetrische compressie te bereiken. In tegenstelling tot eerdere benaderingen die één modaliteit gebruiken om de andere te sturen, voert OmniFocus onafhankelijke belangrijkschatting uit voor video en audio op basis van de tekstuele query. De methode werkt in drie stadia voordat de tokens worden geconsumeerd door de LLM-backbone:

1. Query-bewuste Modaliteitsscore:

   • De methode extraheert query-tokens uit de embedding-laag van de LLM om ervoor te zorgen dat ze dezelfde inputruimte delen als de audio- en video-tokens.
   • Voor elk temporeel chunk berekent het onafhankelijk een relevantiescore voor video en audio door de maximale cosinus-gelijkenis tussen de query-representatie en de tokens binnen dat chunk te meten.
   • Deze "max-gelijkenis"-benadering legt effectief schaarse, query-overeenkomende bewijslast vast, waarbij wordt erkend dat relevante informatie geconcentreerd kan zijn in specifieke tokens in plaats van gelijkmatig verdeeld te zijn.

2. Chunk-gewijze Budgetallocatie:

   • Relevantiescores worden omgezet in compressiescores (waarbij hogere relevantie leidt tot lagere compressie).
   • Deze scores worden in kaart gebracht naar lokale drop-ratio's voor elk chunk onder globale modaliteit-specifieke budgetrestricties.
   • Een kalibratiestap zorgt ervoor dat het totale aantal behouden tokens overeenkomt met de doelstelling voor de globale retentieratio (bijv. 25% of 35%), terwijl verschillende temporele chunks en modaliteiten een adaptief lokaal budget kunnen ontvangen.

3. Dual-Score Tokenselectie:

   • Binnen elk chunk en elke modaliteit worden tokens geselecteerd op basis van twee complementaire criteria om zowel cross-modale uitlijning als modaliteit-specifieke salientie te behouden:
     • Inter-modale Associatie: Tokens worden gescoord op basis van hun gelijkenis met de gemiddelde representatie van de andere modaliteit in hetzelfde chunk. Dit behoudt de audio-visuele correspondentie.
     • Intra-modale Peak: Tokens worden gescoord op basis van hun onderscheidend vermogen ten opzichte van het gemiddelde van hun eigen modaliteit. Dit behoudt bewijslast die uniek is voor een specifieke modaliteit en die mogelijk gemist zou worden door louter cross-modale uitlijning alleen.
   • De uiteindelijke selectie splitst de behouden tokens gelijkmatig tussen de tokens met de hoogste associatiescores en de tokens met de hoogste peak-scores.

Belangrijkste Bijdragen

1. Identificatie van Modaliteitsbias: Het artikel valideert empirisch dat unimodaal-gestuurde compressie in OmniLLMs leidt tot modaliteitsbias, wat de prestaties op taken die de niet-sturende modaliteit of gezamenlijk redeneren vereisen, verslechtert.
2. OmniFocus Framework: De introductie van een training-vrije, query-gestuurde methode die symmetrische compressie uitvoert. Het schat de query-relevantie afzonderlijk in voor audio en video, waardoor bias wordt verminderd terwijl inter-modale associaties en intra-modale peaks worden behouden.
3. Empirische Validatie: Uitgebreide experimenten over vier audio-visuele benchmarks (DailyOmni, WorldSense, OmniVideoBench, VideoMME) tonen aan dat OmniFocus een gunstige nauwkeurigheid-efficiëntie-verhouding bereikt.

Resultaten
Experimenten werden uitgevoerd op de Qwen2.5-Omni-3B en Qwen2.5-Omni-7B modelfamilies.

• Prestaties: Bij een token-retentieratio van 25% presteerde OmniFocus beter dan bestaande baselines (OmniZip, DyCoke en Random) op verschillende belangrijke benchmark-scores.
  • Op DailyOmni (Qwen2.5-Omni-7B) behaalde OmniFocus een nauwkeurigheid van 59,40%, vergeleken met 57,73% voor OmniZip en 54,37% voor DyCoke.
  • Op WorldSense behaalde OmniFocus de beste gecomprimeerde resultaten in alle model-budget settings, waarbij het OmniZip met wel 1,04 punt versloeg op het 3B-model.
  • Op VideoMME behaalde het de beste gemiddelde scores voor gecomprimeerde versies in alle vier de settings.
• Efficiëntie: OmniFocus leverde significante versnellingen. Op DailyOmni met het 7B-model bij 25% retentie zorgde het voor een 1,38× prefill-versnelling en een 1,32× end-to-end versnelling ten opzichte van de full-token baseline, terwijl het een hogere nauwkeurigheid behield dan andere gecomprimeerde methoden.
• Ablatie-studies: De auteurs bevestigden dat:
  • Max-similarity scoring beter presteert dan gemiddelde gelijkenis.
  • Score-gebaseerde adaptieve allocatie superieur is aan random of uniforme allocatie.
  • De hybride inter-modale en intra-modale tokenselectiestrategie cruciaal is; het vertrouwen op slechts één van beide leidt tot prestatieverlies.
  • Modaliteit-gebalanceerde scoring (rekening houdend met zowel audio als video) robuuster is dan single-modality scoring.

Betekenis en Claims
Het artikel beweert dat query-gestuurde, modaal-symmetrische compressie een betrouwbaardere ontwerpkeuze is voor langdurig audio-visueel begrip dan single-modality-gestuurde tokenbudgettering. De betekenis van OmniFocus ligt in het vermogen om de modaliteitsbias die inherent is aan eerdere asymmetrische compressiestrategieën te mitigeren zonder modelhertraining. Door zowel cross-modale correspondentie als modaliteit-specifieke saillante bewijslast te behouden, stelt OmniFocus OmniLLMs in staat om efficiënt te opereren in omgevingen met beperkte middelen, terwijl de hoge getrouwheid in audio-visuele redeneertaken behouden blijft. De auteurs merken op dat hoewel de methode effectief is, de afhankelijkheid van bevroren input-embeddings betekent dat het minder precies kan zijn voor fijnmazige gebeurtenissen waarbij de initiële token-embeddings de query-intentie niet volledig vatten, en dat de generaliseerbaarheid naar architecturen buiten de Qwen2.5-Omni familie verdere evaluatie vereist.