Technische Samenvatting: OmniSelect

Probleemstelling

OmniModale Grootte Taalmodellen (OmniLLMs) zijn ontstaan om het begrijpen van audio, video en tekst te verenigen binnen één autoregressieve architectuur. Het verwerken van hoogwaardige video- en audiostraten genereert echter een overmatig aantal tokens, wat leidt tot kwadratische complexiteit in aandachtmechanismen en aanzienlijke rekenkundige en geheugenknelpunten tijdens inferentie.

Hoewel tokencompressie is onderzocht voor single-modale taken (afbeeldingen, video, audio), vertrouwen bestaande oplossingen voor OmniLLMs op vaste, modality-specifieke begeleiding. Methoden zoals OmniZip gebruiken bijvoorbeeld audio-ankers om video-uitdunnen te sturen, terwijl anderen uitsluitend op visuele aanwijzingen vertrouwen. De auteurs betogen dat deze "one-size-fits-all"-strategieën ontoereikend zijn omdat de relatieve belangrijkheid van visuele en auditieve informatie aanzienlijk varieert per vraag. Zoals geïllustreerd in het artikel, vertrouwen sommige vragen sterk op visie, anderen op audio, en weer anderen vereisen een gebalanceerde integratie. Het gebruik van een ongepaste modus om compressie te sturen kan leiden tot het verwijderen van kritieke informatie en foutieve modelreacties.

Methodologie: OmniSelect

Om deze beperkingen aan te pakken, stellen de auteurs OmniSelect voor, een trainingsvrij, modality-adaptief token-uitdunningskader. De methode selecteert dynamisch de geschikte compressiestrategie voor multimodale invoer op basis van de specifieke vraag, waardoor vaste begeleidingsmechanismen worden vermeden. Het kader werkt via een tweestapsstrategie:

1. Modality-bewuste Dynamische Ratio-toewijzing

De eerste stap bepaalt de globale uitdunningsstrategie en wijst uitdunningsratio's toe voor elke temporele groep.

• Relevantieschatting: Het systeem maakt gebruik van een lichtgewicht AudioCLIP-model om cross-modale relevantie te schatten. Het berekent similariteitsscores tussen de tekstuele vraag en zowel visuele als audio-embeddings. Om de rekenkosten te verlagen, worden videoframes temporeel verlaagd en wordt de tekst gefilterd om alleen zelfstandige naamwoorden en bijvoeglijke naamwoorden te behouden.
• Strategieclassificatie: Op basis van de gemiddelde similariteitsscores ($\bar{s}^{(v)}$ voor video, $\bar{s}^{(a)}$ voor audio) en een drempelwaarde $\theta$, categoriseert het systeem de invoer in een van drie uitdunningsregimes:
  • Uniform Uitdunnen: Als $|\bar{s}^{(v)} - \bar{s}^{(a)}| \leq \theta$, worden beide modaliteiten als even belangrijk behandeld.
  • Video-gerichte Uitdunnen: Als $\bar{s}^{(v)} > \bar{s}^{(a)}$, prioriteert de strategie video-tokens.
  • Audio-gerichte Uitdunnen: Als $\bar{s}^{(a)} > \bar{s}^{(v)}$, prioriteert de strategie audio-tokens.
• Adaptieve Toewijzing: Binnen het gekozen regime wijst het systeem dynamisch uitdunningsratio's ($\rho$) toe aan elke temporele groep. Het maakt gebruik van een sigmoid-mapping gebaseerd op de afwijking van similariteitsscores van het gemiddelde, zodat groepen met een hogere relevantie voor de vraag meer tokens behouden, terwijl een globaal uitdunningsbudget wordt gerespecteerd.

2. Temporele Groep Uitdunningspijplijn (TGP2)

Zodra de strategie en ratio's zijn bepaald, voert het systeem fijnmazige token-uitdunnen uit binnen elke temporele groep:

• Audio-uitdunnen: Opvallende audio-tokens worden geselecteerd met Top-K-selectie op basis van de aandachtsmatrix afgeleid van de laatste laag van de audio-encoder.
• Video-uitdunnen: Opvallende video-tokens worden geselecteerd met Bottom-K-selectie op basis van de cosinus-similariteitsmatrix van de visuele embeddings. De auteurs kiezen voor Bottom-K (het selecteren van tokens met de laagste similariteit tot anderen) boven op aandacht gebaseerde methoden om bias van aandacht-sinks te vermijden en rekenkundige overhead te verminderen. Zij betogen dat dit effectief redundante, sterk gecorreleerde inhoud verwijdert terwijl onderscheidende visuele aanwijzingen behouden blijven.

Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

1. Analyse van Beperkingen van Vaste Begeleiding: De auteurs tonen aan dat bestaande methoden die vertrouwen op statische, modality-specifieke begeleiding, geen rekening houden met de variërende belangrijkheid van modaliteiten per vraag, wat leidt tot suboptimale compressie.
2. OmniSelect Kader: Zij stellen een trainingsvrij, modality-adaptief kader voor dat dynamisch kiest tussen Uniforme, Video-gerichte en Audio-gerichte uitdunningsstrategieën. Het voert bovendien fijnmazige token-uitdunnen uit binnen temporele groepen en wijst adaptief ratio's toe om informatieve tokens te behouden.
3. Empirische Validatie: Uitgebreide experimenten op audio-visuele benchmarks tonen aan dat OmniSelect inferentie versnelt en GPU-geheugenoverhead vermindert terwijl het hoge prestaties behoudt, en competitieve resultaten bereikt onder trainingsvrije token-compressiemethoden.

Experimentele Resultaten

De auteurs hebben OmniSelect geëvalueerd op Qwen2.5-Omni-modellen (3B en 7B parameters) over vier benchmarks: WorldSense, DailyOmni, VideoMME en OmniVideoBench.

• Prestatiebehoud: OmniSelect behoudt 94% tot 99% van de originele nauwkeurigheid met volledige tokens. In enkele gevallen (bijvoorbeeld specifieke instellingen op OmniVideoBench en VideoMME) overtrof de methode zelfs de prestaties van inferentie met volledige tokens, wat suggereert dat het verwijderen van redundante tokens de voorspellingskwaliteit kan verbeteren.
• Efficiëntiewinst:
  • Inferentieversnelling: Een versnelling van 1,19× tot 1,33× bereikt.
  • Geheugenreductie: GPU-geheugengebruik verminderd met 2,58GB tot 2,77GB.
  • Prefilling-tijd: Prefilling-tijd verminderd met 3,53× tot 3,62× onder 70% token-compressie.
• Vergelijking: OmniSelect presteerde consequent beter dan baselines zoals OmniZip (audio-geleid) en DyCoke (temporeel samenvoegen) over verschillende frame-budgetten en compressieratio's. Het voordeel was vooral opvallend in scenario's met lange video's en op het 3B-model, dat een gunstigere efficiëntie-prestatieafweging vertoonde.
• Ablatiestudies: Experimenten bevestigden dat de dynamische selectie van uitdunningsstrategieën (wisselen tussen Video-gerichte, Audio-gerichte en Uniform) superieur is aan het vertrouwen op enige enkele vaste strategie.

Betekenis en Claims

Het artikel positioneert OmniSelect als een noodzakelijke evolutie in OmniLLM-optimalisatie. De auteurs beweren dat de primaire betekenis van hun werk ligt in de verschuiving van statische, modality-specifieke begeleiding naar dynamische, vraagbewuste strategie-selectie. Door expliciet modality-preferentie te modelleren en het model in staat te stellen zijn compressiestrategie aan te passen aan de specifieke semantische behoeften van een vraag, vermijdt OmniSelect effectief de valkuilen van uniforme compressie.

De auteurs benadrukken dat hun methode trainingsvrij is, waardoor het direct toepasbaar is op bestaande OmniLLMs zonder de noodzaak van hertraining of fine-tuning. Zij concluderen dat hoewel hun huidige op drempelwaarden gebaseerde selectiemechanisme effectief is, de optimale strategie vaak binnen hun voorgestelde taxonomie bestaat, en dat de belangrijkste beperking ligt in de precisie van de strategie-selectie en niet in de representatiecapaciteit van het uitdunnen zelf. Voor toekomstig werk wordt voorgesteld om robuustere modellen voor schatting van modality-belang te onderzoeken.