💻 computer science

OmniPack: Unified Token Compression for Efficient Omni-modal Large Language Models

OmniPack is een trainingsvrij framework dat de efficiëntie van Omni-modale Large Language Models verbetert door pre-LLM structurele redundantie-verwijdering te combineren met post-interactie semantische verfijning, waarmee een superieure prestatie-efficiëntie-afweging over meerdere benchmarks wordt bereikt terwijl de computationele kosten aanzienlijk worden verminderd.

Oorspronkelijke auteurs: Wanshun Su, Yang Shi, Feihu Liu, Ziwen Yu, Yan Min, Zhuoran Zhang, Qixun Wang, Haotian Wang, Shixuan Liu, Yuanxing Zhang, Peng Wu, Chengfu Huo, Liang Ding

Gepubliceerd 2026-08-05

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Wanshun Su, Yang Shi, Feihu Liu, Ziwen Yu, Yan Min, Zhuoran Zhang, Qixun Wang, Haotian Wang, Shixuan Liu, Yuanxing Zhang, Peng Wu, Chengfu Huo, Liang Ding

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot probeert te leren hoe hij de wereld moet begrijpen. Je geeft hem niet alleen een boek om te lezen; je laat hem een film zien en speelt tegelijkertijd een soundtrack af. Dit is de opwindende wereld van "Omni-modale" AI, waar computers leren tegelijkertijd te zien, te horen en te lezen. Maar hier zit de crux: films en soundtracks zijn enorm. Eén seconde aan video of audio kan worden afgebroken in duizenden kleine digitale "stenen" genaamd tokens. Als je een hele film naar de robot probeert te voeren, raakt hij overweldigd, zoals een student die probeert een hele bibliotheek in één minuut te lezen. Het duurt eeuwig om te verwerken, kost een fortuin aan elektriciteit en de robot raakt vaak in de war door de enorme hoeveelheid informatie. Wetenschappers hebben geprobeerd dit op te lossen door de "saaie" stenen weg te gooien voordat de robot zelfs maar begint met lezen, in de hoop alleen de belangrijke te bewaren. De oude manieren van dingen weggooien waren echter wat onhandig—ze gooiden soms cruciale aanwijzingen weg simpelweg omdat ze er anders uitzagen dan hun buren, of ze probeerden te raden wat belangrijk was voordat de robot de kans kreeg om het verhaal daadwerkelijk te begrijpen.

Maak kennis met OmniPack, een nieuwe, slimme strategie ontworpen om deze alziende, alhorende robots sneller te laten werken zonder hun verstand te verliezen. Zie OmniPack als een tweestaps-bewerkingsproces voor een chaotisch filmscript. Eerst, voordat de robot het script leest, fungeert OmniPack als een strenge redacteur die de ruwe beelden scant. Het verwijdert niet alleen de stille stukken; het zoekt naar de "luide" momenten (zoals een plotselinge klap of een felle flits) en zorgt er ook voor dat het niet de stille, belangrijke achtergrondscènes over het hoofd ziet die zich ver in de tijd afspelen. Het groepeert vergelijkbare stenen samen zodat ze geen extra ruimte innemen, waardoor een "highlight reel" ontstaat die de structuur van het verhaal intact houdt.

Maar de echte magie gebeurt in de tweede stap. Zodra de robot begonnen is met het lezen van het script en tegen zichzelf praat, grijpt OmniPack weer in. Als de robot vraagt: "Welke kleur had de auto?", weet OmniPack de tokens die gerelateerd zijn aan de auto en de kleur te behouden, zelfs als ze stil of klein waren. Het gebruikt de eigen nieuwsgierigheid van de robot om de informatie te verfijnen door de meest nuttige details samen te voegen. Het resultaat is een enorme vermindering van het werk dat de robot moet verrichten. Op een specif Kind model genaamd Qwen2.5-Omni-7B slaagde OmniPack erin om de benodigde hoeveelheid werk terug te brengen tot slechts 16,7% van de oorspronkelijke hoeveelheid, terwijl het nog steeds 98,0% van de oorspronkelijke intelligentie van de robot behield. Zelfs toen ze de grenzen opzochten en het werk terugbrachten tot een minieme 6,8%, herinnerde de robot zich nog steeds 92,9% van wat hij zou moeten weten. Het is alsover het krimpen van een enorme encyclopedie tot een enkele folder, maar die folder bevat op de een of andere manier nog steeds alle antwoorden die je nodig hebt.

De onderzoekers ontdekten dat de oude methoden vaak faalden omdat ze alles te vroeg of te simpel probeerden te comprimeren. Ze voerden aan dat het weggooien van tokens op basis van alleen hoe "luid" of "gelijksoortig" ze waren, vaak belangrijke, verspreide aanwijzingen miste. Ze toonden ook aan dat het proberen te gebruiken van audio om video te comprimeren (of vice versa) voordat de robot de kans had om de twee zintuigen samen te voegen, niet goed werkte. In plaats daarvan suggereert OmniPack een "fase-gespecialiseerde" aanpak: eerst de structuur opschonen op basis van het specifieke type media (video of audio), en vervolgens, nadat de robot de kans heeft gehad om ze samen te voegen, de specifieke taak of vraag gebruiken voor de uiteindelijke, slimme compressie.

In hun tests over vijf verschillende uitdagingen heen, versloeg OmniPack consequent elke andere methode waarmee ze het vergeleken. Of ze nu testten op korte clips of lange video's, de nieuwe methode bood altijd de beste balans tussen snelheid en intelligentie. De auteurs suggereren dat door deze twee fasen te coördineren—eerst de structurele opschoning, en dan de slimme, vraag-bewuste verfijning—ze deze krachtige AI-modellen veel efficiënter kunnen maken zonder ze vanaf nul opnieuw te hoeven trainen. Het is een manier om de superintelligente robots sneller en goedkoper te laten draaien, terwijl ze scherp blijven, zelfs wanneer de informatiestroom wijd openstaat.

Technische Samenvatting: OmniPack

Probleemstelling
Omni-modale Large Language Models (Omni-LLMs) hebben aanzienlijk succes bereikt in uniforme audio-visuele begrip door tekst, afbeeldingen, video en audio gezamenlijk te modelleren. Echter, de dichte tokenisatie die vereist is voor visuele en audio-inputs resulteert in sequenties die aanzienlijk langer zijn dan tekst, wat leidt tot een verboden computationele en geheugenbelasting tijdens inferentie. Hoewel tokencompressie noodzakelijk is voor efficiënte implementatie, kampen bestaande methoden met kritieke beperkingen onder agressieve tokenbudgetten:

Inadequate Structurele Modellering: Pre-LLM compressiemethoden vertrouwen vaak op lokale belangrijkheid of gelijkenis, waardoor ze er niet in slagen langetermijn spatio-temporele structuren te vangen. Dit leidt tot het verlies van globaal verspreid bewijs, zoals ijle gebeurtenissen in lange video's of transiënte akoestische signalen.
Onvoldoende Cross-Modale Samenwerking: Bestaande benaderingen comprimeren ofwel vóór de LLM (waarbij audio- en visuele representaties een beperkte semantische interactie hebben), ofwel binnen de LLM (waarbij primair wordt vertrouwd op tekstuele sturing zonder expliciet audio-visuele samenwerking te modelleren). Bijgevolg slagen ze er niet in om volledig gebruik te maken van taakrelevante cross-modale bewijslast.

Methodologie: OmniPack
De auteurs stellen OmniPack voor, een training-vrij, tweestaps progressief framework dat structurele compressie vóór de LLM coördineert met semantische verfijning binnen de LLM.

1. Modality-Specifieke Pre-LLM Compressie
Deze fase opereert vóór de LLM en verwijdert structurele redundantie terwijl het saill bewijs en globale dekking behoudt. Het maakt gebruik van drie onderscheidende mechanismen:

Importance Selection (Belangrijkheidsselectie): Identificeert dominante tokens met behulp van encoder-attention statistieken en modaliteit-specifieke structurele cues. Voor video omvat dit naburige frame-variatie en ruimtelijke onderscheidendheid; voor audio omvat dit naburige token-variatie om akoestische grenzen te detecteren.
Coverage Selection (Dekkingsselectie): Om overconcentratie op saill gebieden te voorkomen, selecteert deze stap aanvullende representatieve tokens met behulp van een gezamenlijke afstand-metriek die feature-gelijkenis combineert met genormaliseerde temporele/spatio-temporele afstand. Het maakt gebruik van DPC-KNN om brede spatio-temporele dekking te garanderen.
Similarity-Aware Token Merging (Gelijkenis-bewuste Token Merging): In plaats van niet-geselecteerde tokens weg te gooien, wordt hun informatie geaggregeerd in behouden representatieve tokens. Niet-geselecteerde tokens worden toegewezen aan de meest gelijke behouden token op basis van feature-gelijkenis, positionele nabijheid en de belangrijkheid van de doel-token, waardoor redundante informatie effectief wordt overgedragen naar de behouden set.

2. Query-Conditioned Inner-LLM Compressie
Nadat voldoende multimodale interactie heeft plaatsgevonden binnen de eerste $\ell$ Transformer-blokken, verfijnt een tweede compressiefase de behouden representaties. Deze fase maakt gebruik van:

Textuele Sturing: Een globale query-representatie afgeleid van tekstuele hidden states stuurt de selectie van taakrelevante tokens.
Audio-Visuele Samenwerking: De relevantiescore van een token wordt berekend door rekening te houden met de gelijkenis met de tekstuele query, de gelijkenis met de andere modaliteit-prototype (bijv. visuele tokens die rekening houden met de audio-context), en de binnen-modaliteit representativiteit.
Diversity-Aware Selection (Diversiteit-bewuste Selectie): Tokens worden iteratief geselecteerd om een balans te vinden tussen relevantie en semantische diversiteit, wat ervoor zorgt dat de behouden set het noodzakelijke informatiespectrum dekt.
Relevance-Modulated Merging (Relevantie-gemoduleerde Merging): Niet-geselecteerde hidden states worden geïncorporeerd in behouden representatieve tokens via gelijkenis-gewogen averaging, gemoduleerd door relevantiescores.

Kernbijdragen

Identificatie van Beperkingen: Het artikel benadrukt dat bestaande Omni-LLM compressie faalt onder agressieve budgetten door inadequate modellering van langetermijnstructuren en onvoldoende exploitatie van query-geconditioneerde cross-modale bewijslast.
Verenigd Framework: OmniPack introduceert een training-vrij, progressief strategie die modaliteit-specifieke pre-LLM compressie (structureel) combineert met query-geconditioneerde inner-LLM compressie (semantisch), waarbij verwijderde informatie wordt samengevoegd in behouden representatieve tokens om informatieverlies te minimaliseren.
Prestatie-Efficiëntie Afweging: Het framework is ontworpen om agressieve tokencompressie mogelijk te maken terwijl de multimodale begripsprestaties hoog blijven.

Experimentele Resultaten
Uitgebreide experimenten werden uitgevoerd op vijf benchmarks (AVUT, WorldSense, DailyOmni, VideoMME, LVOmniBench) met drie Omni-LLM backbones (Qwen2.5-Omni-3B/7B en MiniCPM-o-2.6).

Prestaties: Op Qwen2.5-Omni-7B behoudt OmniPack 98,0% van de originele prestaties terwijl de FLOPs worden teruggebracht naar 16,7%. Onder extreme compressie (waarbij slechts 6,8% van de originele FLOPs wordt behouden), behoudt het 92,9% van de originele prestaties.
Vergelijking: OmniPack presteert consistent beter dan state-of-the-art training-vrije baselines (inclusclusief FastV-om, VisionZip-om, OmniZip, OmniSIFT, en SEATS varianten) over diverse retentie-ratio's.
Efficiëntie: Bij een retentie-ratio van 15%/7,5% (pre-LLM/final), bereikt OmniPack een 10,0× reductie in FLOPs en een 4,5× prefill versnelling terwijl het 95,6% van de originele prestaties behoudt.
Ablatie: Studies bevestigen dat de combinatie van importance selection, coverage selection en token merging de beste pre-LLM resultaten oplevert. Bovendien profiteert inner-LLM compressie significant van audio-visuele samenwerking en tekst-bewuste sturing vergeleken met onafhankelijke of generieke strategieën.

Betekenis
Het artikel beweert dat OmniPack de kritieke flessenhals van computationele overhead in Omni-LLMs aanpakt zonder dat model-retraining vereist is. Door compressie te verschuiven van puur structurele cues naar taak-geconditioneerde semantiek via een gecoördineerd tweestaps proces, maakt het framework de praktische implementatie van Omni-LLMs op hulpbronnen-beperkte apparaten mogelijk. De resultaten laten zien dat agressieve tokencompressie kan worden bereikt zonder het vermogen van het model om complexe, dynamische en temporeel evoluerende real-world scenario's te begrijpen op te offeren, waarmee een nieuwe state-of-the-art prestatie-efficiëntie afweging in het veld wordt gevestigd.

Meer zoals dit