💻 computer science

OmniPack: Unified Token Compression for Efficient Omni-modal Large Language Models

OmniPack è un framework privo di addestramento che migliora l'efficienza dei Large Language Models omnimodali combinando la rimozione della ridondanza strutturale pre-LLM con il raffinamento semantico post-interazione, ottenendo compromessi prestazione-efficienza superiori attraverso molteplici benchmark e riducendo significativamente i costi computazionali.

Autori originali: Wanshun Su, Yang Shi, Feihu Liu, Ziwen Yu, Yan Min, Zhuoran Zhang, Qixun Wang, Haotian Wang, Shixuan Liu, Yuanxing Zhang, Peng Wu, Chengfu Huo, Liang Ding

Pubblicato 2026-08-05

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Wanshun Su, Yang Shi, Feihu Liu, Ziwen Yu, Yan Min, Zhuoran Zhang, Qixun Wang, Haotian Wang, Shixuan Liu, Yuanxing Zhang, Peng Wu, Chengfu Huo, Liang Ding

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot super intelligente come comprendere il mondo. Non gli dai solo un libro da leggere; gli mostri un film e riproduci una colonna sonora contemporaneamente. Questo è l'eccitante mondo dell'IA "Omni-modale", dove i computer imparano a vedere, ascoltare e leggere tutto insieme. Ma ecco il problema: i film e le colonne sonore sono enormi. Un singolo secondo di video o audio può essere suddiviso in migliaia di piccoli "mattoncini" digitali chiamati token. Se provi a dare un intero film al robot, questo si sente sopraffatto, come uno studente che cerca di leggere un'intera biblioteca in un minuto. Ci vuole un'eternità per elaborare le informazioni, costa una fortuna in elettricità e spesso il robot si confonde a causa del volume enorme di informazioni. Gli scienziati hanno cercato di risolvere questo problema buttando via i mattoncini "noiosi" prima ancora che il robot inizi a leggere, sperando di tenere solo quelli importanti. Tuttavia, i vecchi metodi per buttare via le cose erano un po' goffi: a volte scartavano indizi cruciali solo perché sembravano diversi dai loro vicini, o cercavano di indovinare cosa fosse importante prima che il robot avesse la possibilità di comprendere realmente la storia.

Entra in scena OmniPack, una nuova e intelligente strategia progettata per aiutare questi robot capaci di vedere e sentire tutto a lavorare più velocemente senza perdere la testa. Pensa a OmniPack come a un processo di editing in due fasi per una sceneggiatura cinematografica caotica. Primo, prima che il robot legga la sceneggiatura, OmniPack agisce come un editor severo che scansiona le riprese grezze. Non si limita a eliminare le parti silenziose; cerca i momenti "forti" (come un improvviso schianto o un lampo di luce) e si assicura anche di non saltare via le scene di sfondo, silenziose ma importanti, che accadono molto tempo dopo. Raggruppa i mattoncini simili tra loro affinché non occupino spazio extra, creando un "montaggio dei momenti salienti" che mantiene intatta la struttura della storia.

Ma la magia avviene davvero nella seconda fase. Una volta che il robot ha iniziato a leggere la sceneggiatura e a parlare con se stesso, OmniPack interviene di nuovo. Questa volta, ascolta le domande del robot. Se il robot chiede: "Di che colore era l'auto?", OmniPack sa come mantenere i token relativi all'auto e al colore, anche se erano silenziosi o piccoli. Utilizza la curiosità del robot per raffinare le informazioni, fondendo insieme i dettagli più utili. Il risultato è una riduzione massiccia del lavoro che il robot deve compiere. Su un modello specifico chiamato Qwen2.5-Omni-7B, OmniPack è riuscito a ridurre il lavoro richiesto a solo il 16,7% dell'originale, mantenendo però il 98,0% dell'intelligenza originale del robot. Anche quando hanno spinto al limite, riducendo il lavoro a un minuscolo 6,8%, il robot ricordava ancora il 92,9% di ciò che doveva sapere. È come rimpicciolire un'enciclopedia enorme fino a farla diventare un singolo opuscolo, ma in qualche modo, l'opuscolo contiene ancora tutte le risposte di cui hai bisogno.

I ricercatori hanno scoperto che i vecchi metodi spesso fallivano perché cercavano di comprimere tutto troppo presto o troppo semplicemente. Hanno sostenuto che buttare via i token basandosi solo su quanto fossero "forti" o "simili" portava spesso a perdere indizi sparsi ma importanti. Hanno anche dimostrato che cercare di usare l'audio per comprimere il video (o viceversa) prima che il robot avesse la possibilità di mescolare i due sensi, non funzionava bene. Invezione, OmniPack suggerisce un approccio "specializzato per fase": prima, pulire la struttura in base al tipo specifico di media (video o audio), e poi, dopo che il robot ha avuto la possibilità di mescolarli, utilizzare il compito specifico o la domanda per la compressione finale e intelligente.

Nei loro test su cinque diversi set di sfide, OmniPack ha costantemente battuto tutti gli altri metodi con cui sono stati confrontati. Che stessero testando brevi clip o lunghi video, il nuovo metodo offriva sempre il miglior equilibrio tra velocità e intelligenza. Gli autori suggeriscono che coordinando queste due fasi — prima la pulizia strutturale, poi il raffinamento intelligente basato sulla domanda — possono rendere questi potenti modelli di IA molto più efficienti senza doverli riaddestrare da zero. È un modo per rendere i robot super intelligenti più veloci ed economici da gestire, mantenendoli lucidi anche quando le porte del flusso di informazioni si spalancano.

Riepilogo Tecnico: OmniPack

Problematica
I modelli linguistici di grandi dimensioni omnimodali (Omni-LLM) hanno ottenuto un successo significativo nella comprensione audio-visiva unificata, modellando congiuntamente testo, immagini, video e audio. Tuttavia, la densa tokenizzazione richiesta per gli input visivi e audio risulta in sequenze sostanzialmente più lunghe del testo, creando un carico computazionale e di memoria proibitivo durante l'inferenza. Sebbene la compressione dei token sia necessaria per un dispiegamento efficiente, i metodi esistenti affrontano critiche limitazioni sotto budget di token aggressivi:

Modellazione Strutturale Inadeguata: I metodi di compressione pre-LLM spesso si affidano all'importanza locale o alla somiglianza, fallendo nel catturare strutture spazio-temporali a lungo raggio. Ciò porta alla perdita di evidenze distribuite globalmente, come eventi sparsi in video lunghi o indizi acustici transitori.
Collaborazione Cross-Modale Insufficiente: Gli approcci esistenti comprimono o prima dell'LLM (dove le rappresentazioni audio e visive hanno un'interazione semantica limitata) o all'interno dell'LLM (affidandosi principalmente alla guida testuale senza modellare esplicitamente la collaborazione audio-visiva). Di conseguenza, non riescono a sfruttare appieno le evidenze cross-modali rilevanti per il compito.

Metodologia: OmniPack
Gli autori propongono OmniPack, un framework progressivo in due fasi, privo di addestramento (training-free), progettato per coordinare la compressione strutturale prima dell'LLM con il raffinamento semantico all'interno dell'LLM.

1. Compressione Pre-LLM Specifica per Modalità
Operando prima dell'LLM, questa fase rimuove la ridondanza strutturale preservando al contempo le evidenze salienti e la copertura globale. Impiega tre meccanismi distinti:

Selezione dell'Importanza: Identifica i token dominanti utilizzando le statistiche dell'attenzione dell'encoder e indizi strutturali specifici per modalità. Per il video, questo include la variazione tra frame adiacenti e la distintività spaziale; per l'audio, include la variazione tra token adiacenti per rilevare i confini acustici.
Selezione della Copertura: Per evitare una concentrazione eccessiva sulle regioni salienti, questo passaggio seleziona token rappresentativi aggiuntivi utilizzando una metrica di distanza congiunta che combina la somiglianza delle caratteristiche e la distanza temporale/spazio-temporale normalizzata. Utilizza DPC-KNN per garantire un'ampia copertura spazio-temporale.
Fusione dei Token Sensibile alla Somiglianza (Similarity-Aware Token Merging): Invece di scartare i token non selezionati, le loro informazioni vengono aggregate nei rappresentanti mantenuti. I token non selezionati vengono assegnati al token mantenuto più simile in base alla somiglianza delle caratteristiche, alla prossimità posizionale e all'importanza del token target, trasferendo efficacemente l'informazione ridondante al set conservato.

2. Compressione Inner-LLM Condizionata dalla Query
Dopo che è avvenuta una sufficiente interazione multimodale all'interno dei primi $\ell$ blocchi Transformer, una seconda fase di compressione raffina le rappresentazioni trattenute. Questa fase sfrutta:

Guida Testuale: Una rappresentazione di query globale derivata dagli stati nascosti del testo guida la selezione dei token rilevanti per il compito.
Collaborazione Audio-Visiva: Il punteggio di rilevanza di un token viene calcolato considerando la sua somiglianza con la query testuale, la sua somiglianza con il prototipo dell'altra modalità (ad esempio, i token visivi che considerano il contesto audio) e la sua rappresentatività intra-modalità.
Selezione Sensibile alla Diversità: I token vengono selezionati iterativamente per bilanciare la rilevanza con la diversità semantica, garantendo che il set trattenuto copra lo spettro informativo necessario.
Fusione Modulata dalla Rilevanza: Gli stati nascosti non selezionati sono incorporati nei rappresentanti mantenuti tramite una media pesata sulla somiglianza, modulata dai punteggi di rilevanza.

Contributi Chiave

Identificazione delle Limitazioni: Il documento evidenzia che la compressione degli Omni-LLM esistenti fallisce sotto budget aggressivi a causa di una modellazione inadeguata della struttura a lungo raggio e di una scarsa esplorazione delle evidenze cross-modali condizionate dalla query.
Framework Unificato: OmniPack introduce una strategia progressiva priva di addestramento che combina la compressione specifica per modalità pre-LLM (strutturale) con la compressione inner-LLM condizionata dalla query (semantica), fondendo le informazioni rimosse nei rappresentanti mantenuti per minimizzare la perdita di informazioni.
Compromesso Performance-Efficienza: Il framework è progettato per consentire un'aggressiva compressione dei token mantenendo un'elevata performance di comprensione multimodale.

Risultati Sperimentali
Estesi esperimenti sono stati condotti su cinque benchmark (AVUT, WorldSense, DailyOmni, VideoMME, LVOmniBench) utilizzando tre backbone Omni-LLM (Qwen2.5-Omni-3B/7B e MiniCPM-o-2.6).

Performance: Su Qwen2.5-Omni-7B, OmniPack preserva il 98,0% delle performance originali riducendo i FLOPs al 16,7%. Sotto compressione estrema (mantenendo solo il 6,8% dei FLOPs originali), preserva il 92,9% delle performance originali.
Confronto: OmniPack supera costantemente i baseline training-free allo stato dell'arte (inclusi FastV-om, VisionZip-om, OmniZip, OmniSIFT e varianti SEATS) attraverso diversi rapporti di ritenzione.
Efficienza: Con un rapporto di ritenzione del 15%/7,5% (pre-LLM/finale), OmniPack ottiene una riduzione dei FLOPs di 10,0× e un incremento della velocità di prefill di 4,5× preservando il 95,6% delle performance originali.
Ablazione: Gli studi confermano che la combinazione di selezione dell'importanza, selezione della copertura e fusione dei token produce i migliori risultati pre-LLM. Inoltre, la compressione inner-LLM beneficia significativamente della collaborazione audio-visiva e della guida consapevole del testo rispetto a strategie indipendenti o generiche.

Significatività
Il documento afferma che OmniPack affronta il collo di bottiglia critico dell'overhead computazionale negli Omni-LLM senza richiedere il riaddestramento del modello. Spostando la compressione da puramente indizi strutturali a semantica condizionata dal compito attraverso un processo coordinato in due fasi, il framework consente il dispiegamento pratico degli Omni-LLM su dispositivi con risorse limitate. I risultati dimostrano che una compressione aggressiva dei token può essere ottenuta senza sacrificare la capacità del modello di comprendere scenari del mondo reale complessi, dinamici e in evoluzione temporale, stabilendo un nuovo stato dell'arte nel compromesso performance-efficienza nel campo.

Riepilogo Tecnico: OmniPack

Articoli simili