Sintesi Tecnica: OmniMem

Problematica

I modelli linguistici di grandi dimensioni audio-visivi (av-LLM) mostrano un potenziale significativo per la comprensione di video a lungo formato, ma affrontano un collo di bottiglia fondamentale durante l'inferenza in streaming: la crescita lineare dei token video e delle cache Key-Value (KV). Man mano che la lunghezza del video aumenta (ad esempio, video di un'ora), i requisiti di memoria superano rapidamente i limiti della GPU. Sebbene l'elaborazione in chunk (frammenti) sia emersa come una soluzione pratica, i metodi di compressione esistenti soffrono di due limitazioni primarie:

1. Trattamento Uniforme dei Token: Gli attuali metodi applicano spesso una metrica di selezione dei token unificata (ad esempio, similarità del coseno o query proxy generica) sia ai token audio che a quelli visivi. Ciò non tiene conto del severo squilibrio di token tra le modalità (i token visivi spesso superano quelli audio di 30–40 volte), portando a una sistematica sottovalutazione o all'eliminazione di informazioni audio critiche.
2. Criteri di Selezione Subottimali: I metodi di streaming esistenti si affidano tipicamente a "query proxy generiche" (esterne al grafo computazionale del modello) per stimare l'importanza del token. Questi punteggi potrebbero non riflettere accuratamente la perturbazione reale causata dall'evizione di un token, portando potenzialmente alla rimozione di stati informativi che non ottengono punteggi elevati su una query proxy generica ma sono cruciali per l'output specifico del modello.

Metodologia

Gli autori propongono OmniMem, un framework di streaming efficiente dal punto di vista della memoria, consapevole delle perturbazioni e consapevole delle modalità, progettato per affrontare queste limitazioni. Il flusso di lavoro elabora il video chunk per chunk, mantenendo cache KV separate per i token audio e visivi.

1. Selezione della Cache KV Consapevole della Perturbazione

Invece di utilizzare query proxy esterne, OmniMem seleziona le coppie KV da mantenere basandosi su un criterio che minimizza la distorsione dell'output dell'attenzione dopo l'evizione. Il punteggio di selezione ($\psi_k$) per un token $k$ combina due fattori:

• Importanza (Punteggio di Attenzione): La massa di attenzione accumulata ($a_k$) diretta verso il token dalle query successive. Valori elevati indicano che il token è frequentemente utilizzato dallo strato successivo.
• Ridondanza (Similarità del Coseno): La similarità del coseno ($s_k$) tra lo stato nascosto del token e le sue posizioni adiacenti. Un'alta similarità indica ridondanza.

Il punteggio di selezione è calcolato come:
$$\psi_k = a_k^\lambda (1 - s_k)$$
dove $\lambda$ è un fattore di normalizzazione. Questa combinazione moltiplicativa assicura che il sistema mantenga i token che sono sia frequentemente utilizzati (alta importenza) sia non ridondanti (bassa similarità con i vicini). Per calcolare la similarità senza un overhead eccessivo, il metodo utilizza gli stati nascosti (o i vettori di valore) invece della cache KV completa.

2. Allocazione del Budget Audio-Visuale (AVBA)

Per affrontare lo squilibrio delle modalità, OmniMem introduce AVBA, un meccanismo che alloca budget di memoria separati per le cache KV audio e visive anziché applicare un budget globale uniforme.

• Metriche di Compressione: Il sistema calcola un punteggio di compressione ($C$) per ogni modalità utilizzando l'entropia dell'attenzione normalizzata e la similarità media del coseno.
• Rapporto Dinamico: Viene stabilito un rapporto a priori tra token visivi e audio ($r$) (impostato a 5 nel paper). I pesi effettivi del budget ($w_v, w_a$) vengono quindi regolati in base ai punteggi di compressione relativi degli stream audio e visivi. Ciò assicura che le modalità meno comprimibili (spesso l'audio, come il parlato umano) ricevano un'allocazione di memoria adeguata anche se costituiscono una piccola frazione del numero totale di token.
• Allocazione per Strato: Il budget totale è distribuito in modo non uniforme tra i livelli Transformer in base alla compressibilità specifica dello strato, con gli strati iniziali che generalmente ricevono budget più ampi.

3. Fine-Tuning Consapevole del Budget

Sebbene OmniMem funzioni come un metodo senza addestramento (training-free), gli autori esplorano il fine-tuning supervisionato (SFT) con lo schema di allocazione del budget. Durante questo processo, il modello viene addestrato a consolidare le informazioni utili nei token di memoria mantenuti. Per gestire i costi computazionali per sequenze lunghe, la back-propagation è troncata agli ultimi $L-l$ strati, garantendo al contempo il flusso del gradiente attraverso tutti gli strati dell'ultimo chunk.

Contributi Chiave

Il paper riassume i suoi contributi come segue:

• Framework OmniMem: Un meccanismo di selezione della cache KV consapevole delle perturbazioni e delle modalità che combina l'importanza basata sull'attenzione con la ridondanza basata sulla similarità del coseno per minimizzare la distorsione dell'output dopo l'evizione.
• Meccanismo AVBA: Il primo meccanismo di allocazione del budget audio-visivo per gli av-LLM, che affronta le discrepanze di rappresentazione delle modalità e impedisce che i token audio vengano marginalizzati a causa dello squilibrio del numero di token.
• Guadagni di Prestazione: Ha dimostrato miglioramenti costanti dell'accuratezza rispetto alle baseline di query proxy generica e di similarità del coseno, con ulteriori guadagni ottenuti tramite il fine-tuning consapevole del budget.

Risultati Sperimentali

Gli esperimenti sono stati condotti su VideoMME Long, LVBench e LVOmniBench utilizzando video-SALMONN 2+ (4B e 8B parametri) e Qwen2.5-Omni (7B parametri).

• Prestazioni Training-Free: Sotto identici budget di memoria (ad esempio, 8K coppie KV per strato), OmniMem ha superato costantemente le forti baseline (InfiniPot-V, StreamMem, HERMES) del 2–4% in accuratezza assoluta.
  • Su video-SALMONN 2+ (8B), OmniMem ha ottenuto miglioramenti del 4,5% su VideoMME Long, del 3,0% su LVBench e del 2,2% su LV-OmniBench rispetto alla migliore baseline (HERMES).
  • I miglioramenti sono stati particolarmente evidenti nella partizione "Omni-source" di StreamingBench, dove l'equilibrio audio-visivo è critico.
• Guadagni dal Fine-Tuning: L'applicazione del fine-tuning consapevole del budget ha fornito un ulteriore miglioramento dell'accuratezza assoluta dell'1–2%. I guadagni più significativi sono stati osservati su LVBench (fino al 4,1% per il modello da 4B), suggerendo che il modello impara a utilizzare il budget di memoria fisso in modo più efficace per video più lunghi.
• Efficienza: L'overhead di runtime della memoria è stato minimo (<1GB su GPU H800), principalmente grazie alla ritenzione degli stati nascosti per il calcolo della similarità. La latenza del primo token è rimasta comparabile alle baseline (~0,2s).

Significato e Rivendicazioni

Il paper posiziona OmniMem come un'evoluzione necessaria per gli av-LLM in streaming, andando oltre la valutazione euristica dei token verso un approccio basato su principi che ottimizza esplicitamente l'impatto dell'evizione dei token sugli output del modello.

• Consapevolezza della Modalità: Gli autori sostengono che trattare i token audio e visivi in modo uniforme è un difetto fondamentale negli attuali metodi di streaming. Introducendo AVBA, dimostrano che preservare l'integrità della modalità audio, meno frequente ma densa di informazioni, è critico per la comprensione a lungo termine.
• Consapevolezza della Perturbazione: Il passaggio dalle query proxy generiche alla selezione consapevole della perturbazione (minimizzazione della distorsione dell'output) è presentato come un criterio più robusto per determinare l'importanza del token.
• Implementazione Pratica: Il metodo è progettato per vincoli di implementazione realistici, operando senza la necessità di prompt dell'utente per determinare i budget e funzionando efficacementmente entro stretti limiti di memoria per video di un'ora.

Gli autori concludono che, sebbene OmniMem introduca un leggero overhead di memoria per il calcolo della similarità, il compromesso produce guadagni di accuratezza costanti e significativi, stabilendo un nuovo standard per l'inferenza audio-visiva a lungo termine con memoria limitata.