Technische Samenvatting: OmniMem

Probleemstelling

Audio-visuele Large Language Models (av-LLMs) tonen veelbelovende resultaten voor langdurig video-begrip, maar kampen met een fundamentele bottleneck tijdens streaming-inferentie: de lineaire groei van video-tokens en Key-Value (KV) caches. Naarmate de videolengte toeneemt (bijv. video's van een uur), overschrijden de geheugeneisen snel de GPU-limieten. Hoewel chunked streaming-verwerking een praktische oplossing is geworden, lijden bestaande compressiemethoden onder twee primaire beperkingen:

1. Uniforme Token-behandeling: Huidige methoden passen vaak een uniforme selectiemetriek voor tokens toe (bijv. cosinusovereenkomst of generieke proxy-query aandacht) op zowel audio- als visuele tokens. Dit houdt geen rekening met de ernstige token-imbalans tussen modaliteiten (visuele tokens overtreffen het aantal audio-tokens vaak met een factor 30–40x), wat leidt tot het systematisch onderwaarderen of weggooien van cruciale audio-informatie.
2. Suboptimale Selectiecriteria: Bestaande streamingmethoden vertrouwen doorgaans op "generieke proxy-queries" (extern aan de berekeningsgrafiek van het model) om de belangrijkheid van tokens te schatten. Deze scores weerspiegelen mogelijk niet nauwkeurig de werkelijke perturbatie veroorzaakt door het verwijderen van een token, wat kan leiden tot het verwijderen van informatieve toestanden die niet hoog scoren op een generieke proxy, maar cruciaal zijn voor de specifieke output van het model.

Methodologie

De auteurs stellen OmniMem voor, een geheugenefficiënt, perturbatie-bewust en modaliteit-bewust streamingframework dat ontworpen is om deze beperkingen aan te pakken. De workflow verwerkt video chunk voor chunk en houdt aparte KV-caches bij voor audio- en visuele tokens.

1. Perturbatie-bewuste KV-cache Selectie

In plaats van externe proxy-queries te gebruiken, selecteert OmniMem KV-paren om te behouden op basis van een criterium dat de verstoring (distortion) van de aandacht-output na verwijdering minimaliseert. De selectiescore ($\psi_k$) voor een token $k$ combineert twee factoren:

• Belangrijkheid (Aandachtsscore): De geaccumuleerde aandachtsmassa ($a_k$) die vanuit opeenvolgende queries naar de token wordt gericht. Hoge waarden geven aan dat de token vaak wordt gebruikt door de volgende laag.
• Redundantie (Cosinusovereenkomst): De cosinusovereenkomst ($s_k$) tussen de hidden state van de token en de aangrenzende posities. Hoge gelijkenis duidt op redundantie.

De selectiescore wordt berekend als:
$$\psi_k = a_k^\lambda (1 - s_k)$$
waarbij $\lambda$ een normalisatiefactor is. Deze multiplicatieve combinatie zorgt ervoor dat het systeem tokens behoudt die zowel veel worden gebruikt (hoge belangrijkheid) als niet-redundant zijn (lage gelijkenis met buren). Om de gelijkenis te berekenen zonder excessieve overhead, maakt de methode gebruik van hidden states (of value vectors) in plaats van de volledige KV-cache.

2. Audio-Visuele Budgetallocatie (AVBA)

Om de modaliteitsimbalans aan te pakken, introduceert OmniMem AVBA, een mechanisme dat aparte geheugenbudgetten toewijst voor audio- en visuele KV-caches in plaats van een uniform globaal budget toe te passen.

• Compressibiliteitsmetrieken: Het systeem berekent een compressibiliteitsscore ($C$) voor elke modaliteit met behulp van genormaliseerde aandacht-entropie en gemiddelde cosinusovereenkomst.
• Dynamische Ratio: Een vooraf vastgestelde visuele-naar-audio tokenratio ($r$) wordt ingesteld (gezet op 5 in het paper). De werkelijke budgetgewichten ($w_v, w_a$) worden vervolgens aangepast op basis van de relatieve compressibiliteitsscores van de audio- en visuele stromen. Dit zorgt ervoor dat minder compressibele modaliteiten (vaak audio, zoals menselijke spraak) voldoende geheugenallocatie krijgen, zelfs als ze slechts een klein deel van het totale aantal tokens uitmaken.
• Laag-specifieke Allocatie: Het totale budget wordt niet-uniform verdeeld over Transformer-lagen op basis van laag-specifieke compressibiliteit, waarbij eerdere lagen over het algemeen grotere budgetten ontvangen.

3. Budget-bewuste Fine-Tuning

Hoewel OmniMem functioneert als een training-vrije methode, verkennen de auteurs supervised fine-tuning (SFT) met het gealloceerde budgetschema. Tijdens dit proces wordt het model getraind om nuttige informatie te consolideren in de behouden geheugen-tokens. Om de computationele kosten voor lange sequenties te beheersen, wordt back-propagation afgebroken tot de laatste $L-l$ lagen, terwijl de gradiëntstroom door alle lagen van de laatste chunk wordt gewaarborgd.

Belangrijkste Bijdragen

Het paper vat de bijdragen als volgt samen:

• OmniMem Framework: Een perturbatie-bewust en modaliteit-bewust KV-cache selectiemechanisme dat aandacht-gebaseerde belangrijkheid combineert met cosinusovereenkomst-gebaseerde redundantie om de output-verstoring na verwijdering te minimaliseren.
• AVBA Mechanisme: De eerste audio-visuele budgetallocatie voor av-LLMs, die de discrepanties in modaliteitsrepresentatie aanpakt en voorkomt dat audio-tokens gemarginaliseerd worden door de token-aantal imbalans.
• Prestatiewinsten: Aangetoond consistente verbeteringen in nauwkeurigheid ten opzichte van generieke proxy-query en cosinusovereenkomst baselines, met verdere winsten behaald door budget-bewuste fine-tuning.

Experimentele Resultaten

Experimenten werden uitgevoerd op VideoMME Long, LVBench, en LVOmniBench met behulp van video-SALMONN 2+ (4B en 8B parameters) en Qwen2.5-Omni (7B parameters).

• Training-vrije Prestaties: Onder identieke geheugenbudgetten (bijv. 8K KV-paren per laag), presteerde OmniMem consistent beter dan sterke baselines (InfiniPot-V, StreamMem, HERMES) met 2–4% in absolute nauwkeurigheid.
  • Op video-SALMONN 2+ (8B) behaalde OmniMem verbeteringen van 4,5% op VideoMME Long, 3,0% op LVBench en 2,2% op LV-OmniBench vergeleken met de beste baseline (HERMES).
  • De verbeteringen waren bijzonder opvallend op de "Omni-source" partitie van StreamingBench, waar de audio-visuele balans cruciaal is.
• Fine-Tuning Winsten: Het toepassen van budget-bewuste fine-tuning leverde een extra absolute nauwkeurigheidverbetering op van 1–2%. De meest significante winsten werden waargenomen op LVBench (tot 4,1% voor het 4B model), wat suggereert dat het model leert om het vaste geheugenbudget effectiever te benutten voor langere video's.
• Efficiëntie: De runtime geheugenoverhead was minimaal (<1GB op H800 GPU's), voornamelijk door het behoud van hidden states voor de berekening van de gelijkenis. De latency van de eerste token bleef vergelijkbaar met baselines (~0,2s).

Betekenis en Claims

Het paper positioneert OmniMem als een noodzakelijke evolutie voor streaming av-LLMs, waarbij wordt bewogen van heuristische token-scoring naar een principieelere aanpak die expliciet optimaliseert voor de impact van token-verwijdering op de modeloutputs.

• Modaliteitsbewustzijn: De auteurs beweren dat het uniform behandelen van audio- en visuele tokens een fundamentele fout is in huidige streamingmethoden. Door AVBA te introduceren, laten zij zien dat het behoud van de integriteit van de minder frequente maar informatie-rijke audiomodaliteit cruciaal is voor langdurig begrip.
• Perturbatie-bewustzijn: De verschuiving van generieke proxy-queries naar perturbatie-bewuste selectie (het minimaliseren van output-verstoring) wordt gepresenteerd als een robuustere maatstaf voor het bepalen van de belangrijkheid van tokens.
• Praktische Implementatie: De methode is ontworpen voor realistische implementatiebeperkingen, werkt zonder de noodzaak van gebruikersprompts om budgetten te bepalen en functioneert effectief binnen strikte geheugenlimieten voor video's van een uur.

De auteurs concluderen dat hoewel OmniMem een lichte geheugenoverhead introduceert voor de berekening van de gelijkenis, de afweging consistente en significante nauwkeurigheidswinsten oplevert, waarmee een nieuwe standaard wordt gezet voor geheugenbeperkte langdurige audio-visuele inferentie.