🤖 AI

OmniMem: Perturbation-aware Memory Compression for Streaming Audio-Visual LLMs

OmniMem ist ein speichereffizientes Streaming-Framework für Audio-Video-LLMs, das die Einschränkungen bei der Inferenz langer Videos durch den Einsatz einer modalitätsbewussten Allokationsstrategie und einer störungsbewussten Speicherselektion überwindet, um die Genauigkeit unter strengen Speicherbudgets signifikant zu verbessern.

Ursprüngliche Autoren: Guangzhi Sun, Yixuan Li, Yudong Yang, Chao Zhang

Veröffentlicht 2026-06-09

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Guangzhi Sun, Yixuan Li, Yudong Yang, Chao Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einen 3-stündigen Film auf einem winzigen Smartphone mit sehr begrenztem Speicherplatz anzusehen. Während der Film läuft, versucht Ihr Telefon, jedes einzelne Bild und jedes gesprochene Wort zu behalten. Schließlich geht dem Telefon der Speicher aus, es beginnt zu stocken oder muss Dinge wahllos löschen, um Platz für neue Szenen zu schaffen. Dies ist genau das Problem, vor dem moderne „Audio-Visuelle Large Language Models“ (KI, die Videos sieht und Audio hört) stehen, wenn sie versuchen, lange Videos zu verstehen.

Das Paper stellt ein neues System namens OmniMem vor, um dieses Problem zu lösen. Betrachten Sie OmniMem als einen superintelligenten, hochorganisierten Bibliothekar für das Gedächtnis der KI.

So funktioniert es, unterteilt in einfache Konzepte:

1. Das Problem: Der „Einheitsgröße“-Fehler

Aktuelle KI-Systeme behandeln Video (was man sieht) und Audio (was man hört) exakt gleich, wenn sie diese im Speicher ablegen.

Das Ungleichgewicht: In einem typischen Video gibt es tausende visuelle „Tokens“ (winzige Teile von Bilddaten), aber nur eine Handvoll Audio-Tokens (Wörter oder Klänge).
Der Fehler: Wenn Sie ein Standard-Speicherlimit verwenden, hortet die KI tausende redundante visuelle Details (wie einen statischen Hintergrund), während sie versehentlich entscheidende Audio-Hinweise (wie einen Charakter, der sagt: „Schau hinter dich!“) wegwirft. Es ist, als würde man seinen Rucksack mit 100 identischen Kieselsteinen füllen und dann keinen Platz mehr für eine einzige wichtige Landkarte haben.

2. Die Lösung: OmniMems zweigleisige Strategie

OmniMem behebt dies durch zwei Haupttricks: Getrennte Taschen und Intelligente Auswahl.

Trick A: Getrennte Taschen (Audio-visuelle Budgetallokation)

Anstatt eines großen Speicherbehälters gibt OmniMem der KI zwei separate Taschen: eine für Visuelles und eine für Audio.

Die Analogie: Stellen Sie sich einen Koch vor, der ein komplexes Gericht zubereitet. Er wirft nicht einfach alle Zutaten in einen riesigen Topf. Er bewahrt Gewürze in einem kleinen, kostbaren Glas auf und Gemüse in einem großen Behälter.
Wie es funktioniert: OmniMem erkennt, dass Audio selten, aber wertvoll ist, während Visuelles reichlich vorhanden, aber oft repetitiv ist. Es weist dem „Audio-Taschen“-Bereich eine spezifische, faire Menge an Speicher zu, damit wichtige gesprochene Wörter nicht gelöscht werden, nur weil es zu viele Bilder gibt.

Trick B: Intelligente Auswahl (Perturbations-bewusstes Gedächtnis)

Sobald die KI ihre Gedächtnistaschen hat, muss sie entscheiden, was sie behält und was sie wegwirft, während das Video abläuft. Alte Methoden schauten nur darauf, wie ähnlich sich zwei Dinge waren (z. B. „Diese beiden Frames sehen gleich aus, lösche einen“).

Der Fehler alter Methoden: Nur weil zwei Frames ähnlich aussehen, bedeutet das nicht, dass sie nicht wichtig sind. Vielleicht enthält dieser „langweilige“ Frame einen subtilen Hinweis, den die KI später benötigt.
OmniMems Ansatz: OmniMem stellt eine „Was wäre wenn?“-Frage. Es simuliert das Löschen eines Teils des Gedächtnisses und fragt: „Wenn ich das lösche, wird sich die Antwort der KI ändern?“
- Wenn das Löschen eines Tokens dazu führt, dass die KI verwirrt wird oder ihre Meinung ändert, behält OmniMem ihn.
- Wenn das Löschen eines Tokens keine Veränderung bewirkt, wirft OmniMem ihn weg.
Die Analogie: Denken Sie an das Schneiden eines Films. Ein schlechter Editor schneidet Szenen basierend auf ihrer Länge. OmniMem ist ein intelligenter Editor, der Szenen basierend darauf schneidet, ob die Geschichte ohne sie noch Sinn ergibt. Er behält die „Plot-Twist“-Szenen und löscht die „langen Gänge durch den Flur“-Szenen, selbst wenn der Flur hübsch aussieht.

3. Der „Training“-Bonus

Das Paper erwähnt auch, dass die KI noch besser wird, wenn man sie gezielt lehrt, wie sie diese neuen Speicherregeln nutzt (ein Prozess namens „Fine-Tuning“).

Die Analogie: Der KI neue Regeln zu geben ist wie einem Schüler einen neuen Lernführer zu geben. Wenn man ihm dann einen Übungstest mit diesen Regeln gibt, lernt er, seine Notizen noch effizienter zu organisieren und noch mehr Wert aus dem begrenzten Raum zu pressen.

Die Ergebnisse

Die Forscher haben OmniMem auf mehreren Benchmarks für lange Videos getestet (wie VideoMME und LVBench).

Das Ergebnis: Ohことne zusätzliches Training war OmniMem um 2–4 % genauer als bisherige Top-Methoden.
Mit Training: Nachdem die KI gelernt hatte, die neuen Speicherregeln anzuwenden, gewann sie weitere 1–2 % Genauigkeit.
Effizienz: All dies geschah, ohne die KI zu verlangsamen oder signifikant mehr Rechenleistung zu beanspruchen.

Zusammenfassung

OmniMem ist eine neue Art und Weise, wie KI lange Videos ansehen kann, ohne ihr Gehirn zu überfordern. Es verhindert, dass Audio und Video als dasselbe behandelt werden, gibt ihnen ihren eigenen Speicherplatz und löscht nur Informationen, bei denen sich die KI sicher ist, dass sie sie nicht vermissen wird. Das Ergebnis ist eine KI, die Stunden von Videoinhalten viel genauer verstehen kann als zuvor.

Technisches Resümee: OmniMem

Problemstellung

Audio-visuelle Large Language Models (av-LLMs) zeigen erhebliches Potenzial für das Verständnis von Langzeitvideos, stehen jedoch während der Streaming-Inferenz vor einem grundlegenden Engpass: dem linearen Anwachsen der Video-Token und der Key-Value-Caches (KV-Caches). Mit zunehmender Videolänge (z. B. stundenlange Videos) übersteigen die Speicheranforderungen schnell die GPU-Limits. Während die chunkbasierte Streaming-Verarbeitung als praktische Lösung hervorgetreten ist, leiden bestehende Kompressionsmethoden unter zwei primären Einschränkungen:

Einheitliche Token-Behandlung: Aktuelle Methoden wenden oft eine einheitliche Metrik zur Token-Selektion (z. B. Kosinus-Ähnlichkeit oder generische Proxy-Query-Attention) sowohl auf Audio- als auch auf visuelle Token an. Dies berücksichtigt nicht das massive Token-Ungleichgewicht zwischen den Modalitäten (visuelle Token übersteigen die Anzahl der Audio-Token oft um das 30- bis 40-fache), was zu einer systematischen Untergewichtung oder zum Verwerfen kritischer Audio-Informationen führt.
Suboptimale Selektionskriterien: Bestehende Streaming-Methoden verlassen sich typischerweise auf „generische Proxy-Queries“ (die außerhalb des Rechengraphs des Modells liegen), um die Wichtigkeit von Token abzuschätzen. Diese Scores spiegeln möglicherweise nicht die tatsächliche Störung wider, die durch das Entfernen eines Tokens verursacht wird, was potenziell dazu führt, dass informative Zustände entfernt werden, die zwar bei einer generischen Proxy hoch bewertet werden, aber für die spezifische Ausgabe des Modells entscheidend sind.

Methodik

Die Autoren schlagen OmniMem vor, ein speichereffizientes, störungsbewusstes (perturbation-aware) und modalitätsbewusstes Streaming-Framework, das darauf ausgelegt ist, diese Einschränkungen zu adressieren. Der Workflow verarbeitet Videos Chunk für Chunk und führt separate KV-Caches für Audio- und visuelle Token.

1. Störungsbewusste KV-Cache-Selektion

Anstatt externe Proxy-Queries zu verwenden, wählt OmniMem KV-Paare basierend auf einem Kriterium aus, das die Verzerrung des Attention-Outputs nach der Eviktierung minimiert. Der Selektionsscore ( $\psi_k$ ) für einen Token $k$ kombiniert zwei Faktoren:

Wichtigkeit (Attention Score): Die akkumulierte Attention-Masse ( $a_k$ ), die von nachfolgenden Queries auf den Token gerichtet ist. Hohe Werte deuten darauf hin, dass der Token in der nächsten Schicht häufig verwendet wird.
Redundanz (Kosinus-Ähnlichkeit): Die Kosinus-Ähnlichkeit ( $s_k$ ) zwischen dem Hidden State des Tokens und seinen benachbarten Positionen. Eine hohe Ähnlichkeit deutet auf Redundanz hin.

Der Selektionsscore wird wie folgt berechnet:
$\psi_k = a_k^\lambda (1 - s_k)$
wobei $\lambda$ ein Normierungsfaktor ist. Diese multiplikative Kombination stellt sicher, dass das System Token beibehält, die sowohl häufig verwendet (hohe Wichtigkeit) alsver auch nicht redundant (geringe Ähnlichkeit zu Nachbarn) sind. Um die Ähnlichkeit ohne übermäßigen Overhead zu berechnen, nutzt die Methode Hidden States (oder Value-Vektoren) anstelle des vollständigen KV-Caches.

2. Audio-Visuelle Budgetallokation (AVBA)

Um das Modalitäts-Ungleichgewicht zu adressieren, führt OmniMem AVBA ein, einen Mechanismus, der separate Speicherbudgets für Audio- und visuelle KV-Caches alloziert, anstatt ein einheitliches globales Budget anzuwenden.

Kompressibilitätsmetriken: Das System berechnet einen Kompressibilitäts-Score ( $C$ ) für jede Modalität unter Verwendung der normalisierten Attention-Entropie und der durchschnittlichen Kosinus-Ähnlichkeit.
Dynamisches Verhältnis: Ein vorab festgelegtes visuelles-zu-audiales Token-Verhältnis ( $r$ ) wird etabliert (im Paper auf 5 gesetzt). Die tatsächlichen Budgetgewichte ( $w_v, w_a$ ) werden dann basierend auf den relativen Kompressibilitäts-Scores der Audio- und visuellen Streams angepasst. Dies stellt sicher, dass weniger kompressible Modalitäten (oft Audio, wie z. B. menschliche Sprache) eine angemessene Speicherallokation erhalten, selbst wenn sie nur einen Bruchteil der gesamten Token-Anzahl ausmachen.
Schichtweise Allokation: Das Gesamtbudget wird nicht gleichmäßig über die Transformer-Schichten verteilt, basierend auf der schichtspezifischen Kompressibilität, wobei frühere Schichten im Allgemeinen größere Budgets erhalten.

3. Budgetbewusste Feinabstimmung

Obwohl OmniMem als Training-free-Methode fungiert, untersuchen die Autoren die überwachte Feinabstimmung (SFT) mit dem Budget-Allokationsschema. Während dieses Prozesses wird das Modell darauf trainiert, nützliche Informationen in den beibehaltenen Speicher-Token zu konsolidieren. Um die Rechenkosten für lange Sequenzen zu bewältigen, wird die Backpropagation auf die letzten $L-l$ Schichten beschränkt, während der Gradientenfluss durch alle Schichten des finalen Chunks sichergestellt wird.

Zentrale Beiträge

Das Paper fasst seine Beiträge wie folgt zusammen:

OmniMem Framework: Ein störungsbewusster, modalitätsbewusster KV-Cache-Selektionsmechanismus, der auf Attention-basierter Wichtigkeit und Kosinus-Ähnlichkeits-basierter Redundanz kombiniert, um die Output-Verzerrung nach der Eviktierung zu minimieren.
AVBA-Mechanismus: Der erste Audio-Visuelle Budget-Allokationsmechanismus für av-LLMs, der die Diskrepanzen in der Repräsentation der Modalitäten adressiert und verhindert, dass Audio-Token aufgrund des Token-Anzahl-Ungleichgewichts marginalisiert werden.
Leistungssteigerungen: Nachgewiesene konsistente Genauigkeitsverbesserungen gegenüber generischen Proxy-Query- und Kosinus-Ähnlichkeits-Baselines, mit weiteren Gewinnen durch budgetbewusste Feinabstimmung.

Experimentelle Ergebnisse

Die Experimente wurden auf VideoMME Long, LVBench und LVOmniBench unter Verwendung von video-SALMONN 2+ (4B und 8B Parameter) und Qwen2.5-Omni (7B Parameter) durchgeführt.

Training-Free Performance: Unter identischen Speicherbudgets (z. B. 8K KV-Paare pro Schicht) übertraf OmniMem konsistent starke Baselines (InfiniPot-V, StreamMem, HERMES) um 2–4% in der absoluten Genauigkeit.
- Bei video-SALMONN 2+ (8B) erzielte OmniMem Verbesserungen von 4,5% auf VideoMME Long, 3,0% auf LVBench und 2,2% auf LV-OmniBench im Vergleich zur besten Baseline (HERMES).
- Die Verbesserungen waren besonders deutlich auf dem „Omni-source“-Partition von StreamingBench, wo das Audio-Visuelle-Gleichgewicht entscheidend ist.
Gewinne durch Feinabstimmung: Die Anwendung der budgetbewussten Feinabstimmung lieferte eine zusätzliche absolute Genauigkeitssteigerung von 1–2%. Die signifikantesten Gewinne wurden auf LVBench beobachtet (bis zu 4,1% für das 4B-Modell), was darauf hindeutet, dass das Modell lernt, das feste Speicherbudget effektiver für längere Videos zu nutzen.
Effizienz: Der Laufzeit-Speicher-Overhead war minimal (<1 GB auf H800 GPUs), primär aufgrund der Beibehaltung von Hidden States für die Berechnung der Ähnlichkeit. Die Latenz des ersten Tokens blieb vergleichbar mit den Baselines (~0,2s).

Bedeutung und Behauptungen

Das Paper positioniert OmniMem als notwendige Evolution für Streaming-av-LLMs, die über heuristische Token-Scoring-Verfahren hinausgeht und zu einem prinzipienbasierten Ansatz übergeht, der explizit die Auswirkung der Token-Eviktierung auf die Modellausgaben optimiert.

Modalitätsbewusstsein: Die Autoren behaupten, dass die einheitliche Behandlung von Audio- und visuellen Token ein fundamentaler Fehler aktueller Streaming-Methoden ist. Durch die Einführung von AVBA zeigen sie, dass die Bewahrung der Integrität der selteneren, aber informationsdichten Audio-Modalität entscheidend für das Verständnis von Langzeit-Inhalten ist.
Störungsbewusstsein: Der Wechsel von generischen Proxy-Queries zu einer störungsbewussten Selektion (Minimierung der Output-Verzerrung) wird als ein robusteres Kriterium zur Bestimmung der Token-Wichtigkeit präsentiert.
Praktische Implementierung: Die Methode ist für realistische Deployment-Constraints konzipiert; sie arbeitet ohne die Notwendigkeit von Nutzer-Prompts zur Bestimmung der Budgets und funktioniert effektiv innerhalb strenger Speicherlimits für stundenlange Videos.

Die Autoren kommen zu dem Schluss, dass OmniMem zwar einen geringfügigen Speicher-Overhead für die Ähnlichkeitsberechnung einführt, dieser Trade-off jedoch konsistente und signifikante Genauigkeitsgewinne liefert und damit einen neuen Standard für speicherbeschränkte Langzeit-Audio-Visuelle Inferenz etabliert.