🤖 AI

video-SALMONN S: Memory-Enhanced Streaming Audio-Visual LLM

Das Paper stellt video-SALMONN S vor, ein speichererweitertes, Streaming-fähiges Audio-Visuelles LLM, das Test-Time-Training nutzt, um kurzfristige Repräsentationen kontinuierlich in Langzeitgedächtnis umzuwandeln, wodurch es Videos von über 3 Stunden verarbeiten und bestehende Modelle bei Benchmarks für Langzeitdauer und episodisches Lernen signifikant übertreffen kann.

Ursprüngliche Autoren: Guangzhi Sun, Yixuan Li, Xiaodong Wu, Yudong Yang, Wei Li, Zejun Ma, Chao Zhang

Veröffentlicht 2026-02-04

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Guangzhi Sun, Yixuan Li, Xiaodong Wu, Yudong Yang, Wei Li, Zejun Ma, Chao Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, einen Film zu verstehen, der drei Stunden lang ist, aber Sie können ihm nur ein Bild pro Sekunde zeigen (eine sehr langsame, abgehackte Ansicht) und das Bild ist etwas verschwommen (360p-Auflösung). Zudem hat der Roboter ein sehr kleines „Gehirn“ (Gedächtnis), das gleichzeitig nur eine winzige Menge an Informationen speichern kann.

Die meisten aktuellen KI-Roboter vergessen den Anfang des Films, sobald sie das Ende erreichen. Dieses Paper stellt einen neuen Roboter namens video-SALMONN S vor, der dieses Problem löst. So funktioniert er, unter Verwendung einfacher Analogien:

1. Das Problem: Der „undichte Eimer“

Stellen Sie sich vor, Sie versuchen, einen Eimer mit Wasser (Videoinformationen) zu füllen, während der Eimer ein Loch am Boden hat.

Alte KI-Modelle sind wie Eimer mit großen Löchern. Wenn Sie einen 3-stündigen Film hineinschütten, läuft das Wasser (die Information) heraus, bevor Sie das Ende erreichen. Sie müssen den Großteil des Videos wegwerfen, um es in ihr Gedächtnis zu passen, wodurch sie wichtige Details vergessen.
Streaming-Modelle (der aktuelle Stand der Technik) sind besser, aber auch sie verlieren im Laufe der Zeit Informationen, da sie ständig alte Daten löschen müssen, um Platz für neue Daten zu schaffen.

2. Die Lösung: Das „selbst-editierende Notizbuch“ (TTT)

Das Geheimrezept von video-SALMONN S ist eine Technik namens Test-Time Training (TTT).

Die Analogie: Stellen Sie sich vor, Sie lesen ein sehr langes Buch. Anstatt nur zu lesen und zu vergessen, besitzen Sie ein magisches Notizbuch. Jedes Mal, wenn Sie eine neue Seite lesen, schreiben Sie nicht einfach nur mit; Sie schreiben Ihr eigenes Gehirn um, basierend auf dem, was Sie gerade gelesen haben. Sie aktualisieren Ihr Verständnis der Geschichte während Sie lesen.
Wie es funktioniert: Während das Video abläuft, passt das Modell seine internen Einstellungen (seine „Gewichte“) ständig an, um die Details der Geschichte zu speichern. Es wandelt Kurzzeitgedächtnis (was gerade passiert ist) in Langzeitgedächtnis (die ganze Geschichte) um, indem es seine eigene Struktur verändert. Es ist, als ob der Roboter das Video in Echtzeit „lernt“, anstatt es nur zu betrachten.

3. Der Trick der „Langstrecken-Vorhersage“

Um sicherzustellen, dass der Roboter den Anfang des Films nicht vergisst, haben die Autoren eine spezielle Regel namens Long-Span Prediction hinzugefügt.

Die Analogie: Stellen Sie sich vor, Sie spielen eine Runde „Stille Post“ mit einem Freund, aber das Spiel dauert 3 Stunden lang. Normalerweise wird die Nachricht verzerrt ankommen. Dieses Modell hat eine Regel: „Jedes Mal, wenn du eine Nachricht weitergibst, musst du auch prüfen, ob du dich noch an das erinnern kannst, was vor 30 Minuten gesagt wurde.“
Das Ergebnis: Dies zwingt den Roboter, die frühen Teile des Videos in seinem Geist klar zu halten, selbst während er die neuesten Bilder verarbeitet.

4. Der „kluge Bibliothekar“ (Memory Reader)

Selbst mit einem magischen Notizbuch kann man nicht jedes einzelne Blatt eines 3-stündigen Buches lesen, wenn jemand eine spezifische Frage stellt. Das würde zu lange dauern.

Die Analogie: Wenn ein Nutzer fragt: „Was passiert als Nächstes?“, agiert der Roboter wie ein kluger Bibliothekar. Anstatt das gesamte 3-stündige Archiv hervorzuholen, scannt er schnell sein Gedächtnis, findet die exakten paar Seiten, die relevant für die Frage sind, und ignoriert den Rest.
Der Vorteil: Dies hält den Roboter schnell und effizient, obwohl er Stunden an Video gesehen hat.

5. Der neue Test: „ELViM“ (Die Gedächtnis-Herausforderung)

Die Autoren stellten fest, dass bestehende Tests zu einfach waren; sie fragten nur nach Dingen, die der Roboter gerade jetzt im Video sah. Sie entwickelten einen neuen Test namens ELViM (Episodic Learning from Video Memory).

Das Szenario: Der Roboter sieht ein Video von jemandem, der einen Kuchen backt. Dann sieht er 30 Minuten lang andere Videos (wie Naturdokumentationen). Schließlich taucht das Backvideo wieder auf, angehalten kurz bevor der Bäcker ein Ei aufschlägt.
Die Frage: „Was ist der nächste Schritt?“
Das Ziel: Der Roboter muss den Backschritt von vor 30 Minuten erinnern, die dazwischen liegenden Naturdokumentationen ignorieren und korrekt antworten.
Das Ergebnis: video-SALMONN S hat diesen Test pulverisiert und war um 15 % besser als die besten bisherigen Modelle. Es bewies, dass der Roboter tatsächlich Fähigkeiten, die er Stunden zuvor gelernt hat, „erinnern“ kann.

Zusammenfassung der Leistungen

Es sieht lange Videos: Es kann über 3 Stunden Videomaterial mit einer niedrigen Bildrate verarbeiten, ohne dass der Speicher überläuft.
Es erinnert sich besser: Es schlägt sowohl „Streaming“-Modelle (die live schauen) als auch „Offline“-Modelle (die das ganze Video auf einmal sehen) um eine deutliche Marge (3–7 % besser in Standardtests, 15 % besser im Gedächtnistest).
Es ist effizient: Es benötigt keinen Supercomputer dafür; es passt innerhalb eines Standard-Speicherbudgets.

Kurz gesagt: video-SALMONN S ist die erste KI, die einen langen Film schauen, aus ihm lernen und die Details Stunden später wieder abrufen kann, während sie gleichzeitig ihr Gedächtnis klein und stabil hält.

Technisches Resümee: video-SALMONN S

Problemstellung

Das Verständnis von Langzeit-Streaming-Videos ist eine kritische Fähigkeit für zukünftige KI-Agenten, doch aktuelle State-of-the-Art (SOTA) Video-Large Language Models (LLMs) stehen vor erheblichen Einschränkungen. Die meisten bestehenden Modelle arbeiten auf eine offline-basierte Weise und erfordern eine feste maximale Anzahl an visuellen Input-Tokens, was zu einem erheblichen Informationsverlust bei Videos führt, die dieses Limit überschreiten. Während jüngere Streaming-Ansätze versuchen, kontinuierliche Videoeingaben durch Token-Merging oder Downsampling zu handhaben, führen diese oft zu kumulativem Informationsverlust über lange Zeiträume (z. B. 3+ Stunden), was zu einer Leistung führt, die unter der von Offline-Modellen liegt. Zudem erfordern bestehende Methoden, die auf externem Speicher oder spezialisierter Frame-Selektion beruhen, oft komplexe Designs oder spezialisierte Trainingsdaten, was die Skalierbarkeit einschränkt. Eine wesentliche Lücke bleibt in der Modellierung langfristiger Abhängigkeiten, bei denen ein Agent in der Lage sein muss, prozedurales Wissen aus Videostreams zu lernen, die Stunden zuvor beobachtet wurden, und dieses Wissen auf Echtzeit-Entscheidungen anzuwenden.

Methodik: video-SALMONN S

Die Autoren schlagen video-SALMONN S vor, ein speichererweitertes Streaming-Audio-Visuelles LLM, das darauf ausgelegt ist, Videos von über 3 Stunden bei 1 FPS und 360p-Auflösung unter einem festen Speicherbudget zu verarbeiten. Die zentrale Innovation ist die Integration von Test-Time Training (TTT) als Streaming-Speichermechanismus – eine Premiere für Video-LLMs.

1. TTTMEM-Layer

Anstatt sich ausschließlich auf Token-Kompression zu verlassen, verwendet video-SALMONN S einen TTTMEM-Layer, der kurzfristige multimodale Repräsentationen in einen langfristigen Speicher transformiert, der in den Parametern des Modells (Fast Weights) eingebettet ist.

Mechanismus: Der Layer fungiert als rekurrentes neuronales Netz, das die Fast Weights ( $W_t$ ) eines MLPs für jedes eingehende Mini-Batch von Video-Tokens ( $X_t$ ) aktualisiert.
Loss-Funktionen: Die Gewichte werden aktualisiert, um zwei Ziele zu minimieren:
1. Multiview Reconstruction Loss: Rekonstruiert den aktuellen Input.
2. Long-Span Prediction Loss: Prädiziert Inputs von einem weit entfernten Zeitstempel ( $X_{t-T}$ ), was als zeitlicher Konsistenz-Regularisierer dient, um das Überschreiben kritischer historischer Informationen zu verhindern.
Token-Management: Im Gegensatz zu Methoden, die Tokens zusammenführen (was zu Over-Smoothing führen kann), nutzt video-SALMONN S eine Ähnlichkeits-basierte Verwerfungsstrategie. Es kombiniert neue Memory-Tokens mit vorherigen und verwirft jene Tokens, die die höchste Cosinus-Ähnlichkeit zu ihren Nachbarn aufweisen, wodurch die Fähigkeit zur Repräsentation des Long-Span-Kontexts des TTT-Layers bewahrt wird.

2. Zweistufiges Trainingsschema

Um die GPU-Speicherbeschränkungen während des Trainings mit langen Sequenzen zu adressieren, wird eine zweistufige Strategie angewandt:

Stufe 1 (Cold-Start): Die TTTMEM-Parameter (Projektionsmatrizen) und das LLM werden gemeinsam mit Kontexten mittlerer Länge trainiert, um den Fast-Weight-Update-Mechanismus zu etablieren.
Stufe 2 (Scale-Up): Die TTTMEM-Projektionsparameter werden eingefroren, aber die Fast-Weight-Update-Regel bleibt bestehen. Das Modell wird daraufhin auf signifikant längere Sequenzen und eine erhöhte Anzahl an Memory-Tokens trainiert, um die Fähigkeit des LLMs zur Extraktion von Informationen aus dem erweiterten Speicher zu optimieren.

3. Modalitätsbewusstes Speicher-Auslesen

Um das feste Speicherbudget einzuhalten, während gleichzeitig auf spezifische Prompts reagiert wird, nutzt das Modell einen modalitätsbewussten, prompt-abhängigen Speicher-Auslesemechanismus.

Anstatt alle Memory-Tokens zu verarbeiten, komprimiert das LLM den Key-Value (KV) Cache, indem es nur die relevantesten Tokens basierend auf den Attention-Scores zwischen dem Prompt und den Memory-Chunks auswählt.
Dies ahmt den menschlichen Prozess nach, spezifische Informationen aus dem Langzeitgedächtnis in das Arbeitsgedächtnis abzurufen, wodurch eine konstante Speichernutzung bei gleichzeitiger Einhaltung der Streaming-Beschränkungen gewährleistet wird.

Zentrale Beiträge

video-SALMONN S Modell: Das erste Streaming-Video-LLM, das Test-Time Training (TTT) als Speicher-Mechanismus nutzt. Es erreicht SOTA-Leistung bei Videos >3 Stunden (1 FPS, 360p) unter einem festen Speicherbudget und übertrifft dabei sowohl Streaming- als auch Non-Streaming-Baselines.
TTTMEM-Layer & Training: Einführung eines neuartigen Layers, der Long-Span-Prediction-Objectives und ein zweistufiges Trainingsschema integriert, um die Modellierung langfristiger Abhängigkeiten und die Speicherkapazität ohne Informationsverlust zu verbessern.
ELViM Benchmark: Der Episodic Learning from Video Memory (ELViM) Benchmark wird eingeführt, um explizit zu evaluieren, ob Streaming-Video-LLMs in der Lage sind, prozedurales Wissen aus vergangenen Videoerfahrungen (die Stunden zuvor beobachtet wurden) zu erwerben und dieses für die Echtzeit-Entscheidungsfindung wiederzuverwenden. Dies schließt eine Lücke in bestehenden Benchmarks, die primär auf kurzfristige Wahrnehmung fokussiert sind.

Ergebnisse

Das Modell wurde auf allgemeinen Langzeit-Video-Benchmarks (Video-MME, LVBench, VideoEvalPro) und dem vorgeschlagenen ELViM-Benchmark evaluiert.

Langzeit-Video-Benchmarks: video-SALMONN S übertraf konsistent starke Streaming- und Non-Streaming-Baselines um 3–7 % in der absoluten Genauigkeit. Speziell erzielte es Verbesserungen von 1,7 %, 2,9 % und 5,4 % gegenüber seinem Non-Streaming-Gegenstück bei Video-MME (Long), LVBench bzw. VideoEvalPro.
ELViM-Leistung: Das Modell zeigte eine absolute Genauigkeitssteigerung von 15 % gegenüber starken Non-Streaming-Modellen auf ELViM, was seine überlegene Fähigkeit unterstreicht, aus dem Video-Speicher zu lernen und diesen abzurufen.
Effizienz: Der TTTMEM-Layer verursacht nur einen minimalen Overhead (ca. 0,1 s) bei der Inferenzzeit, und das Modell hält einen festen GPU-Speicher-Footprint (~24 GB für 16k Tokens) ein, der mit den Baseline-Streaming-Methoden vergleichbar ist.
Ablationsstudien: Es wurde gezeigt, dass der Long-Span-Prediction-Loss entscheidend für die Beibehaltung von Informationen über lange zeitliche Distanzen ist. Der modalitätsbewusste Auslesemechanismus lieferte konsistente Verbesserungen gegenüber trainingsfreien KV-Cache-Kompressionsmethoden wie AdaReTaKe.

Bedeutung und Ansprüche

Das Paper behauptet, dass video-SALMONN S einen bedeutenden Schritt in Richtung zukünftiger KI-Agenten darstellt, die in der Lage sind, kontinuierlich über Streaming-Inputs mit begrenztem Speicher zu operieren. Durch den Wechsel von statischer Token-Kompression zu dynamischem, parameterbasiertem Speicher via TTT mildert das Modell den inhärenten kumulativen Informationsverlust aktueller Streaming-Ansätze ab.

Die Einführung des ELViM-Benchmarks wird als fundiertes Evaluierungswerkzeug für kontinuierliches Lernen und Langzeitgedächtnis in multimodalen Systemen hervorgehoben, das über einfache Wahrnehmungsaufgaben hinausgeht, um die Fähigkeit eines Agenten zu bewerten, prozedurale Fähigkeiten aus ausgedehnten audio-visuellen Erfahrungen zu erlernen. Die Autoren positionieren diese Arbeit als grundlegend für Anwendungen, die eine Entscheidungsfindung über lange Zeiträume, instruktive Unterstützung und Barrierefreiheits-Tools für Nutzer erfordern, die auf erweiterte audio-visuelle Informationen angewiesen sind.