🤖 AI

video-SALMONN S: Memory-Enhanced Streaming Audio-Visual LLM

Het artikel introduceert video-SALMONN S, een geheugenversterkend streaming audio-visueel LLM dat test-time training gebruikt om kortetermijnrepresentaties continu om te zetten in langetermijngeheugen, waardoor het video's van meer dan 3 uur kan verwerken en bestaande modellen aanzienlijk overtreft op benchmarks voor langdurige en episodische leerprocessen.

Oorspronkelijke auteurs: Guangzhi Sun, Yixuan Li, Xiaodong Wu, Yudong Yang, Wei Li, Zejun Ma, Chao Zhang

Gepubliceerd 2026-02-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Guangzhi Sun, Yixuan Li, Xiaodong Wu, Yudong Yang, Wei Li, Zejun Ma, Chao Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren een film van drie uur lang te begrijpen, maar je kunt het hem alleen laten zien met één frame per seconde (een heel traag, schokkerig beeld) en het beeld is een beetje wazig (360p resolutie). Bovendien heeft de robot een heel klein "brein" (geheugen) dat tegelijkertijd maar een heel klein beetje informatie kan vasthouden.

De meeste huidige AI-robots vergeten het begin van de film tegen de tijd dat ze bij het einde zijn. Dit artikel introduceert een nieuwe robot genaamd video-SALMONN S die dit probleem oplost. Zo werkt het, met behulp van eenvoudige analogieën:

1. Het Probleem: De "Lekkende Emmer"

Stel je voor dat je een emmer probeert te vullen met water (video-informatie), terwijl de emmer een gat onderin heeft.

Oude AI-modellen zijn als emmers met grote gaten. Als je een video van 3 uur in de emmer giet, lekt het water (de informatie) eruit voordat je bij het einde bent. Ze moeten het grootste deel van de video weggooien om het in hun geheugen te laten passen, waardoor ze belangrijke details vergeten.
Streaming-modellen (de huidige beste) zijn beter, maar ze verliezen nog steeds informatie over tijd omdat ze constant oude gegevens moeten verwijderen om ruimte te maken voor nieuwe gegevens.

2. De Oplossing: Het "Zelf-redigerende Notitieblok" (TTT)

Het geheime ingrediënt van video-SALMONN S is een techniek genaamd Test-Time Training (TTT).

De Analogie: Stel je voor dat je een heel lang boek leest. In plaats van alleen te lezen en te vergeten, heb je een magisch notitieblok. Elke keer als je een nieuwe pagina leest, schrijf je niet alleen op wat er staat; je herschrijft je eigen brein op basis van wat je net hebt gelezen. Je werkt je begrip van het verhaal bij terwijl je het leest.
Hoe het werkt: Terwijl de video afspeelt, past het model constant zijn eigen interne instellingen (zijn "gewichten") aan om de details van het verhaal op te slaan. Het verandelt kortetermijngeheugen (wat er net gebeurde) in langetermijngeheugen (het hele verhaal) door zijn eigen structuur te veranderen. Het is alsof de robot de video "leert" terwijl hij kijkt, in plaats van alleen maar te kijken.

3. De "Langetermijnvoorspelling" Truc

Om ervoor te zorgen dat de robot het begin van de film niet vergeet, voegden de auteurs een speciale regel toe die Long-Span Prediction wordt genoemd.

De Analogie: Stel je voor dat je een spelletje "Telefoontje" speelt met een vriend, maar het spel duurt 3 uur. Normaal gesproken raakt de boodschap vervormd. Dit model heeft een regel: "Elke keer dat je een boodschap doorgeeft, moet je ook controlen of je je nog kunt herinneren wat er 30 minuten geleden is gezegd."
Het Resultaat: Dit dwingt de robot om de vroege delen van de video helder in zijn geest te houden, zelfs terwijl hij de nieuwste beelden verwerkt.

4. De "Slimme Bibliothecaris" (Memory Reader)

Zelfs met een magisch notitieblok kun je niet elk enkel blad van een 3 uur lang boek lezen wanneer iemand een specifieke vraag stelt. Dat zou te lang duren.

De Analogie: Wanneer een gebruiker vraat: "Wat gebeurt er nu?", gedraagt de robot zich als een slimme bibliothecaris. In plaats van het volledige 3-urige archief te doorzoeken, scant hij snel zijn geheugen, vindt de exacte paar pagina's die relevant zijn voor de vraag, en negeert de rest.
Het Voordeel: Dit houdt de robot snel en efficiënt, zelfs al heeft hij uren aan video bekeken.

5. De Nieuwe Test: "ELViM" (De Geheugenuitdaging)

De auteurs realiseerden zich dat bestaande tests te makkelijk waren; ze vroegen alleen dingen over video's die de robot op dat moment aan het bekijken was. Ze creëerden een nieuwe test genaamd ELViM (Episodic Learning from Video Memory).

Het Scenario: De robot kijkt naar een video van iemand die een taart bakt. Daarna kijkt hij 30 minuten lang naar andere video's (zoals natuurdocumentaires). Vervolgens komt de video van het bakken weer terug, gepauzeerd vlak voordat de bakker een ei breekt.
De Vraag: "Wat is de volgende stap?"
Het Doel: De robot moet de bakstap van 30 minuten geleden onthouden, de natuurdocumentaires daartussenin negeren en het antwoord correct geven.
Het Resultaat: video-SALMONN S verpletterde deze test en presteerde 15% beter dan de beste vorige modellen. Het bewees dat de robot daadwerkelijk vaardigheden kon "onthouden" die hij uren eerder had geleerd.

Samenvatting van Prestaties

Het bekijkt lange video's: Het kan meer dan 3 uur aan video aan met een lage framerate zonder dat het geheugen volloopt.
Het onthoudt beter: Het verslaat zowel "streaming"-modellen (die live kijken) als "offline"-modellen (die de hele video in één keer zien) met een aanzienlijke marge (3-7% beter op standaardtests, 15% beter op de geheugentest).
Het is efficiënt: Het heeft geen supercomputer nodig om dit te doen; het past binnen een standaard geheugenbudget.

Kortom, video-SALMONN S is de eerste AI die een lange film kan bekijken, ervan kan leren en de details uren later nog kan onthouden, terwijl het geheugengebruik klein en constant blijft.

Technische Samenvatting: video-SALMONN S

Probleemstelling

Begrip van langdurige streamingvideo is een cruciale capaciteit voor toekomstige AI-agenten, maar de huidige state-of-the-art (SOTA) video Large Language Models (LLMs) kampen met significante beperkingen. De meeste bestaande modellen werken op een offline wijze en vereisen een vast maximaal aantal visuele tokens als input, wat leidt tot substantieel informatieverlies voor video's die deze limiet overschrijden. Hoewel recente streaming-benaderingen proberen continue video-inputs te verwerken via token-merging of downsampling, veroorzaken zij vaak cumulatief informatieverlies over lange periodes (bijv. 3+ uur), wat resulteert in prestaties die inferieur zijn aan offline modellen. Bovendien vereisen bestaande methoden die vertrouwen op externe geheugens of gespecialiseerde frameselectie vaak complexe ontwerpen of gespecialiseerde trainingsdata, wat de schaalbaarheid beperkt. Er blijft een belangrijke kloof bestaan in het modelleren van langetermijnafhankelijkheden waarbij een agent procedurele kennis moet leren van videostreams die uren eerder zijn waargenomen en deze moet toepassen op realtime besluitvorming.

Methodologie: video-SALMONN S

De auteurs stellen video-SALMONN S voor, een geheugenversterkt streaming audio-visueel LLM dat ontworpen is om video's te verwerken die langer zijn dan 3 uur bij 1 FPS en 360p resolutie onder een vast geheugenbudget. De kerninnovatie is de integratie van Test-Time Training (TTT) als een streaming geheugenmechanisme, een eerste voor video-LLMs.

1. TTTMEM Laag

In plaats van uitsluitend te vertrouwen op tokencompressie, gebruikt video-SALMONN S een TTTMEM-laag die kortetermijn multimodale representaties transformeert naar langetermijngeheugen ingebed in de parameters van het model (fast weights).

Mechanisme: De laag functioneert als een recurrent neuraal netwerk dat de fast weights ( $W_t$ ) van een MLP bijwerkt voor elke binnenkomende mini-batch van video-tokens ( $X_t$ ).
Verliesfuncties: De gewichten worden bijgewerkt om twee doelstellingen te minimaliseren:
1. Multiview Reconstruction Loss: Reconstrueert de huidige input.
2. Long-Span Prediction Loss: Voorspelt inputs van een ver verwijderd tijdstip ( $X_{t-T}$ ), wat fungeert als een temporele consistentie-regularisator om het overschrijven van kritieke historische informatie te voorkomen.
Tokenbeheer: In tegen tegenstelling tot methoden die tokens samenvoegen (wat kan leiden tot overmatige smoothing), gebruikt video-SALMONN S een gelijkenis-gebaseerde discard-strategie. Het combineert nieuwe geheugentokens met voorgaande tokens en verwijdert tokens met de hoogste cosinus-gelijkenis met hun buren, waardoor het vermogen van de TTT-laag om langetermijncontext-representaties te behouden, wordt gewaarborgd.

2. Tweestaps Trainingsschema

Om GPU-geheugenbeperkingen tijdens het trainen met lange sequenties aan te pakken, wordt een tweestapsstrategie gehanteerd:

Fase 1 (Cold-Start): De TTTMEM-parameters (projectiematrices) en het LLM worden gezamenlijk getraind met medium-lengte contexten om het mechanisme voor het bijwerken van fast weights te vestigen.
Fase 2 (Scale-Up): De TTTMEM-projectieparameters worden bevroren, maar de regel voor het bijwerken van de fast weights wordt gehandhaafd. Het model wordt vervolgens getraind op aanzienlijk langere sequenties en een groter aantal geheugentokens, waarbij het vermogen van het LLM om informatie uit het uitgebreide geheugen te extraheren, wordt geoptimaliseerd.

3. Modality-Aware Geheugenlezing

Om het vaste geheugenbudget te beheren terwijl er op specifieke prompts wordt gereageerd, maakt het model gebruik van een modality-aware, prompt-afhankelijke geheugenlezing mechanisme.

In plaats van alle geheugentokens te verwerken, comprimeert het LLM de Key-Value (KV) cache door alleen de meest relevante tokens te selecteren op basis van attention-scores tussen de prompt en de geheugenblokken.
Dit bootst het menselijke proces na van het ophalen van specifieke informatie uit het langetermijngeheugen naar het werkgeheugen, wat zorgt voor een constant geheugengebruik terwijl aan de streaming-beperkingen wordt voldaan.

Belangrijkste Bijdragen

video-SALMONN S Model: Het eerste streaming video-LLM dat Test-Time Training (TTT) gebruikt als geheugenmechanisme. Het bereikt SOTA-prestaties op video's >3 uur lang (1 FPS, 360p) onder een vast geheugenbudget, waarbij het zowel streaming als non-streaming baselines verslaat.
TTTMEM Laag & Training: Introductie van een nieuwe laag die long-span voorspellingsdoelstellingen en een tweestaps trainingsschema incorporeert om de modellering van langetermijnafhankelijkheden en geheugencapaciteit te verbeteren zonder informatieverlies.
ELViM Benchmark: De Episodic Learning from Video Memory (ELViM) benchmark wordt geïntroduceerd om expliciet te evalueren of streaming video-LLMs procedurele kennis kunnen verwerven uit het verleden (waargenomen video-ervaringen uren eerder) en deze kunnen hergebruiken voor realtime besluitvorming. Dit vult een gat in bestaande benchmarks die zich primair richten op kortetermijnperceptie.

Resultaten

Het model werd geëvalueerd op algemene lang-video benchmarks (Video-MME, LVBench, VideoEvalPro) en de voorgestelde ELViM benchmark.

Lang-video Benchmarks: video-SALMONN S presteerde consequent beter dan sterke streaming en non-streaming baselines met 3–7% in absolute nauwkeurigheid. Specifiek behaalde het verbeteringen van 1,7%, 2,9% en 5,4% ten opzichte van zijn non-streaming tegenhanger op respectievelijk Video-MME (Long), LVBench en VideoEvalPro.
ELViM Prestaties: Het model vertoonde een absolute nauwkeurigheidsverbetering van 15% ten opzichte van sterke non-streaming modellen op ELViM, wat de superieure capaciteit benadrukt om te leren van en terug te roepen uit video-geheugen.
Efficiëntie: De TTTMEM-laag voegt minimale overhead (ongeveer 0,1s) toe aan de inferentietijd, en het model behoudt een vast GPU-geheugenvoetafdruk (~24GB voor 16k tokens) die vergelijkbaar is met baseline streaming-methoden.
Ablatie-studies: De long-span prediction loss bleek cruciaal voor het behoud van informatie over lange temporele afstanden. Het modality-aware leesmechanisme leverde consistente verbeteringen op ten opzichte van training-vrije KV-cache compressiemethoden zoals AdaReTaKe.

Betekenis en Claims

Het artikel beweert dat video-SALMONN S een belangrijke stap vormt richting toekomstige AI-agenten die in staat zijn om continu te opereren op streaming inputs met een begrensd geheugen. Door de verschuiving van statische tokencompressie naar dynamisch, parameter-gebaseerd geheugen via TTT, mitigeert het model het cumulatieve informatieverlies dat inherent is aan huidige streaming-benaderingen.

De introductie van de ELViM benchmark wordt benadrukt als een fundamenteel evaluatiemiddel voor continual learning en langetermijngeheugen in multimodale systemen, waarbij de focus verschuift van eenvoudige perceptie-taken naar het beoordelen van het vermogen van een agent om procedurele vaardigheden te leren uit uitgebreide audio-visuele ervaringen. De auteurs positioneren dit werk als fundamenteel voor toepassingen die langdurige besluitvorming, instructieve ondersteuning en toegankelijkheidstools vereisen voor gebruikers die vertrouwen op uitgebreide audio-visuele informatie.