💻 computer science

SLVMBench: Skill Learning from Video Memory

Dit artikel introduceert SLVMBench, de eerste benchmark die is ontworpen om het vermogen van video-large language models om procedurele vaardigheden te leren uit lange videostromen met ingebedde tutorials en deze toe te passen op realtime taken te evalueren, waarbij wordt onthuld dat huidige modellen aanzienlijk worstelen met deze capaciteit vanwege beperkingen in langetermijngeheugen en vaardigheidsoverdracht.

Oorspronkelijke auteurs: Yudong Yang, Guangzhi Sun, Yixuan Li, Chao Zhang

Gepubliceerd 2026-07-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yudong Yang, Guangzhi Sun, Yixuan Li, Chao Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te leren hoe je een lekkende kraan repareert. Je vindt een perfecte tutorialvideo van 10 minuten op YouTube. Je kijkt ernaar, knikt instemmend en hebt het gevoel dat je het hele proces onder de knie hebt. Dan sluit je het tabblad en ga je twee uur lang iets anders doen. Misschien kijk je een heleboel willekeurige kattenfilmpjes, een kookprogramma en een documentaire over diepzeevissen.

Nu ga je terug naar de gootsteen. De kraan druppelt. Je pakt je moersleutel, maar plotseling blokkeert je brein. Wacht, moest ik eerst de moer losdraaien of de schroef? Was het een moersleutel of een tang? Je kunt je de tutorial niet meer herinneren omdat de twee uur aan "kattenfilmpjes-ruis" het heeft overstemd.

Dit is precies het probleem dat SLVMBench (Skill Learning from Video Memory) probeert op te lossen, en het is de eerste keer dat iemand een test heeft gebouwd om te zien of AI kan doen wat mensen doen: een vaardigheid leren van een video, het een tijdje vergeten, en het dan weer onthouden wanneer ze het daadwerkelijk nodig hebben.

De Grote Test: De "Twee-Uur-Afleiding"-Uitdaging

De onderzoekers hebben een supermoeilijk spel voor AI-modellen bedacht. Zo werkt het:

De Tutorial: De AI kijkt naar een video waarin een specifieke vaardigheid wordt uitgelegd (zoals hoe je een elektrisch gereedschap gebruikt of een gadget repareert).
De Ruis: Direct daarna wordt de AI gedworgon om een stroom van 2 uur aan volkomen irrelevante, saaie of willekeurige video's te bekijken. Dit is de "afleidingsfase".
De Test: De AI krijgt vervolgens een nieuwe video te zien van iemand die de taak uitvoert, maar de video stopt vlak voordat een cruciale stap plaatsvindt. De AI moet raden wat er nu gebeurt, gebruikmakend van alleen het geheugen van die tutorial van twee uur geleden.

Denk aan het als een geheugenspel waarbij je een geheim recept moet onthouden, maar iemand je twee uur lang willekeurige getallen toeschreeuwt voordat er gevraagd wordt: "Wat is het eerste ingrediënt?"

Het Schokkende Resultaat: AI Heeft een "Geheugenklif"

Het artikel testte de slimste AI-modellen die er zijn, inclusief grote namen zoals Gemini, GPT-4o en GPT-5.2. De resultaten waren een beetje een reality check.

Wanneer de AI werd gevraagd het probleem op te lossen onmiddellijk na het kijken van de tutorial (zonder afleiding), deed het het vrij goed. Het was alsof je iemand vroeg de kraan te repareren direct nadat de tutorialvideo was afgelopen. Je zou het waarschijnlijk goed hebben.

Maar op het moment dat ze de 2-urige afleiding toevoegden, stortte de prestatie van de AI volledig in.

De "Klif": Het artikel beschrijft een "geheugenklif". Voor sommige van de beste modellen daalde het vermogen om de vaardigheid te onthouden zo laag dat ze nauwelijks beter waren dan wanneer ze de tutorial helemaal niet hadden gezien.
De Cijfers: Een van de beste modellen, Gemini 3.1 Pro, zag zijn score dalen van een solide 74,92% (met directe hulp) naar 59,45% na de lange afleiding. Dat is een groot gat. Maar voor andere modellen zoals GPT-5.2 was de daling nog erger: van 57,94% naar 44,89%. Sterker nog, voor sommige modellen maakte de lange wachttijd de prestaties bijna identiek aan simpelweg gokken zonder enige hulp.

De auteurs suggereren dat hoewel deze AI's erg goed zijn in het bekijken van een video en vragen beantwoorden terwijl deze wordt afgespeeld, ze er slecht in zijn om die informatie vast te houden wanneer deze begraven ligt onder uren aan andere zaken.

Wat het Papier Uitsluit (En Wat Niet)

Het artikel is heel duidelijk over waar deze test niet over gaat.

Het gaat niet over "Gezond Verstand": De vragen waren zo ontworpen dat je het antwoord niet kon raden door gewoon slim te zijn. Je moest de specifieke tutorial onthouden. Als een AI het goed had zonder de tutorial, gooiden de onderzoekers die vraag eruit.
Het gaat niet over "Passief Kijken": Eerdere tests vroegen alleen: "Wat gebeurde er in deze 1-urige video?" Deze test vraagt: "Wat doe je hierna op basis van een video die je uren geleden zag?" Het gaat over doen, niet alleen over het onthouden van feiten.
Het is geen "Overwinning" voor Streaming AI: Sommige mensen dachten dat modellen die ontworpen zijn om lange stromen te bekijken (zoals "streaming" modellen), beter zouden zijn in dit werk. Het artikel laat zien dat hoewel ze er iets beter in zijn, ze nog steeds enorm worstelen. Eén model, PEMF, zag zijn nauwkeurigheid kelderen van 64,88% naar 39,36% toen de afleiding werd toegevoegd. Dit suggereert dat alleen maar "langer kijken" niet de magische oplossing is.

Hoe Zeker Zijn We?

De onderzoekers hebben niet zomaar wat geraden; ze hebben een enorme, zorgvuldig samengestelde dataset gebouwd.

De Data: Ze verzamelden 1.220 video's en creëerden 2.261 vragen.
Menselijke Controle: Echte mensen besteedden meer dan 750 uur aan het controleren van elke video en vraag. Ze zorgden ervoor dat de tutorial de vaardigheid daadwerkelijk leerde, dat de "afleidings"-video's echt irrelevant waren, en dat de vragen tot op de sub-seconde nauwkeurig waren getimed.
De Zekerheid: Het artikel rapporteert deze resultaten met 95% betrouwbaarheidsintervallen, wat betekent dat ze er statistisch zeker van zijn dat deze dalingen in prestaties echt zijn en niet slechts een toevalstreffer.

De Conclusie

Het artikel concludeert dat huidige AI-modellen lijken op studenten die een examen kunnen halen als ze vlak voor het examen studeren, maar als ze twee uur van tevoren moeten studeren en daarna een saaie lezing moeten bijwonen, vergeten ze alles.

De auteurs suggereren dat voor AI om echt te kunnen fungeren als een behulpzame robot in de echte wereld — een vaardigheid leren van een video en deze dagen later te gebruiken — we moeten uitzoeken hoe we deze "geheugenkliffen" kunnen stoppen. Tot die tijd worstelen zelfs de slimste AI-modellen nog steeds om hun vaardigheden scherp te houden wanneer de ruis luid wordt.

Technische Samenvatting: SLVMBench - Skill Learning from Video Memory

Probleemstelling

Recente vooruitgang in audio-visuele grote taalmodellen (video-LLM's) heeft aangetoond dat zij bekwaam zijn in het begrijpen van korte video's (minuten) voor taken zoals beschrijvingen en vraagbeantwoording. Er bestaat echter een kritieke kloof bij het evalueren van deze modellen voor realistische toepassingen in embodied AI, die nauwkeurige realtime perceptie en effectief langetermijngeheugen vereisen.

Huidige evaluatieparadigma's zijn gefragmenteerd:

Realtime benchmarks (bijv. StreamingBench, OVOBench) richten zich op kortetermijnperceptie (10–20 minuten) zonder dat daarvoor langetermijngeheugen vereist is.
Long-video benchmarks (bijv. VideoMME, LVBench) testen passieve begripsvorming en informatie-extractie over uren heen, maar vereisen geen realtime verwerking of de toepassing van procedurele kennis.
Skill-learning benchmarks vertrouwen vaak op korte, onmiddellijke demonstraties of missen een gegarandeerde kennisdekking, waardoor ze er niet in slagen het volledige proces van het memoriseren, extraheren en overdragen van procedurele kennis van het langetermijngeheugen naar realtime taken te testen.

Er is een gebrek aan een uniforme benchmark die evalueert of video-LLM's een vaardigheid kunnen leren uit een tutorial die ingebed is in een lange stroom van irrelevante inhoud, en die vaardigheid vervolgens kan toepassen op een realtime taak na een aanzienlijke temporele vertraging.

Methodologie: SLVMBench Ontwerp

De auteurs stellen SLVMBench (Skill Learning from Video Memory) voor, de eerste benchmark die ontworpen is om gezamenlijk het verwerven van vaardigheden uit lang video-geheugen en de toepassing daarvan op realtime taken te evalueren.

Dataconstructie

De dataset bestaat uit 2.261 door mensen gegenereerde vraag-antwoordparen afgeleid van 1.220 video's verspreid over 11 real-world domeinen (variërend van dagelijks leven tot professionele vaardigheden). De constructie-pipeline omvat:

Video Curatie: Video's werden van YouTube gecrawld met behulp van procedurele queries, strikt gefilterd op publicatiedatum na januari 2025 om datacontaminatie vanuit de voorkennis van getrainde modellen te voorkomen.
Taakstructuur: Elke sample is een quintuplet $T = (V_{tut}, D, V_{tar}, t_c, Q)$ $T = (V_{t u t}, D, V_{t a r}, t_{c}, Q)$ :
- $V_{tut}$ : Een tutorial-video die de specifieke vaardigheid demonstreert.
- $D$ : Een sequentie van distractor-video's (ongerelateerde inhoud) die tussen de tutorial en de doelvideo zijn ingevoegd.
- $V_{tar}$ : Een doelvideo die de uitvoering van een real-world taak laat zien.
- $t_c$ : Een precieze temporele afkapgrens (beslismoment) binnen $V_{tar}$ .
- $Q$ : Een meerkeuzevraag (5 opties) gesteld op $t_c$ .
Temporele Kloof: De tutorial is willekeurig ingebed binnen een stroom van 1 tot 2 uur aan distractor-video's voordat de doeltaak begint. Het interval tussen de relevante kennis en de vraag is ten minste 30 minuten, vaak tot wel 2 uur.
Annotatie-rigor: Een team van 99 annotatoren voerde sub-seconde temporele kalibratie uit, waarborgde de logische consistentie tussen tutorial en doelvideo, en ontwierp "anti-gok" vragen waarbij algemeenheden of visuele aanwijzingen alleen onvoldoende zijn om correct te antwoorden zonder de tutorial.

Taak-taxonomie

De benchmark categoriseert taken in drie thematische clusters om verschillende cognitieve dimensies te evalueren:

Procedurele Beheersing: Voorspelling van de volgende stap, ordening van stappen en voorspelling van subdoelen.
Constraints & Tool Logica: Parameterherinnering, configuratie van tools en veiligheidscontroles.
Diagnostiek & Adaptatie: Foutdetectie en conditionele vertakkingen (aanpassen aan "als-dan" scenario's).

Evaluatieparadigma's

De auteurs evalueren modellen onder drie verschillende instellingen om specifieke capaciteiten te isoleren:

zonder Tutorial: Alleen de doelvideo (afgekapt bij $t_c$ ) wordt verstrekt. Dit meet de afhankelijkheid van common-sense priors.
met Tutorial: De tutorial wordt direct gevolgd door de afgekapte doelvideo. Dit meet de prompt-toepassing van geleerde kennis.
met Tutorial (Lang): De tutorial wordt gevolgd door een lange sequentie van distractoren (tot 2 uur) voordat de doelvideo begint. Dit test episodisch geheugen en retrieval te midden van hoog-densiteit ruis.

Belangrijkste Resultaten

De benchmark werd geëvalueerd op een divers scala aan propriëtaire (bijv. Gemini 3.1 Pro, GPT-5.2, GPT-4o) en open-source (bijv. video-SALMONN, Qwen-Omni, VideoLLaMA3) video-LLM's.

Prestatieobservaties

Geldigheid van Vaardigheidsverwerving: Alle modellen vertoonden significante prestatiewinst ( $\Delta$ ) in de "met Tutorial" setting vergeleken met de baseline, wat bevestigt dat de taken specifieke procedurele kennis vereisen die niet beschikbaar is via common sense.
Geheugenverval: In de "met Tutorial (Lang)" setting nam de prestatie voor bijna alle modellen merkbaar af.
- Propriëtaire Modellen: Terwijl Gemini 3.1 Pro een winst van 14,00% behield boven de baseline, zagen modellen zoals GPT-5.2 en GPT-4o hun winst krimpen naar respectievelijk 2,21% en 2,48%, waardoor ze effectief terugvielen naar de baseline-prestaties.
- Open-Source Modellen: Veel open-source modellen (bijv. VideoLLaMA3, Qwen3-VL) vertoonden minimale winst ( $\Delta_L < 2\%$ ) in de langdurige setting, wat wijst op een onvermogen om procedurele kennis vast te houden over uitgebreide distractoren heen.
Architectuurimpact:
- Audio-Visueel vs. Visueel-Alleen: Modellen met audio-capaciteiten (bijv. Gemini 3.1 Pro, Qwen2.5-Omni) presteerden aanzienlijk beter dan hun visueel-alleen tegenhangers, wat het belang van verbale instructies in tutorials benadrukt.
- Streaming vs. Niet-Streaming: Gespecialiseerde streaming-architecturen (bijv. video-SALMONN-S) vertoonden een betere robuustheid ( $\Delta_L \approx 14,95\%$ ) vergeleken met niet-streaming modellen, hoewel de prestaties nog steeds significant daalden vergeleken met onmiddellijke toepassing.
Fijnmazige Analyse: Streaming-modellen excelleerden in logica-intensieve taken zoals Conditionele Vertakking en Foutdetectie, terwijl niet-streaming modellen moeite hadden met diagnostisch redeneren en vaak tot bijna willekeurige prestatieniveaus zakten in deze categorieën.

Betekenis en Claims

Het artikel positioneert SLVMBench als een cruciaal instrument om de beperkingen van huidige video-LLM's te identificeren in realtime vaardigheidsverwerving en -toepassing.

Een Cruciale Beperking Blootleggen: De resultaten laten zien dat hoewel video-LLM's korte contexten kunnen begrijpen of passief lange video's kunnen bevatten, ze aanzienlijk worstelen met het leren van procedurele kennis uit het langetermijngeheugen en het overdragen daarvan naar realtime taken. De "geheugenklif" die wordt waargenomen wanneer de temporele gaten toenemen, onthult een fundamentele bottleneck in huidige episodische geheugenmechanismen.
Benchmarkstandaard: SLVMBench vult de kloof tussen passief begrip van lange video's en realtime streaming-perceptie, en biedt de eerste rigoureuze test voor multimodale episodische geheugens in de context van het leren van vaardigheden.
Toekomstige Richting: De auteurs merken op dat de huidige beperkingen (bijv. de 2-uurs temporele limiet door sequentielengte-restricties) de huidige stand van de techniek weerspiegelen. Ze suggereren dat toekomstig werk video-demonstraties als geheugen voor agentic AI-systemen moet verkennen, waarbij men verder gaat dan vraagbeantwoording naar werkelijke interactie in gesimuleerde of real-world omgevingen.

Het artikel concludeert dat bestaande video-LLM's nog niet klaar zijn voor embodied AI-scenario's die langetermijn procedureel geheugen vereisen, en dat SLVMBench het noodzakelijke evaluatiekader biedt om vooruitgang in dit gebied te stimuleren.