💬 NLP

STORM: Internalized Modeling for Spatial-Temporal Reasoning in Video-Language Models

STORMS is een tweestapskader dat ruimtetijdsredenering van video-taalmodellen verbetert door ze te trainen om dynamisch visueel bewijs te internaliseren in begrenste continue latente trajecten, waardoor een hogere nauwkeurigheid wordt bereikt met aanzienlijk lagere inferentielatentie in vergelijking met methoden die vertrouwen op externe hulpmiddelen of expliciete tekstuele chain-of-thought.

Oorspronkelijke auteurs: Yiming Liang, Yixiao Chen, Yiyang Zhou, Yixuan Wang, Shoubin Yu, Andong Deng, Fuxiao Liu, Qin Zhang, Chen Chen, Mohit Bansal, Huaxiu Yao

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yiming Liang, Yixiao Chen, Yiyang Zhou, Yixuan Wang, Shoubin Yu, Andong Deng, Fuxiao Liu, Qin Zhang, Chen Chen, Mohit Bansal, Huaxiu Yao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Video is Moeilijk om over na te "denken"

Stel je voor dat je een video bekijkt van iemand die een sandwich maakt. Om een vraag als "Wat zullen ze als volgende doen?" te beantwoorden, moet je hersenen de beweging van hun handen volgen, de volgorde van de ingrediënten en hoe het beeld van seconde tot seconde verandert.

Huidige AI-modellen (Video-Taalmodellen) zijn uitstekend in het bekijken van afbeeldingen, maar ze worstelen met video omdat video een bewegend puzzelstuk is.

De Oude Manier: Om dit op te lossen, probeert huidige AI vaak zijn weg door het probleem te "praten". Het stopt, schrijft een lange lijst met gedachten (zoals een tekstdagboek), kiest specifieke frames om opnieuw te bekijken, of roept zelfs externe hulpmiddelen aan om te helpen.
Het Nadeel: Dit is als proberen een wiskundeprobleem op te lossen door elke stap op een stuk papier uit te schrijven, het vervolgens te wissen en het opnieuw te schrijven. Het is traag, onhandig en kost veel energie (rekenkracht).

De Oplossing: TORM (De "Interne Film")

De auteurs stellen TORM voor (Spatio-temporele redenering via geïnternaliseerde Modellering).

In plaats van de AI te dwingen zijn gedachten op te schrijven of om hulp te vragen, leert TORM de AI om de video binnen zijn eigen "hersenen" te simuleren met behulp van een verborgen, compacte code.

Denk er zo over:

Oude AI: Als een detective die moet stoppen, een vergrootglas moet tevoorschijn halen, een foto van het bewijs moet maken, een rapport moet schrijven en vervolgens nog een foto moet maken.
TORM AI: Als een detective die zijn ogen sluit en het tafereel perfect in zijn gedachten herspeelt, waarna hij je direct het antwoord geeft.

Hoe het Werkt: De Tweestaps Training

Het artikel beschrijft een slim tweestaps trainingsproces om de AI deze "geestelijke film"-vaardigheid aan te leren.

Fase 1: De "Leraar" Toont de Film

Tijdens het trainen creëert het systeem een speciale "Gedachtenvideo".

Het neemt een echte video en een vraag.
Het gebruikt een krachtige AI om een korte, nieuwe video te genereren die alleen de delen toont die relevant zijn voor het antwoord (bijvoorbeeld alleen de handen die de drank mengen).
Het model krijgt deze "Gedachtenvideo" te zien en krijgt te horen: "Jouw verborgen hersentoestanden (de latente tokens) moeten eruitzien als deze video."
De Analogie: Stel je een leraar voor die een student een korte, perfecte clip van een voetbalgoal laat zien. De leraar zegt: "Schrijf geen alinea over de goal. In plaats daarvan, stel je het gevoel voor van de bal die het net raakt in je hoofd, en zorg ervoor dat je 'mentale beeld' overeenkomt met deze clip."

Fase 2: De "Stille" Oefening

Zodra de AI heeft geleerd om zijn interne hersentoestanden af te stemmen op deze video-clips, verandert de training.

De "Gedachtenvideo" wordt verwijderd.
De AI krijgt opnieuw de vraag.
Het krijgt te horen: "Ga je gang en denk in je hoofd (met behulp van die interne toestanden die je hebt geleerd), maar laat me de video niet zien. Geef me gewoon het definitieve antwoord."
De Analogie: De leraar stopt met het tonen van de clips. Nu moet de student zijn ogen sluiten, de mentale film die hij in Fase 1 heeft geleerd, herspelen en het antwoord roepen. Ze mogen geen notities maken of meer naar het scherm kijken.

Het Resultaat: Snel en Efficiënt

Wanneer de AI wordt getest (inferentie):

Het genereert geen nieuwe video's.
Het bekijkt geen frames opnieuw.
Het roept geen externe hulpmiddelen aan.

Het voert gewoon een korte, snelle "simulatie" uit binnen zijn verborgen code (een "latente rollout") en spreekt vervolgens het antwoord uit.

Waarom is dit beter?

Snelheid: Omdat het geen zware videobestanden hoeft te genereren of naar frames hoeft te zoeken, is het veel sneller. Het artikel toont aan dat het ongeveer 30 keer sneller is dan methoden die vertrouwen op externe hulpmiddelen.
Nauwkeurigheid: Het wordt eigenlijk beter in het beantwoorden van complexe videovragen omdat het heeft geleerd om de beweging en timing intern te "voelen", in plaats van het alleen met woorden te beschrijven.

Samenvatting

TORM is een nieuwe manier om AI video te laten begrijpen. In plaats van de AI een lang verhaal te laten schrijven of externe hulpmiddelen te laten gebruiken om uit te zoeken wat er als volgende gebeurt, leert het de AI om een stille, interne simulatie van de video te draaien. Het leert dit door tijdens het trainen "gedachtenvideo's" te bekijken, maar tijdens de daadwerkelijke test gebruikt het gewoon zijn interne "geestelijke film" om een snel en nauwkeurig antwoord te geven.

Belangrijkste Les: Het verplaatst video-redenering van "het werk hardop doen" (traag en rommelig) naar "het stil doordenken" (snel en efficiënt).

Technische Samenvatting: TORM - Geïnternaliseerde Modellering voor Ruimtetemporeel Redeneren in Video-Taalmodellen

Probleemstelling

Video-redeneertaken vereisen dat modellen beweging, temporele volgorde en evoluerende visuele toestanden over frames heen volgen. Hoewel Large Vision-Language Models (LVLMs) succesvol zijn in het begrijpen van statische afbeeldingen, blijft het uitbreiden hiervan naar video een uitdaging. Bestaande benaderingen vertrouwen vaak op externalisering van redenering via tekstuele Chain-of-Thought (CoT), herhaalde frame-herinvoeging, temporele decompositie of gebruik van externe tools.

Het artikel identificeert kritieke beperkingen in deze externe pijplijnen:

Inefficiëntie: Ze introduceren aanzienlijke latentie tijdens de inferentie en engineering-complexiteit.
Informatieverlies: Ze dwingen rijke, continue temporeel-visuele bewijzen om te worden gesequenced in discrete teksttokens of herhaaldelijk opnieuw te worden gecodeerd, wat mogelijk fijngestippelde dynamische informatie doet verdwijnen.
Afweging: Er is een fundamentele spanning tussen het behoud van rijke intermediaire visueel-temporele informatie (gunstig voor redeneren) en de efficiëntie van inferentie (belemmerd door het genereren of ophalen van expliciet bewijs tijdens de testfase).

Methodologie: TORM

De auteurs stellen TORM (Spatial-Temporal reasOning via inteRnalized Modeling) voor, een tweefasenraamwerk ontworpen om LVLMs te leren redeneren via gebonden continue latente trajecten in plaats van expliciete tekstuele CoT of externe tools. De kernintuïtie is dat visueel redeneren impliciet kan plaatsvinden binnen verborgen toestanden voordat er verbaal wordt geredeneerd.

Kernarchitectuur

TORM breidt het standaard proces van video-vraag-naar-antwoordgeneratie uit met een kort latent simulatie-segment dat $K$ latente tokens bevat ( ingesteld op $K=8$ in experimenten).

Inferentie: Wanneer het model een speciaal <|latent_start|>-token genereert, gaat het een "latente simulatiemodus" in. In plaats van discrete teksttokens te voorspellen, genereert de decoder continue verborgen toestanden (latente tokens) die als invoerembeddings voor volgende stappen worden teruggevoerd. Dit gaat door totdat <|latent_end|> wordt gegenereerd, waarna normale tekstdecoding wordt hervat voor het definitieve antwoord. Dit proces is gebonden om een vaste latentie te garanderen.
Geen Externe Tools: In tegenstelling tot andere methoden, genereert TORM geen video's opnieuw, voegt het geen frames opnieuw in of roept het tijdens de inferentie externe tools aan.

Datapijplijn

Om het model te trainen tot het redeneren te internaliseren, construeren de auteurs een trainingssequentie met drie uitgelijnde signalen voor elk QA-paar:

Sleutelframes: Vraag-relevante frames die uit de bronvideo zijn gehaald.
Gedachtevideo: Een korte, gegenereerde dynamische video die de beweging en toestandsveranderingen visualiseert die relevant zijn voor de vraag (gegenereerd met een teacher CoT-plan en een videogeneratiemodel zoals Wan 2.1).
Antwoord: De doel-antwoord-tokensequentie.

Tweefasen Trainingsstrategie

Het trainingsproces is verdeeld in twee fasen om eerst de latente ruimte te verankeren en vervolgens het redeneren te internaliseren:

Fase I: Latent-Grounded Supervised Training
- Het model wordt getraind om de voorspelde latente toestanden ( $z_i$ ) af te stemmen op de kenmerken van de gegenereerde gedachtevideo ( $g_i$ ).
- De gedachtevideo wordt gecodeerd en zijn kenmerken worden gepooled om te matchen met het vaste aantal latente slots ( $K$ ).
- De verliesfunctie combineert standaard cross-entropy voor antwoordtokens ( $L_{ans}$ ) met een MSE-verlies ( $L_{latent}$ ) om de afstand tussen latente toestanden en gedachtevideo-kenmerken te minimaliseren.
- Doel: De latente slots verankeren in dynamisch visueel bewijs zonder expliciete tekstuele CoT-supervisie te vereisen.
Fase II: Consolidatie Alleen Antwoord
- De directe latente supervisie (MSE-verlies) wordt verwijderd.
- Het model wordt alleen getraind op het verlies voor antwoordtokens ( $L_{ans}$ ), terwijl de latente slots in de invoersequentie blijven staan.
- Doel: Het model aanmoedigen om het in Fase I geleerde redeneergedrag te internaliseren, waardoor het latente proces zelforganiserend en robuust wordt voor inferentie zonder expliciete doelen.

Belangrijkste Bijdragen

TORM-raamwerk: Een video-redeneringsraamwerk dat interne dynamische simulatie uitvoert in continue latente ruimte, waardoor de noodzaak voor expliciete tekstuele CoT of zware tool-gebaseerde inferentie wordt geëlimineerd.
Tweefasen Trainingsstrategie: Een nieuwe aanpak die latente afstemming met gedachtevideo-supervisie (Fase I) combineert met antwoordgerichte consolidatie (Fase II) om ruimtetemporeel redeneren te internaliseren.
Gedachtevideo-supervisiepijplijn: Een schaalbare methode om gegenereerde dynamische sporen, sleutelframes en QA-annotaties af te stemmen om latente video-redenering te trainen.
Efficiëntie en Prestaties: Aantonen dat geïnternaliseerd redeneren hoge nauwkeurigheid kan bereiken terwijl het de inferentie-overhead aanzienlijk verlaagt in vergelijking met pijplijnen die zwaar op tools vertrouwen of op videogeneratie gebaseerd zijn.

Experimentele Resultaten

De auteurs evalueerden TORM op zes benchmarks: VideoMME, MVBench, TempCompass, Video-Holmes, VideoEspresso en MMVU.

Prestaties: TORM presteerde consistent beter dan standaard Supervised Fine-Tuned (SFT) baselines (bijv. Qwen2.5-VL-7B-SFT) op alle benchmarks. Het kwam ook overeen met of overtrof gespecialiseerde modellen die vertrouwen op dure testfase-berekeningspijplijnen (bijv. LongVT, Video-Thinker).
- Voorbeeld: Op VideoMME behaalde TORM 61,0% nauwkeurigheid, wat de SFT-baseline (55,4%) overtrof en concurreerde met propriëtaire modellen zoals GPT-4o (71,9%) en Gemini-1.5-Pro (75,0%) terwijl het een open-source backbone gebruikte.
- Voorbeeld: Op MMVU behaalde TORM 65,9%, wat beter was dan Video-R1 (64,2%) en Qwen2.5-VL-CoT (60,0%).
Latentie: TORM toonde een enorme reductie in inferentielatentie.
- LongVT en Video-Thinker vereisten ongeveer 15–17 seconden per item.
- TORM verwerkte items in ongeveer 0,47 seconden per item (2,14 items/s), een snelheidswinst van ongeveer 30x, door herhaalde frame-ophaling en externe tool-aanroepen te vermijden.
Ablatiestudies:
- Latente Grootte: Een budget van 8 latente tokens bood de beste balans. Grotere budgets (16 of 256) verslechterden de prestaties, wat suggereert dat compacte latente trajecten effectiever zijn dan het behouden van redundante visuele tokens.
- Trainingsfasen: Zowel Fase I (verankering) als Fase II (consolidatie) waren noodzakelijk; het gebruik van slechts één fase resulteerde in lagere prestaties.
- Ophaalanalyse: Probes toonden aan dat de geleerde latente toestanden video-specifieke temporele informatie beter behielden dan tekstuele representaties, met een Hit@1 van 71% bij ophalen binnen dezelfde video, vergeleken met 29% voor tekst.

Betekenis en Claims

Het artikel beweert dat TORM een praktische stap voorwaarts is naar efficiënt native visueel redeneren in video-taalmodellen. Door de last van dynamisch redeneren te verschuiven van tool-orchestratie tijdens de inferentie naar een geïnternaliseerd latent proces, adresseert TORM de afweging tussen redeneerkwaliteit en computationele efficiëntie.

De auteurs benadrukken dat:

Dynamisch visueel bewijs alleen tijdens training wordt gebruikt om de latente toestanden te leren.
Tijdens inferentie het model dit geleerde gedrag hergebruikt via een compact, vast-budget latent traject zonder nieuwe video's te genereren of externe tools aan te roepen.
Deze aanpak LVLMs in staat stelt om complexe ruimtetemporele redeneertaken te hanteren met de efficiëntie van een enkel-model decodingsproces, waardoor de latentie en complexiteit van externe redeneringspijplijnen worden vermeden.

Het artikel erkent beperkingen, met de opmerking dat de kwaliteit van training afhankelijk is van de gegenereerde gedachtevideo's en dat de huidige evaluatie zich richt op meerkeuze-QA. Toekomstig werk wordt gesuggereerd voor open-ended redeneren en andere architecturen.