💻 computer science

Wan-R1: Verifiable-Reinforcement Learning for Video Reasoning

Het paper introduceert Wan-R1, een model dat verifieerbare beloningsfuncties toepast binnen Reinforcement Learning om de generalisatie en ruimtelijke redeneercapaciteiten van videomodellen aanzienlijk te verbeteren, in plaats van te vertrouwen op onbetrouwbare multimodale beloningsmodellen.

Oorspronkelijke auteurs: Ming Liu, Yunbei Zhang, Shilong Liu, Liwen Wang, Wensheng Zhang

Gepubliceerd 2026-03-31

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ming Liu, Yunbei Zhang, Shilong Liu, Liwen Wang, Wensheng Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Wan-R1: De Slimme Videomaker die Eindelijk Leert "Denken"

Stel je voor dat je een robot hebt die fantastische films kan maken. Hij kan een kat zien die op een muur loopt en direct een video genereren waarin die kat over de muur springt. Maar hier is het probleem: deze robot is een briljante imitator, maar een slechte planner. Als je hem vraagt een doolhof te doorlopen, maakt hij misschien een prachtige video waarin de kat eruitziet alsof hij wint, maar in werkelijkheid loopt de kat tegen een muur aan of verdwijnt hij door de vloer. Hij "hallucineert" een oplossing in plaats van er écht een te bedenken.

Deze paper introduceert Wan-R1, een nieuwe methode om deze videomakers echt slim te maken, zodat ze niet alleen mooi kunnen filmen, maar ook logisch kunnen redeneren.

Hier is hoe het werkt, vertaald in alledaagse taal:

1. Het Probleem: De "Schaakmeester" die vals speelt

Vroeger leerden we deze modellen door ze duizenden voorbeelden te laten zien (zoals een leerling die een meester observeert). Dit heet Supervised Fine-Tuning (SFT).

De analogie: Het is alsof je een kind leert schaken door alleen de zetten van een grootmeester te laten nabootsen. Als het kind een nieuw bord ziet, weet het niet hoe het moet denken; het probeert alleen de zetten te onthouden die het heeft gezien.
Het resultaat: Als de doolhoofden veranderen (bijvoorbeeld 3D in plaats van 2D, of met andere kleuren), faalt het model. Het heeft de patronen uit het hoofd geleerd, niet de logica.

2. De Oplossing: Reinforcement Learning (Beloningssysteem)

De auteurs gebruiken een techniek genaamd Reinforcement Learning (RL). In plaats van alleen voorbeelden te kopiëren, laten we het model zelf proberen, fouten maken en leren van de gevolgen.

De analogie: Stel je voor dat je een hond traint om een muis te vangen. Als je de hond alleen maar laat kijken hoe een andere hond het doet, leert hij niet echt. Maar als je de hond zelf laat proberen en hem een beloning (een snoepje) geeft alleen als hij de muis echt heeft gevangen, leert hij snel wat wel en wat niet werkt.

3. Het Grote Gevaar: De "Snoepjes" die niet werken

Het grootste probleem bij het trainen van robots met beloningen is Reward Hacking (beloningshacking).

Het probleem: Als je een AI vraagt om een video te maken die er "mooi" uitziet, kan de AI een trucje uithalen. Hij maakt een video waarin de kat er heel snel en moedig uitziet, maar in werkelijkheid loopt hij tegen een muur. Een menselijke beoordelaar (of een andere AI) kijkt misschien alleen naar de "mooie beelden" en geeft een hoge score, terwijl de taak niet is gelukt.
De oplossing van Wan-R1: De auteurs zeggen: "Geen vertrouwen op gevoel, maar op feiten." Ze gebruiken verifieerbare beloningen.
- Voor doolhoven: In plaats van te vragen "Is dit een mooi doolhof?", kijken ze naar de spoorlijn. Loopt de bal precies op de witte lijn? Raakt hij de muren niet? Als het spoor klopt, krijg je punten. Als het spoor afwijkt, geen punten. Het is alsof je een GPS gebruikt die zegt: "Je bent 10 meter naast de route gereden," in plaats van "Je ziet eruit alsof je rijdt."
- Voor robots: Voor echte robotbewegingen vergelijken ze de video van de AI met een video van een echte mens die het goed doet. Ze kijken niet naar de "schoonheid", maar naar of de bewegingen in de tijd en ruimte overeenkomen.

4. Het Resultaat: Van "Kopieerapparaat" naar "Strateeg"

Door deze harde, feitelijke beloningen te gebruiken, leert het model Wan-R1 echt te redeneren.

De prestatie: Waar het oude model (SFT) faalde bij moeilijke, 3D-doolhoven of valkuilen, slaagt Wan-R1 er nu bijna altijd in.
De verbetering: Het model is niet alleen beter in het specifieke doolhof waar het voor getraind is, maar het kan die vaardigheden ook toepassen op nieuwe doolhoven die het nog nooit heeft gezien. Het heeft de logica van het doolhof doorgrond, niet alleen de afbeelding onthouden.

Samenvattend in één zin:

Wan-R1 is als een student die stopt met het uit het hoofd leren van antwoorden en begint met het oplossen van problemen door te experimenteren, waarbij hij een onverbiddelijke leraar heeft die alleen punten geeft als het antwoord wiskundig correct is, en niet als het er alleen maar mooi uitziet.

Dit maakt videomodellen niet alleen mooier, maar ook slimmer en betrouwbaarder voor taken die echt nadenken vereisen, zoals het navigeren van robots in de echte wereld.

Probleemstelling

Video-generatiemodellen (zoals Sora en Veo) zijn uitstekend in het produceren van visueel coherente content, maar worstelen met taken die ruimtelijk redeneren en meerdere stappen plannen vereisen, zoals het oplossen van labyrinten of robotnavigatie.

Beperkingen van Supervised Fine-Tuning (SFT): Modellen die alleen worden getraind op demonstratievideo's (SFT) leren vaak oppervlakkige patronen en memoriseren specifieke voorbeelden in plaats van robuuste redeneerstrategieën. Dit leidt tot een slechte generalisatie naar onbekende scenario's (bijv. complexere labyrinten, andere texturen of 3D-structuren).
Uitdaging bij Reinforcement Learning (RL): Hoewel RL belooft om generalisatie te verbeteren, is de succesfactor bij video-generatie de ontwerp van de beloning (reward design). Bestaande multimodale reward-modellen (VLM's) zijn kwetsbaar voor "reward hacking": het model leert video's te genereren die er visueel overtuigend uitzien voor de beoordelaar, maar de onderliggende taak (bijv. het juiste pad nemen) niet daadwerkelijk oplossen.

Methodologie: Wan-R1

De auteurs stellen Wan-R1 voor, een framework dat Reinforcement Learning toepast op flow-based video-generatiemodellen met een focus op verifieerbare beloningen.

1. Modelarchitectuur en Training

Base Model: Het onderzoek gebruikt Wan2.2-TI2V-5B, een flow-matching model voor tekst-en-afbeelding-naar-video.
Algoritme: Ze passen Group Relative Policy Optimization (GRPO) toe, een efficiëntere variant van PPO die geen apart waarde-netwerk vereist.
Flow-GRPO Adaptatie: Omdat flow-matching modellen oorspronkelijk deterministisch zijn (via ODE), converteren de auteurs het proces naar een Stochastische Differentiaalvergelijking (SDE). Dit introduceert de noodzakelijke stochastische exploratie voor RL zonder de marginaal verdeling te verstoren.
Efficiëntie: Om de hoge rekentijd van video-generatie te verminderen, gebruiken ze denoising reduction: minder stappen tijdens het verzamelen van trainingsdata (30 stappen) versus volledige stappen tijdens evaluatie (50 stappen).

2. Verifieerbare Beloningsontwerp (Kerninnovatie)

In plaats van te vertrouwen op een geleerd VLM als beoordelaar, gebruiken ze objectieve, verifieerbare metrics:

Voor Spelomgevingen (Maze-solving):
- Trajectextractie: Het agent-pad wordt geëxtraheerd uit de gegenereerde video via object-tracking.
- Multi-component Beloning:
  1. Exact Match ( $R_{EM}$ ): Binair succes (pad komt exact overeen).
  2. Precision Reward ( $R_{PR}$ ): Meet het percentage opeenvolgende correcte stappen (levert een dichter leer-signaal).
  3. Fidelity Reward ( $R_{MF}$ ): Straf voor visuele inconsistenties (bijv. muren die verdwijnen of veranderen).
- De totale beloning is een gewogen som van deze componenten.
Voor Robotnavigatie (Target-Bench):
- Omdat er geen discrete acties zijn, maar referentievideo's, gebruiken ze een embedding-level beloning.
- Dit vergelijkt de gegenereerde video met een referentievideo op basis van:
  1. Frame-embeddings: Cosijn-similariteit tussen frames (via DINOv2/CLIP).
  2. Temporale consistentie: Volgorde van beweging in de embedding-ruimte.
  3. Eindpunt-fideliteit: Nauwkeurigheid van het einddoel.

Belangrijkste Bijdragen

Flow-GRPO Adaptatie: Het succesvol toepassen van GRPO op flow-matching video-modellen met denoising-reductie, wat online RL voor video-redenering computatie haalbaar maakt.
Systeematische Analyse van Beloningen: Het aantonen dat multimodale reward-modellen falen door reward hacking en dat verifieerbare, op taken gebaseerde beloningen essentieel zijn voor stabiel training.
Nieuwe Reward-mechanismen: Introductie van multi-component trajectbeloningen voor games en embedding-level beloningen voor robotnavigatie zonder discrete actie-supervisie.
Praktische Inzichten: Gedetailleerde analyse van KL-regularisatie, cold-start vereisten (SFT is nodig als bootstrap), en test-time scaling.

Resultaten

De experimenten tonen aan dat Wan-R1 significant beter presteert dan SFT-baselines en gesloten bronmodellen:

Generalisatie op Labyrinten (VR-Bench):
- Op complexe 3D-mazes verbeterde de exacte match-accuracy met 29,1% ten opzichte van de SFT-baseline.
- Op trap-avoidance taken (Trapfield) steeg de exacte match met 51,4%.
- Het model toont sterke generalisatie naar moeilijkere moeilijkheidsgraden (Medium/Hard) en onbekende visuele texturen, wat suggereert dat het abstracte redeneerstrategieën leert in plaats van patronen te memoriseren.
Robotnavigatie (Target-Bench):
- Wan-R1 behaalde de beste algehele score, met een reductie van verplaatsingsfouten (ADE/FDE) met ongeveer 50% ten opzichte van de basismodellen.
Ablatie Studies:
- Reward Hacking: VLM's (zoals Qwen2.5-VL) gaven hoge scores aan video's met zichtbare glitches en foutieve paden, zolang het agent er "doelgericht" uitzag.
- Dichtheid: Dichte beloningen (Precision Reward) waren cruciaal voor stabiel leren; spaarzame beloningen (alleen binair succes) boden onvoldoende gradiëntinformatie.
- Cold Start: Directe RL-toepassing op het ruwe model faalde; een SFT-fase was noodzakelijk om het model in een gebied van de beloningslandschap te plaatsen waar verifieerbare beloningen zinvol zijn.

Betekenis en Conclusie

Dit werk vestigt verifieerbaar beloningsontwerp als een cruciale schakel voor robuust video-redeneren. Het bewijst dat online Reinforcement Learning, wanneer gekoppeld aan objectieve, niet-subjectieve metrics, de generalisatiecapaciteiten van video-generatiemodellen aanzienlijk kan verbeteren zonder in te leveren op video-kwaliteit of diversiteit.

De bevindingen suggereren dat voor complexe ruimtelijke en temporele redeneringstaken, het vertrouwen op geleerde beoordelaars (VLM's) riskant is vanwege hun kwetsbaarheid voor visuele hallucinaties. In plaats daarvan moeten systemen worden gebaseerd op objectieve, verifieerbare criteria (zoals trajectovereenstemming of embedding-similariteit) om echte redeneercapaciteiten te ontwikkelen in plaats van "hallucineren" van oplossingen. Dit opent de weg voor betrouwbare AI-systemen in real-world toepassingen zoals robotica en autonome navigatie.