Reward-Forcing: Autoregressive Video Generation with Reward Feedback

Probleemstelling

Video-generatie-modellen, met name die gebaseerd op diffusie, hebben zich onlangs ontwikkeld tot state-of-the-art systemen voor het creëren van hoogwaardige video's. De meeste bestaande modellen gebruiken echter bidirectionele architecturen, waarbij de generatie van elk frame afhankelijk is van informatie uit zowel het verleden als de toekomst. Hoewel dit leidt tot hoge kwaliteit, is het inherent ongeschikt voor streaming of real-time generatie, omdat het wachten op toekomstige frames nodig is.

Om dit op te lossen, zijn er pogingen gedaan om bidirectionele modellen om te zetten in autoregressieve varianten (frame-voor-frame generatie). Echter, deze bestaande methoden vertrouwen zwaar op distillatie van een krachtige bidirectionele "leraar" (teacher) naar een autoregressieve "student". Dit heeft twee grote nadelen:

1. De prestaties van de student zijn beperkt door de kwaliteit van de leraar.
2. Het behouden van temporale coherentie (consistentie in de tijd) is moeilijk zonder de context van toekomstige frames, wat vaak resulteert in een lagere kwaliteit dan de oorspronkelijke bidirectionele modellen.

Methodologie: Reward-Forcing

De auteurs stellen een nieuwe aanpak voor die beloningssignalen (reward signals) gebruikt om het generatieproces te sturen, in plaats van te vertrouwen op complexe distillatie van een leraar. De pipeline bestaat uit de volgende fasen:

1. Initiële Training met ODE-trajecten:

   • Het autoregressieve model wordt eerst getraind met behulp van een kleine set ODE-trajecten (Ordinary Differential Equations) gegenereerd door een voorgeïnstalleerde leraar (in dit geval Wan2.1).
   • Doel: Het model leert hierbij de globale bewegingsdynamica en de grove structuur van de video. De auteurs observeren dat beweging eerder wordt geleerd dan textuurdetails.

2. Optimalisatie met Reward Feedback:

   • Nadat het model beweging heeft geleerd, wordt een beloningsmodel (in dit geval ImageReward) geïntroduceerd om de visuele kwaliteit en textuur te verbeteren.
   • In plaats van de volledige video of willekeurige frames te belonen, wordt de beloning specifiek toegepast op het laatste frame van de gegenereerde video.
   • Reden: De auteurs merken op dat het belonen van willekeurige frames de beweging onderdrukt (het model neigt naar statische content), terwijl het belonen van het laatste frame de beweging behoudt omdat dit het eindpunt is van de autoregressieve keten.
   • De loss-functie is eenvoudig: $L_{reward}(\theta) = -E[R(\hat{x}_T)]$, waarbij $R$ de beloning is voor het laatste frame.

3. Data-vrije Training:

   • Een belangrijk kenmerk is dat de methode data-vrij is tijdens de eigenlijke training. Er zijn geen echte video-datasets nodig; het model wordt getraind op zelfgegenereerde samples (Self-Rollout) geleid door de beloning.
   • De methode elimineert de noodzaak voor een tweede distillatiestap (zoals bij CausVid of Self Forcing), wat het trainingsproces lichter en efficiënter maakt.

Belangrijkste Bijdragen

• Beperking van bestaande methoden: De auteurs tonen aan dat de prestaties van huidige autoregressieve methoden die gebruikmaken van distillatie, strikt gebonden zijn aan de prestaties van de leraar.
• Nieuw kader: Ze introduceren een framework dat puur op beloningssignalen vertrouwt om autoregressieve generatie van hoge kwaliteit te sturen, zonder zware heterogene distillatie.
• Observatie over leerorde: Ze bevestigen empirisch dat beweging eerder wordt geleerd dan textuur, en gebruiken dit inzicht om hun trainingsstrategie (eerst ODE voor beweging, dan reward voor textuur) te onderbouwen.
• Prestaties zonder zware distillatie: Ze tonen aan dat het mogelijk is om autoregressieve modellen te trainen die concurreren met bidirectionele modellen, zelfs zonder de beperkingen van een strikte leraar-student uitlijning.

Resultaten

De methode is geëvalueerd op de VBench-benchmark, een standaard voor video-generatiekwaliteit.

• Totale Score: De voorgestelde methode behaalde een totaalscore van 84.92.
  • Dit is vergelijkbaar met de beste bestaande autoregressieve methoden (bijv. Self Forcing met 84.31), maar de voorgestelde methode vereist geen zware heterogene distillatie.
  • Het presteert zelfs iets beter dan de oorspronkelijke bidirectionele leraar (Wan2.1, score 84.26) op de totale score en de kwaliteitscore (85.91 vs 85.30).
• Kwaliteit vs. Semantiek: De methode scoort hoog op esthetische kwaliteit en dynamiek, wat aangeeft dat de beloningssignalen effectief zijn in het verbeteren van visuele details.
• Efficiëntie: De inferentie-tijd en doorvoer zijn vergelijkbaar met andere autoregressieve methoden (zoals Self Forcing), maar het trainingsproces is lichter omdat er geen tweede distillatiestap nodig is.
• Ablatie-studies:
  • Het combineren van reward-loss en distillatie-loss leidde tot slechtere prestaties (82.55), wat suggereert dat de doelstellingen van distillatie (volgen van de leraar) en reward-optimatie (afwijken voor hogere kwaliteit) met elkaar conflicteren.
  • Het toepassen van beloning op willekeurige frames in plaats van het laatste frame resulteerde in een significante daling van de bewegingskwaliteit (>10%).

Betekenis en Conclusie

Dit paper biedt een veelbelovende nieuwe richting voor real-time video-generatie. Door de afhankelijkheid van zware distillatie van bidirectionele leraars te doorbreken en in plaats daarvan te vertrouwen op reward-driven learning, kunnen autoregressieve modellen vrijer worden geoptimaliseerd voor kwaliteit en dynamiek.

De bevindingen suggereren dat:

1. Autoregressieve modellen de prestatiekloof met bidirectionele modellen kunnen dichten zonder zware distillatie.
2. De scheiding tussen het leren van beweging (via ODE) en het verfijnen van textuur (via reward) cruciaal is voor succes.
3. Toekomstig werk zich kan richten op het volledig elimineren van de initiële ODE-fase en het uitsluitend vertrouwen op reward-gestuurde training, vergelijkbaar met recente doorbraken in beeldgeneratie.

De methode biedt een schaalbare en efficiënte oplossing voor het genereren van hoogwaardige video's in real-time, wat essentieel is voor toepassingen zoals interactieve simulaties, gaming en content creatie.