AR-CoPO: Align Autoregressive Video Generation with Contrastive Policy Optimization

Probleemstelling

Bestaande autoregressieve (AR) videogenereermodellen, die vaak zijn gedistilleerd tot een paar stappen (few-step) voor lage latentie en streaming-capaciteit, ondervinden aanzienlijke problemen bij het aligneren met menselijke voorkeuren via Reinforcement Learning from Human Feedback (RLHF).

De kern van het probleem ligt in de toepassing van bestaande SDE-gebaseerde GRPO-methoden (Group Relative Policy Optimization) op deze specifieke modellen:

1. Afwijking van standaard stroming: Few-step generatoren (zoals Self-Forcing) gebruiken vaak ODE-oplossers of Consistency Models (CM), wat afwijkt van de continue flow-matching ODE's waarvoor SDE-methoden zijn ontworpen.
2. Determinisme en initiatie: Deze modellen zijn bijna deterministisch; de variatie in output wordt bijna volledig bepaald door de initiele ruis (initial noise) van een chunk, niet door tussentijdse ruisinjecties.
3. Ineffectiviteit van SDE-exploratie: SDE-methoden proberen exploratie te forceren door tussentijdse ruis toe te voegen terwijl de initiele ruis gefixeerd blijft. Bij few-step AR-modellen leidt dit tot een fundamenteel misverstand: omdat de output gevoelig is voor de initiele ruis en niet voor tussentijdse ruis, levert deze aanpak geen bruikbare verkenning op en faalt het om de beloning (reward) te verbeteren.

Methodologie: AR-CoPO

De auteurs stellen AR-CoPO (AutoRegressive Contrastive Policy Optimization) voor, een raamwerk dat het "Neighbor GRPO"-perspectief aanpast aan streaming AR-generatie. De methode bestaat uit drie hoofdcomponenten:

1. Chunk-level Alignment via Forking

In plaats van het hele videosegment als één actie te behandelen (wat rekenkundig te duur is en leidt tot slechte credit assignment), voert AR-CoPO actie-ruimte steekproeven uit op het niveau van individuele chunks (videofragmenten).

• Forking-mechanisme: Het model genereert een gedeelde context tot aan een willekeurig gekozen "pivot chunk". Op dit punt wordt de generatie gesplitst (geforkt) in $G$ takken.
• Gecontroleerde ruis: Voor elke tak wordt de initiele ruis van de pivot chunk lichtjes verstoord, terwijl alle andere ruisbronnen (voor andere chunks en binnen de denoising-stappen) identiek blijven.
• Resultaat: Dit zorgt ervoor dat de enige variatie tussen de gegenereerde video's afkomstig is van de keuze voor de pivot chunk. De beloningsverschillen kunnen dus direct worden toegeschreven aan die specifieke keuze, wat een stabiel en lokaal credit assignment-signaal biedt.

2. Contrastieve Doelfunctie voor Consistency Models

Voor Consistency Models (CM) is de standaard afstandsmeting in latente ruimte ($x_t$) niet ideaal. AR-CoPO past de contrastieve doelstelling toe op de één-staps voorspelling van de schone input ($\hat{x}_0$).

• De afstand wordt berekend tussen de $\hat{x}_0$-voorspelling van de huidige policy en die van de kandidaat-takken.
• Een surrogate policy wordt gedefinieerd via een softmax over deze afstanden, wat het model toelaat om te leren welke ruiskeuzes leiden tot hogere beloningen, zonder de deterministische inferentie te verstoren.

3. Semi-On-Policy Training Strategie

Om het probleem van "reward hacking" (waarbij het model de beloning maximaliseert ten koste van de kwaliteit) en instabiliteit bij semantische alignering (Text Alignment) op te lossen, introduceert het paper een hybride trainingsstrategie:

• On-Policy (Exploratie): Het model genereert nieuwe kandidaten via ruisverstoring om nieuwe generatiemogelijkheden te verkennen.
• Semi-On-Policy (Exploitatie): In plaats van te vertrouwen op nieuwe steekproeven, gebruikt deze modus een replay buffer met vooraf gegenereerde rollouts van een referentie-model (de initiele checkpoint).
  • De contrastieve doelstelling wordt toegepast op deze vaste set data: hoge beloningen worden gewogen, lage beloningen onderdrukt.
  • Dit voorkomt dat het model uit de verdeling van de referentie dwaalt (distributional shift) en verbetert de algehele kwaliteit zonder de stabiliteit te verliezen.
• LoRA Merging: Er worden twee aparte LoRA-adapters getraind (één voor exploratie, één voor exploitatie) die tijdens de inferentie worden samengevoegd. Dit combineert de voordelen van beide benaderingen.

Belangrijkste Bijdragen

1. AR-CoPO Framework: Een nieuw RLHF-raamwerk dat streaming AR-videomodellen aligneert via een contrastieve doelstelling over buurkandidaten, specifiek ontworpen voor few-step generatoren.
2. Chunk-level Actieruimte: Een innovatieve aanpak die credit assignment mogelijk maakt op het niveau van individuele chunks, wat leidt tot lokale en controleerbare beloningssignalen.
3. Semi-On-Policy Strategie: Een methode die on-policy exploratie combineert met exploitatie van een replay buffer, wat de generalisatie buiten het domein (out-of-domain) en de algehele generatiekwaliteit verbetert zonder instabiliteit.

Resultaten

De methode is geëvalueerd op het Self-Forcing model (en Causal-Forcing) met de VideoAlign en VBench benchmarks.

• Vergelijking met SDE-GRPO: Waar SDE-gebaseerde GRPO faalt om de beloning te verbeteren (zoals zichtbaar in de trainingscurves), bereikt AR-CoPO consistente verbeteringen.
• Kwaliteitsverbetering:
  • De semi-on-policy versie overtreft bestaande baselines op de VBench Total score (82.45 vs 82.31 voor LongLive).
  • De gemerged versie (exploratie + exploitatie) verbetert de VideoAlign Overall score van 7.76 naar 8.22, terwijl de VBench Total score stabiel blijft (82.17 vs 82.15).
• Genuine Alignment vs. Reward Hacking: Een cruciale bevinding is dat puur on-policy training vaak leidt tot "reward hacking" (bijv. instorting van bewegingskwaliteit ten gunste van tekstalignering). De semi-on-policy strategie voorkomt dit door het model binnen een betrouwbaarheidsgebied (trust region) van de referentie te houden.
• Kwalitatieve resultaten: Video's gegenereerd met AR-CoPO tonen betere visuele trouw, vloeiendere beweging en betere adherentie aan tekstprompts vergeleken met de baseline.

Betekenis

AR-CoPO lost een fundamentele beperking op in het veld van videogenereermodellen: het maken van streaming, low-latency autoregressieve modellen compatibel met RLHF. Door de afhankelijkheid van stochastische SDE-exploratie te vervangen door een gecontroleerde, chunk-gebaseerde contrastieve aanpak, maakt het paper het mogelijk om snelle videomodellen te optimaliseren voor menselijke voorkeuren zonder in te leveren op snelheid of stabiliteit. De combinatie van exploratie en exploitatie via semi-on-policy training biedt een robuust pad naar hoogwaardige, controllable videogenereermodellen die niet lijden onder reward hacking.