💻 computer science

AR-CoPO: Align Autoregressive Video Generation with Contrastive Policy Optimization

Das Paper stellt AR-CoPO vor, ein Framework, das durch eine forking-basierte Chunk-Level-Ausrichtung und eine semi-on-policy-Trainingsstrategie die Schwierigkeiten bei der Anwendung von RLHF auf Streaming-Autoregressive-Videogeneratoren überwindet und so sowohl die Generalisierung als auch die menschliche Präferenzanpassung verbessert.

Ursprüngliche Autoren: Dailan He, Guanlin Feng, Xingtong Ge, Yi Zhang, Bingqi Ma, Guanglu Song, Yu Liu, Hongsheng Li

Veröffentlicht 2026-03-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Dailan He, Guanlin Feng, Xingtong Ge, Yi Zhang, Bingqi Ma, Guanglu Song, Yu Liu, Hongsheng Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du möchtest einen Filmregisseur programmieren, der Videos in Echtzeit erstellt, während du ihm gerade erst sagst, was er drehen soll. Das ist das Ziel von AR-CoPO.

Um das komplexe Papier verständlich zu machen, nutzen wir eine Analogie: Der Regisseur, der Drehbuch und die Proben.

1. Das Problem: Der schnelle, aber sture Regisseur

Bisherige KI-Modelle, die Videos erstellen (wie Self-Forcing), funktionieren wie ein sehr schneller Regisseur. Er dreht den Film nicht in einem langen, durchgehenden Take, sondern in kleinen Schnitten (Chunks).

Der Vorteil: Er ist extrem schnell und kann Videos live streamen.
Das Problem: Wenn man ihn mit Hilfe von Feedback (z. B. "Das Video war zu langweilig" oder "Die Katze sah nicht echt aus") verbessern will, scheitern die bisherigen Methoden.

Warum? Die alten Methoden (SDE-GRPO) versuchen, den Regisseur zu trainieren, indem sie ihm während des Drehs ständig kleine, zufällige Änderungen in die Kamera werfen (wie ein Regisseur, der mitten im Take "Nimm mal den Hut ab!" schreit).
Aber unser schneller Regisseur ist so effizient, dass er auf diese kleinen, zufälligen Änderungen kaum reagiert. Er ist wie ein Zug auf festem Gleis: Wenn du ihn nicht am Anfang des Zuges (dem Start-Noise) anstößt, passiert nichts. Die alten Methoden stießen ihn aber nur in der Mitte an – und das bringt nichts.

2. Die Lösung: AR-CoPO (Der clevere Proben-Ansatz)

Die Autoren von AR-CoPO haben eine neue Strategie entwickelt, die wie eine intelligente Filmprobe funktioniert.

Schritt A: Der "Gabelungs-Trick" (Forking)

Statt den ganzen Film neu zu drehen, um eine kleine Änderung zu testen, macht der Regisseur folgendes:

Er dreht die ersten Szenen ganz normal (der gemeinsame Kontext).
An einem zufälligen Punkt (dem "Pivot-Chunk") sagt er: "Stopp! Hier machen wir eine Probe."
Er nimmt dieselbe Szene, aber mit leicht veränderter "Stimmung" (dem Start-Noise) und dreht diese eine Szene 12-mal parallel (wie 12 verschiedene Regisseure, die gleichzeitig proben).
Danach setzt er alle 12 Versionen wieder zusammen und schaut sich das ganze Ergebnis an.

Warum ist das genial?

Klarheit: Da sich nur eine Szene unterscheidet, weiß der Regisseur genau: "Ah, Version 3 war besser, weil ich die Stimmung in Szene 5 geändert habe." Bei den alten Methoden war das unklar, weil alles durcheinander war.
Effizienz: Er muss nicht den ganzen Film neu berechnen, nur diesen einen kleinen Schnitt.

Schritt B: Die zwei Trainings-Methoden (Entdecken vs. Ausnutzen)

Das Papier stellt fest, dass man den Regisseur auf zwei Arten trainieren muss, damit er nicht verrückt wird:

Der Entdecker (On-Policy):
Dieser Regisseur probiert ständig Neues aus, indem er die Start-Stimmung leicht verändert. Er findet neue, kreative Ideen, kann aber manchmal auch "aus dem Ruder laufen" und seltsame, unzusammenhängende Videos produzieren (Reward Hacking). Er jagt nur dem Punktestand hinterher, ohne auf die Qualität zu achten.
Der Perfektionist (Semi-On-Policy):
Dieser Regisseur ist vorsichtiger. Er schaut sich eine Sammlung von bereits gedrehten, guten Szenen (eine Replay-Bibliothek) an. Er versucht nicht, etwas völlig Neues zu erfinden, sondern verbessert die Qualität der bestehenden, guten Szenen. Er bleibt im "sicheren Bereich" und sorgt dafür, dass das Video stabil und schön aussieht.

Die Magie: Am Ende werden beide Regisseure zu einem Team zusammengefügt. Der "Entdecker" bringt die Kreativität und die Anpassung an menschliche Wünsche, der "Perfektionist" sorgt dafür, dass das Video nicht kaputtgeht. Das Ergebnis ist ein Video, das sowohl kreativ als auch technisch hochwertig ist.

3. Das Ergebnis: Bessere Filme ohne Chaos

Wenn man diese Methode (AR-CoPO) anwendet, passiert Folgendes:

Die KI lernt, menschliche Wünsche besser zu verstehen (z. B. "Mache die Katze niedlicher").
Sie wird nicht "betrügerisch" (Reward Hacking), indem sie nur den Punktestand maximiert, sondern produziert tatsächlich schönere Videos.
Sie funktioniert auch bei Videos, die sehr kurz und schnell generiert werden müssen.

Zusammenfassung in einem Satz

**AR-CoPO ist wie ein Filmstudio, das anstatt den ganzen Film immer wieder neu zu drehen, an einem einzigen, zufälligen Schnitt verschiedene Varianten probiert, um genau zu wissen, was besser funktioniert, und dabei klug zwischen kreativem Experimentieren und dem Halten hoher Qualitätsstandards balanciert.

Das macht die KI nicht nur schneller, sondern auch viel besser darin, das zu tun, was wir uns wünschen, ohne dabei den Film zu zerstören.

1. Problemstellung

Autoregressive (AR) Video-Generatoren, die auf Few-Step-Distillation (z. B. Consistency Models oder Few-Step ODEs) basieren, ermöglichen eine effiziente, latenzarme und hochqualitative Videogenerierung im Streaming-Modus. Allerdings stellt die Nachschulung (Post-Training) dieser Modelle mittels Reinforcement Learning from Human Feedback (RLHF) erhebliche Herausforderungen dar:

Inkompatibilität bestehender Methoden: Herkömmliche GRPO-Methoden (Group Relative Policy Optimization), die für Flow-Matching-Modelle entwickelt wurden, nutzen oft stochastische SDEs (Stochastic Differential Equations), um Exploration zu ermöglichen.
Deterministisches Verhalten: Few-Step-AR-Modelle (wie Self-Forcing) sind jedoch nahezu deterministisch. Ihre Ausgabe wird fast ausschließlich durch das Anfangsrauschen (Initial Noise) bestimmt, nicht durch stochastische Zwischenstörungen.
Fehlschlagen der SDE-Exploration: Da diese Modelle kurze Trajektorien haben und extrem empfindlich auf das Anfangsrauschen reagieren, führt das Einfügen von Rauschen in den Zwischenschritten (wie bei SDE-basierten Ansätzen) zu keiner signifikanten Vielfalt in den Ergebnissen. Die SDE-basierten GRPO-Methoden scheitern daher, da sie keine nützlichen Explorations-Signale erhalten.
Kreditvergabe (Credit Assignment): Bei der sequenziellen Generierung ist es schwierig, Belohnungen auf spezifische Teile des Videos zurückzuführen, wenn man das gesamte Video als eine Einheit betrachtet.

2. Methodik: AR-CoPO

Das vorgeschlagene Framework AR-CoPO (AutoRegressive Contrastive Policy Optimization) löst diese Probleme durch eine Anpassung des „Neighbor GRPO"-Konzepts an die Struktur von Streaming-AR-Generatoren.

A. Chunk-Level Alignment via Forking

Anstatt das gesamte Video zu optimieren, führt AR-CoPO die Optimierung auf Ebene von Chunks (Videoabschnitten) durch:

Gemeinsamer Kontext: Das Modell generiert die ersten $p-1$ Chunks deterministisch, um einen gemeinsamen Kontext zu schaffen.
Forking (Gabelung): Am $p$ -ten Chunk (dem „Pivot-Chunk") wird die Generierung verzweigt. Anstatt das gesamte Video neu zu starten, wird das Anfangsrauschen dieses spezifischen Chunks um $G$ verschiedene Störungen ( $\delta^{(i)}$ ) variiert.
Rollout: Für jede der $G$ Varianten wird der Rest des Videos deterministisch vervollständigt.
Belohnung: Jeder vollständige Video-Strang erhält eine sequenzbasierte Belohnung (z. B. für Texttreue, Qualität, Bewegung).
Lokales Update: Da sich alle Stränge nur im $p$ -ten Chunk unterscheiden, können die Belohnungsunterschiede eindeutig diesem Chunk zugeordnet werden. Das Modell wird nur für diesen Chunk aktualisiert, indem ein kontrastives Ziel maximiert wird, das das aktuelle Modell (Anker) zu den höher bewerteten Nachbarn zieht und von den schlechteren wegstößt.

B. Anpassung an Consistency Models (CoPO)

Für Consistency Models (CM), die keine standardmäßigen ODE-Trajektorien durchlaufen, wird die Distanzmessung angepasst. Statt die Distanz zwischen latenten Zwischenschritten ( $x_t$ ) zu messen, wird die Distanz zwischen den Ein-Schritt-Vorhersagen ( $\hat{x}_0$ ) verwendet. Dies ist informativer für CMs, da diese direkt von verrauschten Eingaben zu sauberen Vorhersagen abbilden.

C. Semi-On-Policy Strategie (Exploration vs. Exploitation)

Das Paper identifiziert ein Problem bei der reinen On-Policy-Exploration: Sie führt oft zu „Reward Hacking" (z. B. semantische Inkonsistenzen oder Bewegungsartefakte), da lokale Rauschänderungen globale semantische Eigenschaften (wie Texttreue) nur schwer verbessern können.

Lösung: AR-CoPO kombiniert On-Policy-Exploration mit einer Semi-On-Policy-Strategie.
Dabei wird ein Replay-Buffer mit vorab generierten, hochwertigen Referenzrollouts (von einem festen Referenzmodell $\pi_{ref}$ ) verwendet.
Das kontrastive Ziel wird auf diesen festen Referenzdaten angewendet, um die Qualität zu steigern (Exploitation), ohne dass das Modell durch stochastisches Rauschen in instabile Bereiche driftet.
Ein Trust-Region-Mechanismus (Ratio Clipping) verhindert, dass das Modell zu weit vom Referenzverteilung entfernt.

D. LoRA-Merging

Zwei separate LoRA-Adapter werden trainiert: einer für On-Policy (Exploration/Verbesserung der Belohnung) und einer für Semi-On-Policy (Exploitation/Qualitätssicherung). Diese werden zur Inferenzzeit gemischt, wobei der Mischfaktor so gewählt wird, dass sowohl die in-domain Belohnung (VideoAlign) als auch die out-of-domain Qualität (VBench) verbessert werden.

3. Hauptbeiträge

AR-CoPO Framework: Ein neues RLHF-Framework für Streaming-AR-Video-Generatoren, das auf einem kontrastiven Ziel über Nachbarnachbarn basiert und die Inkompatibilität von SDE-Exploration mit deterministischen Few-Step-Modellen umgeht.
Chunk-Level Action Space: Einführung einer Aktionsebene auf Chokebene, die eine natürliche und lokalisierte Kreditvergabe von sequenziellen Belohnungen ermöglicht.
Semi-On-Policy Strategie: Eine hybride Trainingsmethode, die Exploration (On-Policy) und Ausbeutung (Semi-On-Policy mit Replay-Buffer) kombiniert, um sowohl die Generalisierung als auch die generelle Qualität zu verbessern und Reward Hacking zu verhindern.

4. Ergebnisse

Die Experimente wurden auf dem Basismodell Self-Forcing durchgeführt und mit SDE-basierten GRPO-Methoden sowie anderen State-of-the-Art-Modellen verglichen.

Überlegenheit gegenüber SDE-GRPO: Während SDE-basierte GRPO-Methoden während des Trainings keine Verbesserung der Belohnung zeigen (da die Exploration wirkungslos ist), erzielt AR-CoPO konsistent höhere Scores.
Quantitative Verbesserungen:
- VideoAlign: Die Gesamtbewertung (Overall) steigt signifikant (z. B. von 7,76 auf 8,22), was eine bessere Ausrichtung auf menschliche Präferenzen (Texttreue, Qualität, Bewegung) zeigt.
- VBench: Im Gegensatz zu reinen On-Policy-Methoden, die oft zu einem Einbruch in der Qualität führen (Reward Hacking), bleibt die out-of-domain Qualität (VBench Total) stabil oder verbessert sich leicht (82,15 $\to$ 82,17). Dies beweist, dass es sich um echte Verbesserungen und nicht um Score-Manipulation handelt.
Qualitative Ergebnisse: Die generierten Videos zeigen eine höhere ästhetische Qualität, kohärentere Bewegungen und eine bessere Befolgung der Textprompts im Vergleich zum Basismodell.
Ablationsstudien: Die Studie zeigt, dass reine On-Policy-Training zu schweren Artefakten führt, während die Semi-On-Policy-Strategie die Stabilität bewahrt. Das Mischen der Adapter (Scale 0,8) ergibt den besten Kompromiss.

5. Bedeutung und Fazit

AR-CoPO adressiert eine kritische Lücke in der Nachschulung von effizienten, Streaming-fähigen Video-Generatoren. Es demonstriert, dass die Anpassung von RLHF-Methoden an die spezifischen Eigenschaften von Few-Step-Consistency-Modellen (insbesondere deren Determinismus und Abhängigkeit vom Anfangsrauschen) entscheidend ist.

Die Arbeit zeigt, dass durch die Kombination von lokaler Chunk-Level-Optimierung und einer hybriden Trainingsstrategie (On-Policy + Semi-On-Policy) sowohl die Kontrolle über die Generierung als auch die allgemeine Qualität verbessert werden können, ohne in die Falle des Reward Hacking zu tappen. Dies ebnet den Weg für die praktische Anwendung von RLHF in Echtzeit-Videoanwendungen.