💻 computer science

TempAct: Advancing Temporal Plausibility in Autoregressive Video Generation via Planner-Executor RL

TempAct führt ein Planner-Executor-Reinforcement-Learning-Framework ein, das hierarchische Gruppenexploration und maßgeschneiderte Belohnungen nutzt, um die zeitliche Zerlegung und die schrittbedingte Ausführung zu optimieren und dadurch Mehrdeutigkeit sowie Fehlerfortpflanzung bei der autoregressiven Videogenerierung zu lösen, während gleichzeitig die zeitliche Plausibilität und visuelle Qualität sichergestellt werden.

Ursprüngliche Autoren: Jing Wang, Xiangxin Zhou, Jiajun Liang, Kaiqi Liu, Wanyuan Pang, Zhenyu Xie, Tianyu Pang, Xiaodan Liang

Veröffentlicht 2026-07-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jing Wang, Xiangxin Zhou, Jiajun Liang, Kaiqi Liu, Wanyuan Pang, Zhenyu Xie, Tianyu Pang, Xiaodan Liang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „verwirrte Hund“

Stellen Sie sich vor, Sie bitten einen Videogenerator, einen Clip eines Hundes zu erstellen. Sie geben ihm eine einzige Anweisung: „Der Hund setzt sich, dann springt er auf einen Ball, dann bringt ihn zurück.“

In aktuellen Video-KI-Systemen (speziell in solchen, die „autoregressiv“ arbeiten) versucht die KI, das Video Frame für Frame (oder Chunk für Chunk) aufzubauen. Das Problem ist, dass sie unter zeitlicher Verwirrung leidet. Sie hört die gesamte Anweisung auf einmal, weiß aber nicht, wann sie welchen Teil ausführen soll.

Das Ergebnis: Die KI zeigt den Hund vielleicht schon dabei, wie er den Ball hält, während er sich noch hinsetzt, oder sie fängt bereits an zu rennen, bevor er überhaupt sitzt. Es ist wie ein Film, in dem die Szenen völlig durcheinandergewürfelt sind. Die KI kennt zwar die Geschichte, kann aber den Zeitstrahl nicht im Griff behalten.

Die alten Lösungsansätze (Und warum sie scheiterten)

Der „Ein-Prompt-Ansatz“: Man erzählt der KI einfach einmal die ganze Geschichte. Ergebnis: Die KI wird verwirrt über die Reihenfolge der Ereignisse.
Der „Schritt-für-Schritt-Ansatz“: Man versucht, der KI zu sagen: „Jetzt mache Schritt 1“, dann „Jetzt mache Schritt 2“. Ergebnis: Die KI bleibt stecken. Wenn man von „Schritt 1“ zu „Schritt 2“ wechselt, vergisst die KI oft den vorherigen Kontext, vermischt die beiden Aktionen (z. B. ist der Hund halb sitzend und halb springend) oder überträgt Fehler aus dem ersten Schritt in den zweiten.

Das Paper argumentiert, dass es nicht ausreicht, die KI einfach nur mit mehr Beispielen zu trainieren (Supervised Fine-Tuning), da die KI lernt, den Lehrer zu kopieren, anstatt zu verstehen, wie man korrekt „den Gang wechselt“, wenn sich die Geschichte ändert.

Die Lösung: TempAct (Der Regisseur und der Schauspieler)

Die Autoren schlagen TempAct vor, welches die Videogenerierung wie eine Theaterproduktion behandelt, bei der zwei unterschiedliche Rollen zusammenarbeiten:

1. Der Planer (Der Regisseur)

Betrachten Sie dies als ein LLM (Large Language Model), das als Regisseur fungiert.

Aufgabe: Bevor das Video startet, liest der Regisseur Ihre große Anweisung und bricht sie in ein Skript herunter. Er entscheidet genau, wann der Hund sitzen soll, wann er springen soll und wann er zurückkommen soll.
Der Clou: Anstatt nur ein einziges Skript zu schreiben, schreibt der Regisseur mehrere verschiedene Versionen des Skripts (z. B. „Vielleicht sitzt der Hund 3 Sekunden lang, oder vielleicht 5?“). Er erkundet verschiedene Wege, die Geschichte aufzuteilen.

2. Der Ausführende (Der Schauspieler)

Betrachten Sie das Videomodell als den Schauspieler.

Aufgabe: Der Schauspieler nimmt das Skript des Regisseurs und führt die Szene tatsächlich aus. Er generiert die Video-Chunks basierend auf dem spezifischen „Schritt“, bei dem er sich gerade befindet.
Die Herausforderung: Der Schauspieler muss von „Sitz-Modus“ zu „Sprung-Modus“ sofort wechseln können, ohne zu stolpern oder zu vergessen, was er gerade getan hat.

Wie sie gemeinsam lernen: Das „Gruppen-Auditioning“

Dies ist die Kerninnovation. Anstatt nur einen Regisseur und einen Schauspieler, die es einmal versuchen zu lassen, nutzt TempAct eine Strategie der hierarchischen Gruppenexploration. Es ist wie ein riesiger Casting-Prozess:

Die Planungs-Gruppe: Der Regisseur erstellt 4 verschiedene Skripte (Pläne) für dieselbe Geschichte.
Die Ausführungs-Gruppe: Für jedes dieser 4 Skripte versucht der Schauspieler, die Szene 8 verschiedene Male aufzuführen.
- Szenario: Der Regisseur sagt: „Lass uns Skript A versuchen.“ Der Schauspieler spielt es 8 Mal durch. Dann sagt der Regisseur: „Lass uns Skript B versuchen.“ Der Schauspieler spielt auch das 8 Mal durch.

Das Bewertungssystem (Die Richter)

Nach den Auditions bewertet ein „Richter“ (eine andere KI) die Ergebnisse, um zu entscheiden, wer den Job bekommt. Die Bewertung erfolgt auf zwei Ebenen:

Für den Planer (Den Regisseur):
- Ergab das Skript Sinn? (Planqualität)
- Folgte das fertige Video tatsächlich der Reihenfolge der Geschichte? (Zeitliche Konsistenz)
- Belohnung: Wenn ein bestimmtes Skript zu einem Video führt, in dem der Hund tatsächlich springt, bevor er sich hinsetzt, erhält der Regisseur für dieses Skript eine hohe Punktzahl.
Für den Ausführenden (Den Schauspieler):
- War der Wechsel flüssig? (Schritt-Treue)
- Sah es beim Wechsel gut aus? (Ästhetische Qualität)
- Belohnung: Wenn der Schauspieler von „Sitzen“ zu „Springen“ wechselt, ohne das Bild zu verschwimmen oder den Hund seltsam aussehen zu lassen, erhält der Schauspieler eine hohe Punktzahl.

Die „Credit Assignment“-Analogie

Stellen Sie sich ein Staffellauf-Rennen vor.

Der alte Weg: Wenn das Team verliert, wird jedem gleichermaßen die Schuld gegeben.
Der TempAct-Weg:
- Wenn der Regisseur eine verwirrende Karte gegeben hat, wird der Regisseur bestraft, selbst wenn der Läufer (Schauspeller) schnell gelaufen ist.
- Wenn der Regisseur eine perfekte Karte gegeben hat, aber der Schauspieler genau im Moment der Übergabe (beim Prompt-Wechsel) gestolpert ist, wird der Schauspieler bestraft.
- Dies ermöglicht es dem System zu lernen, was genau schiefgelaufen ist: War die Geschichte fehlerhaft oder war die Performance unordentlich?

Das Ergebnis

Durch das Training von Regisseur und Schauspieler zusammen mittels dieser „viele versuchen, viel bewerten“-Methode erzeugt TempAct Videos, in denen die Ereignisse in der richtigen Reihenfolge stattfinden.

Vorher: Der Hund könnte den Ball halten, während er sitzt.
Nachher (mit TempAct): Der Hund setzt sich, dann lässt er den Ball fallen, dann springt er auf ihn. Der Zeitablauf ist logisch und die visuelle Qualität bleibt hoch.

Kurz gesagt: TempAct behebt das Problem der Video-KI, indem es einen „Regisseur“ hinzufügt, der den Zeitplan plant, und einen „Coach“, der den „Schauspieler“ darauf trainiert, wie man Szenen reibungslos wechselt – mithverilfe eines massiven Gruppen-Auditioning-Systems, um herauszufinden, wie man die Geschichte am besten erzählt.

Technisches Resümee: TempAct

Problemstellung

Autoregressive (AR) Videodiffusionsmodelle ermöglichen eine latenzarme, chunkweise Streaming-Generierung, indem sie Videos sequenziell unter Verwendung eines gecashten visuellen Kontextes synthetisieren. Diese Formulierung führt jedoch zu erheblichen Herausforderungen bei der temporalen Instruktionsbefolgung:

Temporale Verwirrung: Wenn das Modell auf einen einzigen globalen Prompt konditioniert ist, scheitert es oft daran, zu bestimmen, welches Teilereignis zum aktuellen Chunk gehört. Dies führt zu „kollabierten“ oder verschwommenen Ereignisabfolgen (z. B. ein Hund, der einen Ball hält, noch bevor er überhaupt zum Sprung ansetzt).
Fehler beim Übergang zwischen Schritten (Step-Prompt Transition Failures): Ein naives Wechseln zu schrittweisen Prompts (bei denen jeder Chunk einen spezifischen Teil-Prompt besitzt) verlagert die Schwierigkeit auf die Handhabung von Prompt-Übergängen. AR-Exekutoren zeigen oft verzögerte Reaktionen, vermischen benachbarte semantische Inhalte oder propagieren Fehler aus früheren Chunks in spätere Chunks.
Limitierungen bestehender Trainingsmethoden: Supervised Fine-Tuning (SFT) leidet unter Exposure Bias (Training auf sauberen Teacher-Forced-Historien, aber Inferenz auf imperfekten Rollouts). Rollout-basierte Destillationsmethoden (z. B. DMD) optimieren eher das Low-Level-Denoising oder das Matching der Teacher-Distribution als vielmehr die explizite Durchsetzung von Aktionsreihenfolgen oder der Korrektheit von Prompt-Übergängen.

Methodik: TempAct

Die Autoren schlagen TempAct vor, ein Planner-Executor Reinforcement Learning (RL) Framework, das die temporale Dekomposition und die schrittweise konditionierte Exekution gemeinsam optimiert.

1. Hierarchische Planner-Executor-Pipeline

LLM Planner ( $\pi_\phi$ ): Anstatt eines festen Vorverarbeitungsmoduls ist der Planner ein LLM, das spannenbewusste temporale Dekompositionen exploriert. Gegeben einer globalen Instruktion sampelt der Planner eine Gruppe von Kandidaten-Plänen, wobei jeder Plan die Instruktion in Schritt-Prompts mit spezifischen zeitlichen Spannen (z. B. $L$ latente Frames) zerlegt. Der Planner schreibt zudem Subziele mit expliziten Objekten, Aktionen und Zustandsbeschränkungen um.
AR Diffusion Executor ( $p_\theta$ ): Der Executor generiert Videochunks autoregressiv. Entscheidend ist, dass er geglättete Prompts ( $\tilde{s}_j = \text{Smooth}(s_j, s_{j+1})$ ) verwendet, um das Modell sowohl den aktuellen als auch den kommenden Subzielen auszusetzen, was abrupte semantische Verschiebungen während der Übergänge reduziert.

2. Hierarchische Gruppen-Exploration

Um eine effektive Credit Assignment zu ermöglichen, nutzt TempAct eine geschachtelte Gruppenstruktur:

Planning Groups: Für einen globalen Prompt sampelt der Planner $M$ Kandidaten-Pläne.
Execution Groups: Für jeden Kandidaten-Plan generiert der Executor einen gemeinsamen Kontext bis zum Übergangspunkt und sampelt dann $N$ distinkte Fortsetzungen aus diesem gemeinsamen Kontext.
Credit Assignment:
- Plan-Ebene: Vergleiche über die $M$ Planning-Gruppen hinweg belohnen Dekompositionen, die zu besseren langfristigen temporalen Ergebnissen führen.
- Executor-Ebene: Vergleiche innerhalb der $N$ Execution-Gruppen (die denselben Kontext teilen) isolieren die Qualität des Prompt-Wechsel-Verhaltens von Variationen in der vorangehenden Historie.

3. Gemeinsames Reinforcement Learning Ziel

Das Framework optimiert beide Komponenten mittels Varianten von Group Relative Policy Optimization (GRPO):

Planner-Optimierung: Wird via Group Sequence Policy Optimization (GSPO) aktualisiert. Der Advantage wird basierend auf Plan-Ebene-Rewards (Qualität und Ausführbarkeit) und Video-Ebene-Temporal-Following-Scores berechnet.
Executor-Optimierung: Wird via Flow-GRPO aktualisiert. Das Update wird spezifisch auf den ersten Chunk nach einem Prompt-Wechsel (den Transitions-Span) angewendet. Dies fokussiert das Lernsignal auf die unmittelbare Ausführung des neuen Subziels unter unperfektem autoregressiven Kontext, anstatt auf die gesamte zukünftige Trajektorie.

4. Mehrstufiges Reward-Design

Planner Rewards:
- Plan-Qualität: Bewertet durch ein LLM (Qwen3-8B) hinsichtlich Treue, Abdeckung, temporaler Kohärenz und Vermeidung von Halluzinationen.
- Temporal-Following: Bewertet durch ein VLM (Qwen3-VL-8B) auf dem generierten Video, wobei physikalische Konsistenz, visuelle Konsistenz und Ereignisabfolge bewertet werden.
Executor Rewards:
- Lokales Step-Following: Ein VLM evaluiert den ersten Transitions-Chunk, um zu verifizieren, ob das spezifische Subziel (Subjekte, Bewegung, Dynamik) korrekt realisiert wurde.
- Ästhetische Regularisierung: Ein Score (PickScore) stellt sicher, dass die semantische Optimierung nicht die visuelle Qualität beeinträchtigt.

Zentrale Beiträge

Planner-Executor-Framework: Eine neuartige Architektur, die die temporale Planung (Ereignisreihenfolge) von der Exekution (visuelle Realisierung) entkoppelt und es dem System ermöglicht zu lernen, welche temporalen Pläne durch das Videomodell ausführbar sind.
Hierarchische Gruppen-Exploration: Ein Mechanismus, der Execution-Gruppen unter Planning-Gruppen verschachtelt, um eine abgestimmte Credit Assignment sowohl für langfristige temporale Ergebnisse als auch für lokale Prompt-Wechsel-Verhaltensweisen zu ermöglichen.
Gezielte RL-Optimierung: Die Verwendung von GSPO für den Planner und Flow-GRPO für den Executor (speziell auf Transitions-Chunks) adressiert direkt den Exposure Bias und die Prompt-Übergangsfehler, ohne sich rein auf Distillation zu verlassen.
Spannenbewusstes Prompting: Die Einführung von geglätteten, spannenbewussten Schritt-Prompts, die die semantische Diskontinuität mildern, die oft bei harten Prompt-Wechseln auftritt.

Experimentelle Ergebnisse

Das Paper evaluiert TempAct auf Self-Forcing und LongLive autoregressiven Backbones unter Verwendung eines Datensatzes von 5.000 temporal strukturierten Instruktionen.

Metriken: Die primäre Metrik ist der Temporal-Following Score, der die Einhaltung der intendierten Ereignissequenz misst.
Performance: TempAct zeigt konsistente Verbesserungen der temporalen Konsistenz im Vergleich zu Single-Prompt-Baselines und Step-Prompt-Baselines, sowohl im In-Domain- als auch im Out-of-Domain-Bereich (evaluiert durch VLMs und menschliche Richter).
Visuelle Qualität: Die Methode bewahrt die allgemeine visuelle Qualität und die ästhetischen Scores, was zeigt, dass die RL-Optimierung die Generierungs-Fidelität nicht beeinträchtigt.
Trainingsdynamik: Die Reward-Kurven zeigen, dass die hierarchische Optimierung effektive Lernsignale für die temporale Plausibilität liefert.

Bedeutung und Ansprüche

Das Paper behauptet, dass TempAct eine neue Perspektive auf langfristige temporale Plausibilität in der autoregressiven Videogenerierung bietet. Indem es über die Optimierung von Low-Level-Denoising oder einfaches Distribution-Matching hinausgeht, erzwingt TempAct explizit die Aktionsreihenfolge und die Korrektheit von Prompt-Übergängen. Die Autoren positionieren dies als notwendigen Schritt für den Einsatz von AR-Videomodellen in interaktiven Anwendungen, bei denen latenzarmes Streaming mit der strikten Einhaltung komplexer, mehrstufiger temporaler Instruktionen gekoppelt werden muss. Die Arbeit legt nahe, dass die gemeinsame Optimierung des „Was“ (Planung) und des „Wie“ (Exekution) via hierarchischem RL eine robustere Lösung für temporale Verwirrung darstellt als bisherige SFT- oder reine Distillations-Ansätze.