Technische Samenvatting: TempAct

Probleemstelling

Autoregressieve (AR) videodiffusiemodellen maken lage-latentie, chunk-gewijze streaminggeneratie mogelijk door video's sequentieel te synthetiseren met behulp van een gecachte visuele context. Deze formulering introduceert echter aanzienlijke uitdagingen in temporele instructie-opvolging:

1. Temporele Verwarring: Wanneer geconditioneerd op een enkele globale prompt, faalt het model vaak in het bepalen welke sub-gebeurtenis overeenkomt met de huidige chunk. Dit leidt tot "gecollapsed" of wazige gebeurtenisvolgordes (bijv. een hond die een bal vasthoudt voordat hij zelfs maar is gesprongen).
2. Falen in Stap-Prompt Transities: Het naïef overschakelen naar stap-gewijze prompts (waarbij elke chunk een specifieke sub-prompt heeft) verschuift de moeilijkheid naar het afhandelen van prompt-transities. AR-executors vertonen vaak vertraagde reacties, mengen aangrenzende stap-semantiek, of propageren fouten uit eerdere chunks naar latere chunks.
3. Beperkingen van Bestaande Training: Supervised Fine-Tuning (SFT) lijdt onder exposure bias (training op schone teacher-forced historieën, maar inferentie op imperfecte rollouts). Rollout-gebaseerde distillatiemethoden (bijv. DMD) optimaliseren lage-niveau denoising of het matchen van de teacher-distributie, in plaats van expliciet actie-volgorde of prompt-transitie-correctheid af te dwingen.

Methodologie: TempAct

De auteurs stellen TempAct voor, een Planner-Executor Reinforcement Learning (RL) framework dat ontworpen is om zowel de temporele decompositie als de stap-geconditioneerde executie gezamenlijk te optimaliseren.

1. Hiërarchische Planner-Executor Pipeline

• LLM Planner ($\pi_\phi$): In plaats van een vaste preprocessing module is de planner een LLM die span-bewuste temporele decomposities verkent. Gegeven een globale instructie, samplet de planner een groep kandidaat-plannen, waarbij elk plan de instructie opbreekt in stap-prompts met specifieke temporele spans (bijv. $L$ latente frames). De planner herschrijft ook subdoelen met expliciete objecten, acties en statusbeperkingen.
• AR Diffusion Executor ($p_\theta$): De executor genereert videochunks autoregressief. Cruciaal is dat het gebruik maakt van gesmoothde prompts ($\tilde{s}_j = \text{Smooth}(s_j, s_{j+1})$) om het model bloot te stellen aan zowel de huidige als de komende subdoelen, wat abrupte semantische verschuivingen tijdens transities vermindert.

2. Hiërarchische Groep-exploratie

Om effectieve credit assignment mogelijk te maken, gebruikt TempAct een geneste groepsstructuur:

• Planning Groups: Voor een globale prompt samplet de planner $M$ kandidaat-plannen.
• Execution Groups: Voor elk kandidaat-plan genereert de executor een gedeelde context tot aan het transitiepunt, en samplet vervolgens $N$ verschillende continuaties vanuit die gedeelde context.
• Credit Assignment:
  • Plan-niveau: Vergelijkingen tussen de $M$ planning groups belonen decomposities die leiden tot betere langetermijn-temporele uitkomsten.
  • Executor-niveau: Vergelijkingen binnen de $N$ execution groups (die dezelfde context delen) isoleren de kwaliteit van het prompt-switch gedrag van variaties in de voorafgaande historie.

3. Gezamenlijk Reinforcement Learning Doel

Het framework optimaliseert beide componenten met behulp van Group Relative Policy Optimization (GRPO) varianten:

• Planner Optimalisatie: Wordt bijgewerkt via Group Sequence Policy Optimization (GSPO). Het voordeel wordt berekend op basis van plan-niveau beloningen (kwaliteit en uitvoerbaarheid) en video-niveau temporele volgingsscores.
• Executor Optimalisatie: Wordt bijgewerkt via Flow-GRPO. De update wordt specifiek toegepast op de eerste chunk na een prompt switch (de transitie span). Dit focust de leer-signaal op de directe uitvoering van het nieuwe subdoel onder imperfecte autoregressieve context, in plaats van de gehele toekomstige trajectorie.

4. Multi-Level Reward Design

• Planner Beloningen:
  • Plan Kwaliteit: Geëvalueerd door een LLM (Qwen3-8B) op getrouwheid, dekking, temporele coherentie en het vermijden van hallucinaties.
  • Temporele Volging: Geëvalueerd door een VLM (Qwen3-VL-8B) op de gegenereerde video, waarbij fysieke consistentie, visuele consistentie en gebeurtenisvolgorde worden beoordeeld.
• Executor Beloningen:
  • Lokale Stap-Volging: Een VLM evalueert de eerste transitie-chunk om te verifiëren of het specifieke subdoel (onderwerpen, beweging, dynamiek) correct is gerealiseerd.
  • Esthetische Regularisatie: Een score (PickScore) zorgt ervoor dat semantische optimalisatie de visuele kwaliteit niet verslechtert.

Belangrijkste Bijdragen

1. Planner-Executor Framework: Een nieuwe architectuur die temporele planning (gebeurtenisvolgorde) ontkoppelt van executie (visuele realisatie), waardoor het systeem kan leren welke temporele plannen uitvoerbaar zijn door het videomodel.
2. Hiërarchische Groep-exploratie: Een mechanisme dat executie-groepen nest onder planning-groepen, wat zorgt voor een afgestemde credit assignment voor zowel langetermijn-temporele uitkomsten als lokale prompt-switch gedragingen.
3. Gerichte RL Optimalisatie: Het gebruik van GSPO voor de planner en Flow-GRPO voor de executor (specifiek op transitie-chunks) adresseert direct exposure bias en prompt-transitie-fouten zonder uitsluitend te vertrouwen op distillatie.
4. Span-Bewuste Prompting: De introductie van gesmoothde, span-bewuste stap-prompts die de semantische discontinuïteit verminderen die vaak voorkomt bij harde prompt-switching.

Experimentele Resultaten

De paper evalueert TempAct op Self-Forcing en LongLive autoregressieve backbones met een dataset van 5.000 temporeel gestructureerde instructies.

• Metrics: De primaire metric is de Temporal-Following Score, die de mate van naleving van de beoogde gebeurtenisvolgorde meet.
• Prestaties: TempAct vertoont consistente verbeteringen in temporele consistentie vergeleken met single-prompt baselines en step-prompt baselines, zowel in-domain als out-of-domain (geëvalueerd door VLMs en menselijke beoordelaars).
• Visuele Kwaliteit: De methode behoudt de algehele visuele kwaliteit en esthetische scores, wat aangeeft dat de RL-optimalisatie de generatie-getrouwheid niet in gevaar brengt.
• Trainingsdynamiek: De reward-curves laten zien dat de hiërarchische optimalisatie effectieve leer-signalen biedt voor temporele plausibiliteit.

Betekenis en Claims

De paper claimt dat TempAct een nieuw perspectief biedt op langetermijn-temporele plausibiliteit in autoregressieve videogeneratie. Door verder te gaan dan lage-niveau denoising optimalisatie of eenvoudige distributie-matching, dwingt TempAct expliciet actie-volgorde en prompt-transitie-correctheid af. De auteurs positioneren dit als een noodzakelijke stap voor de inzet van AR-videomodellen in interactieve applicaties waar lage-latentie streaming gekoppeld moet worden aan strikte naleving van complexe, meerfasige temporele instructies. Het werk suggereert dat het gezamenlijk optimaliseren van het "wat" (planning) en het "hoe" (executie) via hiërarchische RL een robuustere oplossing is voor temporele verwarring dan eerdere SFT- of louter distillatie-benaderingen.