Resumo Técnico: TempAct

Declaração do Problema

Modelos de difusão de vídeo autorregressivos (AR) permitem a geração de streaming por partes (chunk-wise) com baixa latência, sintetizando vídeos sequencialmente usando contexto visual em cache. No entanto, essa formulação introduz desafios significativos na seguimento de instruções temporais:

1. Confusão Temporal: Quando condicionada a um único prompt global, o modelo frequentemente falha em determinar qual subevento corresponde ao chunk atual. Isso leva a ordens de eventos "colapsadas" ou borradas (ex: um cachorro segurando uma bola antes mesmo de dar o bote).
2. Falhas de Transição Passo-Prompt: A mudança ingênua para prompts por passo (onde cada chunk possui um sub-prompt específico) desloca a dificuldade para o tratamento de transições de prompt. Executores AR costem exibir reações atrasadas, misturar semânticas de passos adjacentes ou propagar erros de chunks anteriores para os posteriores.
3. Limitações do Treinamento Existente: O Ajuste Fino Supervisionado (SFT) sofre de viés de exposição (treinando em históricos de professor-forçado limpos, mas infere em rollouts imperfeitos). Métodos de destilação baseados em rollout (ex: DMD) otimizam o denoising de baixo nível ou o emparelhamento da distribuição do professor, em vez de impor explicitamente a ordenação de ações ou a correção da transição de prompts.

Metodologia: TempAct

Os autores propõem o TempAct, um framework de Aprendizado por Reforço (RL) de Planejador-Executor projetado para otimizar conjuntamente a decomposição temporal e a execução condicionada por passo.

1. Pipeline Hierárquico Planejador-Executor

• Planejador LLM ($\pi_\phi$): Em vez de um módulo de pré-processamento fixo, o planejador é um LLM que explora decomposições temporais conscientes de intervalo (span-aware). Dada uma instrução global, o planejador amostra um grupo de planos candidatos, onde cada plano divide a instrução em prompts de passos com intervalos temporais específicos (ex: $L$ frames latentes). O planejador também reescreve submetas com objetos, ações e restrições de estado explícitos.
• Executor de Difusão AR ($p_\theta$): O executor gera chunks de vídeo de forma autorregressiva. Crucialmente, ele utiliza prompts suavizados ($\tilde{s}_j = \text{Smooth}(s_j, s_{j+1})$) para expor o modelo tanto ao objetivo atual quanto ao próximo, reduzindo mudanças semânticas abruptas durante as transições.

2. Exploração de Grupo Hierárquica

Para permitir uma atribuição de crédito eficaz, o TempAct emprega uma estrutura de grupo aninhada:

• Grupos de Planejamento: Para um prompt global, o planejador amostra $M$ planos candidatos.
• Grupos de Execução: Para cada plano candidato, o executor gera um contexto compartilhado até o ponto de transição, então amostra $N$ continuações distintas a partir desse contexto compartilhado.
• Atribuição de Crédito:
  • Nível de Plano: Comparações entre os $M$ grupos de planejamento recompensam decomposições que levam a melhores resultados temporais de longo horizonte.
  • Nível de Executor: Comparações dentro dos $N$ grupos de execução (compartilhando o mesmo contexto) isolam a qualidade do comportamento de troca de prompt das variações no histórico precedente.

3. Objetivo de Aprendizado por Reforço Conjunto

O framework otimiza ambos os componentes usando variantes de Group Relative Policy Optimization (GRPO):

• Otimização do Planejador: Atualizado via Group Sequence Policy Optimization (GSPO). A vantagem é calculada com base em recompensas de nível de plano (qualidade e executabilidade) e pontuações de seguimento temporal de vídeo.
• Otimização do Executor: Atualizado via Flow-GRPO. A atualização é aplicada especificamente ao primeiro chunk após uma troca de prompt (o intervalo de transição). Isso foca o sinal de aprendizado na execução imediata da nova submeta sob contexto autorregressivo imperfeito, em vez de toda a trajetória futura.

4. Design de Recompensa Multinível

• Recompensas do Planejador:
  • Qualidade do Plano: Avaliada por um LLM (Qwen3-8B) em fidelidade, cobertura, coerência temporal e prevenção de alucinação.
  • Seguimento Temporal: Avaliado por um VLM (Qwen3-VL-8B) no vídeo gerado, avaliando consistência física, consistência visual e ordenação de eventos.
• Recompensas do Executor:
  • Seguimento de Passo Local: Um VLM avalia o primeiro chunk de transição para verificar se a submeta específica (sujeitos, movimento, dinâmica) foi realizada corretamente.
  • Regularização Estética: Uma pontuação (PickScore) garante que a otimização semântica não degrade a qualidade visual.

Contribuições Principais

1. Framework Planejador-Executor: Uma arquitetura inovadora que desacopla o planejamento temporal (ordenação de eventos) da execução (realização visual), permitindo que o sistema aprenda quais planos temporais são executáveis pelo modelo de vídeo.
2. Exploração de Grupo Hierárquica: Um mecanismo que aninha grupos de execução sob grupos de planejamento, permitindo uma atribuição de crédito alinhada tanto para resultados temporais de longo horizonte quanto para comportamentos locais de troca de prompt.
3. Otimização de RL Direcionada: O uso de GSPO para o planejador e Flow-GRPO para o executor (especificamente em chunks de transição) aborda diretamente o viés de exposição e erros de transição de prompt sem depender apenas de destilação.
4. Prompting Consciente de Intervalo (Span-Aware): A introdução de prompts de passo suavizados e conscientes de intervalo que mitigam a descontinuidade semântica frequentemente encontrada em trocas de prompt rígidas.

Resultados Experimentais

O artigo avalia o TempAct nos backbones autorregressivos Self-Forcing e LongLive usando um conjunto de dados de 5.000 instruções temporalmente estruturadas.

• Métricas: A métrica primária é o Temporal-Following Score, medindo a adesão à sequência de eventos pretendida.
• Desempenho: O TempAct demonstra melhorias consistentes na consistência temporal em comparação com baselines de prompt único e baselines de prompt por passo, tanto em domínio quanto fora de domínio (avaliados por VLMs e juízes humanos).
• Qualidade Visual: O método preserva a qualidade visual geral e as pontuações estéticas, indicando que a otimização por RL não compromete a fidelidade de geração.
• Dinâmica de Treinamento: As curvas de recompensa mostram que a otimização hierárquica fornece sinais de aprendizado eficazes para a plausibilidade temporal.

Significância e Alegações

O artigo afirma que o TempAct oferece uma nova perspectiva sobre a plausibilidade temporal de longo horizonte na geração de vídeo autorregressiva. Ao ir além da otimização de denoising de baixo nível ou simples emparelhamento de distribuição, o TempAct impõe explicitamente a ordenação de ações e a correção da transição de prompts. Os autores posicionam isso como um passo necessário para implantar modelos de vídeo AR em aplicações interativas onde o streaming de baixa latência deve ser acompanhado por um seguimento rigoroso de instruções temporais complexas e de múltiplos estágios. O trabalho sugere que a otimização conjunta do "o quê" (planejamento) e do "como" (execução) via RL hierárquico é uma solução mais robusta para a confusão temporal do que as abordagens anteriores de apenas SFT ou destilação.