ActionPlan: Future-Aware Streaming Motion Synthesis via Frame-Level Action Planning

Resumo Técnico: ActionPlan

1. Problema e Motivação

A geração de movimento humano baseada em texto (Text-to-Motion) enfrenta um dilema fundamental entre qualidade offline e latência online (streaming):

• Métodos Offline: Utilizam atenção bidirecional global e geram a sequência completa de uma vez. Embora produzam movimentos de alta qualidade e semanticamente coerentes, são não-causais e não podem ser usados em tempo real, pois exigem o conhecimento do futuro (toda a sequência) antes de gerar qualquer quadro.
• Métodos de Streaming (Online): Geram movimento quadro a quadro de forma causal (apenas com base no passado). Embora permitam baixa latência, sofrem de "miopia temporal". Sem acesso ao contexto futuro, eles frequentemente falham em seguir prompts complexos (perdendo a ordem correta das ações) e não suportam tarefas bidirecionais como edição ou interpolação (in-betweening).

O objetivo é criar um modelo unificado que ofereça a baixa latência do streaming sem sacrificar a qualidade semântica e a coerência temporal dos métodos offline.

2. Metodologia Proposta: ActionPlan

O ActionPlan é um framework de difusão hierárquico que desacopla o planejamento de alto nível da síntese cinemática de baixo nível. A inovação central é a introdução de um Plano de Ação por Quadro (Frame-Level Action Plan).

Arquitetura e Fluxo de Trabalho:

1. Representação de Dados:

   • O movimento é codificado em um espaço latente contínuo usando um Causal Temporal AutoEncoder (Causal TAE), que garante que cada latente dependa apenas de quadros passados e atuais, permitindo decodificação online.
   • O texto é representado em dois níveis: uma descrição global da sequência e um plano de ação granular (descrições textuais para cada quadro), alinhado temporalmente com os latentes de movimento.

2. Geração de Plano de Ação (Stage 1):

   • O modelo primeiro gera um plano de ação textual denso (latentes de texto por quadro) baseado no prompt global.
   • Esses latentes de texto atuam como "âncoras semânticas" densas que guiam a geração subsequente do movimento.

3. Difusão com Agendamento de Ruído Específico (Latent-Specific Noise Scheduling):

   • Diferente dos métodos tradicionais que usam um único passo de tempo global, o ActionPlan atribui níveis de ruído independentes para cada latente de movimento e para os latentes de texto.
   • Isso permite que o modelo seja treinado para lidar com estados de desnoising heterogêneos (alguns quadros mais limpos que outros).

4. Estratégias de Amostragem (Inferência):

   • Modo Offline: Gera o plano de ação completo e depois denoisa os latentes de movimento em ordem aleatória (piramidal), maximizando a qualidade.
   • Modo Streaming (Online): Gera o plano de ação e o primeiro quadro de movimento simultaneamente. Em seguida, utiliza uma ordem raster progressiva: adiciona novos latentes de movimento à janela de desnoising enquanto mantém os anteriores sendo refinados. O plano de ação fornece o contexto futuro necessário para manter a coerência semântica, mesmo sem ver os quadros futuros do movimento.

3. Principais Contribuições

• Decomposição Hierárquica: Separação do planejamento semântico (o que fazer em cada quadro) da síntese cinemática (como fazer), permitindo que o modelo "antecipe" ações futuras.
• Agendamento de Ruído Heterogêneo: Uso de passos de tempo independentes para latentes de texto e movimento, permitindo flexibilidade na ordem de amostragem (aleatória para offline, raster para streaming) dentro do mesmo modelo.
• Unificação de Tarefas: O mesmo modelo suporta geração offline, streaming em tempo real, edição de movimento (zero-shot) e interpolação (in-betweening) sem necessidade de fine-tuning.
• Treinamento com Dados Mistos: Uso de uma função de perda mascarada para treinar simultaneamente com datasets que possuem anotações de texto por quadro (BABEL) e apenas texto de sequência (HumanML3D).

4. Resultados Experimentais

Os experimentos foram realizados no dataset HumanML3D-272.

• Qualidade de Movimento (FID):
  • Modo Offline: O ActionPlan superou o melhor método offline anterior (MARDM) em 22% no FID.
  • Modo Streaming: O modelo superou o melhor método de streaming (MotionStreamer) em 51% no FID e superou até mesmo o melhor método offline em qualidade de streaming.
• Velocidade e Latência:
  • A geração em streaming é 5,25 vezes mais rápida que os métodos anteriores.
  • Latência de geração de tokens subsequentes: 40ms (ActionPlan) vs. 210-360ms (baselines).
• Avaliação Semântica (R-Precision):
  • O modelo alcançou uma precisão de recuperação (R-Precision) superior, demonstrando melhor alinhamento entre o texto complexo e o movimento gerado.
• Estudo com Usuários:
  • Em estudos comparativos, o ActionPlan foi preferido por 67,5% dos participantes em tarefas de geração texto-movimento e 67,7% em geração de longas sequências, superando consistentemente os baselines em coerência semântica e realismo.

5. Significado e Impacto

O ActionPlan representa um avanço significativo ao resolver o compromisso tradicional entre velocidade e qualidade na geração de movimento.

• Aplicações em Tempo Real: Permite interações naturais em Realidade Virtual (VR), avatares digitais e agentes autônomos, onde o movimento deve ser gerado instantaneamente à medida que o usuário fala ou age, sem atrasos perceptíveis.
• Coerência Semântica: Ao introduzir o "plano de ação", o modelo consegue executar prompts complexos e sequenciais (ex: "andar, virar, sentar") com precisão, algo que modelos puramente causais falham em fazer.
• Versatilidade: A capacidade de realizar edição e interpolação sem modelos adicionais torna a ferramenta extremamente prática para pipelines de animação e desenvolvimento de jogos.

Em resumo, o ActionPlan demonstra que a consciência do futuro (através do planejamento de ação) pode ser integrada a sistemas de streaming causal, resultando em um sistema unificado que é simultaneamente rápido, de alta qualidade e semanticamente fiel.