LAMP: Language-Assisted Motion Planning for Controllable Video Generation

1. O Problema

A geração de vídeo baseada em texto (Text-to-Video) avançou significativamente em fidelidade visual, mas o controle de movimento (especificar a dinâmica dos objetos e as trajetórias da câmera) permanece um desafio crítico.

• Limitações Atuais: As interfaces existentes dependem de texto genérico, anotações extraídas de vídeos existentes ou esboços 2D simples. Essas modalidades são restritivas para descrever coreografias complexas de movimento e direcionamento cinematográfico.
• O Dilema do Espaço 3D: Especificar simultaneamente o movimento de um objeto e a trajetória da câmera (que geralmente é relativa ao objeto) exige planejamento espacial avançado e imaginação mental que usuários comuns não possuem.
• Falta de Alinhamento: Modelos atuais frequentemente geram vídeos com movimentos fisicamente inconsistentes ou que não correspondem à intenção narrativa do usuário, pois tentam regressar coordenadas contínuas diretamente do texto, uma tarefa difícil devido à falta de dados pareados e à complexidade da relação linguagem-movimento.

2. Metodologia: O Framework LAMP

O LAMP (Language-Assisted Motion Planning) propõe tratar o controle de movimento como um problema de síntese de programas de linguagem, em vez de regressão direta de coordenadas. O sistema utiliza um Modelo de Linguagem Grande (LLM) como um "planejador de movimento".

A. Linguagem Específica de Domínio (DSL) Inspirada em Cinematografia

Em vez de prever coordenadas 3D brutas, o LAMP gera programas simbólicos estruturados em uma DSL.

• Primitivas de Movimento: A DSL define quatro primitivas principais baseadas em convenções cinematográficas:
  1. Free-form: Movimento 6-DoF (graus de liberdade) não restrito.
  2. Orbit track: A câmera orbita um objeto-alvo.
  3. Tail track: A câmera segue um objeto com um atraso temporal configurável.
  4. Rotation track: A câmera gira no lugar para enquadrar ou revelar a cena.
• Modificadores: Cada primitiva é parametrizada por modificadores (ex: velocidade, direção, ângulo de rotação, suavização/easing, jitter) expressos como pares chave-valor.
• Vantagem: Essa representação simbólica é interpretável, composicional e garante consistência espacial.

B. Pipeline de Geração

1. Entrada: O usuário fornece uma descrição natural (ex: "A câmera orbita o navio em sentido anti-horário").
2. Planejamento (LLM): Um LLM ajustado (fine-tuned) analisa o texto e gera um programa DSL contendo as instruções para o objeto e para a câmera.
3. Conversão Determinística: Um conversor transforma o programa DSL em trajetórias 3D explícitas (coordenadas e rotações) para o objeto e a câmera em um sistema de coordenadas compartilhado.
4. Geração de Vídeo: As trajetórias 3D são renderizadas como um "vídeo de controle" (overlay de caixas delimitadoras e bordas do horizonte) que condiciona um gerador de vídeo pré-treinado (como o VACE) para sintetizar o vídeo final.

C. Geração de Dados Procedural

Para treinar o planejador de movimento, os autores criaram um conjunto de dados em larga escala (400k amostras):

• Gerado proceduralmente combinando primitivas e modificadores da DSL.
• Inclui descrições de texto, programas DSL e trajetórias 3D correspondentes.
• Um LLM auxiliar foi usado para parafrasear as descrições, garantindo diversidade linguística.

3. Principais Contribuições

1. DSL Cinematográfica: Introdução de uma linguagem simbólica que codifica comportamentos de câmera e objetos, mapeada deterministicamente para trajetórias 3D, permitindo edição e refinamento iterativo.
2. Primeiro Framework Unificado: É a primeira abordagem capaz de gerar simultaneamente trajetórias de objetos e câmeras a partir de especificações de linguagem natural, unificando o planejamento em um espaço 3D compartilhado.
3. Conjunto de Dados Procedural: Criação de um dataset massivo de pares texto-movimento que permite o treinamento escalável de planejadores de movimento guiados por linguagem.
4. Interface Desacoplada: O planejamento de movimento é separado da síntese de vídeo, permitindo que os usuários refinem a intenção ("mova a câmera mais para a direita") antes de gastar recursos computacionais na geração do vídeo final.

4. Resultados e Avaliação

O LAMP foi avaliado em benchmarks quantitativos e qualitativos, comparado com o estado da arte (SOTA) como GenDoP, ET, Director3D e CCD.

• Avaliação de Trajetória da Câmera:
  • O LAMP superou consistentemente os modelos baseados em difusão e autoregressivos em métricas de alinhamento texto-trajetória (CLaTr) e precisão de tagging de movimento (F1-Score).
  • No conjunto de dados DataDoP, o LAMP (treinado apenas no dataset procedural) alcançou um F1-Score de 0.763, superando modelos treinados especificamente no DataDoP (como GenDoP com ~0.400).
  • No conjunto ET, alcançou um F1-Score de 0.976 (split puro) e 0.769 (split misto), demonstrando forte generalização.
• Avaliação de Movimento do Objeto:
  • Alta precisão na reprodução de movimentos de objetos, com F1-Scores superiores a 0.92 em classes finas de tradução.
• Estudo de Usuário:
  • Participantes preferiram consistentemente os resultados do LAMP em relação às linhas de base em termos de aderência à descrição da câmera, aderência ao objeto e qualidade geral do vídeo.
• Ablação (DSL vs. Trajetória Direta):
  • Experimentos mostraram que a abordagem baseada em DSL supera a regressão direta de trajetórias contínuas, resultando em maior precisão direcional e menor erro de rotação.

5. Significado e Impacto

O LAMP representa uma mudança de paradigma na geração de vídeo controlável:

• De "Caixa Preta" para "Programável": Transforma o controle de movimento de uma tarefa de regressão estatística difícil em um problema de síntese de linguagem estruturada, tornando o processo mais interpretável e editável.
• Direção Cinematográfica Acessível: Permite que usuários descrevam cenas complexas em linguagem natural, enquanto o sistema resolve a matemática espacial e temporal necessária para criar uma composição cinematográfica coerente.
• Flexibilidade: Ao desacoplar o planejamento do gerador de vídeo, o framework permite iteração rápida e refinamento de cenas sem a necessidade de re-generar o vídeo completo a cada ajuste de intenção.

Em resumo, o LAMP estabelece um novo padrão para o controle de movimento em IA generativa, demonstrando que o uso de LLMs como planejadores simbólicos, ancorados em uma linguagem cinematográfica, supera significativamente as abordagens atuais de controle direto de coordenadas.