Resumo Técnico: Aurora – Edição de Vídeo Unificada com um Agente que Utiliza Ferramentas

1. Declaração do Problema

Modelos recentes de edição de vídeo unificada convergiram para um design onde um único transformador de difusão consome conjuntamente instruções de texto, vídeos de origem e imagens de referência (ou máscaras) para realizar tarefas diversas, como substituição, remoção, transferência de estilo e inserção. Embora flexível, essa arquitetura assume que os usuários fornecem entradas de condicionamento prontas para o modelo: texto preciso, imagens de referência específicas para padrões visuais e máscaras espaciais para edições localizadas.

Na prática, solicitações brutas de usuários frequentemente sofrem de subespecificação ao longo de dois eixos:

1. Subespecificação Visual: O usuário nomeia uma entidade ou padrão específico (por exemplo, "um cachecol xadrez da Burberry" ou "A Grande Onda de Kanagawa"), mas não fornece nenhuma imagem de referência.
2. Subespecificação Textual: A edição é descrita indiretamente (por exemplo, "mude o item azul para um veículo que corra muito mais rápido"), exigindo que o modelo infira objetivos concretos.

Modelos unificados atuais carecem do mecanismo para inferir, fundamentar ou preencher essas condições ausentes antes do início da geração. Isso cria uma lacuna entre os ricos canais de condicionamento disponíveis para o modelo e as informações incompletas fornecidas pelo usuário.

2. Metodologia: O Framework Aurora

A Aurora preenche essa lacuna ao desacoplar a construção de condições da geração de vídeo. Ela introduz um framework agencial que emparelha um agente de Modelo de Linguagem e Visão (VLM) aumentado por ferramentas com um transformador de difusão de vídeo unificado (DiT).

2.1 O Agente VLM (Construção de Condições)

O agente, implementado como um Qwen3-VL-8B-Instruct ajustado com LoRA, atua como um pré-processador. Ele recebe um vídeo de origem ($V_{src}$), uma instrução bruta do usuário ($y$) e referências opcionais do usuário ($R$) para gerar um plano de edição estruturado:
$$(y', c, q, m) = \pi_\phi(V_{src}, y, R)$$
Onde:

• $y'$ (Instrução Reescrita): Uma instrução padronizada e pronta para o modelo que resolve a subespecificação textual.
• $c$ (Rótulo de Tarefa): Um tipo de edição canônico (por exemplo, replace_object, remove_object) usado para roteamento.
• $q$ (Consulta de Busca de Imagem): Uma consulta opcional para acionar uma ferramenta de busca de imagens na web (via API Serper) se uma imagem de referência estiver ausente.
• $m$ (Frase de Máscara): Uma frase opcional para acionar uma ferramenta de segmentação (GroundingDINO + SAM) se a fundamentação espacial estiver ausente.

Execução de Ferramentas:
Se $q$ ou $m$ não estiverem vazios, o agente invoca ferramentas externas:

• Busca de Imagem: Recupera imagens candidatas e seleciona a mais relevante.
• Segmentação: Gera uma máscara para a região-alvo e a compõe sobre o vídeo de origem.

A saída final é uma tupla de condicionamento unificada $\mathbf{x} = (y', V_{src}, R^+)$, onde $R^+$ inclui as referências originais do usuário mais quaisquer imagens recuperadas ou imagens mascaradas. O rótulo de tarefa $c$ é usado durante o planejamento, mas não é alimentado ao modelo de vídeo.

2.2 O DiT de Vídeo (Geração de Vídeo)

A espinha dorsal da geração de vídeo é um Transformador de Difusão (DiT) unificado construído sobre o Wan2.2-TI2V-5B. Ele consome a tupla de condicionamento $\mathbf{x}$ através de dois caminhos:

1. Caminho de Contexto Multimodal: Um encoder Qwen3.5-4B congelado processa a instrução reescrita ($y'$), quadros de origem amostrados e imagens de referência ($R^+$) em um contexto multimodal compartilhado ($T_{ctx}$) para atenção cruzada.
2. Caminho de Tokens Latentes: Tokens de vídeo ruidosos, tokens de origem e tokens de referência são concatenados ao longo da dimensão da sequência de tokens.
   • Modulação de Tempo Zero: Para preservar o conteúdo não editado e a identidade de referência, os tokens de origem e de referência são modulados com um embedding de tempo zero ($a(0)$), enquanto os tokens ruidosos seguem a trajetória padrão de correspondência de fluxo ($a(t)$). Isso garante que os tokens de condicionamento permaneçam fixos enquanto o vídeo é desruidado.

2.3 Objetivos de Treinamento

• DiT de Vídeo: Treinado com correspondência de fluxo em uma mistura de dados de edição de imagem, edição de vídeo baseada em instruções e edição de vídeo guiada por referência. Ele aprende a lidar uniformemente com referências vazias, fornecidas pelo usuário e recuperadas por ferramentas.
• Agente VLM:
  • Ajuste Fino Supervisionado (SFT): Treinado em 25 mil exemplos de planejamento e 10 mil exemplos de seleção de imagem de referência. O alvo é o plano completo de 4 campos, ensinando o agente a reescrever instruções, rotear tarefas e selecionar ferramentas.
  • Alinhamento de Preferência (DPO): Treinado em 1,8 mil pares de preferência para resolver casos limítrofes (por exemplo, acionamentos falsos de busca de imagem, frases de máscara ambíguas, reescritas que perdem restrições). Isso afina as fronteiras de decisão sem misturar a variância de amostragem de vídeo no objetivo de aprendizado.

3. Contribuições Principais

1. Framework Aurora: Um sistema de edição de vídeo agencial que mapeia solicitações brutas e subespecificadas para tuplas de condicionamento completas e prontas para o modelo, usando um agente VLM aumentado por ferramentas.
2. AgentEdit-Bench: Um novo benchmark projetado especificamente para avaliar a edição de vídeo sob subespecificação textual e visual. Contém 150 casos em cinco tipos de tarefa (substituição de IP, adição de IP, mudança de fundo de IP, raciocínio e remoção), onde a solicitação bruta omite condições necessárias.
3. Dados de Treinamento e Alinhamento: Um pipeline de construção de dataset para planejamento de agente VLM e seleção de referência, combinado com alinhamento de preferência baseado em DPO para lidar com casos extremos no acionamento de ferramentas e reescrita de instruções.
4. Transferibilidade do Modelo: Demonstração de que o agente VLM da Aurora pode ser emparelhado com modelos de edição de vídeo unificados existentes e congelados (por exemplo, UniVideo, Kiwi-Edit) para melhorar seu desempenho em solicitações subespecificadas.

4. Resultados Experimentais

• Desempenho no AgentEdit-Bench:
  • O DiT de vídeo da Aurora sozinho (sem o agente) pontua 74,7, superando o UniVideo (67,0) e o Kiwi-Edit (69,7) em prompts brutos.
  • Adicionar o agente VLM aumenta a pontuação para 87,9. Os ganhos são mais significativos em tarefas de IP (substituição e adição), onde o agente recupera com sucesso imagens de referência ausentes.
  • Estudos de ablação mostram que o SFT contribui com a maior parte do ganho (85,0), enquanto o DPO adiciona refinamento adicional (87,9) corrigindo erros de fronteira.
• Desempenho em Benchmarks Existentes (EditVerse-Bench, OpenVE-Bench):
  • Em benchmarks com entradas bem especificadas, a Aurora alcança resultados state-of-the-art entre métodos de código aberto (7,61 no EditVerse-Bench, 3,38 no OpenVE-Bench), fechando a maior parte da lacuna com a linha de base fechada Runway Aleph.
  • Mesmo quando as ferramentas estão desativadas (ocorrendo apenas reescrita de instruções), o agente melhora o desempenho, indicando o valor do refinamento de instruções.
• Transferibilidade:
  • Quando o agente VLM da Aurora é emparelhado com versões congeladas do UniVideo e do Kiwi-Edit, ele melhora consistentemente suas pontuações tanto no AgentEdit-Bench quanto em benchmarks existentes, provando que a utilidade do agente é agnóstica ao modelo.

5. Significado e Limitações

Significado:
O artigo argumenta que o progresso na edição de vídeo depende não apenas de DiTs de vídeo mais fortes, mas também da tradução confiável de solicitações brutas de usuários em condições prontas para o modelo. A Aurora demonstra que uma camada agencial pode resolver efetivamente a subespecificação, permitindo que modelos unificados lidem com entradas de usuários incompletas do mundo real sem exigir que o próprio modelo de vídeo seja re-treinado para cada nova ferramenta ou condição.

Limitações:

• Paradigma de Treinamento: O agente VLM é alinhado via DPO offline. Os autores observam que o RL online (por exemplo, GRPO) sobre o pipeline completo, usando o clipe editado final como sinal de recompensa, é atualmente impraticável devido a restrições de computação.
• Complexidade de Movimento: O DiT de vídeo de 5B lida com remoção, estilização e inserção de objetos com movimento limitado de forma confiável. No entanto, adicionar novos sujeitos com movimento grande e fisicamente plausível permanece difícil, atribuído tanto à capacidade da espinha dorsal quanto à escassez de tais casos nos dados de treinamento.

Impacto Mais Amplo:
Os autores reconhecem riscos relacionados à manipulação não consensual de identidade e questões de direitos autorais decorrentes da ferramenta de busca de imagens na web, posicionando a Aurora como uma ferramenta criativa e não como uma produtora de evidências.