Resumo Técnico: AVE-Compass e AVE-Agent

1. Declaração do Problema

Embora a edição de vídeo baseada em instruções tenha avançado rapidamente, os sistemas e benchmarks existentes focam primordialmente em transformações visuais de clipes silenciosos ou na edição isolada de áudio. Vídeos do mundo real, no entanto, consistem em sinais audiovisuais fortemente acoplados, onde a semântica emerge da interação entre a dinâmica visual, sons de primeiro plano, ambiente de fundo e fala. Os modelos atuais têm dificuldade em executar instruções cross-modais complexas que exigem modificações sincronizadas (por exemplo, alterar o som quando uma ação muda, ou remover vestígios acústicos quando um alvo visual é removido) enquanto preservam o conteúdo não-alvo.

Os benchmarks existentes são insuficientes para avaliar essas capacidades porque:

• Focam em transformações visuais de vídeos silenciosos ou geração de áudio isolada.
• Carecem de avaliação de consistência cross-modal e restrições de sincronização implícitas.
• Dependem de métricas de grão grosso que falham em diagnosticar falhas específicas na edição audiovisual, como a distorção de sons de fundo ou a perda de sincronia labial (lip-sync).

2. Metodologia

A. AVE-Compass: Um Benchmark Abrangente

Os autores introduzem o AVE-Compass, um benchmark projetado para avaliar a edição audiovisual livre.

• Composição do Dataset: Compreende 145 vídeos de origem curados (abrangendo diversos domínios, contagens de planos e estilos) e 196 instruções de edição audiovisual acopladas.
• Tipos de Instrução: As instruções cobrem quatro ramos: edição conjunta audiovisual, fala, apenas vídeo e apenas áudio. Elas são categorizadas em 28 tipos de operação de grão fino e anotadas com rótulos de dificuldade em relação à localização de objetos, complexidade de áudio e vínculo cross-modal.
• Protocolo de Avaliação: O benchmark desacopla o desempenho em quatro dimensões:
  1. Seguimento de Instrução (IF - Instruction Following): Avalia se a modificação solicitada foi aplicada corretamente ao alvo pretendido usando perguntas atômicas de Sim/Não.
  2. Preservação de Fidelidade (FP - Fidelity Preserving): Avalia se o conteúdo não editado (visual e auditivo) permanece consistente com a origem e se conteúdos indesejados foram introduzidos.
  3. Realismo (REAL): Utiliza uma rubrica dedicada de MLLM para julgar a plausibilidade perceptiva e a consistência física do clipe editado.
  4. Intenção de Edição (EI - Editing Intent): Uma métrica primária definida como o produto de IF e FP, recompensando a execução completa da edição enquanto preserva o conteúdo não-alvo.
• Métricas: A avaliação combina MLLM-como-Juiz (usando 2.688 itens de checklist de grão fino) com métricas automatizadas para sincronização cross-modal (Lip Sync, AV Sync), qualidade de vídeo (Estética, Consistência de Assunto, Suavidade de Movimento) e qualidade de áudio (Estética, Qualidade de Fala).

B. AVE-Agent: Um Framework de Edição Modular

Para abordar as limitações dos modelos atuais, os autores propõem o AVE-Agent, um framework de agente baseado em planejamento.

• Agente Planejador (Planner Agent): Converte instruções abstratas de usuários em um DAG (Grafo Acíclico Dirigido) de subtarefas executáveis e dependentes. Ele analisa o clipe de entrada, identifica requisitos explícitos e consequências cross-modais implícitas, e decompõe a tarefa em subtarefas específicas por modalidade com critérios de avaliação acionáveis.
• Agente Executor (Executor Agent): Fundamenta as subtarefas em operações concretas (vídeo, áudio ou fala) usando um loop de reflexão de auto-verificação. Ele compila intenções de alto nível em prompts específicos de ferramentas, executa a tarefa e avalia a saída contra os critérios do planejador. Se a saída falhar, um "melhorador" (improver) reescreve a orientação para visar erros específicos em vez de apenas tentar novamente às cegas.
• Agente Avaliador Misto (Mixed Evaluator Agent): Inspeciona o clipe montado para coerência global, seguimento de instrução e fidelidade. Ele determina a ação corretiva de menor custo (ex: remixagem, regeneração de uma subtarefa ou replanejamento total) para endereçar problemas detectados sem recomputação desnecessária.

3. Principais Contribuições

1. Benchmark AVE-Compass: Um dataset abrangente com 145 vídeos, 196 instruções acopladas e 2.688 itens de checklist, visando especificamente cenários realistas que exigem edição cross-modal sincronizada e preservação estrita de conteúdo não-alvo.
2. Protocolo de Avaliação Desacoplado: Um framework que cobre Seguimento de Instrução, Preservação de Fidelidade, Realismo e Intenção de Edição, permitindo o diagnóstico de edições incompletas, deriva de conteúdo, baixo realismo e desalinhamento.
3. Framework AVE-Agent: Um agente modular baseado em planejamento que decompõe instruções em subtarefas e utiliza auto-reflexão para melhorar a qualidade da edição e o alinhamento em cenários de edição conjunta complexos.

4. Resultados Experimentais

Os autores avaliaram seis sistemas (incluindo Wan2.7, HappyHorse, Gemini-Omni, Seedance, LTX2 e AVE-Agent) no AVE-Compass.

• Desempenho do AVE-Agent: O AVE-Agent alcançou as pontuações mais altas em Intenção de Edição (59.8) e Seguimento de Instrução (77.3), superando significativamente os baselines. Demonstrou ganhos particulares no seguimento de instruções do lado do áudio e na sincronização audiovisual.
• Trade-offs nos Baselines: Modelos atuais lutam para equilibrar Seguimento de Instrução e Preservação de Fidelidade.
  • Modelos como o LTX2 frequentemente seguem instruções regenerando todo o vídeo, resultando em baixa Preservação de Fidelidade.
  • Modelos como Gemini-Omni e Seedance às vezes retornam o vídeo/áudio original para alcançar pontuações de preservação altas, falhando em executar a instrução (baixo Seguimento de Instrução).
• Lacuna de Realismo: Embora alguns modelos tenham alcançado pontuações de qualidade automatizadas elevadas (ex: Estética de Vídeo/Áudio), suas pontuações de Realismo foram notavelmente menores, indicando uma dificuldade com a compreensão do mundo físico e validade lógica nos resultados editados.
• Robustez: O AVE-Agent manteve um desempenho mais estável através de variações de duração de vídeo de origem, dificuldade de localização de objetos, complexidade de áudio e graus de vínculo cross-modal em comparação aos baselines.
• Validade das Métricas: O estudo confirmou que as métricas automatizadas e os julgamentos subjetivos de MLLM são amplamente ortogonais, capturando aspectos distintos de qualidade. O acordo entre humanos e LLM nas métricas de avaliação ficou próximo de 90% em média.

5. Significância

O artigo afirma que o AVE-Compass e o AVE-Agent representam um avanço para mover o campo de modificações isoladas de nível de pixel em direção a edições multimodais fisicamente e perceptualmente coerentes. Ao avaliar sistematicamente a preservação de conteúdo não-alvo junto com a execução da instrução, o benchmark revela que os modelos de estado da arte ainda carecem de mecanismos explícitos para planejar operações cross-modais e impor restrições de sincronização. O framework de agente proposto demonstra que decompor instruções complexas em subtarefas dependentes com auto-reflexão iterativa pode melhorar efetivamente a qualidade da edição e o alinhamento em tarefas de edição audiovisual conjunta.