IVEBench: Modern Benchmark Suite for Instruction-Guided Video Editing Assessment

1. O Problema

O campo de Edição de Vídeo Guiada por Instrução (IVE) tem avançado rapidamente, permitindo que usuários transformem vídeos usando comandos em linguagem natural. No entanto, a avaliação sistemática desses métodos enfrenta desafios críticos devido às limitações dos benchmarks existentes:

• Falta de Diversidade: Os conjuntos de dados atuais possuem cobertura semântica limitada, poucos cenários e instruções de edição restritas.
• Prompting Inadequado: A maioria dos benchmarks foi projetada para métodos baseados em pares "fonte-alvo" (source-target prompts), que são menos intuitivos e flexíveis do que as instruções em linguagem natural (IVE).
• Métricas de Avaliação Frágeis: As métricas atuais focam apenas em qualidade básica ou alinhamento simples, carecendo de uma avaliação multidimensional que utilize avanços recentes em Modelos de Linguagem Multimodal (MLLMs) para entender semântica e fidelidade.
• Cobertura de Tarefas Insuficiente: Falta suporte para tarefas complexas específicas de vídeo, como edição de movimento de câmera, movimento de sujeitos e efeitos visuais temporais.

2. Metodologia

Os autores propõem o IVEBench, uma suíte de benchmark moderna e abrangente, construída através de três pilares principais:

A. Banco de Dados Diversificado (IVEBench Database)

• Coleta de Dados: Compilação de 600 vídeos de alta qualidade (resolução ≥2K), extraídos de fontes como Pexels, Mixkit, UltraVideo e OpenHumanVid.
• Estrutura Semântica: Os vídeos cobrem 7 dimensões semânticas (Emoção, Sujeito, Perspectiva, Movimento, Cena, Tema, Tempo) e 30 tópicos finos.
• Variedade Temporal: Os vídeos variam de 32 a 1.024 quadros, divididos em subconjuntos curtos (32-128 quadros) e longos (129-1.024 quadros) para testar escalabilidade.
• Anotação: Uso do modelo Qwen2.5-VL-72B para gerar legendas estruturadas que capturam atributos editáveis.

B. Geração de Prompts Abrangentes

• Categorização: Definição de 8 categorias principais de edição com 35 subcategorias (ex: Edição de Estilo, Edição de Sujeito, Edição de Movimento de Câmera, Edição de Quantidade).
• Pipeline Híbrido: Uso de LLMs (Doubao-1.5-pro) para gerar prompts de edição, prompts-alvo e frases-alvo a partir das legendas dos vídeos, seguido de revisão e refinamento por especialistas humanos para garantir clareza e equilíbrio.

C. Protocolo de Avaliação Tridimensional

O IVEBench introduz um protocolo de avaliação robusto com 12 métricas organizadas em três dimensões:

1. Qualidade de Vídeo: Foca na qualidade intrínseca do vídeo gerado.
   • Métricas: Consistência do Sujeito (SC), Consistência de Fundo (BC), Flickering Temporal (TF), Suavidade de Movimento (MS) e Pontuação de Adequação ao Treinamento (VTSS).
2. Conformidade com a Instrução: Avalia se o vídeo gerado segue o comando do usuário.
   • Métricas: Consistência Semântica Global (OSC), Consistência Semântica de Frase (PSC), Satisfação da Instrução (IS - usando MLLM para pontuação 1-5) e Precisão de Quantidade (QA).
3. Fidelidade do Vídeo: Avalia a preservação das partes não editadas do vídeo original.
   • Métricas: Fidelidade Semântica (SF), Fidelidade de Movimento (MF - usando CoTracker3 para lidar com oclusões) e Fidelidade de Conteúdo (CF - usando MLLM para avaliar preservação de elementos não editados).

Nota: O protocolo integra métricas tradicionais e avaliações baseadas em MLLMs (como Qwen2.5-VL e VideoCLIP-XL2) para maior objetividade e alinhamento humano.

3. Principais Contribuições

1. Primeiro Benchmark Focado em IVE: Diferencia-se de trabalhos anteriores (como VE-Bench e EditBoard) ao ser especificamente desenhado para métodos guiados por instrução natural, não apenas por pares de prompts.
2. Escala e Diversidade: Oferece o maior conjunto de dados (600 vídeos) com a maior variedade de tarefas (35 subcategorias) e durações (até 1024 quadros) disponíveis na literatura atual.
3. Protocolo de Avaliação Multidimensional: Estabelece um padrão de ouro com 12 métricas independentes, incluindo avaliações baseadas em MLLM que superam as limitações das métricas tradicionais de pixel.
4. Validação Humana: Realizou estudos com 30 participantes para validar o alinhamento das métricas automáticas com a percepção humana, alcançando alta correlação (Spearman's Rho > 0.8 em maioria das métricas).

4. Resultados Experimentais

Os autores avaliaram 8 métodos state-of-the-art (SOTA) de edição de vídeo (incluindo InsV2V, AnyV2V, StableV2V, VACE, Lucy-Edit, Omni-Video, ICVE e Ditto) no IVEBench:

• Desempenho Geral: Os modelos atuais mostram consistência quadro a quadro razoável, mas sofrem significativamente com a qualidade de imagem individual (artefatos, borrões, sangramento semântico).
• Conformidade com Instruções: A maioria dos modelos obtém pontuações baixas em conformidade, especialmente em tarefas complexas como edição de movimento de câmera e edição de quantidade.
• Fidelidade: Há uma degradação notável na fidelidade do conteúdo não editado, indicando que os modelos tendem a alterar partes do vídeo que deveriam permanecer intactas.
• Escalabilidade: A maioria dos métodos falha ou consome memória excessiva em vídeos longos (>128 quadros), exceto modelos como o InsV2V que utilizam estratégias de inferência em chunks.
• Análise Qualitativa: Os modelos tendem a introduzir distorções geométricas e falhar em instruções complexas. O modelo Ditto e InsV2V destacaram-se em capacidade de edição, enquanto Lucy-Edit foi o mais rápido, mas com limitações em fidelidade.

5. Significado e Impacto

O IVEBench representa um marco fundamental para o avanço da pesquisa em edição de vídeo:

• Padronização: Fornece uma base unificada e rigorosa para comparar novos métodos, eliminando a ambiguidade de avaliações anteriores.
• Direcionamento de Pesquisa: Identifica lacunas claras na tecnologia atual, especificamente na capacidade de seguir instruções complexas e manter a fidelidade visual em longas sequências.
• Reprodutibilidade: Ao liberar o código, os dados e os scripts de avaliação publicamente, os autores facilitam o desenvolvimento contínuo e transparente na comunidade de visão computacional.
• Futuro: O benchmark serve como um guia para o desenvolvimento de modelos que não apenas geram vídeos, mas entendem e executam instruções humanas com precisão e coerência temporal.

Em resumo, o IVEBench preenche uma lacuna crítica ao oferecer uma avaliação holística e alinhada com humanos para a próxima geração de ferramentas de edição de vídeo guiadas por IA.