Resumo Técnico: VEBENCH

Declaração do Problema

A edição de vídeo no mundo real é um processo cognitivo complexo que exige não apenas conhecimento especializado de técnicas cinematográficas, mas também raciocínio multimodal avançado para selecionar, alinhar e combinar filmagens em narrativas coerentes. Embora os Modelos Multimodais Grandes (LMMs) recentes tenham demonstrado progresso significativo na compreensão geral de vídeo, suas capacidades em raciocínio multivídeo e fluxos de trabalho operacionais de edição permanecem amplamente inexploradas.

Os benchmarks existentes neste domínio (por exemplo, VEU-Bench, ShotBench) sofrem de duas limitações primárias:

1. Escopo Limitado: Eles avaliam principalmente a compreensão baseada em conhecimento em clipes muito curtos (média de ~6 segundos), confiando quase exclusivamente em pistas visuais, negligenciando a sincronização audiovisual e o contexto temporal de longo alcance.
2. Falta de Raciocínio Operacional: Eles ignoram o fluxo de trabalho editorial central de selecionar, alinhar e combinar filmagens de múltiplas fontes para construir uma narrativa. Isso requer tomada de decisão consciente de intenção e raciocínio entre vídeos, o que os modelos atuais não possuem.

Metodologia

Para preencher essas lacunas, os autores apresentam o VEBENCH, o primeiro benchmark abrangente projetado para avaliar tanto a compreensão do conhecimento de edição quanto o raciocínio operacional em cenários realistas. O benchmark é construído através de um pipeline rigoroso de anotação colaborativa humano-IA de três rodadas, envolvendo mais de 1.400 horas de trabalho.

Composição do Conjunto de Dados

O VEBENCH compreende 3,9 mil vídeos editados de alta qualidade (mais de 257 horas) e 3.080 pares de perguntas e respostas (QA) verificados por humanos. O conjunto de dados abrange um amplo espectro de conteúdo cinematográfico e estilo vlog, com duração média de vídeo de 213 segundos e 3,27 cortes de edição anotados por clipe.

Definições de Tarefa

O benchmark define duas tarefas de QA complementares que aproximam a cognição humana de edição:

1. Reconhecimento de Técnica de Edição de Vídeo (TechRec):

   • Objetivo: Avaliar a capacidade do modelo de identificar sete técnicas de edição específicas usando pistas multimodais (visuais e auditivas).
   • Técnicas: L-Cut, J-Cut, Jump Cut, Smash Cut, Cutaway, Invisible Cut e Match Cut.
   • Desafio: Requer percepção de alta granularidade de transições temporais, continuidade sonora entre cenas e ritmo temporal.

2. Simulação de Operação de Edição de Vídeo (OpSim):

   • Objetivo: Emular fluxos de trabalho reais de edição, exigindo que o modelo selecione a filmagem mais adequada entre múltiplos candidatos e localize o segmento temporal preciso para inserir em um vídeo de referência.
   • Formato: Dado um clipe de referência (A-Roll) e uma lista de vídeos candidatos, o modelo deve escolher o vídeo correto (B-Roll) e determinar os timestamps de início/fim para inserção (seja no início ou no final da referência).
   • Desafio: Introduz raciocínio multivídeo, exigindo que o modelo infira intenções de edição e construa continuidade narrativa entre fontes independentes.

Pipeline de Anotação

• TechRec: Anotadores localizam pontos de transição e os rotulam com técnicas específicas. A verificação inclui validação cruzada e verificações automatizadas para alinhamento audiovisual.
• OpSim: Um processo multiestágio envolvendo geração de metadados assistida por LMM, pareamento A/B-roll (categorizado em oito tipos de relação narrativa, como Causa e Efeito ou Ilustração), seleção de vídeo candidato e geração de distratores.

Contribuições Principais

1. Framework Unificado: A formulação de uma nova tarefa de edição de vídeo que unifica a compreensão de conhecimento (reconhecimento) e o raciocínio operacional (seleção/localização), fornecendo um ambiente de teste prático para raciocínio multimodal e multivídeo complexo.
2. Benchmark VEBENCH: Um conjunto de dados anotado profissionalmente, apresentando cenários de edição diversos e de alta granularidade coletados de vídeos do mundo real, validado através de um processo colaborativo humano-IA de três rodadas.
3. Avaliação Abrangente: Avaliações extensas em LMMs proprietários líderes (por exemplo, Gemini-2.5-Pro, GPT-4o) e de código aberto (por exemplo, Qwen-VL, InternVL), estabelecendo uma linha de base para pesquisas futuras.

Resultados Experimentais

Os autores avaliaram modelos de última geração no VEBENCH, revelando uma lacuna significativa de desempenho entre as capacidades atuais de IA e o raciocínio de edição em nível humano:

• Desempenho Geral: Mesmo o modelo proprietário mais forte, o Gemini-2.5-Pro, luta significativamente. Embora supere os outros, suas pontuações permanecem muito abaixo dos requisitos para aplicações práticas de edição.
• TechRec: Pistas de áudio provaram ser essenciais. Modelos sem compreensão de áudio performam mal, particularmente em J-Cuts e L-Cuts, que dependem da continuidade sonora entre cenas.
• OpSim:
  • Seleção de Filmagem (OpSim-FS): Modelos mostram capacidade parcial de raciocínio, com o Gemini-2.5-Pro alcançando ~44% de precisão.
  • Localização Temporal: Quase todos os modelos falham completamente na fundamentação temporal precisa, alcançando pontuações tIoU próximas de zero. Apenas o Gemini-2.5-Pro produziu resultados não triviais (tIoU ≈ 0,11), mas isso permanece insuficiente para fluxos de trabalho profissionais.
• Estudos de Ablação:
  • Legendas: A presença de legendas melhora consistentemente o desempenho, atuando como uma ponte leve entre modalidades para fundamentação semântica.
  • Prompts Visuais: Pistas visuais contínuas (texto na tela) são superiores a separadores abruptos (separadores de quadro) para manter a coerência temporal em entradas de vídeo costuradas.

Limitações Identificadas

A avaliação destaca três limitações críticas nos LMMs atuais:

1. Integração Audiovisual Fraca: Modelos frequentemente tratam visão e áudio independentemente, falhando em capturar pistas sincronizadas necessárias para técnicas como J-/L-Cuts.
2. Capacidade Temporal Limitada: Muitos modelos são restritos a sequências curtas, perdendo mudanças de movimento de alta granularidade e estilísticas através de centenas de quadros.
3. Localização Temporal Inexata: Modelos tendem a prever timestamps próximos ao início dos vídeos, indicando uma falta de representação interna robusta para continuidade de vídeo e lógica de edição.

Significado

O VEBENCH serve como uma ferramenta de diagnóstico que sublinha a necessidade urgente de unir a compreensão de vídeo ao raciocínio operacional criativo. O artigo afirma que os modelos atuais estão longe de alcançar inteligência de edição em nível humano. Ao avaliar sistematicamente a progressão da compreensão passiva de vídeo para a edição ativa e semelhante à humana, o VEBENCH estabelece as bases para o desenvolvimento de sistemas multimodais de próxima geração capazes de raciocínio complexo em contextos reais de edição de vídeo. Os autores visualizam este benchmark como uma fundação para avançar sistemas inteligentes de edição de vídeo e impulsionar pesquisas futuras em raciocínio multimodal complexo.