Resumo Técnico: Avaliação da Geração de Vídeos de Design: Métricas para Fidelidade Composicional

Declaração do Problema

Os modelos generativos de vídeo estão sendo cada vez mais aplicados a tarefas de animação de design, mas o campo carece de uma estrutura de avaliação padronizada. Diferentemente da geração de vídeo natural, a animação de design impõe restrições estritas e estruturadas: componentes específicos devem animar com tipos de movimento, direções, velocidades e tempos prescritos, enquanto regiões não animadas devem permanecer estáveis, e o layout espacial geral deve ser preservado. Os métodos de avaliação atuais, como a Distância Fréchet de Vídeo (FVD) ou estudos humanos em pequena escala, não conseguem capturar esses requisitos composicionais. Consequentemente, os modelos frequentemente lutam para ancorar instruções a regiões visuais corretas, aplicar movimentos dominantes globalmente, animar elementos incorretos ou alucinar movimentos não relacionados ao prompt. Este artigo aborda a necessidade de uma estrutura de avaliação totalmente automatizada e decomposta por dimensões para avaliar o progresso na geração de vídeos de design, sem depender de avaliação humana subjetiva.

Metodologia

Construção do Conjunto de Dados

Os autores construíram um conjunto de dados de avaliação dedicado derivado do corpus LICA (Layered Image Composition Annotations). O conjunto de dados inclui:

• Fonte: 136 layouts de origem abrangendo 66 modelos exclusivos da subcategoria de vídeo do LICA.
• Verdade Terrena: Renderizações de referência determinísticas (MP4 e PNG de quadro final) geradas a partir de metadados JSON de layout. Esses metadados incluem caixas delimitadoras por componente, tipos de animação (de uma taxonomia de 31 tipos), direções, durações, tempos de acionamento e durações visíveis.
• Duas Trilhas:
  1. Trilha de Componente Único (86 amostras): Isola um elemento animado por layout sobre um fundo uniforme para fornecer uma referência de movimento atômica. Restrita a um subconjunto de 15 tipos de verbos de movimento.
  2. Trilha de Layout Completo (136 amostras): Preserva composições completas de múltiplos componentes (894 avaliações de componentes) com até 30 componentes animados por cena, herdando o vocabulário completo de movimento do LICA.

Estrutura de Avaliação

A estrutura avalia vídeos de design em quatro dimensões: Fidelidade do Layout, Corretude do Movimento, Qualidade Temporal e Fidelidade de Conteúdo.

1. Rastreamento:

   • Componente Único: Utiliza um rastreador de Caixa Delimitadora Orientada (OBB) baseado em contorno via diferenciação temporal contra um fundo uniforme.
   • Layout Completo: Utiliza um detector YOLOv11-OBB ajustado finamente, treinado em ~500 mil layouts do LICA. Em vez de rastreamento de múltiplos objetos, ele corresponde as OBBs detectadas aos polígonos de layout da verdade terrena usando o algoritmo húngaro baseado na Interseção sobre União (IoU).

2. Corretude do Movimento:

   • Tipo de Movimento: Os 31 verbos de movimento brutos do LICA são agrupados em 10 classes observáveis (por exemplo, scrapbook, fade, pop, rotate) com base no comportamento da trajetória geométrica. Uma árvore de decisão baseada em regras classifica o movimento observado usando características como deslocamento do centróide, picos de escala, ângulos de rotação e proxies de opacidade. Crédito parcial é concedido para rótulos semanticamente relacionados (por exemplo, pop vs. scrapbook).
   • Direção do Movimento: Prevista medindo o deslocamento do centróide do componente e agrupando o ângulo em oito direções de bússola ou tipos de rotação. Movimentos transitórios usam deslocamento de quadro inicial; movimentos sustentados usam deslocamento líquido.
   • Duração:
     • Duração da Animação: Estimada via um sinal de energia de movimento combinando mudanças de centróide, escala, rotação e opacidade.
     • Duração Visível do Componente: Estimada como a maior sequência contínua de presença do detector.

3. Fidelidade de Conteúdo (Recuperabilidade de Texto):

   • Avalia se as strings de texto especificadas no layout permanecem legíveis.
   • Quadros são amostrados a 2 fps. Linhas de texto reconhecidas são correspondidas às strings da verdade terrena usando uma atribuição bipartida de custo mínimo baseada na Taxa de Erro de Caracteres (CER).
   • As métricas incluem Melhor AR (média da melhor pontuação de reconhecimento atribuída por componente ao longo do tempo) e AR Difícil (fração de componentes com pelo menos uma correspondência exata).

Contribuições Principais

1. Primeira Estrutura Decomposta por Dimensões: Um sistema de avaliação totalmente automatizado para animação de design onde cada eixo (tipo de movimento, direção, duração, texto) é independentemente ancorado nas especificações de layout.
2. Suíte de Sub-métricas: Dentro da corretude do movimento, o artigo introduz quatro sub-métricas (tipo, direção, duração da animação, duração visível) com sinais de verdade terrena automaticamente extraídos dos metadados.
3. Benchmarks de Duas Trilhas: Um conjunto de dados de 86 clipes de componente único e 136 modelos de layout completo, cobrindo 15 tipos de animação em componentes de imagem, texto e grupo.
4. Validação Empírica: Demonstra que a estrutura recupera atributos de movimento da verdade terrena com 87,8% de precisão em renderizações de componente único usando um pipeline transparente e baseado em regras, sem classificadores aprendidos.

Resultados Experimentais

A estrutura foi aplicada a dois modelos de última geração: Sora-2 e Veo-3.1.

• Tipo de Movimento:
  • Na trilha de componente único, o Sora-2 alcançou 60,2% de precisão e o Veo-3.1 alcançou 64,9% (comparado a um teto de 87,8% em renderizações da verdade terrena).
  • Na trilha de layout completo (subconjunto confiável do rastreador), o Veo-3.1 (65,5%) superou ligeiramente o Sora-2 (61,5%), embora ambos ficaram atrás do teto da verdade terrena (69,0%).
  • Modos de Falha: A principal fonte de erro foi o colapso dos movimentos fade e pop na classe scrapbook, em grande parte devido à incapacidade do rastreador YOLO de detectar mudanças de opacidade ou pulsos de escala sutis em cenas de múltiplos componentes.
• Direção do Movimento:
  • A detecção de direção foi robusta para presença (91,3% no layout completo da verdade terrena), mas lutou com a precisão exata da bússola (14,4% no layout completo da verdade terrena).
  • A direção de rotação (CW/CCW) foi quase impossível de detectar (0% de precisão) devido a ambiguidades na orientação do eixo da OBB.
• Duração:
  • Os modelos exibiram viés significativo na duração da animação. O Sora-2 tendeu a truncar o movimento (viés negativo), enquanto o Veo-3.1 frequentemente superestimou a duração ou falhou em animar suficientemente, fazendo com que os sinais caíssem abaixo dos limiares de energia.
• Recuperabilidade de Texto:
  • Existe uma lacuna clara entre as renderizações de referência e os vídeos gerados. Em cenas de layout completo, o melhor resultado gerado (Sora-2 com avaliador LLM) alcançou um AR Difícil de 0,671, comparado a 0,940 para renderizações de referência.
  • O Sora-2 consistentemente superou o Veo-3.1 na preservação de texto em layouts completos.

Significado e Alegações

O artigo afirma estabelecer um benchmark comum e reproduzível para o campo da animação de design, indo além de pontuações perceptuais agregadas que obscurecem modos de falha específicos. Ao decompor a avaliação em dimensões de layout, movimento, temporal e conteúdo, a estrutura revela fraquezas distintas nos modelos atuais, como sub-animação, imprecisão direcional e degradação de texto em composições complexas.

Os autores posicionam este trabalho como uma ferramenta de medição, e não como uma nova capacidade generativa. O significado reside em fornecer um pipeline transparente e automatizado que permite a pesquisadores e designers diagnosticar falhas composicionais específicas. Isso é apresentado como um pré-requisito para a implantação responsável em fluxos de trabalho profissionais e aplicações sensíveis à acessibilidade, garantindo que as ferramentas de IA atuem como auxiliares para designers, e não como substitutos não confiáveis. O artigo conclui que, embora os modelos atuais mostrem promessa, eles exibem modos de falha agudamente diferentes que métricas agregadas não conseguem separar, tornando necessária esta abordagem de avaliação estruturada.