Resumen Técnico: Evaluación de la Generación de Videos de Diseño: Métricas para la Fidelidad Composicional

Enunciado del Problema

Los modelos generativos de video se aplican cada vez más a tareas de animación de diseño, pero el campo carece de un marco de evaluación estandarizado. A diferencia de la generación de video natural, la animación de diseño impone restricciones estrictas y estructuradas: componentes específicos deben animarse con tipos de movimiento, direcciones, velocidades y tiempos prescritos, mientras que las regiones no animadas deben permanecer estables y la disposición espacial general debe preservarse. Los métodos de evaluación actuales, como la Distancia de Video Fréchet (FVD) o estudios humanos a pequeña escala, no logran captar estos requisitos composicionales. En consecuencia, los modelos a menudo luchan por anclar las instrucciones a las regiones visuales correctas, aplicar movimientos dominantes a nivel global, animar elementos incorrectos o alucinar movimientos no relacionados con el prompt. Este artículo aborda la necesidad de un marco de evaluación totalmente automatizado y descompuesto por dimensiones para evaluar el progreso en la generación de videos de diseño sin depender de la evaluación humana subjetiva.

Metodología

Construcción del Conjunto de Datos

Los autores construyeron un conjunto de datos de evaluación dedicado derivado del corpus LICA (Layered Image Composition Annotations). El conjunto de datos incluye:

• Fuente: 136 diseños de origen que abarcan 66 plantillas únicas de la subcategoría de video de LICA.
• Verdad Terrena: Renderizados de referencia deterministas (MP4 y PNG del cuadro final) generados a partir de metadatos JSON de diseño. Estos metadatos incluyen cajas delimitadoras por componente, tipos de animación (de una taxonomía de 31 tipos), direcciones, duraciones, tiempos de activación y duraciones visibles.
• Dos Pistas:
  1. Pista de Componente Único (86 muestras): Aísla un elemento animado por diseño sobre un fondo uniforme para proporcionar una referencia de movimiento atómico. Restringido a un subconjunto de 15 tipos de verbos de movimiento.
  2. Pista de Diseño Completo (136 muestras): Preserva composiciones completas de múltiples componentes (894 evaluaciones de componentes) con hasta 30 componentes animados por escena, heredando el vocabulario completo de movimiento de LICA.

Marco de Evaluación

El marco evalúa los videos de diseño en cuatro dimensiones: Fidelidad del Diseño, Corrección del Movimiento, Calidad Temporal y Fidelidad del Contenido.

1. Rastreo:

   • Componente Único: Utiliza un rastreador de Caja Delimitadora Orientada (OBB) basado en contornos mediante diferenciación temporal contra un fondo uniforme.
   • Diseño Completo: Utiliza un detector YOLOv11-OBB ajustado finamente, entrenado en ~500k diseños de LICA. En lugar de rastreo de múltiples objetos, hace coincidir las OBB detectadas con los polígonos de diseño de verdad terrena utilizando el algoritmo húngaro basado en la Intersección sobre Unión (IoU).

2. Corrección del Movimiento:

   • Tipo de Movimiento: Los 31 verbos de movimiento crudos de LICA se agrupan en 10 clases observables (por ejemplo, scrapbook, fade, pop, rotate) basadas en el comportamiento de la trayectoria geométrica. Un árbol de decisión basado en reglas clasifica el movimiento observado utilizando características como el desplazamiento del centroide, picos de escala, ángulos de rotación y proxies de opacidad. Se otorga crédito parcial por etiquetas semánticamente relacionadas (por ejemplo, pop vs. scrapbook).
   • Dirección del Movimiento: Predicha midiendo el desplazamiento del centroide del componente y agrupando el ángulo en ocho direcciones cardinales o tipos de rotación. Los movimientos transitorios utilizan el desplazamiento de cuadros tempranos; los movimientos sostenidos utilizan el desplazamiento neto.
   • Duración:
     • Duración de la Animación: Estimada mediante una señal de energía de movimiento que combina cambios en el centroide, escala, rotación y opacidad.
     • Duración Visible del Componente: Estimada como la secuencia continua más larga de presencia del detector.

3. Fidelidad del Contenido (Recuperabilidad del Texto):

   • Evalúa si las cadenas de texto especificadas en el diseño permanecen legibles.
   • Los cuadros se muestrean a 2 fps. Las líneas de texto reconocidas se comparan con las cadenas de verdad terrena utilizando una asignación bipartita de costo mínimo basada en la Tasa de Error de Caracteres (CER).
   • Las métricas incluyen Mejor AR (promedio de la mejor puntuación de reconocimiento asignada por componente a lo largo del tiempo) y Difícil AR (fracción de componentes con al menos una coincidencia exacta).

Contribuciones Clave

1. Primer Marco Descompuesto por Dimensiones: Un sistema de evaluación totalmente automatizado para animación de diseño donde cada eje (tipo de movimiento, dirección, duración, texto) se fundamenta independientemente en las especificaciones del diseño.
2. Suite de Submétricas: Dentro de la corrección del movimiento, el artículo introduce cuatro submétricas (tipo, dirección, duración de animación, duración visible) con señales de verdad terrena extraídas automáticamente de los metadatos.
3. Referencia de Dos Pistas: Un conjunto de datos de 86 clips de componente único y 136 plantillas de diseño completo, que cubren 15 tipos de animación en componentes de imagen, texto y grupo.
4. Validación Empírica: Demuestra que el marco recupera los atributos de movimiento de verdad terrena con un 87.8% de precisión en renderizados de componente único utilizando una pipeline transparente y basada en reglas sin clasificadores aprendidos.

Resultados Experimentales

El marco se aplicó a dos modelos de última generación: Sora-2 y Veo-3.1.

• Tipo de Movimiento:
  • En la pista de componente único, Sora-2 logró un 60.2% de precisión y Veo-3.1 un 64.9% (en comparación con un techo del 87.8% en renderizados de verdad terrena).
  • En la pista de diseño completo (subconjunto confiable del rastreador), Veo-3.1 (65.5%) superó ligeramente a Sora-2 (61.5%), aunque ambos se quedaron por detrás del techo de verdad terrena (69.0%).
  • Modos de Fallo: La principal fuente de error fue el colapso de los movimientos fade y pop en la clase scrapbook, en gran parte debido a la incapacidad del rastreador YOLO para detectar cambios de opacidad o pulsos de escala sutiles en escenas de múltiples componentes.
• Dirección del Movimiento:
  • La detección de dirección fue robusta para la presencia (91.3% en diseño completo de verdad terrena) pero tuvo dificultades con la precisión exacta de la brújula (14.4% en diseño completo de verdad terrena).
  • La dirección de rotación (CW/CCW) fue casi imposible de detectar (0% de precisión) debido a las ambigüedades en la orientación del eje de la OBB.
• Duración:
  • Los modelos mostraron un sesgo significativo en la duración de la animación. Sora-2 tendió a truncar el movimiento (sesgo negativo), mientras que Veo-3.1 a menudo sobreestimó la duración o no animó lo suficiente, provocando que las señales cayeran por debajo de los umbrales de energía.
• Recuperabilidad del Texto:
  • Existe una brecha clara entre los renderizados de referencia y los videos generados. En escenas de diseño completo, el mejor resultado generado (Sora-2 con evaluador LLM) logró un Difícil AR de 0.671, en comparación con 0.940 para los renderizados de referencia.
  • Sora-2 superó consistentemente a Veo-3.1 en la preservación del texto en diseños completos.

Significado y Afirmaciones

El artículo afirma establecer una referencia común y reproducible para el campo de la animación de diseño, superando las puntuaciones perceptuales agregadas que oscurecen modos de fallo específicos. Al descomponer la evaluación en dimensiones de diseño, movimiento, temporal y contenido, el marco revela debilidades distintas en los modelos actuales, como la subanimación, la imprecisión direccional y la degradación del texto en composiciones complejas.

Los autores posicionan este trabajo como una herramienta de medición en lugar de una nueva capacidad generativa. El significado radica en proporcionar una pipeline transparente y automatizada que permita a investigadores y diseñadores diagnosticar fallos composicionales específicos. Esto se presenta como un prerrequisito para un despliegue responsable en flujos de trabajo profesionales y aplicaciones sensibles a la accesibilidad, asegurando que las herramientas de IA actúen como ayudas para los diseñadores en lugar de reemplazos poco fiables. El artículo concluye que, aunque los modelos actuales muestran promesa, exhiben modos de fallo marcadamente diferentes que las métricas agregadas no pueden separar, lo que hace necesaria este enfoque de evaluación estructurado.