Resumen Técnico: Edición de Video Instruida por Geometría (GIVE)

1. Planteamiento del Problema

La edición geométrica a nivel de objeto —como la traslación, rotación, escalado, duplicación o eliminación de objetos— es una operación rutinaria en los flujos de trabajo tradicionales de Creación de Contenido Digital (DCC), pero sigue siendo poco fiable en los sistemas actuales de edición de video generativo. Los métodos existentes enfrentan dos limitaciones principales:

• Ambigüedad en el Estado 3D: Los controles en el espacio de la imagen o semánticos (prompts de texto, máscaras) no definen explícamente los estados 3D pre y post-edición del objeto objetivo. Esto conduce a restricciones débiles donde los modelos pueden subejecutar las operaciones o no actualizar de manera consistente los efectos secundarios dependientes de la geometría (por ejemplo, sombras, reflejos).
• Fragilidad de la Reconstrucción 3D: Los métodos que dependen de una reconstrucción 3D explícita (por ejemplo, elevar a un proxy 3D) suelen ser costosos, requieren optimización por cada video y son frágiles ante dinámicas complejas del mundo real. Los proxies inexactos propagan errores, lo que resulta en ediciones poco fiables y efectos secundarios inconsistentes.

El desafío central es especificar el cambio de estado 3D del objeto objetivo de manera inequívoca a través de la vista y el tiempo, preservando al mismo tiempo las regiones no editadas y asegurando la coherencia temporal, sin depender de una reconstrucción 3D frágil por video.

2. Metodología

Los autores proponen GIVE, un marco de edición de video instruido por geometría que representa las ediciones como transiciones entre los estados de objeto pre-edición y post-edición. El marco consta de tres componentes principales:

A. Representación Unificada del Estado del Objeto

En lugar de utilizar etiquetas específicas para cada tarea, GIVE define las ediciones a través de dos flujos de instrucción geométrica ligeros y alineados con el video, derivados de cajas delimitadoras orientadas en 3D (3D oriented bounding boxes):

1. Flujo de Caja de Profundidad (Depth-Box Stream): Codifica la ubicación 3D gruesa y la extensión espacial del objeto en las coordenadas de la cámara. Se rasteriza como un mapa de profundidad (z-buffer) normalizado a $[0, 1]$.
2. Flujo de Caja de Orientación (Orientation-Box Stream): Codifica la orientación (heading) del objeto de una manera agnóstica a la apariencia. Renderiza la caja 3D utilizando colores de identidad de cara canónicos y fijos para proporcionar pistas de orientación anisotrópicas sin filtrar la textura del objeto.

Estos flujos existen tanto para el estado pre-edición (fuente) como para el post-edición (objetivo). El operador de edición es inducido implícitamente por la diferencia entre estos dos estados. Casos especiales como la eliminación (flujos post-edición vacíos) y la duplicación (múltiples instancias post-edición) se manejan naturalmente dentro de esta formulación.

B. Modelo de Difusión de Video Instruido por Geometría

GIVE instancia el editor como un modelo de difusión de video latente condicional (Video DiT):

• Arquitectura: El video RGB de entrada y los cuatro flujos de instrucción geométrica (profundidad y orientación pre/post) son codificados por un VAE de video compartido en tokens espaciotemporales.
• Tokenización: Estos tokens se concatenan con el latente del video editado ruidoso. La secuencia es procesada por un Transformer de Difusión de Video.
• Alineación de Estado RoPE: Para asegurar que los tokens de diferentes flujos (fuente vs. objetivo) correspondan a las mismas ubicaciones espaciotemporales, los autores alinean los índices de Codificación de Posición Rotatoria (RoPE) a través de todos los flujos. Un desplazamiento de estado constante distingue los tokens del estado fuente de los tokens del estado objetivo, permitiendo al modelo inferir la edición pretendida a partir de la relación entre los estados del objeto en lugar de etiquetas de operador explícitas.
• Inferencia: En la inferencia, el sistema utiliza herramientas comerciales (SAM 2 para segmentación, Geo4D para estimación de profundidad/pose) para generar los flujos de geometría, lo que no requiere optimización por video ni buffers de motor.

C. Síntesis de Datos Procedural Escalable

Para abordar la falta de supervisión emparejada controlada en videos del mundo real, los autores construyeron un flujo de trabajo de motor gráfico escalable (Unreal Engine) para generar GIVE-Data:

• Proceso: El flujo de trabajo muestrea escenas, activos, trayectorias de cámara y programas de edición (traslación, rotación, escalado, etc.). Ejecuta el programa de edición en el objeto objetivo mientras mantiene constantes todos los demás factores (iluminación, cámara, fondo).
• Salida: Renderiza pares de video antes/después ($V, V'$) controlados junto con flujos de instrucción geométrica sincronizados.
• Física: El renderizado basado en física asegura que los efectos dependientes de la geometría (sombras, reflejos) cambien consistentemente con la transformación, proporcionando una supervisión directa para una edición fiel.

3. Contribuciones Clave

1. Formulación Unificada del Estado del Objeto: Una representación novedosa para la edición de video que utiliza flujos de geometría pre/post (cajas de profundidad y orientación) para definir transiciones de estado de objetos, soportando diversos operadores de estilo DCC dentro de un solo marco.
2. Supervisión Procedural Escalable: Un conjunto de datos a gran escala (GIVE-Data, 202k clips emparejados) y un benchmark (GIVE-Bench) generados mediante un flujo de trabajo de motor gráfico, aislando las ediciones geométricas y asegurando efectos secundarios consistentes para el entrenamiento.
3. Modelo de Difusión Instruido por Geometría: Una arquitectura Video DiT que integra flujos de geometría mediante la alineación de estado RoPE, permitiendo que un solo modelo realice traslación, rotación, escalado, duplicación, eliminación y edición de trayectoria.
4. Rendimiento Robusto en el Mundo Real: Un método que logra una alta fidelidad de edición y coherencia temporal en videos del mundo real sin requerir reconstrucción 3D por video.

4. Resultados Experimentales

El artículo evalúa GIVE tanto en el entorno sintético GIVE-Bench como en 240 videos del mundo real.

• Desempeño Cuantitativo (GIVE-Bench): GIVE supera a los baselines representativos (incluyendo DragVideo, Kling-O1, ProPainter, ROSE y DaS) en todos los operadores en términos de PSNR, SSIM y LPIPS. Las ganancias son particularmente significativas para tareas dependientes de la geometría como el escalado y la traslación, donde los baselines suelen desviarse o fallar al actualizar los efectos secundarios.
• Evaluación de Videos Reales:
  • Puntuaciones VBench: GIVE logra puntuaciones competitivas en consistencia temporal y calidad de video, mejorando a menudo las métricas de consistencia en comparación con los baselines.
  • Estudio de Usuario: En un estudio de usuario ciego de best-of-K, GIVE alcanzó la mayor Tasa de Victoria (WinRate) en todos los operadores (por ejemplo, 66.75% para rotación, 76.42% para eliminación, 85.92% para edición de trayectoria), indicando una mayor percepción de fidelidad de edición.
• Estudios de Ablación: Eliminar cualquiera de los flujos de la caja de orientación o de la caja de profundidad degrada el rendimiento, confirmando sus roles complementarios. Se demuestra que la alineación de estado RoPE es crítica para mantener la correspondencia espaciotemporal y mejorar las métricas.

5. Significado y Reivindicaciones

El artículo afirma que GIVE aborda el desafío central de la revisión geométrica de objetos en video al pasar de una reconstrucción 3D frágil a una formulación unificada de estado de objeto impulsada por una guía geométrica ligera.

• Fidelidad: Al definir explícitamente los estados pre y post, GIVE asegura que los cambios 3D pretendidos se ejecuten con precisión, y que los efectos secundarios (sombras, reflejos) se actualicen consistentemente con la transformación.
• Escalabilidad: El flujo de trabajo de síntesis de datos procedural permite la generación de datos de entrenamiento a gran escala y controlados sin anotación humana, permitiendo el aprendizaje de transiciones geométricas complejas.
• Generalidad: El marco soporta una amplia gama de operadores de estilo DCC (rotación, escalado, eliminación, etc.) dentro de un solo modelo, evitando la necesidad de interfaces específicas para cada tarea.

Los autores reconocen una limitación actual en la eficiencia computacional, señalando que la concatenación de múltiples flujos de geometría aumenta la longitud de la secuencia y la latencia, lo cual identifican como una dirección para trabajos futuros.