DreamVideo-Omni: Omni-Motion Controlled Multi-Subject Video Customization with Latent Identity Reinforcement Learning

El artículo presenta DreamVideo-Omni, un marco unificado que utiliza un entrenamiento progresivo en dos etapas, combinando inyección jerárquica de movimiento y aprendizaje por refuerzo de identidad latente, para lograr una personalización de video de múltiples sujetos con control preciso sobre la identidad y el movimiento en todas sus escalas.

Lo esencial

¡Claro que sí! Imagina que DreamVideo-Omni es como un director de cine mágico y superinteligente que acaba de llegar a la industria del cine.

Antes de este director, hacer videos con inteligencia artificial era como intentar dirigir una película con un equipo desorganizado:

• Si querías que un actor específico (tu perro, tu hijo, tú mismo) apareciera en el video, el director a veces se olvidaba de quién era y ponía a un perro diferente o a un niño con otra cara.
• Si le pedías que el actor corriera, saltara o que la cámara girara, el actor a menudo se quedaba congelado o se movía de forma extraña, como si estuviera flotando en el espacio.
• Si intentabas controlar todo a la vez (quién es el actor Y cómo se mueve), el resultado era un desastre donde la identidad se borraba y el movimiento no tenía sentido.

DreamVideo-Omni soluciona esto con un enfoque de dos pasos, como si fuera un entrenamiento de dos niveles para este director de cine:

Paso 1: El Entrenamiento "Todo en Uno" (La Orquesta Sincronizada)

Imagina que el director necesita aprender a manejar una orquesta gigante donde cada músico es una parte diferente de la película:

• Los músicos: Son los actores (tu foto), el guion (texto), y las instrucciones de movimiento (dónde debe ir el actor y cómo debe moverse la cámara).
• El problema: Antes, el director confundía a los músicos. Le decía "¡Tú, el violín, haz el movimiento del tambor!" y el resultado era ruido.
• La solución de DreamVideo:
  • Etiquetas de Grupo y Rol: El director ahora pone una etiqueta en cada músico. Le dice: "Tú eres el actor 'Juan' (Grupo 1) y tu trabajo es moverte según esta línea roja (Rol: Movimiento)". Así, nunca confunde a Juan con María, ni el movimiento de Juan con el de María.
  • El Mapa 3D Mágico: Usa un mapa especial que le dice al director exactamente dónde y cuándo debe ocurrir cada cosa en el tiempo y el espacio, para que todo encaje perfectamente.
  • Inyección de Movimiento: No solo le da las instrucciones al principio, sino que le susurra al director en cada paso de la película para asegurarse de que el actor no se desvíe de su camino.

Paso 2: El Entrenamiento con "Premios" (El Crítico de Cine)

Aquí es donde la magia se vuelve realmente inteligente. Imagina que después de grabar un borrador de la película, el director no solo mira si los píxeles se parecen a la foto original (lo cual es aburrido y a veces incorrecto), sino que contrata a un crítico de cine experto (llamado Modelo de Recompensa Latente).

• El problema anterior: Los críticos anteriores miraban solo si la cara se veía igual en una foto estática. Si el actor se movía mucho, el crítico decía "¡No es igual!" y la película se arruinaba.
• El nuevo crítico: Este crítico es un genio que entiende el movimiento. Sabe que cuando tú sonríes y giras la cabeza, tu cara cambia de forma, pero sigues siendo tú.
  • Si la película muestra a tu perro corriendo y su cara se ve un poco borrosa por la velocidad, pero sigue siendo claramente tu perro, el crítico le da un premio.
  • Si la película muestra a tu perro corriendo pero de repente se convierte en un gato o en una piedra, el crítico le pone una puntuación baja.
• El truco: Este crítico trabaja en un "mundo de sueños" (espacio latente), lo que significa que es súper rápido y no necesita ver la película en alta definición para juzgarla. Esto permite al director corregir la película mientras la está haciendo, no solo al final.

¿Qué logra esto en la vida real?

Gracias a este sistema, DreamVideo-Omni puede hacer cosas que antes parecían imposibles:

1. Multitud de Actores: Puedes poner a tu familia completa en un video, y cada uno mantendrá su propia cara y personalidad mientras interactúan.
2. Movimiento Total: Puedes decirle: "El niño debe correr hacia la derecha, el perro debe saltar hacia arriba y la cámara debe girar alrededor de ellos". Y lo hará exactamente así.
3. Sin Edición Manual: No necesitas ser un experto en edición. Le das una foto y un deseo, y el director hace el resto.

En resumen

DreamVideo-Omni es como tener un director de cine que nunca olvida quién es cada actor y nunca pierde de vista el guion de movimiento. Usa un sistema de "etiquetas" para no confundir a nadie y un "crítico experto" que le dice cómo mejorar la película en tiempo real, asegurando que el resultado sea un video hermoso, realista y exactamente como lo imaginaste.

¡Es como pasar de jugar con un set de bloques de construcción desordenado a tener un robot constructor que sabe exactamente cómo armar tu castillo de sueños!

Resumen técnico

Resumen Técnico: DreamVideo-Omni

1. El Problema

Aunque los modelos de difusión a gran escala han revolucionado la síntesis de video, lograr un control preciso sobre la identidad de múltiples sujetos y el movimiento de múltiples granularidades (movimiento global, dinámicas locales y movimiento de cámara) sigue siendo un desafío significativo. Los enfoques existentes presentan tres limitaciones principales:

• Granularidad de movimiento limitada: La mayoría de los métodos dependen de un solo tipo de señal (ej. solo cajas delimitadoras o solo trayectorias), lo que impide controlar simultáneamente la posición global, los movimientos locales finos y la cámara.
• Ambigüedad en el control: En escenas con múltiples sujetos, los modelos a menudo no logran vincular correctamente las señales de movimiento a los sujetos específicos, causando confusión en la asignación de acciones.
• Degradación de la identidad: Introducir control de movimiento suele comprometer la fidelidad de la identidad del sujeto. Existe un conflicto inherente entre la preservación de la identidad (que requiere consistencia de píxeles estáticos) y el movimiento (que requiere variación dinámica). Los métodos actuales sufren de artefactos de "copiar y pegar" o pérdida de detalles finos durante movimientos de gran amplitud.

2. Metodología

DreamVideo-Omni es un marco unificado que aborda estos problemas mediante un paradigma de entrenamiento progresivo de dos etapas basado en una arquitectura Transformer de Video (DiT).

Etapa 1: Ajuste Fino Supervisado (SFT) con Movimiento Omni y Identidad
En esta etapa, se entrena un modelo DiT "todo en uno" para integrar señales heterogéneas:

• Señales de Control: Se utilizan tripletas estructuradas de <Sujeto de Referencia, Caja Global, Trayectoria Local>.
• Inyección Jerárquica de Movimiento: Las condiciones de las cajas delimitadoras se inyectan en cada bloque del transformador (no solo en la entrada) para reforzar la guía espacial global.
• Embeddings de Grupo y Rol: Para resolver la ambigüedad en múltiples sujetos, se introducen embeddings aprendibles que asignan un "grupo" único a cada sujeto y un "rol" (objeto vs. control) a cada señal. Esto ancla explícitamente las señales de movimiento a sus identidades correspondientes.
• Posicionamiento 3D RoPE Consciente de la Condición: Se diseña una posición rotatoria 3D especializada que asigna índices temporales distintos a los tokens de video, imágenes de referencia y relleno, permitiendo al modelo distinguir entre condiciones estáticas y dinámicas dentro de una misma arquitectura.

Etapa 2: Aprendizaje por Refuerzo de Identidad Latente (LIReFL)
Para mitigar la degradación de la identidad sin incurrir en costos computacionales excesivos:

• Modelo de Recompensa de Identidad Latente (LIRM): Se entrena un modelo de recompensa especializado basado en un modelo de difusión de video preentrenado (VDM). A diferencia de los modelos basados en imágenes estáticas (como CLIP), el LIRM opera directamente en el espacio latente, evaluando la consistencia de la identidad integrando la dinámica del movimiento.
• Retroalimentación de Recompensa: Se utiliza el aprendizaje por refuerzo (ReFL) en el espacio latente. En lugar de decodificar el video a píxeles (costoso), se calculan recompensas directamente sobre los latentes intermedios ruidosos. Esto permite la retropropagación de gradientes densos en cualquier paso de difusión, alineando la generación con las preferencias humanas de preservación de identidad.

3. Contribuciones Clave

1. Marco Unificado: Primer marco que integra armoniosamente la personalización de múltiples sujetos con control de movimiento "omni" (global, local y de cámara) en una sola arquitectura DiT.
2. Componentes Arquitectónicos Innovadores:
   • Embeddings de Grupo y Rol: Eliminan la ambigüedad en escenas multi-sujeto.
   • RoPE 3D Consciente de la Condición: Coordina entradas heterogéneas para un entrenamiento estable.
   • Inyección Jerárquica: Mejora el control del movimiento global.
3. Aprendizaje por Refuerzo en Espacio Latente: Un nuevo paradigma que utiliza un modelo de recompensa basado en VDM para preservar la identidad bajo movimiento intenso, evitando la sobrecarga de decodificación VAE.
4. DreamOmni Bench: Se presenta un nuevo benchmark holístico con más de 1,000 videos reales y anotaciones densas (máscaras, cajas, trayectorias) para evaluar simultáneamente la preservación de identidad y el control de movimiento.
5. Conjunto de Datos a Gran Escala: Se curó un dataset de 2 millones de clips de video con anotaciones ricas para entrenar el marco unificado.

4. Resultados

Los experimentos demuestran la superioridad de DreamVideo-Omni frente a los métodos más avanzados (SOTA):

• Rendimiento Cuantitativo: En el DreamOmni Bench, el modelo supera significativamente a DreamVideo-2, VACE, Phantom y Wan-Move en métricas de fidelidad de identidad (R-DINO, Face-S) y precisión de control de movimiento (mIoU, EPE).
  • Logra un mIoU de 0.558 (vs 0.212 de DreamVideo-2) y un EPE de 9.31 (vs 24.05), indicando un control de trayectoria mucho más preciso.
  • Supera a modelos mucho más grandes (como Wan-Move de 14B) utilizando un modelo de solo 1.3B, demostrando alta eficiencia de parámetros.
• Calidad Percibida: En estudios de usuarios, el método obtuvo la mayor preferencia (hasta un 89.2% en calidad general) en tareas de personalización conjunta de sujeto y movimiento.
• Capacidades Emergentes: Gracias a su entrenamiento unificado, el modelo habilita capacidades zero-shot como la generación de Video a partir de Imagen (I2V) y el control de trayectorias condicionado al primer frame, sin necesidad de ajuste fino específico para la tarea.

5. Significado e Impacto

DreamVideo-Omni representa un avance fundamental en la generación de video personalizada. Resuelve el dilema histórico entre preservar la identidad del sujeto y controlar el movimiento complejo, permitiendo la creación de videos realistas con múltiples personajes interactuando bajo instrucciones de movimiento precisas.

• Aplicabilidad: Facilita la creación de contenido para cine, publicidad y entretenimiento donde el control preciso de múltiples actores y cámaras es esencial.
• Avance Científico: Introduce el concepto de recompensas de identidad en el espacio latente para video, ofreciendo una ruta escalable para el aprendizaje por refuerzo en modelos de difusión de video sin los cuellos de botella computacionales de la decodificación de píxeles.
• Evaluación: Establece un nuevo estándar de evaluación (DreamOmni Bench) que obliga a la comunidad a considerar la preservación de identidad y el control de movimiento de manera conjunta, en lugar de aislada.

En resumen, DreamVideo-Omni establece un nuevo estado del arte al unificar la personalización de sujetos y el control de movimiento en un solo marco robusto, eficiente y de alta fidelidad.