Kaleido: Open-Sourced Multi-Subject Reference Video Generation Model

Kaleido es un modelo de generación de video basado en múltiples imágenes de referencia que supera las limitaciones actuales en consistencia y fidelidad mediante un pipeline de construcción de datos optimizado y una nueva técnica de codificación posicional rotatoria (R-RoPE) para la integración de referencias.

Lo esencial

¡Imagina que tienes una caja mágica de juguetes! 🧸✨

Normalmente, si le pides a una inteligencia artificial que haga un video, le das una descripción escrita (como "un perro corriendo") y ella inventa todo desde cero. A veces sale genial, a veces sale un perro con tres patas o un perro que cambia de color cada segundo.

Otras veces, le das una foto de un objeto específico (como tu gato) y le pides que se mueva. Pero aquí está el problema: la IA a menudo se "pega" a la foto. Si en la foto tu gato está en una cocina, el video siempre será en esa cocina, aunque tú le pidas que esté en la playa. O peor aún, si le das dos fotos (un gato y un perro), la IA se confunde y mezcla sus caras o los hace chocar.

Kaleido es como un nuevo superpoder para esta caja mágica. Es un modelo de código abierto (gratis para todos) que puede tomar varias fotos de referencia y crear un video donde los personajes se ven exactamente igual, pero pueden hacer cosas nuevas y estar en lugares nuevos.

Aquí te explico cómo funciona, usando analogías sencillas:

1. El Problema: La "Masa de Pan" Pegajosa 🍞

Antes de Kaleido, entrenar a estas IAs era como intentar hornear pan con una masa que ya tenía trozos de jamón y queso pegados.

• El problema de los datos: Los científicos usaban videos existentes para enseñar a la IA. Pero en esos videos, el personaje y el fondo estaban "pegados" (entrelazados). La IA aprendía que "el gato" siempre venía con "la cocina de fondo".
• El problema de la confusión: Si le dabas dos fotos, la IA pensaba que eran una sola cosa gigante y mezclaba todo.

2. La Solución de Kaleido: El "Cocinero Detallista" 👨‍🍳

Kaleido tiene dos trucos principales para arreglar esto:

A. La Fábrica de Datos Limpios (El Pipeline)

Imagina que Kaleido tiene un equipo de chefs muy estrictos que preparan los ingredientes antes de cocinar.

• El truco del "Despegado": En lugar de usar fotos tal cual, Kaleido toma una foto, borra digitalmente el fondo (como si recortaras la silueta de una persona con tijeras mágicas) y luego le pone un fondo nuevo y diferente.
• La mezcla cruzada: ¡Aquí viene lo genial! Toman la foto de un "gato" de un video y la combinan con el "fondo de una playa" de otro video totalmente distinto. Esto le enseña a la IA: "¡Oye! El gato es el gato, no importa si está en la cocina o en la playa. El gato es el protagonista, el fondo es solo decoración".
• Resultado: La IA aprende a separar al personaje del escenario, como si pudiera ver al actor detrás del maquillaje y el vestuario.

B. La Etiqueta Mágica (R-RoPE)

Ahora, imagina que le das a la IA dos fotos: una de un hombre y una de una mujer.

• El problema anterior: La IA pensaba: "¿Son dos fotos de la misma persona? ¿Son dos cuadros seguidos de un video?". Se confundía y los hacía chocar.
• El truco de Kaleido (R-RoPE): Kaleido les pone una "etiqueta de posición" especial a cada foto. Es como ponerles un letrero invisible que dice: "¡Oye! Esta foto es el Personaje A y está en el Lugar 1. Esta otra es el Personaje B y está en el Lugar 2".
• La analogía: Es como tener dos actores en un escenario. Sin Kaleido, los actores se chocarían porque no saben dónde están sus sillas. Con Kaleido, cada actor tiene su propia silla numerada y sabe exactamente dónde sentarse para no molestar al otro.

3. ¿Qué logra Kaleido? 🎬✨

Gracias a estos trucos, Kaleido puede hacer cosas que antes eran muy difíciles:

• Consistencia: Si le das una foto de un niño con una gorra roja, el niño en el video tendrá esa misma gorra roja en cada segundo, sin cambiar de color ni desaparecer.
• Múltiples Personajes: Puedes poner a un perro y a un gato juntos, y la IA sabrá exactamente quién es quién, sin mezclar sus caras.
• Fondos Libres: Puedes pedirle que el personaje camine por una ciudad, por un bosque o por el espacio, y la IA cambiará el fondo sin tocar al personaje.

En resumen

Kaleido es como un director de cine muy talentoso que, en lugar de usar actores que se olvidan de sus líneas o se confunden con el escenario, les da un guion perfecto y un sistema de luces que les dice exactamente dónde estar.

Lo mejor de todo es que es de código abierto. Esto significa que no es un secreto de una gran empresa (como las películas de Hollywood que solo se ven en cines), sino que es una receta que cualquiera puede usar, mejorar y compartir para crear sus propios videos mágicos. 🚀🎥

Resumen técnico

Resumen Técnico: KALEIDO - Modelo de Generación de Video de Referencia Multi-Sujeto de Código Abierto

1. Problema y Motivación

El campo de la generación de video ha avanzado rápidamente con modelos como Sora y DiT (Diffusion Transformers). Sin embargo, la tarea específica de Generación de Video de Sujeto (Subject-to-Video o S2V) —crear videos consistentes basados en múltiples imágenes de referencia de un sujeto— sigue enfrentando desafíos significativos, especialmente en modelos de código abierto.

Los problemas principales identificados en los enfoques actuales son:

• Inconsistencia Multi-Sujeto: Los modelos existentes a menudo fallan al mantener la identidad coherente de múltiples sujetos en una misma escena.
• Falta de Desenredo (Disentanglement) del Fondo: Los modelos tienden a copiar elementos de fondo o objetos irrelevantes de las imágenes de referencia en el video generado, en lugar de aprender a separar al sujeto de su contexto original.
• Calidad de los Datos de Entrenamiento: Los conjuntos de datos actuales carecen de diversidad y contienen pares "entrelazados" (donde el sujeto y el fondo están fuertemente vinculados), lo que impide que el modelo generalice bien a nuevas escenas.
• Estrategias de Condicionamiento Subóptimas: Los métodos actuales para integrar múltiples imágenes de referencia a menudo provocan confusión entre sujetos o artefactos de composición debido a una codificación posicional inadecuada.

2. Metodología Propuesta

KALEIDO aborda estos desafíos mediante dos pilares fundamentales: una tubería de construcción de datos robusta y una nueva arquitectura de inyección de condiciones.

A. Tubería de Construcción de Datos (Dataset Construction Pipeline)

Para superar la falta de datos de alta calidad y diversos, los autores proponen un pipeline escalable de múltiples etapas:

1. Preprocesamiento y Captioning: Segmentación de videos en clips cortos coherentes con descripciones automáticas.
2. Definición de Categorías y Detección: Uso de un taxonomía amplia (más de 100 categorías) para identificar sujetos potenciales.
3. Grounding y Segmentación: Combinación de Grounding DINO (para localización semántica) y SAM (Segment Anything Model) para obtener máscaras precisas de los sujetos.
4. Filtrado Riguroso: Eliminación de muestras de baja calidad, tamaños extremos, superposiciones excesivas (IoU) y verificación de rostros humanos.
5. Desenredo del Fondo (Augmentation): Uso de técnicas de inpainting para eliminar el fondo de las imágenes de referencia. Esto obliga al modelo a reconstruir el sujeto basándose en la imagen y el fondo basándose en el texto, rompiendo la correlación espuria entre sujeto y fondo.
6. Enriquecimiento de Pose y Movimiento: Uso de Flux Redux para generar nuevas poses y movimientos que no existían en el video original, evitando el sobreajuste a la similitud de fotogramas.
7. Construcción de Datos Cruzados (Cross-Paired): Creación de pares donde el sujeto de una imagen se combina con el fondo de otra, forzando al modelo a aprender la identidad del sujeto de forma independiente del contexto.

B. Marco de Trabajo y Arquitectura (Framework)

KALEIDO se basa en un modelo de difusión (fine-tuneado de Wan2.1-T2V-14B) y utiliza una estrategia de inyección de condiciones simple pero efectiva:

• Concatenación Directa: Las imágenes de referencia codificadas se concatenan con el ruido del video en la dimensión de la secuencia, evitando la complejidad de módulos adapter adicionales.
• R-RoPE (Reference Rotary Positional Encoding): Este es el componente clave. Para evitar que el modelo confunda las imágenes de referencia con fotogramas consecutivos del video, se modifica la codificación posicional rotatoria (RoPE):
  • Los tokens de video usan coordenadas $(t, h, w)$.
  • Los tokens de imágenes de referencia se desplazan espacialmente: sus dimensiones $(h, w)$ comienzan desde $(H_{max}, W_{max})$ del video, y su dimensión temporal se asigna individualmente.
  • Esto asegura que el modelo distinga claramente entre la información del video y las condiciones de referencia, permitiendo una integración estable y precisa de múltiples imágenes.

3. Contribuciones Clave

1. Pipeline de Datos Integral: Una metodología que incluye filtrado de calidad, segmentación avanzada y, crucialmente, la construcción de datos cruzados y desenredados para mejorar la generalización.
2. Método de Inyección R-RoPE: Una técnica novedosa de codificación posicional que permite la integración de múltiples imágenes de referencia sin confundir la secuencia temporal ni la espacial, mejorando la consistencia multi-sujeto.
3. Modelo SOTA de Código Abierto: KALEIDO logra un rendimiento que iguala o supera a los modelos comerciales cerrados (como Kling y Vidu) en métricas de fidelidad del sujeto y desenredo de fondo, llenando la brecha entre el estado del arte abierto y cerrado.
4. Código y Modelos Abiertos: La liberación del código fuente, los checkpoints entrenados y la tubería de datos para fomentar la investigación comunitaria.

4. Resultados y Evaluación

Los experimentos se realizaron en un conjunto de pruebas diverso (humanos, animales, objetos, fondos controlados) comparando con modelos de código abierto (VACE, Phantom) y cerrados (Kling, Vidu-Q1).

• Métricas Cuantitativas:

  • Consistencia del Sujeto (S2V Consistency): KALEIDO obtuvo la puntuación más alta (0.723), superando a todos los competidores.
  • Desenredo del Fondo (S2V Decoupling): Logró la mejor puntuación (0.319), indicando su capacidad superior para ignorar fondos irrelevantes de las imágenes de referencia.
  • Calidad General: Superó a otros modelos de código abierto en calidad estética y alineación con el texto, acercándose o igualando a los modelos cerrados en suavidad de movimiento y calidad de imagen.
  • Similitud Facial: En pruebas de reconocimiento facial, KALEIDO superó a otros modelos de código abierto y superó ligeramente a Kling en fidelidad facial.

• Resultados Cualitativos:

  • Los estudios de usuarios mostraron una preferencia consistente por KALEIDO en calidad de video, alineación con el prompt y consistencia del sujeto.
  • Visualmente, KALEIDO evita la repetición redundante de sujetos (común en Vidu) y la contaminación por fondos (común en VACE), logrando escenas multi-sujeto coherentes.

• Estudios de Ablación:

  • La eliminación de los datos cruzados (Cross-Paired) redujo significativamente la consistencia y el desenredo.
  • La eliminación de R-RoPE o el uso de desplazamientos posenciales parciales resultó en una menor consistencia, confirmando que el desplazamiento completo de coordenadas es esencial para evitar la confusión de tokens.

5. Significado e Impacto

KALEIDO representa un avance significativo en la generación de video generativa. Al resolver los problemas de consistencia multi-sujeto y desenredo de fondo mediante una combinación de ingeniería de datos rigurosa y una arquitectura de atención posicional mejorada, establece un nuevo estándar para los modelos de código abierto.

Su capacidad para generar videos de alta fidelidad a partir de múltiples referencias sin depender de costosos módulos de adaptación o datos sintéticos de baja calidad, lo convierte en una herramienta potente para aplicaciones en comercio electrónico, publicidad y creación de contenido. Además, la apertura de sus recursos democratiza el acceso a tecnología de nivel empresarial, permitiendo a la comunidad de investigación construir sobre una base sólida para futuras innovaciones en personalización de video.