💻 computer science

Vorch-IR: Long-Form Unified Multimodal Identity Replacement Video Generation

Vorch-IR es un marco multimodal unificado construido sobre LTX2 que permite el reemplazo flexible de identidad de una y dos personas con edición de fondo opcional en videos de larga duración mediante el condicionamiento conjunto de videos de conducción, imágenes de referencia e instrucciones textuales, al tiempo que supera la escasez de datos a través de un proceso de síntesis automática y se extiende a generaciones de un minuto mediante una estrategia de inferencia de solapamiento temporal.

Autores originales: Yaole Wang, Xiaoyu Chen, Xin Ma, Yang Ding, Gang Yue, Jingjing Chen, Lin Ma, Yaohui Wang

Publicado 2026-08-07

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yaole Wang, Xiaoyu Chen, Xin Ma, Yang Ding, Gang Yue, Jingjing Chen, Lin Ma, Yaohui Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que sostienes un control remoto para la realidad, pero en lugar de cambiar de canal, quieres intercambiar a los actores de una película manteniendo exactamente el mismo guion, los ángulos de cámara y los movimientos de baile. Este es el sueño del "reemplazo de identidad de video", un tema candente en el mundo de la inteligencia artificial. Durante mucho tiempo, la IA podía generar nuevos videos desde cero, pero editar uno existente era como intentar cambiar el rostro de un personaje en una película de acción real sin arruinar la iluminación o el movimiento. Los primeros intentos requerían que se le entregara a la IA un mapa detallado de dónde estaba parada la persona, un dibujo de un esqueleto de su pose o una máscara para cubrir su rostro. Era como pedirle a un chef que cocine una comida solo si le das una lista de ingredientes ya cortados y un diagrama de la cocina. Estos métodos eran rígidos y difíciles de usar. La gran pregunta que los investigadores se hacen ahora es: ¿Podemos enseñar a una IA a entender una frase sencilla como "Cambia al bailarín de la izquierda por esta foto" y que simplemente lo entienda, sin necesidad de un mapa complejo o un esqueleto?

Entra Vorch-IR, un nuevo sistema de IA que actúa como un editor de películas mágico y superinteligente. Piensa en él como un director que no necesita un supervisor de guion ni un coordinador de acrobacias. Le das a Vorch-IR tres cosas: el video original (el video "conductor"), algunas fotos de las nuevas personas que quieres insertar (las "referencias") y una nota de texto simple que le dice a la IA quién va dónde. La magia es que las fotos no necesitan coincidir con la pose o la posición del video. Si el video muestra a una persona bailando con los brazos arriba, y tu foto la muestra sentada, Vorch-IR descubre cómo hacer que la persona sentada baile de todos modos. Maneja personas individuales, dos personas bailando juntas e incluso el intercambio del escenario de fondo, todo con un único modelo.

Los investigadores detrás de Vorch-IR construyeron este sistema sobre un potente generador de video llamado LTX2. Le enseñaron a mirar el video, las fotos y las instrucciones de texto al mismo tiempo. En lugar de usar mapas rígidos, la IA utiliza un cerebro de "visión-lenguaje" (un tipo de IA que entiende tanto imágenes como palabras) para descubrir la conexión. Es como si la IA leyera tu nota, mirara la foto y dijera: "Ah, quieres que esta persona tome el lugar del que está a la izquierda", y luego utiliza su "auto-atención" interna para mezclar el nuevo rostro en el cuerpo en movimiento perfectamente.

Uno de los mayores obstáculos en este campo son los datos. Para enseñar a una IA a cambiar rostros, necesitas miles de ejemplos de videos de "antes" y "después". Como estos no existen en el mundo real, el equipo construyó un flujo de trabajo robótico para crearlos. Tomaron videos reales, usaron otras herramientas de IA para cambiar los rostros en el primer fotograma y luego usaron un robot guiado por movimiento para que el resto del video siguiera los nuevos rostros. Luego filtraron los intentos fallidos (como cuando la IA accidentalmente le dio tres brazos al bailarín) para crear un conjunto de entrenamiento perfecto. Esto les permitió entrenar un modelo para hacerlo todo: cambiar a una persona, cambiar a dos personas e incluso cambiar el fondo, todo sin necesidad de herramientas separadas para cada tarea.

Pero, ¿qué pasa con hacer una película completa? La mayoría de los generadores de video por IA se confunden o se vuelven borrosos después de unos pocos segundos. Vorch-IR utiliza un truco ingenioso llamado "inferencia de solapamiento temporal". Imagina intentar pintar un mural largo. En lugar de pintar un cuadrado pequeño, dejarlo secar y luego pintar el siguiente (lo que podría hacer que los colores se vean diferentes), Vorch-IR pinta secciones superpuestas al mismo tiempo y las mezcla de forma fluida. Esto le permite generar videos que duran un minuto completo sin que los rostros de los personajes se desvíen o el movimiento se vuelva extraño, todo sin necesidad de generar el video clip por clip.

El equipo probó Vorch-IR contra otros modelos de élite. En comparaciones directas, Vorch-IR sugirió que es mejor manteniendo la apariencia exacta del rostro de la nueva persona (preservación de identidad) y manteniendo la consistencia del fondo, mientras mantiene un movimiento fluido. En pruebas humanas, la gente prefirió los resultados de Vorch-IR sobre otros métodos, especialmente en lo que respecta a hacer que el nuevo personaje parezca real y físicamente plausible. El artículo sugiere que, si bien algunos modelos más antiguos podrían ser ligeramente mejores en aspectos específicos como el ajuste perfecto de la pose en escenarios muy concretos, Vorch-IR ofrece una forma mucho más flexible y unificada de editar videos, demostrando que no necesitas mapas complejos para obtener grandes resultados. Es un paso hacia un futuro donde editar un video sea tan fácil como escribir una frase.

Resumen Técnico: Vorch-IR

Planteamiento del Problema

El reemplazo de identidad en video busca transferir las identidades de uno o más sujetos hacia un video de conducción, preservando al mismo tiempo el movimiento, las expresiones y la estructura temporal originales. A pesar de los avances recientes en la generación de video basada en difusión, los métodos existentes enfrentan tres limitaciones primarias:

Controles Estructurales Rígidos: Muchos enfoques dependen de máscaras explícitas, mapas de pose o alineación espacial entre las imágenes de referencia y el video de conducción, lo que complica la integración en sistemas de edición multimodal general.
Enfoque en Identidad Única: La mayoría de los sistemas están diseñados para el reemplazo de un solo objetivo. El reemplazo de múltiples personas requiere un control de identidad independiente y una asociación inequívoca entre múltiples referencias y sus respectivos objetivos, lo cual rara vez se aborda.
Escasez de Datos: No se dispone fácilmente de datos de entrenamiento emparejados a gran escala para configuraciones de reemplazo de múltiples personas y de fondo, lo que dificulta el aprendizaje conjunto de estas tareas.

Metodología

Vorch-IR es un marco unificado construido sobre la arquitectura LTX2 que aborda estas limitaciones mediante un único modelo capaz de manejar cuatro configuraciones: reemplazo de una persona, reemplazo de dos personas, y ambas variantes con reemplazo de fondo opcional.

1. Condicionamiento Multimodal Unificado

El modelo acepta un video de conducción ( $D$ ), un conjunto ordenado de imágenes de referencia ( $R$ ) y una instrucción de edición textual ( $u$ ).

Desacoplamiento Espacial: Las imágenes de referencia se tratan como condiciones independientes; no necesitan coincidir con la pose, el diseño o la configuración espacial del video de conducción.
Vinculación Basada en Instrucciones: Una instrucción textual especifica qué imagen de referencia corresponde a qué sujeto o al fondo (por ejemplo, "La Referencia 1 reemplaza a la persona de la izquierda"). Esto sustituye la necesidad de correspondencia geométrica o máscaras.
Arquitectura de Doble Vía:
- Fusión Visual Densa (Auto-atención): El video de conducción, todas las imágenes de referencia y el latente objetivo ruidoso se concatenan en un flujo de tokens unificado. La auto-atención fusiona estos tokens, preservando el movimiento detallado del video de conducción y los detalles de apariencia de las referencias. Los embeddings de Task-ID distinguen el video de origen, los slots de referencia y el objetivo.
- Vinculación Semántica (Atención Cruzada): Un modelo de visión-lenguaje (basado en Gemma) codifica conjuntamente la instrucción, los fotogramas de conducción muestreados y las referencias. Este contexto se inyecta mediante atención cruzada para vincular cada referencia indexada con su rol de objetivo previsto definido por el texto, permitiendo el enrutamiento semántico sin módulos de localización explícitos.

2. Pipeline de Construcción Automática de Datos

Para superar la falta de datos de entrenamiento emparejados, los autores desarrollaron un pipeline que sintetiza la supervisión para las cuatro configuraciones:

Edición: Se edita el primer fotograma de un clip de origen para reemplazar identidades (y opcionalmente el fondo) mientras se preservan las ubicaciones de los sujetos y las poses toscas.
Propagación: Un modelo de animación de video guiado por movimiento propaga estas apariencias editadas a lo largo de las trayectorias de movimiento de origen.
Filtrado: Un modelo de visión-lenguaje filtra los fallos (por ejemplo, cuerpos malformados, desajustes de identidad).
Extracción: El primer fotograma editado se recorta para formar las referencias de identidad, y el fondo se extrae para las muestras de reemplazo de fondo.
Este proceso genera tuplas de entrenamiento alineadas (video de conducción, referencias, instrucción, video objetivo) sin necesidad de recolección manual.

3. Estrategia de Inferencia de Larga Duración

Aunque fue entrenado en clips cortos (hasta 8 segundos), Vorch-IR soporta la generación de minutos de duración utilizando una estrategia de Inferencia de Solapamiento Temporal adaptada de la Fusión de Latentes Bidireccional (BLF):

El latente objetivo de longitud completa se cubre con ventanas temporales solapadas.
En cada paso de denoise, el modelo predice ventanas denoisadas condicionadas por los segmentos de origen correspondientes y las referencias globales.
Las predicciones se agregan mediante pesos temporales normalizados (fundido cruzado lineal o de coseno).
Se aplica una única actualización de Euler global a toda la secuencia de latentes.
Este enfoque evita la continuación autorregresiva, reduiendo así la deriva de identidad y la acumulación de errores en horizontes largos.

Contribuciones Clave

Formulación Unificada: Un marco unificado que formula el reemplazo de una persona, de dos personas y de fondo como un único problema de generación de video multimodal guiado por instrucciones.
Interfaz de Referencia Indexada: Una interfaz novedosa que desacopla espacialmente las referencias del video de conducción, utilizando auto-atención visual densa para la transferencia de contenido y atención cruzada basada en instrucciones para la vinculación semántica.
Pipeline de Datos Escalable: Un pipeline automático que sintetiza la supervisión emparejada para el reemplazo de múltiples personas y de fondo, eliminando la necesidad de recolección de datos específicos de la tarea.
Extensión de Secuencia Larga: Una adaptación de la fusión de latentes solapados que extiende los modelos de clips cortos a la generación de minutos sin bucles de retroalimentación autorregresivos.

Resultados

Los autores evaluaron Vorch-IR en el reemplazo de una persona (comparándolo con Wan-Animate, HunyuanCustom, MoCha y SCAIL-2) y proporcionaron resultados cualitativos para las configuraciones de dos personas y de fondo.

Métricas Automáticas: En el benchmark de los autores, Vorch-IR logró la mayor Consistencia de Sujeto (0.9096) y Consistencia de Fondo (0.9332). También obtuvo clasificaciones altas en calidad de imagen (0.7031) y calidad estética (0.6396). En el benchmark XDance, demostró una fuerte generalización, ocupando el segundo lugar en similitud DINOv2 y CLIP-I.
Evaluación Humana (GSB): En comparaciones por pares, Vorch-IR recibió una calificación de "Bueno" superior a "Malo" en todas las dimensiones (movimiento, plausibilidad física, identidad, calidad de video) frente a todos los baselines. Su ventaja más significativa fue en la Consistencia de Identidad, donde fue preferido por el 65.4% de los evaluadores sobre HunyuanCustom y por el 77.0% sobre Wan-Animate.
Compromisos (Trade-offs): Aunque Vorch-IR destaca en la preservación de la identidad, algunos baselines especializados retuvieron ligeras ventajas en métricas específicas como el parpadeo temporal o el ajuste de pose, lo que indica un compromiso entre la fuerte transferencia de identidad y otras cualidades visuales específicas.

Significación

El artículo afirma que Vorch-IR representa un paso significativo hacia la edición de video flexible y de propósito general. Al eliminar la dependencia de referencias alineadas espacialmente, máscaras o entradas de pose, el modelo simplifica la integración del reemplazo de identidad en sistemas multimodales más amplios. La capacidad de manejar múltiples identidades y cambios de fondo dentro de un único modelo impulsado por instrucciones, combinada con un pipeline de datos escalable y una capacidad de inferencia de larga duración, aborda cuellos de botella críticos en la investigación actual de generación de video. El trabajo demuestra que se puede lograr una transferencia de identidad de alta fidelidad sin sacrificar la coherencia del movimiento ni requerir controles estructurales complejos.