💻 computer science

Keyframe-Anchored Identity Preservation for Sequential-Action Video Generation

Este artículo propone un marco de trabajo de flujo de trabajo de tres etapas y libre de entrenamiento que preserva la identidad del sujeto en la generación de videos de acciones secuenciales mediante la reescritura de prompts para estados terminales, la generación de fotogramas clave a través del condicionamiento conjunto de la identidad de referencia y los fotogramas predecesores, y la mejora de los segmentos intermedios con guía de múltiples referencias y búsqueda de ruido impulsada por la identidad.

Autores originales: Zhenjie Liu, Binyan Chen, Hao Chen, Tong Pan, Shangfei Wang

Publicado 2026-07-21

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zhenjie Liu, Binyan Chen, Hao Chen, Tong Pan, Shangfei Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un director intentando filmar una película con un actor muy especial y obstinado. Este actor es un personaje digital creado por un programa informático llamado "modelo de difusión". Piensa en este modelo como un artista mágico y caótico que es increíblemente bueno pintando imágenes basadas en tus descripciones, pero que tiene una memoria terrible. Si le pides que dibuje la imagen de un "hombre con barba leyendo un libro", puede que dibuje un hombre perfecto. Pero si luego le pides que dibuje al mismo hombre de pie y saludando, el artista podría confundirse. La barba podría desaparecer, la forma de la cara podría cambiar, o el hombre podría parecer de repente una persona completamente distinta. Esto es el problema de la "deriva de identidad". En el mundo de la generación de vídeo por IA, mantener la apariencia de un personaje exactamente igual mientras se mueve y cambia de acciones es como intentar evitar que un copo de nieve se derrita mientras lo caminas sobre una acera caliente.

Ahora, imagina que no solo quieres que el actor haga una cosa; quieres que interprete todo un guion. Primero, lee un libro. Luego, mira hacia el cielo. Después, vuelve a mirar hacia abajo. Hacer esto en un solo estallido continuo es una pesadilla para la IA porque, cuanto más largo es el vídeo, más tiende la cara del personaje a "derivar" y cambiar. Este artículo aborda un desafío específico donde el objetivo es generar un vídeo de una persona específica realizando una secuencia de diferentes acciones, todo ello asegurando que la persona en el vídeo se vea exactamente igual que la foto de referencia con la que empezaste. Los investigadores de la Universidad de Ciencia y Tecnología de China decidieron dejar de intentar filmar toda la película en una sola toma. En su lugar, idearon una forma ingeniosa de dividir la película en escenas manejables, anclar el rostro del personaje al final de cada escena y luego unir las piezas para que el actor nunca olvide quién es.

El truco de magia de tres etapas

Los autores proponen un flujo de trabajo "libre de entrenamiento" (training-free), que es una forma elegante de decir que no necesitaron reenseñar a la IA cómo dibujar; solo necesitaban darle mejores instrucciones y un mejor flujo de trabajo. Llaman a su método "Preservación de Identidad Anclada a Keyframes", lo cual suena complicado pero es en realidad bastante lógico. Piensa en ello como construir un puente sobre un río. En lugar de intentar colocar toda la carretera de una vez (lo que podría colapsar), construyes pilares fuertes y sólidos (keyframes o fotogramas clave) en puntos específicos y luego rellenas la carretera entre ellos.

Etapa 1: El doctor del guion (Pulido de prompts consciente de la acción)
Primero, el equipo se dio cuenta de que las instrucciones dadas a la IA eran demasiado vagas. Los prompts originales eran como un director gritando: "¡Vale, ahora lee, luego mira hacia arriba!" a un artista que necesita una imagen clara del resultado final de cada acción. La IA se confundía sobre cuándo dejar de leer y cómo mirar hacia arriba.

Para solucionar esto, los investigadores utilizaron un asistente de IA inteligente (un Modelo de Lenguaje Grande o LLM) para reescribir el guion. En lugar de describir la acción de leer, el asistente reescribió el prompt para describir el estado del personaje después de leer. Es la diferencia entre decir "El hombre está girando la cabeza" y "El hombre ahora está mirando hacia la izquierda". Al centrarse en el "estado terminal" (la pose final) de cada acción, la IA obtiene un objetivo claro al que apuntar. Esto asegura que, cuando la IA genera el "keyframe" (el punto de anclaje), sepa exactamente cómo debería verse el personaje en ese momento específico.

Etapa 2: La reacción en cadena (Generación de keyframes de preservación de ID)
Después viene el dibujo real de los puntos de anclaje. Los investigadores no pidieron a la IA que dibujara todo el vídeo a la vez. En su lugar, le pidieron que dibujara una cadena de imágenes fijas, una tras otra.

Para dibujar la primera imagen, le mostraron a la IA la foto de referencia (la persona original) y el primer prompt reescrito.
Para dibujar la segunda imagen, le mostraron a la IA la misma foto de referencia (para mantener la cara igual) Y la primera imagen que acababan de hacer (para mantener la continuidad de la posición del cuerpo).
Repitieron esto para cada acción en el guion.

Esto es la parte de la "cadena". Al alimentar la imagen anterior en el siguiente paso, la IA sabe cómo mover el cuerpo de forma natural sin perder la conexión con la cara original. Es como un juego de "teléfono descompuesto" donde susurras las instrucciones, pero en lugar de que el mensaje se distorsione, estás pasando un boceto físico que asegura que el siguiente artista sepa exactamente dónde terminó el anterior. Esto separa la "identidad" (la cara, que permanece igual) de la "pose" (el cuerpo, que cambia), resolviendo el problema de la deriva.

Etapa 3: La red de seguridad (Mejora de inferencia consciente de la ID)
Finalmente, la IA tiene una serie de imágenes fijas (los keyframes), pero necesita rellenar el movimiento entre ellas para crear un vídeo fluido. Aquí es donde ocurre la magia. Los investigadores añadieron dos trucos especiales al proceso de generación de vídeo para asegurar que el personaje no cometa errores durante el movimiento.

Guía de Referencia Múltiple: Imagina que estás intentando dibujar un cuadro mientras alguien te susurra tres cosas al oído: la descripción de texto, el fotograma anterior y la foto original. La IA suele escuchar al texto y al fotograma anterior. Los investigadores obligaron a la IA a escuchar extra atentamente a la foto original. Ajustaron las matemáticas para que la señal de "identidad" se amplificara, haciendo que fuera mucho más difícil que la IA cambiara accidentalmente el rostro del personaje mientras movía el cuerpo.
Búsqueda de Ruido: Cuando una IA genera un vídeo, comienza con una pantalla llena de ruido estático (como la nieve de la televisión) y la limpia lentamente para revelar la imagen. Normalmente, la IA simplemente elige un parche de nieve aleatorio para empezar. Los investigadores decidieron ser exigentes. Generaron varios parches de "nieve" diferentes y los probaron rápidamente para ver cuál resultaba en el mejor rostro. Eligieron al ganador y lo usaron como punto de partida. Es como probar diferentes semillas para ver cuál produce la mejor flor antes de plantar todo el jardín.

Los resultados: ¿Funcionó?

El equipo probó su método en una competición llamada IPVG26 (Track 2), donde el objetivo era generar vídeos de personas específicas realizando secuencias de acciones. No solo conjetraron; midieron sus resultados frente a otros equipos punteros.

Su enfoque ocupó el tercer lugar en la tabla de clasificación oficial. Aunque no obtuvieron el primer lugar, los resultados fueron impresionantes, especialmente en las áreas que más importaban: mantener la cara de la persona reconocible (Preservación de Identidad) y asegurar que las acciones ocurrieran en el momento adecuado (Alineación Temporal).

Cuando probaron su sistema, descubrieron que la "Guía de Referencia Múltiple" era el motor principal. Cuando eliminaron esta característica, la puntuación para mantener la consistencia de la identidad cayó significativamente (de 0.4055 a 0.3520). Esto demostró que decirle explícitamente a la IA que se centrara en la foto de referencia era la clave para evitar que la cara derivara. La "Búsqueda de Ruido" también ayudó, pero fue un impulso menor.

El artículo también comparó dos "backbones" (motores de vídeo subyacentes) diferentes. Descubrieron que un modelo llamado LTX-2.3 funcionaba mejor que otro llamado Wan2.1-VACE en casi todas las métricas. El modelo LTX-2.3 logró una puntuación general de 0.4971, frente al 0.4818 del otro modelo.

Qué significa esto

El artículo no pretende haber resuelto el problema de la generación de vídeo por IA para siempre. No dice que el personaje nunca cambiará, ni que el método funcione perfectamente para cada escenario posible. En cambio, sugiere que dividir una tarea de vídeo compleja en pasos más pequeños y anclados es una forma muy eficaz de gestionarla.

Al tratar el vídeo como una cadena de "estados terminales" (el final de cada acción) en lugar de un flujo continuo, los investigadores lograron mantener intacta la identidad del personaje incluso cuando las acciones eran complejas y secuenciales. Demostraron que no siempre es necesario reentrenar a la IA desde cero; a veces, solo necesitas darle un mejor mapa, un ancla más fuerte y un poco de ayuda extra cuando elige por dónde empezar. Para cualquiera que intente crear historias digitales con personajes consistentes, este enfoque "anclado a keyframes" ofrece una forma fiable y libre de entrenamiento de mantener al actor en su papel, sin importar cuántas escenas tenga que interpretar.

Resumen Técnico: Anclaje de Fotogramas Clave para la Preservación de la Identidad en la Generación de Vídeos de Acciones Secuenciales

Definición del Problema

El artículo aborda el desafío de la Generación de Vídeo de Texto a Vídeo con Preservación de Identidad (IPVG) en el contexto del IPแข่งขัน IPVG26 Track 2. A diferencia de las tareas de IPVG tradicionales que dependen de un único prompt holístico, este entorno requiere generar un vídeo basado en:

Una imagen de identidad de referencia ( $I_{ref}$ ).
Una descripción global de la escena ( $P_{global}$ ).
Una secuencia estructurada temporalmente de subtítulos de acción con marcas de tiempo $\{(s_i, e_i, c_i)\}_{i=1}^N$ , donde cada $c_i$ describe una sub-acción específica con tiempos de inicio y fin.

La dificultad central radica en mantener la reconocibilidad del sujeto (identidad) mientras ejecuta una secuencia guionizada de acciones distintas. Los generadores de vídeo de extremo a extremo estándar suelen sufrir de deriva de apariencia (appearance drift) a medida que el movimiento se acumula y las acciones representadas cambian, lo que provoca que el sujeto pierda su parecido a lo largo de una secuencia de múltiples acciones.

Metodología

Los autores proponen un pipeline de tres etapas sin entrenamiento (training-free) que descompone la tarea de generación de vídeo en una cadena de fotogramas clave (keyframes) que preservan la identidad, evitando los compromisos espaciotemporales de la optimización conjunta.

1. Pulido de Prompts Sensible a la Acción (Action-Aware Prompt Polishment)

Los inputs textuales brutos (descripción global y subtítulos temporales) suelen ser narrativos y carecen de la precisión espacial requerida para los modelos de generación de imágenes.

Proceso: Un Modelo de Lenguaje Grande (LLM) multimodal, específicamente Qwen3.6-27B, reescribe los inputs.
Primer Fotograma: El prompt global se reescribe en un prompt ( $\hat{P}_{global}$ ) que ancla los atributos de identidad del sujeto (forma de la cara, tono de piel, etc.) y establece la escena, asegurando un momento inicial plausible.
Estados Terminales: Cada subtítulo temporal $c_i$ se reescribe en un prompt de fotograma final ( $\hat{c}_i$ ). Crucialmente, estos prompts describen el estado terminal de la acción (pose final, posición de las manos, mirada) en lugar de la progresión del movimiento. Esto proporciona restricciones espaciales inequívocas para la subsiguiente generación de fotogramas clave.

2. Generación de Fotogramas Clave Encadenados con Preservación de ID

En lugar de generar el vídeo completo de una vez, el sistema genera una secuencia de fotogramas clave $\{K_0, K_1, \dots, K_N\}$ , donde cada $K_i$ representa el estado terminal del $i$ -ésimo segmento de acción.

Condicionamiento Encadenado:
- $K_0$ se genera condicionado por $I_{ref}$ y $\hat{P}_{global}$ .
- Los fotogramas clave subsiguientes $K_i$ $K_{i}$ se generan condicionados por tres entradas:
  1. $I_{ref}$ : Proporciona características de identidad invariantes en el tiempo.
  2. $K_{i-1}$ : Proporciona el estado visual precedente (pose, orientación, disposición de la escena) para asegurar la continuidad temporal.
  3. $\hat{c}_i$ : Especifica el estado terminal objetivo para la acción actual.
Mecanismo: Este diseño desacopla la apariencia invariante en el tiempo (de $I_{ref}$ ) de la pose variante en el tiempo (de $K_{i-1}$ ), permitiendo que el modelo modifique solo los aspectos descritos en el nuevo prompt mientras hereda el resto.

3. Mejora de la Inferencia Sensible a la ID (ID-Aware Inference Enhancement)

Una vez establecidos los fotogramas clave, los segmentos de vídeo entre ellos se sintetizan utilizando un modelo de vídeo basado en difusión (específicamente LTX-2.3 en modo de interpolación de fotogramas clave). Se aplican dos mejoras sin entrenamiento durante la inferencia:

Guía Multireferencia (Multi-Reference Guidance): Extiende la Guía de Clasificación Libre (CFG) estándar añadiendo términos de guía específicos. La trayectoria de muestreo es guiada por:
- $\Delta_{cfg}$ : Alineación textual estándar.
- $\Delta_{stg}$ : Guía espaciotemporal (vía perturbación de atención) para la coherencia temporal.
- $\Delta_{mod}$ : Guía de modalidad que amplifica explícitamente la influencia de las condiciones visuales (fotogramas clave de frontera) para forzar la consistencia de la identidad.
Búsqueda de Ruido Basada en la Identidad (Identity-Driven Noise Searching): Trata el ruido de difusión inicial $z_T$ como una variable de optimización en lugar de un dibujo aleatorio. Para cada segmento, se muestrean $K$ tensores de ruido candidatos y se realiza un denoise de corto alcance (lookahead). El candidato que arroja la mayor recompensa (similitud de coseno entre el embedding facial del primer fotograma decodificado e $I_{ref}$ ) es seleccionado para el proceso de denoise completo.
Asignación de Longitud Variable: Los segmentos se asignan con un número de fotogramas proporcional a su duración, redondeado para satisfacer las restricciones del VAE ( $8k+1$ ).

Contribuciones Clave

Módulo de Pulido de Prompts Sensible a la Acción: Un método para reescribir subtítulos globales y temporales en prompts de imagen de estado terminal, proporcionando objetivos espaciales claros para la síntesis de fotogramas clave.
Generación de Fotogramas Clave Encadenados con Preservación de ID: Una estrategia de generación que condiciona cada fotograma clave tanto en la identidad de referencia como en el fotograma clave precedente, separando efectivamente la identidad de la pose para mantener la reconocibilidad y la continuidad del movimiento.
Mejora de la Inferencia Sensible a la ID: Una etapa sin entrenamiento que integra guía multireferencia y búsqueda de ruido basada en la identidad para reforzar la fidelidad de la identidad durante el muestreo.
Descomposición Anclada en Fotogramas Clave: Un cambio de paradigma de la generación de extremo a extremo hacia la interpolación entre puntos finales anclados a la identidad, abordando los desafíos específicos de las tareas de acciones secuenciales.

Resultados

El método propuesto fue evaluado en el conjunto de prueba IPVG26 Track 2 (200 muestras del dataset ReactID).

Rendimiento en la Tabla de Clasificación (Leaderboard): El método ocupó el 3er lugar en la tabla de clasificación oficial (Puntuación: 2.9375), detrás de USTC-CMI y WislabGDUT.
Comparación de Backbone: Los autores compararon LTX-2.3 (modo de interpolación de fotogramas clave) frente a Wan2.1-VACE (modo de primer/último fotograma). LTX-2.3 superó a Wan2.1-VACE en todas las métricas, particularmente en preservación de identidad y alineación, lo que llevó a su selección como el backbone final.
Estudios de Ablación:
- Eliminar la Guía Multireferencia causó la caída más significativa en la puntuación de identidad (de 0.4055 a 0.3520), confirmándola como el principal motor de la consistencia del sujeto.
- Eliminar la Búsqueda de Ruido resultó en un declive moderado pero constante en las puntuaciones de identidad y generales.
- Ambas mejoras mejoraron las métricas de identidad sin afectar significativamente la suavidad del movimiento o la calidad de la imagen.

Significado y Reivindicaciones

El artículo afirma que la descomposición anclada en fotogramas clave es una solución efectiva para el desafío específico de la preservación de la identidad en acciones secuenciales. Al desacoplar el layout de la identidad invariante en el tiempo del movimiento temporal, el método evita la deriva de apariencia común en los generadores de extremo a extremo. Los autores enfatizan que su enfoque no requiere entrenamiento (training-free), no requiere el ajuste fino de modelos preexistentes y, sin embargo, logra un rendimiento competitivo en un benchmark desafiante. Los resultados sugieren que separar explícitamente la generación de estados terminales (fotogramas clave) de la interpolación del movimiento, combinada con el refuerzo de la identidad en el tiempo de inferencia, es una estrategia viable para la síntesis de vídeo controlable con múltiples acciones.