Identity-Preserving Text-to-Video Generation via Agentic Enhancement and Semantic Repair
El artículo propone el Mejora Agéntica y Reparación Semántica (AESR, por sus siglas en inglés), un marco ligero que combina un módulo de mejora de prompts agénticos y un módulo de reparación semántica visual impulsado por VLM para superar la deriva de identidad y los fallos en el seguimiento de instrucciones en modelos de texto a video de código cerrado, logrando el primer lugar en el Desafío de Generación de Video con Preservación de Identidad de ACM MM 2026.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En el mundo de la inteligencia artificial, que evoluciona rápidamente, ha surgido un desafío específico: enseñar a las máquinas a crear imágenes en movimiento que no solo sigan una historia escrita, sino que también mantengan a una persona específica luciendo exactamente como ella misma durante todo el clip. Imagine pedirle a una computadora que genere un video de un amigo caminando por un mercado bullicioso, luego deteniéndose para comprar una flor, todo ello asegurando que el rostro en el video siga siendo inequívocamente el de su amigo. Si bien las herramientas modernas ya pueden producir movimientos e iluminación asombrosamente realistas, a menudo luchan con esta consistencia. El personaje puede empezar siendo su amigo, pero transformarse lentamente en alguien más, o la computadora simplemente podría olvidar incluir la flor que usted pidió, especialmente cuando las instrucciones se vuelven complejas. Este es un obstáculo significativo porque los generadores de video más potentes disponibles hoy en día son "cajas negras": sistemas cerrados donde los mecanismos internos están ocultos, lo que hace imposible que los investigadores simplemente ajusten el código para corregir estos errores.
Un equipo de investigadores de la Universidad de Pekín ha desarrollado un nuevo enfoque para resolver este problema sin necesidad de abrir la caja negra. En lugar de intentar cambiar el generador de video mismo, construyeron un asistente inteligente que trabaja alrededor de él. Este sistema, al que llaman AESR, actúa como un director y editor altamente capacitado que prepara las instrucciones antes de filmar y corrige los errores después de la primera toma. Los investigadores descubrieron que, al refinar cuidadosamente los prompts de texto proporcionados a la computadora y luego utilizar referencias visuales para corregir errores específicos en el video generado, podían mejorar significamente los resultados. En una importante competencia internacional para esta tecnología, su sistema ocupó el primer lugar, demostrando que este método de guiar y reparar el resultado es una forma práctica y poderosa de crear videos donde la identidad del sujeto se mantiene fiel a la realidad.
El núcleo de su solución reside en dos etapas distintas que ocurren antes y después de la creación del video. Primero, el equipo se dio cuenta de que la forma en que un humano escribe un prompt importa inmensamente, pero diferentes generadores de video prefieren diferentes estilos de escritura. Para manejar esto, crearon un "libro de jugadas" digital que aprende de la experiencia. Este libro de jugadas comienza con las instrucciones oficiales proporcionadas por los creadores del generador de video, que le indican al sistema cómo le gusta recibir comandos. Sin embargo, los investigadores fueron más allá al añadir una capa de aprendizaje de ejemplos del mundo real. Establecieron un bucle automatizado donde el sistema genera un video, lo revisa en busca de errores y luego actualiza su libro de jugadas con lo que aprendió. Si el sistema nota que el generador de video a menudo olvida incluir un tipo específico de movimiento o no describe claramente un objeto, el libro de jugadas registra este fallo y la corrección para la próxima vez. Con el tiempo, esta colección de conocimiento crece, permitiendo al sistema elaborar mejores instrucciones para escenas complejas, como una persona interactuando con múltiples objetos o realizando una secuencia de acciones.
Incluso con mejores instrucciones, la primera versión de un video aún puede contener pequeños errores que el texto por sí solo no puede corregir. Una computadora podría entender las palabras "una mujer mirando a la cámara", pero el video resultante podría mostrarla mirando hacia otro lado, o podría omitir un detalle crucial como un sombrero específico que se supone que debe llevar puesto. Para abordar esto, los investigadores introdujeron una segunda etapa llamada reparación semántica visual. En esta fase, un sistema de inteligencia artificial separado actúa como un crítico, observando el video de borrador y comparándolo con la solicitud original. Cuando detecta un problema, como un objeto faltante o un rostro que se ha desviado ligeramente, no se limita a escribir una nueva descripción. En su lugar, selecciona un fotograma específico del video y lo edita para mostrar exactamente lo que debería estar allí. Esta imagen editada sirve como un objetivo visual concreto. El sistema luego alimenta esta imagen corregida, junto con el video original y un nuevo conjunto de instrucciones, en una herramienta de edición de video. Esta herramienta utiliza la imagen editada como guía para corregir el segmento específico del video, asegurando que el resultado final coincida con la intención visual del prompt.
Para asegurar el mejor resultado posible, los investigadores no confiaron en un solo intento. Generaron múltiples versiones de cada video utilizando diferentes combinaciones de sus instrucciones mejoradas y técnicas de reparación. Luego utilizaron una estrategia de selección para comparar estos candidatos, ponderando factores como qué tan bien el video coincidía con el texto, qué tan consistente se mantenía el rostro y la fluidez general del movimiento. Al elegir la mejor versión única de este grupo, maximizaron la calidad del producto final. Al ser probado contra un conjunto de 200 ejemplos desafiantes que involucraban la preservación de la identidad facial, su sistema superó a los métodos existentes. Los resultados mostraron que su enfoque logró reducir con éxito los errores donde el rostro del sujeto cambiaba o donde elementos visuales clave desaparecían. El éxito del equipo fue confirmado en el desafío de Generación de Video con Preservación de Identidad ACM MM 2026, donde su sistema, llamado MIPL_Video, obtuvo el primer lugar en la categoría de identidad facial.
Este trabajo demuestra que incluso cuando las herramientas más poderosas están cerradas a la modificación directa, todavía existen formas efectivas de guiarlas hacia mejores resultados. Al combinar un sistema de aprendizaje que mejora las instrucciones con un editor visual que corrige errores específicos, los investigadores crearon un flujo de trabajo que es tanto ligero como altamente efectivo. Sus hallazgos sugieren que el futuro de la generación de video de alta calidad con preservación de identidad puede no depender de construir modelos más grandes y complejos, sino de desarrollar formas más inteligentes de interactuar con los modelos que ya tenemos. La capacidad de mantener la apariencia de una persona mientras se sigue una historia compleja y dinámica abre nuevas posibilidades para la narración de historias y la creación de contenido, demostando que la preparación cuidadosa y la corrección dirigida pueden lograr resultados que la generación pura por sí sola no puede alcanzar.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.