🤖 machine learning

Vidu S1: A Real-Time Interactive Video Generation Model

Vidu S1 es un modelo de generación de video interactivo en tiempo real que permite a los usuarios controlar personajes digitales mediante comandos de voz para producir videos de longitud infinita y alta calidad a 540p y hasta 42 FPS en GPUs de consumo sin degradación visual.

Autores originales: Jintao Zhang, Kai Jiang, Jintao Chen, Xu Wang, Yang Luo, Yuji Wang, Dechuang Chen, Jungang Li, Chengyang Ye, Marco Chen, Hongzhou Zhu, Min Zhao, Yuxuan Jiang, Zhengkun Huang, Chendong Xiang, Kaiwen Zh

Publicado 2026-07-22

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jintao Zhang, Kai Jiang, Jintao Chen, Xu Wang, Yang Luo, Yuji Wang, Dechuang Chen, Jungang Li, Chengyang Ye, Marco Chen, Hongzhou Zhu, Min Zhao, Yuxuan Jiang, Zhengkun Huang, Chendong Xiang, Kaiwen Zheng, Haoxu Wang, Xiaohang Wang, Qi Jia, Xin Chen, Yimin Chen, Youhe Jiang, Fangcheng Fu, Zhijie Deng, Fan Bao, Jianfei Chen, Jun Zhu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás viendo una película donde los personajes no pueden oírte, sin importar cuánto grites a la pantalla. No puedes decirles que saluden con la mano, que pongan cara de sorpresa o que cambien la escena; simplemente tienes que sentarte y esperar a que el director termine de editar todo antes de ver el resultado. Así es como funciona la mayoría de la generación de video por IA hoy en día: escribes una petición, esperas mucho tiempo y obtienes un clip terminado. Pero, ¿qué pasaría si pudieras hablar con el personaje mientras está siendo creado? ¿Qué pasaría si pudieras decir: "¡Oye, levanta el pulgar!", y ellos lo hicieran al instante, justo en medio de la conversación? Este es el sueño de la generación de video interactiva en tiempo real. Es un campo que intenta cerrar la brecha entre las películas estáticas y pre-realizadas y la naturaleza fluida e instantánea de una conversación en vivo. Para lograr esto, los científicos están construyendo modelos que no solo "pintan" una imagen completa a la vez, sino que en su lugar "transmiten" el video fotograma a fotograma, reaccionando a tu voz a medida que ocurre, de forma muy similar a un actor humano que improvisa una escena basándose en las instrucciones inmediatas del director.

Entra Vidu S1, un nuevo modelo que actúa como un actor digital superrápido y superresponsivo que nunca pierde el ritmo. Los investigadores detrás de este proyecto querían resolver el problema de la generación de video "offline", donde tienes que esperar minutos o incluso horas para obtener un resultado. En su lugar, construyeron un sistema que te permite controlar a un personaje digital con tu voz en tiempo real. Piensa en ello como un personaje de un videojuego que no solo sigue un guion preescrito, sino que escucha tus comandos de voz y reacciona instantáneamente, ya sea que le pidas que salude, se siente o haga una forma de corazón con sus manos. Lo genial de esto es que no solo funciona para unos pocos segundos; el artículo sugiere que Vidu S1 puede mantener esto durante un tiempo "infinito" sin que el rostro del personaje se vea borroso o sus movimientos se vuelvan extraños y erráticos, un problema que suele ocurrir cuando la IA intenta crear videos largos.

El equipo detrás de Vidu S1 no solo construyó el cerebro; también construyeron un motor supereficiente para hacerlo funcionar rápido. Utilizaron trucos especiales (que llaman "TurboDiffusion" y "TurboServe") para comprimir la generación de video en tarjetas gráficas regulares que podrías encontrar en una configuración de un jugador (gamer). ¿El resultado? El modelo puede escupir video a una resolución de 540p a una velocidad de 42 FPS (fotogramas por segundo). Para ponerlo en perspectiva, el video estándar se reproduce a 30 FPS, por lo que esto es en realidad más rápido que el tiempo real, lo que significa que la IA puede seguir el ritmo de una conversación en vivo sin retrasos. Los investigadores probaron esto haciendo que los usuarios subieran fotos de sí mismos, personajes de anime o incluso mascotas, y luego les dieran instrucciones de voz. El modelo generó con éxito videos donde los personajes seguían las órdenes, como levantar una pierna o dar un pulgar hacia arriba, manteniendo el rostro exactamente igual a la foto que subiste.

Uno de los mayores obstáculos que aborda el artículo es el problema de la "deriva" (drift). Imagina que intentas dibujar un retrato de una persona, pero cada vez que añades un nuevo detalle, toda la imagen comienza a deformarse y retorcerse lentamente hasta que la persona parece un monstruo. Muchos modelos de video por IA sufren de esto cuando intentan hacer videos largos; cuanto más largo es el video, más se distorsiona el rostro del personaje o el fondo. Vidu S1 utiliza un ingenioso sistema de memoria llamado "TwinCache" para prevenir esto. Es como tener un bibliotecario que guarda un "boceto tosco" de los últimos segundos para mantener el movimiento fluido, mientras también mantiene una "versión final pulida" para asegurar que el rostro del personaje se mantenga nítido y reconocible. Esto permite que el video siga rodando para siempre sin que el personaje se desmorone.

El artículo también señala que, aunque existen otros modelos, la mayoría son demasiado lentos para ser interactivos, no pueden entender comandos de voz directamente o colapsan después de un corto tiempo. Vidu S1 está diseñado específicamente para ser lo opuesto: toma tu voz como un comando directo, genera el video instantáneamente y se mantiene estable durante todo el tiempo que quieras hablar. En sus pruebas, el modelo fue comparado con otros sistemas de alto nivel, y resultó superior en cuanto a qué tan bien seguía las instrucciones y qué tan naturales eran los movimientos. Los investigadores dicen que con esta tecnología, nos acercamos a un futuro donde puedes tener una conversación en vivo y personalizada con un personaje digital que se ve y se mueve igual que una persona real, todo generado sobre la marcha directamente en tu computadora.

Resumen Técnico: Vidu S1 – Un Modelo de Generación de Vídeo Interactivo en Tiempo Real

1. Planteamiento del Problema

Los modelos actuales de generación de vídeo (por ejemplo, Sora, Veo, Wan) operan predominantemente bajo un paradigma offline de un solo paso (one-shot). Los usuarios proporcionan un prompt y esperan minutos para obtener un vídeo completo, sin capacidad de intervenir o interactuar durante el proceso de generación. Esta limitación surge del paradigma de difusión offline, que realiza la eliminación de ruido de un vídeo completo de forma sincrónica, produciendo un resultado limpio solo al final.

Si bien las experiencias visuales interactivas (por ejemplo, transmisiones en vivo, comunicación cara a cara) representan una demanda significativa, las soluciones existentes enfrentan cuatro limitaciones clave:

Falta de Interacción en Tiempo Real: Muchos modelos autorregresivos generan de forma secuencial pero no admiten la intervención activa del usuario durante el proceso.
Ausencia de Control por Voz: La mayoría de los métodos no utilizan el habla como una señal de control directa y explícita para el contenido de vídeo futuro, lo que limita la interacción natural.
Inestabilidad en la Generación de Largo Alcance (Long-Horizon): Los pequeños errores se acumulan con el tiempo en la generación por streaming, lo que provoca deriva visual, inestabilidad y colapso eventual.
Cuellos de Botella en la Infraestructura: La generación en tiempo real requiere no solo mejoras en el modelado, sino también kernels de inferencia especializados, sistemas de servicio y estrategias de programación para ejecutarse eficientemente en hardware de consumo.

2. Metodología

2.1 Preparación de Datos

Los autores construyeron un pipeline de procesamiento de datos progresivo para convertir vídeos heterogéneos brutos en clips de entrenamiento de alta calidad y coherencia temporal:

Recolección: Obtenidos de transmisiones en vivo/talking-heads (para expresión fina y sincronización labial) y cine/TV (para generalización en ángulos y estilos).
Filtrado: Un pipeline de múltiples etapas que incluye pre-filtrado (resolución, FPS), recorte de toma única y filtrado de sujetos.
Calidad y Seguridad: Utiliza una combinación de modelos expertos y un modelo Omni para la comprensión semántica global para filtrar la calidad visual, la seguridad del contenido, la estabilidad de la toma y la interactividad.
Diarización: Extrae componentes de voz y anota marcas de tiempo. Los segmentos se categorizan como en pantalla, fuera de pantalla o solapamiento. Los segmentos con solapamiento se descartan. Reglas heurísticas eliminan segmentos con baja energía de voz para evitar asignaciones erróneas durante el canto o música de fondo.
Etiquetado (Captioning): Genera subtítulos estructurados en dos niveles: clip completo (ancla semántica global) y segmento consciente del habla (condicionamiento temporal fino). Una estrategia de doble vía desacopla la inferencia visual y auditiva para reducir las alucinaciones.

2.2 Marco de Entrenamiento

El pipeline de entrenamiento consta de tres etapas para lograr una generación de vídeo-audio por streaming estable y eficiente:

Etapa 1: Entrenamiento de Profesor Bidireccional: Se entrena un modelo bidireccional en secuencias completas de vídeo-audio ( $x_{1:N}$ ) condicionadas en el contexto completo ( $c_{1:N}$ ). Esto establece un prior generativo de alta calidad.
Etapa 2: Entrenamiento de Profesor Causal: El modelo se adapta a un entorno autorregresivo de streaming.
- Máscara Causal: Cada estado objetivo solo accede al contexto histórico y a las condiciones actuales.
- Entrenamiento Híbrido: Combina Teacher Forcing (usando la historia real limpia) y Diffusion Forcing (usando estados históricos con ruido) para mejorar la robustez contra prefijos imperfectos durante el despliegue autorregresivo.
Etapa 3: Destilación con Regularización: Para reducir el coste computacional de la eliminación de ruido de múltiples pasos, el modelo se destila en un generador de pocos pasos utilizando Distribución de Emparejamiento de Destilación (DMD).
- Regularización PCM: Para prevenir el colapso de modo (deriva, degeneración) común en DMD puro, se añade la regularización de Modelos de Consistencia por Fases (PCM), utilizando una distancia de características perceptuales para mantener la coherencia temporal.

2.3 Arquitectura de Inferencia

Inferencia de Streaming: Emplea decodificación de ventana deslizante para gestionar la memoria.
- Contexto de Referencia Persistente: Actúa como un "token sumidero" (sink token), proporcionando un condicionamiento global estable desde el primer fotograma.
- Reposicionamiento RoPE: Almacena en caché las características clave-valor históricas y reaplica el Positional Embedding Rotativo basado en posiciones relativas actualizadas para evitar cálculos redundantes.
- TwinCache: Una estrategia de caché sensible a la etapa que mantiene dos cachés para los estados históricos: un caché ruidoso (para pasos intermedios, actuando como un prior de paso bajo para la dinámica temporal) y un caché limpio (para el paso final, restaurando detalles finos).
Infraestructura de Inferencia: Construido sobre TurboDiffusion y TurboServe para un servicio de bajo coste en tiempo real en GPUs de consumo.
- Aceleración de Atención: Utiliza SageAttention, SpargeAttention y Sparse-Linear Attention.
- Cuantización: Operadores GEMM cuantizados W8A8 personalizados por bloque en CUDA para manejar valores atípicos (outliers) y reducir la huella de memoria.
- Fusión de Kernels y CUDA Graph: Combina operadores y captura subgrafos de estructura fija para minimizar la sobrecarga de lanzamiento del host y maximizar la utilización de la GPU.
- Paralelismo: Utiliza paralelismo de contexto estilo Ulysses para distribuir la computación entre múltiples GPUs.

3. Contribuciones Clave

Modelo Vidu S1: Un modelo de generación de vídeo interactivo en tiempo real que permite la interacción continua del usuario y el control explícito por voz sobre el contenido de vídeo futuro.
Generación Estable de Longitud Infinita: Mitiga la acumulación de errores en la generación por streaming, permitiendo flujos de vídeo indefinidos sin deriva o colapso visual.
Eficiencia en Tiempo Real: Logra una resolución de 540p a 42 FPS en GPUs de consumo (RTX 5090) mediante un stack de inferencia y servicio eficiente.
Benchmarks de Rendimiento: Demuestra un rendimiento líder en preservación de identidad, sincronización audio-visual y calidad perceptual, mientras soporta el control guiado por la voz.

4. Resultados Experimentales

Benchmarks: Evaluado en Vidu-StreamBench (interno, 500 muestras con instrucciones de acción) y HDTF (benchmark público estándar).
Métricas Cuantitativas: Vidu S1 logró las mejores puntuaciones en todas las métricas:
- CSIM (Identidad): 0.9192
- Sync-D (Sincronización Labial): 7.847
- DOVER (Calidad Perceptual): 0.5660
Preferencia Humana: En pruebas A/B pareadas contra HeyGen, LemonSlice y Kling Avatar 2.0, Vidu S1 fue preferido consistentemente, particularmente en controlabilidad del sujeto (100% de preferencia sobre HeyGen/LemonSlice en seguir instrucciones de acción) y dinámica de movimiento.
Rendimiento Cualitativo: Las comparaciones visuales muestran que Vidu S1 sigue con éxito instrucciones complejas (por ejemplo, "levantar la mano", "pulgar arriba") y mantiene la estabilidad del fondo, mientras que los competidores exhibieron casos de fallo como gestos incorrectos o artefactos en el fondo.
Throughput: Alcanza 42 FPS en RTX 5090, superando el umbral de reproducción en tiempo real de 30 FPS.

5. Significado

El artículo posiciona a Vidu S1 como un paso significativo hacia sistemas de generación de vídeo en tiempo real, controlables y personalizados. Al abordar las limitaciones de la generación offline y la inestabilidad del streaming de largo alcance, Vidu S1 cierra la brecha entre la generación de vídeo de alta calidad y el entretenimiento visual interactivo. La integración de una infraestructura de inferencia eficiente (TurboDiffusion/TurboServe) demuestra que la generación de avatares en tiempo real de alta calidad es factible en hardware comercial, habilitando aplicaciones tales como conversaciones en vivo, presentadores virtuales y agentes educativos.