Resumen Técnico: Visko Orbis 1.0

Planteamiento del Problema

Los sistemas actuales de generación de vídeo (p. ej., Sora, Veo, Kling) operan predominantemente en un paradigma offline: un usuario envía un prompt, espera el procesamiento y recibe un clip fijo que no puede ser alterado. Aunque estos sistemas destacan en fidelidad visual y generación de formato corto, no logran soportar experiencias interactivas en vivo donde el vídeo se consume mientras se está creando (p. ej., streaming en vivo, narrativa interactiva, compañeros virtuales). Los intentos existentes de streaming o vídeo interactivo suelen abordar solo aspectos aislados —como el streaming causal, la interacción limitada o la estabilidad de largo horizonte— pero carecen de un sistema de extremo a extremo que soporte simultáneamente el control del usuario en tiempo real, la generación sostenida de largo formato sin deriva de calidad y la entrega progresiva. Además, servir tales modelos en tiempo real requiere resolver los cuellos de botella de inferencia relacionados con la reutilización de estados, la ejecución paralela y el escalado progresivo.

Metodología

Visko Orbis 1.0 se formula como un Modelo en Vivo (Live Model): un proceso persistente que genera vídeo en tiempo real bajo un reloj continuo, aceptando actualizaciones sin reinicialización. El sistema se basa en un modelo de vídeo latente por fragmentos (chunk-wise) que genera fragmentos temporales sucesivos manteniendo una memoria multiescala acotada del despliegue precedente.

1. Curación de Datos y Pipeline de Entrenamiento

El pipeline de entrenamiento utiliza un motor de datos multi-etapa para filtrar, anotar y reequilibrar una gran colección de vídeos brutos:

• Procesamiento de Datos: Los vídeos brutos se someten a un recorte consciente de tomas (3–240s), filtrado de seguridad por capas y un filtrado de calidad en cascada (evaluando integridad estructural, coherencia temporal y movimiento). El reequilibrio de la distribución asegura la cobertura en diversos dominios (naturaleza, urbano, industrial, gaming) para evitar el colapso del modelo hacia estilos visuales estrechos.
• Etiquetado (Captioning): Un sistema de etiquetado multi-etapa genera descripciones de evento único para supervisión holística y descripciones temporales alineadas con eventos que delimitan las acciones a intervalos específicos, permitiendo al modelo gestionar el cambio de prompts dentro de un mismo vídeo.
• Entrenamiento Progresivo:
  • Preentrenamiento Bidireccional: Entrenado en vídeos de 1–5s para establecer un fuerte prior visual.
  • Adaptación de Streaming: El modelo se adapta a la generación causal por fragmentos en vídeos de 3–10s utilizando un objetivo de flujo rectificado lineal.
  • Entrenamiento Intermedio (Mid-Training): Especializado en datos de eventos únicos y múltiples para mejorar la naturalidad del movimiento y la coherencia temporal.
  • Ajuste Fino (Fine-Tuning): Se utilizan subconjuntos de alta calidad curados por humanos para refinar la fidelidad visual y las transiciones de eventos.
  • Post-entrenamiento: Incluye el post-entrenamiento de flujo de pocos pasos mediante destilación (eliminando la rama incondicional) y Aprendizaje por Refuerzo de Grupo Relativo (GRPO) para optimizar la calidad visual, el movimiento y la alineación texto-vídeo. Se utiliza un modelo de mundo latente para puntuar futuros candidatos según su plausibilidad física.

2. Arquitectura del Modelo y Memoria

• Formulación: El modelo genera fragmentos $z_k$ condicionados por instrucciones de texto $c_k$, referencias visuales $r_k$ y un historial acotado $H_k$. Las instrucciones se tratan como controles externos; las actualizaciones afectan únicamente a los fragmentos no comprometidos.
• Memoria Multiescala Acotada: Para sostener despliegues de escala horaria, el sistema retiene el historial reciente a resolución latente nativa mientras comprime progresivamente los periodos más antiguos en un estado aprendido de capacidad fija. Esto evita la acumulación de errores y la deriva de color, manteniendo constante la computación por fragmento.
• Super-resolución: Un modelo de super-resolución de vídeo de refinamiento único transforma los fragmentos nativos de 832 × 480 en una salida 4K. Emplea autoencoders destilados temporalmente y atención de ventana espacial para preservar la consistencia del movimiento sin introducir dependencias autorregresivas entre fragmentos.

3. Inferencia y Servicio

El stack de inferencia está diseñado para la entrega progresiva y la interacción en tiempo real:

• Control en Vivo: Los prompts se codifican de forma asíncrona y se aplican en los límites de los fragmentos. Un resumen de prompt rotativo mantiene el contexto a través de las interacciones.
• Ejecución Optimizada: El sistema utiliza ejecución de transformadores compilados, kernels fusionados y ejecución multi-GPU de secuencia completa (usando particionamiento de secuencia tipo Ulysses) para minimizar la latencia.
• Estabilización de la Deriva: Se aplican controles adaptativos al contenido (p. ej., perturbación aditiva, escalado temporal de RoPE y enrutamiento de prompt negativo sensible al movimiento) para estabilizar los despliegues largos contra errores acumulados.
• Salida: El pipeline entrega vídeo 4K a 24 FPS con una respuesta media a las actualizaciones de prompt de menos de un segundo.

Contribuciones Clave

1. Formulación Unificada de Vídeo en Vivo: Un proceso de flujo latente por fragmentos persistente donde el estado visual se transporta a través de los fragmentos, permitiendo que las instrucciones indexadas en el tiempo cambien sin reiniciar el despliegue. Esto soporta T2V, I2V y continuación V2V bajo una única interfaz.
2. Datos y Entrenamiento Alineados con Eventos: Un motor de datos multi-etapa que produce descripciones temporalmente localizadas y un currículo que transita desde priors de vídeo corto hacia streaming condicionado por historial, incluyendo un entrenamiento específico para el cambio de prompts y la estabilidad de largo horizonte.
3. Memoria Acotada para Generación de Largo Horizonte: Un mecanismo que retiene el historial reciente a alta resolución mientras comprime los datos antiguos en un estado fijo, permitiendo despliegues de escala horaria sin deriva evidente de calidad o color.
4. Post-entrenamiento de Flujo de Pocos Pasos: Un pipeline que combina la destilación de guía, el emparejamiento de distribución de auto-forzamiento y el aprendizaje por refuerzo basado en GRPO para alinear el modelo con recompensas de calidad de vídeo y plausibilidad física.
5. Co-diseño de Sistema de Streaming de Alta Resolución: Un pipeline de servicio optimizado que integra la reutilización de estado, el paralelismo de secuencia de lote uno y un modelo de super-resolución consciente de la referencia para lograr la entrega de 4K en tiempo real.

Resultados

El artículo evalúa Visko Orbis 1.0 en 74 casos que involucran vídeos de 1 a 3 minutos con múltiples cambios de evento, comparándolo con sistemas de vanguardia como Helios, Self-Forcing, LongLive y Causal-Forcing.

• Métricas Cuantitativas:
  • DOVER: Logró las puntuaciones estética (0.8101) y técnica (0.5572) más altas.
  • VideoAlign: Aseguró las mejores puntuaciones de calidad visual (1.5777) y calidad de movimiento (1.8646), junto con el logit de alineación texto-vídeo más alto (0.1043).
  • Preferencia Humana (HPSv3): Registró una media de fotogramas de 8.1018 y un mínimo de 6.9719.
• Arena de Preferencia Humana: En un estudio comparativo frente a 9 sistemas, Visko Orbis 1.0 alcanzó el Elo General más alto (1838) y el Elo de Estabilidad Temporal más alto (1940). Mientras que otros sistemas (p. ej., HappyOyster) mostraron una fidelidad visual competitiva, Orbis demostró una ventaja distintiva en mantener experiencias de visualización de largo formato coherentes y en el manejo de cambios de instrucción.
• Consistencia de Largo Horizonte: La Figura 1 ilustra que, durante un despliegue de 3600 segundos (1 hora), el sistema mantiene una calidad estética, alineación de prompt y saturación de color (trayectorias HSV) estables en comparación con los sistemas de referencia que exhiben deriva.

Significancia y Reivindicaciones

El artículo posiciona a Visko Orbis 1.0 como la primera realización del paradigma de Modelo en Vivo para la generación de vídeo. Reivindica que este trabajo desplaza la frontera de la generación de vídeo de la producción de clips estáticos y limitados hacia el sostenimiento de un flujo visual controlable. Al integrar generación con estado, entrenamiento alineado con eventos y un servicio eficiente en tiempo real, el sistema permite a los usuarios dirigir la generación de vídeo continuamente a medida que esta se desarrolla. Los autores afirman que este trabajo hace avanzar la generación de vídeo hacia un medio creativo responsivo, soportando aplicaciones que van desde el streaming en vivo y la narrativa interactiva hasta la robótica y la compañía virtual, todo ello manteniendo una alta fidelidad visual y estabilidad temporal durante duraciones extendidas.