Resumen Técnico: JoyAI-Echo-1.5

Planteamiento del Problema

La frontera actual en la generación de video enfrenta dos desafíos primarios: lograr la continuidad y el control en narrativas de larga duración, y permitir la interacción precisa en el modelado de mundos interactivos. Los modelos existentes están diseñados mayoritariamente en torno a ventanas temporales fijas, lo que conduce al desvanecimiento de la identidad, historias autogeneradas inestables y una incapacidad para traducir entradas de acción heterogéneas en un movimiento consistente. Específicamente, la generación de larga duración lucha por preservar las identidades de los personajes y las voces de los interlocutores a través de los planos, mientras que los modelos de mundo interactivos a menudo fallan en mantener la consistencia geométrica o en responder con precisión a las intenciones de navegación del usuario durante despliegues extendidos.

Metodología

JoyAI-Echo-1.5 es un sistema unificado de generación audiovisual que comprende dos variantes diseñadas específicamente: un Sistema de Video Largo para historias persistentes y un Sistema de Modelo de Mundo para entornos interactivos. Ambas variantes comparten una arquitectura de generador causal de pocos pasos entrenada mediante un currículo progresivo.

1. Construcción de Datos

El sistema emplea un currículo de datos de dos etapas:

• Etapa I (Construcción de Memoria): Construye corpora centrados en la identidad a partir de personajes recurrentes en clips disjuntos de escenas. Esta etapa se enfoca en entrenar el condicionamiento de memoria audiovisual, emparejando planos objetivo con subconjuntos variables de planos históricos para aprender representaciones robustas de identidad y voz.
• Etapa II (Mejora de Alta Calidad): Utiliza videos de alta resolución, sin subtítulos y enriquecidos con chino (de un solo plano y de múltiples planos) para mejorar la calidad audiovisual general, la cobertura espacial y el modelado de transiciones.
• Anotación de Acción: Para el modelo de mundo, las entradas de navegación heterogéneas (renders de UE, gameplay interno, gameplay humano) se unifican en trayectorias de cámara métricas de 6 grados de libertad (6-DoF) calibradas. Un pipeline asistido por profundidad métrica recupera poses de secuencias largas para asegurar la consistencia de escala y la robustez.

2. Generación de Video Largo: Memoria y Consistencia

• Condicionamiento de Memoria Audiovisual Unificado: El sistema introduce una memoria composable entre planos. La memoria visual se construye muestreando fotogramas de múltiples planos previos, mientras que la memoria de audio utiliza audio de plano completo filtrado por voz para derivar pistas de interlocutor robustas.
• Separación RoPE: Para manejar la memoria sin confusión en la línea de tiempo, el modelo asigna regiones de incrustación posicional rotativa (RoPE) temporal separadas para el objetivo actual, la memoria histórica y la memoria inicial. Esto permite que el modelo acceda conjuntamente a la evidencia de apariencia y voz manteniendo los tokens de memoria distintos de la línea de tiempo de predicción.
• Condicionamiento: El sistema soporta combinaciones flexibles de Texto-a-Audio-Video (T2AV), Imagen-a-Audio-Video (I2AV) y variantes condicionadas por memoria (MT2AV, MTI2AV) bajo una interfaz unificada.

3. Modelado de Mundo: Control Geométrico

• Interfaz Independiente del Controlador: El sistema convierte diversas entradas de navegación en una representación de trayectoria relativa de 6-DoF unificada y ajena al sujeto.
• Calibración de Escala: Se aplica un factor de escala global para calibrar las traslaciones relativas a través de diferentes fuentes de datos, asegurando una semántica de velocidad consistente.
• Codificación Posicional de Cámara Unificada (UCPE): La geometría de la trayectoria se inyecta mediante una vía de atención paralela usando UCPE, haciendo que la geometría de la cámara por pares sea invariante a los cambios de coordenadas globales mientras preserva las magnitudes de traslación relativa calibradas.

4. Pipeline de Entrenamiento: Generación Causal de Pocos Pasos

Para permitir una generación de largo horizonte eficiente y estable, el backbone audiovisual bidireccional se transforma en un generador causal de pocos pasos a través de un proceso de tres etapas:

• Forzado de Profesor Audiovisual (Audio-Visual Teacher Forcing): Inicializa un generador de streaming causal entrenando en contextos históricos de verdad de terreno, convirtiendo la atención bidireccional en atención causal por fragmentos (chunk-wise).
• Forzado de Gradiente Propio (Self-Gradient Forcing - SGF):
  • SGF de Corto Horizonte: Entrena al modelo en despliegues (rollouts) autogenerados mediante la reconstrucción de la computación causal en un pase hacia adelante diferenciable. Esto permite que los gradientes fluyan a través del proceso de escritura de contexto, mejorando la robustez ante errores autoregresivos.
  • SGF de Largo Horizonte: Extiende el SGF a trayectorias más largas utilizando una política de "sumidero más FIFO" para limitar el caché KV mientras mantiene caminos de gradiente de múltiples saltos mediante propagación por capas.
• Destilación de Emparejamiento de Distribución (Distribution Matching Distillation - DMD): Convierte el generador de múltiples pasos en un estudiante de 8 pasos (video largo) o 4 pasos (modelo de mundo).
  • Optimización Asimétrica: La rama de video se ajusta completamente para adaptarse a los cambios estructurales, mientras que la rama de audio utiliza Adaptación de Bajo Rango (LoRA) para preservar los conocimientos previos acústicos.
  • Programación de Grueso a Fino: Las actualizaciones de alto ruido estabilizan la estructura del video, seguidas de actualizaciones de bajo ruido para refinar los detalles del audio.
  • Restricciones de Audio: Se introducen pérdidas adversarias y emparejamiento de nivel RMS para prevenir el sobre-suavizado y la deriva de energía en el audio.

5. Planificación y Control Agéntico

Un Agente Director orquesta el proceso de generación. Resuelve la intención del usuario en un guion cinematográfico, gestiona la recuperación de memoria, realiza la mejora de prompts y maneja la revisión y revisión por toma. Este agente asegura que la generación esté condicionada por evidencia visual fundamentada y decisiones del usuario, en lugar de planes no verificados.

6. Super-Resolución de Pasos Arbitrarios (SR)

Una etapa de SR dedicada restaura las texturas finas a la resolución de entrega. Usando MeanFlow, el sistema destila un profesor de coincidencia de flujo (flow-matching) en un modelo que predice la velocidad promedio sobre un intervalo. Esto permite el muestreo de pasos arbitrarios (por ejemplo, de 1 paso a N pasos) en el tiempo de inferencia sin necesidad de reentrenamiento, sirviendo tanto para casos de uso críticos de latencia como para aquellos enfocados en la calidad.

Contribuciones Clave

1. Un Sistema de Video Largo que Recuerda: Introduce memoria audiovisual de múltiples planos con representaciones de voz filtradas por voz y condicionamiento composable para preservar la identidad a través de los planos.
2. Un Modelo de Mundo que Responde: Establece una interfaz de acción independiente del controlador basada en trayectorias métricas de 6-DoF calibradas, permitiendo un control de cámara preciso a través de fuentes de datos y puntos de vista heterogéneos.
3. Un Generador Construido para Continuar: Desarrolla un pipeline de entrenamiento causal de pocos pasos que combina el forzado de profesor audiovisual con SGF de corto y largo horizonte, permitiendo que el modelo aprenda de su propia distribución de despliegue y permanezca estable durante la generación extendida.

Resultados

• Rendimiento de Video Largo: JoyAI-Echo-1.5 logra un rendimiento de vanguardia en un benchmark de 100 historias, superando a las líneas base en consistencia visual entre planos (ViCLIP: 0.8264), identidad de personaje (Self-CIDS: 0.7937) y consistencia de voz (Voice: 0.8524). También lidera en alineación de texto y fidelidad de voz. Las evaluaciones humanas muestran una preferencia significativa sobre HappyOyster en seguimiento de instrucciones y sincronización audiovisual.
• Rendimiento del Modelo de Mundo: En la división de Navegación de WBench, la variante no destilada logra la puntuación promedio más alta (81.7), mientras que la variante causal destilada de 4 pasos ocupa el segundo lugar (81.0) con una puntuación de interacción superior (87.9). En SANA-WM-Bench, el sistema lidera en seguimiento de trayectoria y calidad visual tanto para horizontes cortos (241 fotogramas) como largos (961 fotogramas). El modelo causal destilado demuestra despliegues autoregresivos robustos de 60 segundos con un desvanecimiento mínimo en la identidad y estructura de la escena.
• Mejoras Cualitativas: El sistema preserva eficazmente la estructura facial, la vestimenta y la identidad de la voz a través de planos temporalmente distantes, y mantiene un equilibrio de exposición y color estable en secuencias de larga duración.

Significado

El artículo postula que la memoria, el control geométrico y el entrenamiento consciente del despliegue proporcionan una base práctica para generar historias coherentes y mundos interactivos que evolucionan continuamente. JoyAI-Echo-1.5 demuestra que la generación de video puede ir más allá de la creación de clips aislados hacia el sostenimiento de narrativas y la respuesta a la intención del usuario con alta fidelidad. La capacidad del sistema para mantener la consistencia en horizontes largos y a través de entradas de control heterogéneas aborda limitaciones críticas en los modelos actuales de generación de video, allanando el camino para experiencias de medios más inmersivas e interactivas. Los autores señalan que, si bien se ha logrado un progreso significativo, la deriva rotacional acumulada en trayectorias difíciles de largo horizonte sigue siendo una limitación clave para trabajos futuros.