Resumen Técnico: Paris 2.0 – Un Modelo de Difusión Descentralizado para la Generación de Video

1. Enunciado del Problema

Los modelos actuales de generación de video dependen de un paradigma de entrenamiento monolítico, donde un único modelo se entrena sobre una mezcla amplia de conjuntos de datos de video utilizando un clúster homogéneo de GPUs de alto ancho de banda y ubicadas en el mismo lugar. Este enfoque crea restricciones significativas de infraestructura, ya que las actualizaciones de parámetros requieren sincronización a través de hardware acoplado estrechamente. Aunque los Modelos de Difusión Descentralizados (DDM) han demostrado con éxito que la generación de imágenes puede entrenarse sin clústeres monolíticos (como se muestra en Paris 1.0 [2]), extender esto a la generación de video coherente temporalmente seguía siendo un problema abierto. La generación de video impone cargas más pesadas a los expertos, incluyendo el modelado del movimiento, contextos temporales más largos y espacios latentes sustancialmente más grandes, planteando la pregunta de si el entrenamiento descentralizado y asíncrono podría producir video de alta calidad y coherente.

2. Metodología

Arquitectura Central

Paris 2.0 es un conjunto de expertos de difusión independientes combinados durante la inferencia por un enrutador aprendido. El sistema consta de tres componentes principales:

• Pila de Preprocesamiento Compartida: Los videos se codifican en latentes causales HunyuanVAE almacenados en caché. Los prompts se codifican utilizando T5-v1.1-XXL y CLIP-ViT-L/14. Esta pila se desacopla de la ruta de entrenamiento hacia adelante para reducir la sobrecarga computacional.
• Grupo de Expertos: El modelo utiliza tres expertos MM-DiT (Transformador de Difusión Multimodal) estilo FLUX de 11 mil millones de parámetros. Cada experto se entrena desde cero en un clúster de datos distinto utilizando un objetivo de velocidad de ajuste de flujo. Crucialmente, los expertos no intercambian gradientes, parámetros ni activaciones durante el entrenamiento; se optimizan de forma aislada en hardware heterogéneo (incluyendo instancias de spot y hardware de consumo).
• Enrutador: Un modelo DiT-B ligero (~100 millones de parámetros) realiza el enrutamiento en cada paso de eliminación de ruido. Consume el latente ruidoso actual, el paso de tiempo de difusión, los vectores de texto CLIP agrupados y, opcionalmente, una característica del primer frame de DINOv2. Produce pesos de enrutamiento para seleccionar los top-$K$ expertos. A diferencia de los expertos, el enrutador no accede a las incrustaciones completas de T5, confiando en su lugar en el vector CLIP agrupado.

Entrenamiento e Inferencia

• Entrenamiento: Cada experto está confinado a su propio clúster de datos. El enrutador se entrena independientemente como un clasificador de clústeres supervisado, prediciendo la etiqueta del clúster de origen de un latente ruidoso emparejado con su característica de texto CLIP.
• Inferencia: En cada paso de eliminación de ruido, el enrutador lee el estado actual y selecciona expertos para evaluar el campo de velocidad del video. La suma ponderada de los campos de velocidad de estos expertos impulsa un solucionador de EDO hacia el siguiente latente. Este diseño asegura que la computación por muestra permanezca en el orden de una sola columna vertebral, mientras que la capacidad total escala horizontalmente añadiendo más expertos.

3. Contribuciones Clave

• Primer Modelo de Video Descentralizado: Paris 2.0 es el primer modelo de generación de video preentrenado completamente mediante computación descentralizada, demostrando que se puede generar video coherente temporalmente sin clústeres de GPU monolíticos.
• Computación Desacoplada para Video: El artículo extiende la receta de computación desacoplada de imágenes a video, demostrando que distintos clústeres de datos que exhiben diferentes patrones de movimiento y dinámicas de escena pueden ser explotados por expertos especializados sin obligar a cada muestra a pagar por cada experto.
• Especialización de Expertos: El estudio proporciona evidencia de que los expertos entrenados de forma aislada realmente se especializan en sus clústeres de datos asignados en lugar de colapsar hacia una distribución marginal, un prerrequisito para un enrutamiento efectivo.
• Enrutamiento frente a Ensamblaje: Mediante estudios de ablación, los autores demuestran que las ganancias de rendimiento provienen del mecanismo de enrutamiento entre expertos especializados en lugar del simple ensamblaje o del aumento de la cantidad de parámetros por sí solo.

4. Resultados Experimentales

Los autores evaluaron Paris 2.0 (Etapa 1, DDM de tres expertos) frente a un MM-DiT monolítico de 11 mil millones de parámetros entrenado sobre la unión de los mismos clústeres de datos bajo un presupuesto iso-FLOP e iso-datos (cada experto ve 1/3 de los datos y la computación del modelo monolítico).

Mejoras Cuantitativas (Texto-a-video de baja resolución 256×256):

• Distancia de Video Fréchet (FVD): Reducida de 561.04 (Monolítico) a 279.01 (DDM), representando una mejora de ~2.0× en el realismo distribucional.
• Similitud Texto-Video CLIP: Aumentada de 0.2032 a 0.2178.
• Puntuación Estética: Mejorada de 3.7950 a 3.9036.
• Movimiento: El DDM mostró una mayor magnitud de desplazamiento por frame (0.712 vs 0.555), aunque los autores notan que esto es una medida descriptiva de magnitud, no de consistencia temporal.

Hallazgos de Ablación:

• Programa de Cambio: Un programa manual alterno entre dos expertos superó a los expertos individuales en todas las métricas, sugiriendo una especialización direccional a lo largo del tiempo de eliminación de ruido (por ejemplo, un experto prefiriendo pasos de alto ruido, otro de bajo ruido).
• Brecha de Especialización: Un experto entrenado en un clúster específico logró una puntuación CLIP de 0.2175 en los prompts de su propio clúster frente a 0.1781 en un conjunto genérico, confirmando una especialización genuina.

5. Significado y Afirmaciones

El artículo afirma que Paris 2.0 resuelve la pregunta abierta de si el entrenamiento descentralizado puede producir video coherente temporalmente. El significado principal radica en demostrar que la capacidad de expertos entrenada de forma aislada no solo sobrevive a la transición al video, sino que supera a una sola columna vertebral entrenada sobre los mismos datos.

Los autores posicionan este trabajo como un paso hacia modelos mundiales de IA física. Argumentan que los modelos mundiales fundamentales deben cubrir entornos muy más allá de la capacidad de cualquier clúster de entrenamiento individual. Al especializar expertos por entorno y enrutarlos entre ellos, Paris 2.0 ofrece una vía para entrenar modelos mundiales sobre la computación distribuida que el mundo ya tiene, en lugar de depender de los clústeres monolíticos accesibles solo para unos pocos laboratorios. Los resultados sugieren que la receta DDM es lo suficientemente robusta para escalar desde imágenes hasta la generación de video compleja y cargada de movimiento.