Resumen Técnico: Sumi – Modelo de Lenguaje de Difusión Uniforme Abierto desde Cero

Planteamiento del Problema

Si bien los modelos de difusión han surgido como una alternativa prometedora a los modelos de lenguaje autorregresivos (AR), existe una brecha significativa en el desarrollo de Modelos de Lenguaje de Difusión Uniforme (UDLM) a gran escala. A diferencia de los Modelos de Lenguaje de Difusión con Máscara (MDLM), que completan los tokens enmascarados de forma irreversible, los UDLM permiten que cualquier token sea actualizado en cualquier paso, lo que teóricamente permite una generación y autocorrección más flexibles.

Sin embargo, ningún UDLM ha sido preentrenado desde cero tanto en escalas de parámetros grandes (miles de millones de parámetros) como en presupuestos de tokens grandes (billones de tokens). Los UDLM extensos existentes son o bien puntos de control de computación óptima entrenados con presupuestos de tokens pequeños, o modelos adaptados de arquitecturas AR preentrenadas (por ejemplo, DiffusionGemma). En consecuencia, el comportamiento de la difusión uniforme nativa a gran escala en el régimen rico en datos permanece inexplorado, careciendo de un punto de referencia limpio para estudiar las leyes de escala, la dinámica de generación y las compensaciones frente a las líneas base establecidas de AR y MDLM.

Metodología

Arquitectura del Modelo y Objetivo de Entrenamiento

Los autores presentan Sumi, un UDLM de 7 mil millones de parámetros totalmente abierto.

• Arquitectura: Sumi utiliza un Transformer bidireccional independiente del tiempo con 36 capas, un tamaño oculto de 4,096 y MLPs SwiGLU. Emplea atención de consulta agrupada (32 cabezales, 8 grupos KV), RMSNorm y embeddings de entrada/salida no vinculados. Para mitigar los sumideros de atención (attention sinks), se aplica un softmax de "desfase por uno" (off-by-one) en la atención.
• Objetivo: El modelo se entrena utilizando el objetivo de Difusión Discreta de Interpolación Generalizada (GIDD), específicamente en su forma reparametrizada por Relación Señal-Ruido (SNR).
• Programación de Ruido (Noise Schedule): El entrenamiento utiliza ruido uniforme puro con el log-SNR restringido a $\lambda \in [-9, 9]$.
• Tokenización: Se utiliza el tokenizador OLMo 3 con un tamaño de vocabulario de 100,278.

Régimen de Entrenamiento

Sumi fue preentrenado desde cero sobre 1.5 billones de tokens utilizando 288 GPUs NVIDIA H100 (totalizando aproximadamente ~43,308 horas-GPU).

1. Pre-entrenamiento (1.3T tokens): Realizado con una longitud de secuencia de 1,184 y un tamaño de lote global de 4,608. La mezcla de datos está fuertemente ponderada hacia contenido educativo, filtrado y re-clasificado por puntuaciones educativas derivadas de un clasificador Qwen3-32B destilado.
2. Entrenamiento intermedio (250B tokens): Dos etapas siguen al pre-entrenamiento:
   • 130B de tokens con la longitud original (1,184).
   • 120B de tokens con una longitud extendida (4,864).
   • La mezcla se desplaza hacia el enfoque en código, matemáticas y razonamiento, comprendiendo un 32.5% de datos de programación, 29.7% de matemáticas, 21.0% de general y 16.8% de razonamiento.

Estrategia de Inferencia

• Longitud del Lienzo (Canvas Length): El modelo utiliza una longitud de lienzo fija de 2,048 tokens para todas las evaluaciones. Esta longitud fue elegida porque el rendimiento se degrada significativamente en lienzos sustancialmente más cortos o más largos.
• Muestreo: Los autores exploran el muestreo adaptativo basado en la confianza frente al muestreo ancestral.
• Protocolo de Evaluación: Todas las evaluaciones utilizan el lm-evaluation-harness modificado para la puntuación de difusión. Para tareas de verosimilitud (likelihood), las posiciones más allá de la respuesta se llenan con tokens aleatorios; para tareas de generación, las actualizaciones se restringen a la longitud de generación.

Contribuciones Clave

1. Primer UDLM Nativo a Gran Escala: Sumi es el primer UDLM preentrenado desde cero a una escala de parámetros grande (7B) y un presupuesto de tokens grande (1.5T), proporcionando una línea base para estudiar la difusión uniforme nativa.
2. Lanzamiento Abierto: Los autores liberan los pesos del modelo, los puntos de control y la receta completa de entrenamiento, incluyendo una especificación completa de la mezcla de datos sobre corpus públicos disponibles.
3. Sondas de Inferencia Exploratorias: El artículo presenta análisis direccionales sobre la dinámica de generación, incluyendo la sensibilidad de la longitud del lienzo, el orden de compromiso de tokens, las capacidades de decodificación paralela y el potencial de autocorrección.

Resultados

Rendimiento en Benchmarks

Sumi fue evaluado en 13 benchmarks en cuatro categorías y comparado contra modelos AR abiertos (Falcon-7B, Llama 2-7B, OLMo-7B) entrenados con presupuestos de tokens comparables.

• Conocimiento General y Programación: Sumi es competitivo, logrando los mejores puntajes entre los modelos evaluados bajo el mismo protocolo en MMLU, TruthfulQA, HumanEval y MBPP. Esto se atribuye a la mezcla de datos con fuerte peso en educación y código.
• Razonamiento y Matemáticas: Sumi es competitivo con Llama 2-7B y supera a Falcon-7B en tareas como GSM8K y ARC, aunque queda por detrás de modelos más grandes o entrenados de forma distinta (ej. LLaDA-8B, Llama 3-8B).
• Sentido Común: Sumi tiene un rendimiento significativamente inferior en benchmarks de sentido común (PIQA, HellaSwag, WinoGrande). Los autores atribuyen esta brecha a la mezcla de datos con énfasis educativo, lo cual se ha observado que degrada el rendimiento del sentido común, aunque señalan que la brecha es probablemente mayor de lo que la composición de datos por sí sola puede explicar.

Observaciones de Inferencia

• Sensibilidad del Lienzo: La fluidez de la generación es altamente sensible a la longitud del lienzo. Sumi genera de forma fluida dentro de una banda dependiente de la tarea (centrada en 2,048) pero se degrada bruscamente fuera de este rango, particularmente en lienzos cortos.
• Orden de Compromiso: Aunque el objetivo de entrenamiento es independiente del orden, el muestreo basado en la confianza induce un orden de compromiso auto-organizado. El modelo tiende a comprometer tokens determinables temprano y posponer los inciertos, una estructura que no está presente en el muestreo ancestral.
• Decodificación Paralela: En tareas de programación (HumanEval, MBPP), el modelo soporta una decodificación paralela modesta (comprometiendo hasta 4 tokens por paso) con una pérdida de precisión mínima. Sin embargo, la aritmética de múltiples pasos (GSM8K) sigue siendo sensible al orden, degradándose inmediatamente con pasos paralelos.
• Autocorrección: Un presupuesto de revisión explícito (permitir pasadas de eliminación de ruido adicionales) no produce autocorrección. Aunque el modelo sobrescribe los tokens comprometidos, estas ediciones son predominantemente "viajes de ida y vuelta" ($A \to B \to A$) en lugar de mejoras dirigidas, dejando la precisión final sin cambios.

Significancia y Reclamaciones

El artículo posiciona a Sumi como un recurso fundamental para que la comunidad estudie la difusión uniforme nativa a escala. Los autores enfatizan que sus sondas de inferencia son "direccionales en lugar de concluyentes", destinadas a motivar la investigación futura en aspectos poco comprendidos de los UDLM, tales como:

• Los comportamientos de generación intrínsecos de la difusión uniforme frente a la difusión con máscara.
• Las condiciones bajo las cuales la autocorrección podría ser alcanzable.
• El impacto de la composición de datos en las fortalezas y debilidades específicas de los modelos de difusión.

Los autores declaran explícitamente que Sumi se lanza como un modelo base preentrenado sin ajuste de instrucciones (instruction tuning) ni filtrado de seguridad, destinado a apoyar la investigación en lugar de al despliegue directo. Advierten que el modelo hereda los riesgos estándar asociados con los modelos de lenguaje base, incluyendo el potencial para salidas dañinas e inexactitudes fácticas.