Resumen Técnico: GDSD: Aprendizaje por Refuerzo como Auto-Distilación de Desruidor Guiado para Modelos de Lenguaje de Difusión

1. Declaración del Problema

Los Modelos de Lenguaje Grandes de Difusión (dLLMs) ofrecen ganancias significativas en eficiencia de inferencia sobre los modelos autoregresivos (ARM) al generar múltiples tokens simultáneamente y romper el estricto orden de generación de izquierda a derecha. Sin embargo, los dLLMs actualmente se quedan atrás de los ARM de última generación en calidad de generación, lo que hace necesarias métodos eficaces de ajuste fino como el Aprendizaje por Refuerzo (RL).

El obstáculo central para aplicar RL a los dLLMs es la intratabilidad de la verosimilitud de la política. Las soluciones existentes generalmente caen en dos categorías:

1. Métodos de Verosimilitud de Trayectoria: Estiman verosimilitudes exactas acumulando probabilidades de transición. Aunque son insesgados, son computacionalmente costosos y no están alineados con los objetivos de pre-entrenamiento.
2. Métodos de Verosimilitud de Secuencia (ELBO): Utilizan la Cota Inferior de Evidencia (ELBO) estimada a partir de secuencias enmascaradas aleatoriamente como sustituto de la verosimilitud real. Estos son computacionalmente eficientes y están alineados con el pre-entrenamiento.

El Problema Central: El artículo argumenta que los métodos de RL basados en ELBO sufren de un sesgo de Desajuste entre Entrenamiento e Inferencia (TIM). Este sesgo surge de dos fuentes:

• Brecha de Verosimilitud: El ELBO es una cota inferior con una brecha no despreciable respecto a la verosimilitud real, introduciendo sesgo y varianza en las razones de muestreo por importancia utilizadas en los objetivos de Gradiente de Política (PG) o PPO.
• Desajuste de la Distribución de Muestreo: La inferencia de dLLM utiliza remascarado iterativo y decodificación por bloques, induciendo una distribución de muestreo ($\pi^{rm}_{old}$) que difiere de la distribución de la política de entrenamiento ($\hat{\pi}_{old}$) estimada mediante ELBO.

Este desajuste hace que la corrección por muestreo por importancia sea ineficaz, lo que lleva a un rendimiento degradado y, en casos graves, al colapso catastrófico del entrenamiento.

2. Metodología: Auto-Distilación de Desruidor Guiado (GDSD)

Los autores proponen la Auto-Distilación de Desruidor Guiado (GDSD), un marco que reformula el RL para dLLMs como un problema de auto-distilación fuera de política, evitando así la necesidad de estimación de verosimilitud y el sesgo TIM.

2.1 Fundamento Teórico

Bajo RL regularizado con KL inverso, la política óptima $\pi^*$ tiene una solución de forma cerrada:
$$\pi^*(x_0) \propto \pi_{old}(x_0)^{1-\beta} \cdot \pi_{ref}(x_0)^\beta \cdot \exp(\psi A(x_0))$$
donde $A(x_0)$ es la función de ventaja, $\beta$ es un coeficiente de regularización y $\psi$ es un coeficiente de guía.

Los autores muestran que esta política óptima induce una distribución de desruido guiada (un desruidor "maestro" $p^*$) para el modelo de difusión enmascarado:
$$p^*(x_0|x_t) = p^{ref}_{old}(x_0|x_t) \cdot \exp(\psi A(x_0) - A_t(x_t))$$
donde $p^{ref}_{old}$ es una mezcla geométrica de las políticas antigua y de referencia, y $A_t(x_t)$ es una constante de normalización.

2.2 El Objetivo GDSD

En lugar de optimizar un objetivo basado en verosimilitud, GDSD distila directamente el desruidor actual $p_\theta$ desde el maestro $p^*$ igualando sus logits. El objetivo minimiza la distancia $L_2$ al cuadrado entre los logits del estudiante y del maestro:
$$\mathcal{L}_{GDSD} = \mathbb{E} \left[ \left( \log p_\theta(x_0|x_t) - \log p^*(x_0|x_t) \right)^2 \right]$$

2.3 Reformulación Libre de Normalización

Un desafío mayor en la implementación de esto es la constante de normalización intratable $Z_t$ (o $A_t$) en la distribución del maestro. Los autores proponen dos soluciones para eliminarla:

1. Ajuste Directo: Aprovechando la invariancia traslacional del operador Softmax, la constante puede ignorarse si los logits del estudiante coinciden con los logits no normalizados del maestro hasta una constante aditiva.
2. Centralización de Logits a Nivel de Token (TLC): Para evitar desplazamientos de escala de logits descontrolados durante las actualizaciones iterativas, los autores proponen centralizar los logits. Restando la media de logits sobre el vocabulario para cada posición de token, la constante de normalización se elimina por completo del objetivo.

El objetivo práctico final (con TLC) es:
$$\mathcal{L}_{GDSD} = \mathbb{E} \left[ \left( \log \bar{p}_\theta(x_0|x_t) - \log \bar{p}_{old}(x_0|x_t) - \psi A(x_0) \right)^2 + \beta \left( \log \bar{p}_\theta(x_0|x_t) - \log \bar{p}_{ref}(x_0|x_t) \right)^2 \right]$$
donde $\bar{p}$ denota el modelo centralizado en logits.

3. Contribuciones Clave

1. Reducción a Auto-Distilación: El artículo establece que el RL regularizado con KL inverso para dLLMs es equivalente a destilar un desruidor guiado desde un auto-maestro derivado de la política óptima de forma cerrada.
2. Marco GDSD: Un método novedoso de auto-distilación libre de verosimilitud que elimina el sesgo TIM por diseño, ya que no depende de razones de muestreo por importancia ni de sustitutos ELBO.
3. Optimización Libre de Normalización: La introducción de la Centralización de Logits a Nivel de Token (TLC) permite un RL en línea eficiente sin calcular funciones de partición intratables.
4. Unificación Teórica: El artículo demuestra que los métodos existentes basados en ELBO (por ejemplo, wd1, DMPO, SPG, UniGRPO) pueden verse como instancias específicas de distilación utilizando diferentes medidas de divergencia (KL Directo o KL Inverso), pero sufren de ineficiencia de datos o sesgo TIM que GDSD evita.

4. Resultados Experimentales

Los autores evaluaron GDSD en LLaDA-8B y Dream-7B a través de seis puntos de referencia:

• Razonamiento Matemático: GSM8K, MATH500
• Planificación: Countdown, Sudoku
• Codificación: HumanEval, MBPP

Hallazgos Clave:

• Mejoras de Rendimiento: GDSD supera consistentemente a los métodos basados en ELBO de última generación. En el modelo Dream-7B, GDSD logró mejoras en la precisión de prueba de hasta +19.6% en tareas de planificación (Sudoku y Countdown). En LLaDA-8B, las mejoras oscilaron entre +0.6% y +5% en los puntos de referencia de planificación, matemáticas y codificación.
• Estabilidad del Entrenamiento: GDSD demostró dinámicas de recompensa de entrenamiento significativamente más estables en comparación con las líneas base basadas en ELBO (por ejemplo, SPG, ESPO), que exhibieron oscilaciones o colapso.
• Estudios de Ablación: Se demostró que el componente de Centralización de Logits a Nivel de Token (TLC) estabiliza aún más el entrenamiento y, en algunos casos (como Sudoku), ayuda al modelo a escapar de mínimos locales para lograr recompensas finales más altas.

5. Significado y Afirmaciones

El artículo afirma que la auto-distilación directa de desruidores ofrece una alternativa más estable y efectiva al RL basado en ELBO para dLLMs. Al eliminar la dependencia de sustitutos de verosimilitud, GDSD evita los sesgos estructurales inherentes a los enfoques de muestreo por importancia. Los resultados sugieren que las ganancias de rendimiento observadas no se deben meramente al ajuste de hiperparámetros, sino que provienen de una ruta de optimización más principista que alinea el objetivo de entrenamiento con la distribución real de inferencia de los dLLMs. Los autores concluyen que ELBO no es necesario para el RL con dLLMs y que su eliminación conduce a capacidades de alineación y razonamiento más robustas.