Resumen Técnico: DiHAL – Reemplazo de Estado Oculto Guiado por Geometría

Enunciado del Problema

Los modelos de lenguaje de difusión continua han quedado históricamente por detrás de los transformadores autoregresivos. Aunque los modelos de difusión sobresalen en la generación de imágenes mediante la eliminación iterativa de ruido, su aplicación al texto es un desafío debido a la naturaleza discreta de los tokens. Los enfoques anteriores que intentaron adaptar la difusión al lenguaje —como la corrupción de tokens discretos, la difusión enmascarada o la difusión continua sobre incrustaciones de tokens y latentes aprendidos— a menudo luchan contra el cuello de botella de la recuperación "continua-a-discreta". Pequeños errores en el espacio de representación continua pueden conducir a una recuperación incorrecta de tokens, degradando la calidad de la generación.

Los autores hipotetizan que la brecha de rendimiento no se debe únicamente a la discreción, sino que surge de aplicar difusión en espacios continuos con una geometría inadecuada. Mientras que los modelos de lenguaje Transformer operan sobre estados ocultos continuos, estos estados varían en sus propiedades geométricas a través de las capas. La pregunta central planteada es: ¿Dentro de un Transformer preentrenado, el espacio de representación posee la geometría requerida para una eliminación de ruido y recuperación efectivas basadas en difusión?

Metodología: DiHAL

El artículo propone DiHAL (Arquitectura Híbrida de Difusión-Transformer para Generación de Lenguaje), un marco de "Localizar y Reemplazar" que integra un puente de difusión en un Transformer preentrenado en lugar de entrenar un modelo de difusión independiente.

1. Motivación Teórica

Los autores fundamentan su enfoque en la dinámica de Langevin y la teoría de concentración. Argumentan que un espacio de representación "amigable para la difusión" debe satisfacer tres propiedades geométricas:

• Contracción Rápida: El espacio debe permitir que las muestras ruidosas se contraigan rápidamente hacia la distribución objetivo (gobernado por una fuerte log-concavidad/curvatura).
• Estabilidad: El proceso de eliminación de ruido debe ser robusto ante errores de estimación de puntuación (también gobernado por la curvatura).
• Baja Complejidad Efectiva: La variación en la representación debe estar concentrada en una variedad de baja dimensión, facilitando el aprendizaje del modelo de difusión.

2. Localizar: Selección de Capas Guiada por Geometría

Dado que la densidad verdadera y el Hessiano de los estados ocultos no están disponibles, DiHAL utiliza proxi geométricos empíricos para puntuar cada capa del Transformer:

• Curvatura Local ($\hat{m}_{curv}$): Estimada mediante el inverso del valor eigen máximo de las covarianzas del vecindario local. Valores más altos indican vecindarios compactos.
• Monotonía Global ($\hat{m}_{mono}$): Estimada mediante el cociente de Rayleigh de la matriz de precisión regularizada. Valores más altos indican rigidez direccional global.
• Rango Efectivo ($\hat{k}$): Estimado como la traza de la covarianza dividida por su norma espectral ($\text{tr}(\Sigma)/\|\Sigma\|$). Valores más bajos indican concentración en una variedad de baja dimensión.

Se calcula una puntuación de selección combinando estos proxi (recompensando la curvatura y penalizando el rango efectivo) para identificar la capa de inserción óptima $\ell^*$.

3. Reemplazar: Puente de Difusión de Estado Oculto

Una vez identificada la capa óptima $\ell^*$:

• El prefijo inferior del Transformer (capas $1$a$\ell^*$) es reemplazado por un puente de difusión condicional.
• El puente se entrena para reconstruir el estado oculto $h_{\ell^*}$ dada una condición basada en incrustaciones derivada de la entrada del modelo fuente.
• Las capas superiores del Transformer ($\ell^*+1$ a $N$) y la cabeza original del Modelo de Lenguaje (LM) se conservan y congelan (o se ajustan mínimamente).
• Durante la inferencia, el puente elimina el ruido de la condición para producir $\hat{h}_{\ell^*}$, que luego se pasa a las capas superiores conservadas para la predicción de tokens. Esto evita la recuperación directa de tokens, reformulando el problema como reconstrucción de estado oculto.

Contribuciones Clave

1. Formulación de la Inserción de Difusión: El artículo formula la inserción de difusión en Transformers preentrenados como un problema de selección de interfaz guiado por geometría, proponiendo proxi prácticos a nivel de capa (compacidad local, rigidez global, rango efectivo) para identificar espacios amigables para la difusión.
2. Puntuación de Geometría Fija: Los autores introducen una puntuación de geometría fija que se correlaciona fuertemente con la "puentabilidad" (calidad de reconstrucción) en backbones de escala 8B. Esto permite la identificación de capas de inserción efectivas sin un entrenamiento exhaustivo de puentes para cada capa candidata.
3. Arquitectura DiHAL: Una arquitectura híbrida que reemplaza las capas inferiores del Transformer con un puente de difusión condicional mientras reutiliza las capas superiores y la cabeza del LM. Bajo una configuración de presupuesto coincidente de diagnóstico, DiHAL demuestra que la recuperación de estado oculto supera a las líneas base de difusión continua basadas en incrustaciones y latentes.

Resultados Experimentales

Los autores evaluaron DiHAL en los backbones Llama-3.1-8B-Instruct y Qwen3-8B utilizando el corpus Dolma v1.7.

• Selección de Capas: La puntuación de geometría predijo con éxito las capas de inserción efectivas. Para Llama-3.1-8B, la puntuación seleccionó la Capa 3; para Qwen3-8B, la Capa 2. Estas capas están cerca de la interfaz de incrustaciones, lo que sugiere que los estados ocultos tempranos retienen una estructura geométrica similar a las incrustaciones, adecuada para la difusión.
• Correlación con Puentabilidad: La puntuación de geometría fija mostró una fuerte correlación de Spearman ($\rho \approx 0.91$–$0.93$) con la pérdida de validación del puente, confirmando que los proxi geométricos pueden identificar económicamente las capas donde los puentes de difusión pueden entrenarse con éxito.
• Comparación de Diagnóstico: En una comparación de presupuesto coincidente frente a líneas base (Diffusion-LM, SED, LD4LG, CoDAR), DiHAL logró la menor perplejidad generativa (Gen.PPL) y la mayor diversidad. Específicamente, en Qwen3-8B, DiHAL mejoró la Gen.PPL de 144.83 (CoDAR) a 136.02 y la diversidad de 0.4777 a 0.5913.
• Entrenamiento Completo: Cuando se entrenó completamente, las capas seleccionadas por geometría permanecieron competitivas con los oráculos de pérdida de validación (capas seleccionadas entrenando explícitamente todos los puentes) y superaron significativamente a los controles de "peor capa" y a la línea base CoDAR.

Significado y Afirmaciones

El artículo afirma que la geometría del estado oculto es un factor crítico para determinar dónde puede operar eficazmente la difusión dentro de un modelo de lenguaje. Los resultados sugieren que el fracaso de la difusión continua en el lenguaje no es meramente una consecuencia de la discreción, sino también un desajuste entre los requisitos de eliminación de ruido y la geometría del espacio de representación.

Las conclusiones clave incluyen:

• Reformulación del Problema: La difusión continua para el lenguaje no necesita generar texto recuperando tokens directamente; puede reconstruir una representación interna que el Transformer preentrenado ya sabe cómo decodificar.
• Viabilidad de Modelos Híbridos: Es factible reemplazar partes de un Transformer preentrenado con un puente de difusión si el punto de inserción se elige basándose en criterios geométricos.
• Limitaciones: Los autores notan modestamente que DiHAL aún no es un modelo de lenguaje de difusión independiente; depende del sufijo del Transformer conservado para la predicción de tokens. Además, la latencia de inferencia es actualmente mayor que la del backbone original debido a los pasos de eliminación de ruido. El trabajo se presenta como un paso hacia la comprensión de dónde puede entrar la difusión en los modelos existentes, en lugar de un reemplazo completo de la generación autoregresiva a esta escala.