🤖 machine learning

Layer Collapse in Diffusion Language Models

Este artículo revela que los Modelos de Lenguaje de Difusión exhiben un fenómeno único de "colapso de capas" impulsado por el sobreentrenamiento, donde las primeras capas desarrollan super-valores atípicos críticos y representaciones redundantes, lo que permite una compresión significativamente mejor y estrategias de asignación de dispersión distintas en comparación con los modelos autoregresivos.

Autores originales: Alexander Conzelmann, Albert Catalan-Tatjer, Shiwei Liu

Publicado 2026-05-08

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Alexander Conzelmann, Albert Catalan-Tatjer, Shiwei Liu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina dos tipos diferentes de chefs intentando escribir una historia.

El Chef Tradicional (Modelos Autoregresivos) escribe una palabra a la vez, de izquierda a derecha. Si comete un error al principio, no puede volver atrás para corregirlo. Así es como funcionan la mayoría de los modelos de IA actuales (como Llama).

El Chef de Difusión (Modelos de Lenguaje por Difusión) comienza con una página desordenada y desordenada llena de sinsentidos. Realiza múltiples pasadas sobre toda la página a la vez, limpiando lentamente el ruido hasta que la historia tiene sentido. Este es el nuevo enfoque de "Difusión" (como LLaDA).

Este artículo investiga qué sucede dentro del "cerebro" de estos dos chefs mientras trabajan. Los investigadores descubrieron que el Chef de Difusión funciona de una manera casi exactamente opuesta a la del Chef Tradicional, y esto cambia la forma en que deberíamos intentar reducirlos o acelerarlos.

Aquí están los tres descubrimientos principales, explicados de forma sencilla:

1. El "Super-Canal" vs. El "Esfuerzo de Equipo"

En el cerebro del Chef Tradicional (Llama), diferentes partes del cerebro se iluminan para diferentes palabras. Si apagas accidentalmente una bombilla específica, el chef se confunde un poco pero aún puede terminar la historia.

En el cerebro del Chef de Difusión (LLaDA), los investigadores encontraron algo extraño: Una sola bombilla brilla tan intensamente que deslumbra.

Este "Super-Canal" está activo para casi todas las palabras, desde el principio mismo de la historia hasta el medio.
Es tan importante que si desconectas solo este cable, el chef no solo se confunde; se desmorona por completo y comienza a repetir la misma palabra una y otra vez ("compra compra compra compra...").
La Analogía: Imagina un equipo de construcción. El equipo tradicional tiene muchos trabajadores haciendo diferentes tareas. Si un trabajador se va, el edificio se levanta un poco más lento. El equipo de Difusión tiene un "Super-Trabajador" sosteniendo todo el edificio, mientras todos los demás simplemente están de pie observando. Si el Super-Trabajador se va, el edificio colapsa instantáneamente.

2. Las "Capas Tempranas Redundantes" (Lo contrario de lo normal)

Por lo general, en los modelos de IA, las capas tempranas son como la fase de "boceto" (muy distintiva y creativa), y las capas profundas son donde las cosas se vuelven repetitivas porque el modelo ya ha aprendido todo lo que necesita (esto se llama la "Maldición de la Profundidad").

Los investigadores descubrieron que los modelos de Difusión invierten este guion:

Las Capas Tempranas son Aburridas: Debido a que ese "Super-Trabajador" está haciendo todo el trabajo pesado, las capas tempranas del modelo de Difusión están todas haciendo exactamente lo mismo. Son copias redundantes unas de otras.
Las Capas Profundas son Únicas: Las capas posteriores en realidad tienen más variedad.
La Analogía: En una fábrica normal, las primeras estaciones son pasos de ensamblaje únicos, y las últimas son solo pulido (aburrido/repetitivo). En la fábrica de Difusión, las primeras estaciones solo están copiando la misma instrucción del "Super-Trabajador", mientras que las estaciones finales son donde ocurre el trabajo realmente único.

3. Por Qué Esto Importa para "Encoger" el Modelo

Debido a estas diferencias, las reglas para hacer estos modelos más pequeños (compresión) están completamente invertidas.

Para Modelos Tradicionales: Por lo general, quieres tener cuidado con las capas tempranas porque son únicas. Poda (corta) las capas profundas de manera más agresiva.
Para Modelos de Difusión: ¡De hecho, puedes cortar las capas tempranas de manera mucho más agresiva! Dado que son solo copias redundantes del "Super-Trabajador", eliminarlas no hace mucho daño. De hecho, los investigadores descubrieron que si intentabas tratar los modelos de Difusión como los Tradicionales (cortando primero las capas profundas), el modelo funcionaría peor.
El Resultado: Los modelos de Difusión son sorprendentemente resistentes. Incluso si los reduces significativamente (usando cuantización de 3 bits), se mantienen mucho mejor que los modelos Tradicionales. Un modelo Tradicional podría perder el 65% de su inteligencia al reducirse, mientras que el modelo de Difusión solo pierde alrededor del 2%.

El "Por Qué" Detrás de Esto

Los investigadores realizaron un experimento especial donde entrenaron dos modelos pequeños desde cero: uno usando el método Tradicional y otro usando el método de Difusión. Descubrieron que el extraño "Super-Trabajador" y las "Capas Tempranas Redundantes" ocurrieron debido al método de entrenamiento en sí, no por el diseño del modelo.

Parece que el método de Difusión "sobre-entrena" las capas tempranas, obligándolas a depender de ese único canal dominante, mientras que el método Tradicional deja las capas tempranas más diversas.

Resumen

Los modelos de Difusión tienen un "Super-Canal" que hace todo el trabajo en las etapas tempranas.
Eliminar este canal destruye el modelo, pero eliminar las otras capas tempranas es seguro porque son solo copias redundantes.
Para reducir estos modelos: Corta las capas tempranas con fuerza y protege las capas profundas. Esto es exactamente lo contrario de lo que haces con los modelos de IA estándar.
La conclusión: Los modelos de Difusión están construidos de manera diferente, por lo que necesitamos reglas diferentes para hacerlos eficientes.

Resumen Técnico: Colapso de Capas en Modelos de Lenguaje de Difusión

Declaración del Problema

Los Modelos de Lenguaje de Difusión (DLM) han surgido como alternativas competitivas a los modelos Autoregresivos (AR), ofreciendo generación paralela de tokens y evitando la "maldición de la reversión". Sin embargo, la dinámica interna de las activaciones y las estructuras de representación por capas de los DLM siguen siendo poco comprendidas. Existe una brecha crítica para determinar si los hallazgos de los modelos AR (en cuanto a redundancia, valores atípicos y estrategias de compresión) se transfieren directamente a los DLM o si los DLM exhiben comportamientos distintos que requieren nuevos enfoques para el entrenamiento, el ajuste fino y la compresión. Específicamente, no está claro si la "maldición de la profundidad" (donde las capas más profundas se vuelven redundantes debido a un entrenamiento insuficiente) se aplica a los DLM o si sus objetivos de entrenamiento inducen patologías estructurales diferentes.

Metodología

Los autores realizan un análisis sistemático de LLaDA-8B, un DLM a gran escala preentrenado desde cero, comparándolo con Llama-3.1-8B, un modelo AR con una arquitectura casi idéntica. Para aislar los efectos del objetivo de entrenamiento de las peculiaridades arquitectónicas, el estudio emplea:

Análisis de Similitud de Capas: Cálculo de la similitud del coseno por token entre las activaciones ocultas de diferentes capas para cuantificar la redundancia.
Detección de Valores Atípicos de Activación: Análisis de mapas de calor de activación para identificar canales persistentes y de alta magnitud a través de posiciones de tokens y capas.
Análisis Espectral de Pesos: Utilización del estimador de Hill ( $\alpha_{Hill}$ ) sobre los valores propios de las matrices de pesos para evaluar la entrenabilidad de las capas. Basado en la teoría de la Auto-regularización de Colas Pesadas (HT-SR), valores más bajos de $\alpha_{Hill}$ indican colas más pesadas y un aprendizaje de características más fuerte (sobreentrenamiento), mientras que valores más altos sugieren un entrenamiento insuficiente.
Estudios de Ablación: Poda de canales específicos (por ejemplo, el "super-valor atípico" dominante) para observar fallos catastróficos frente a pequeñas caídas de precisión.
Preentrenamiento Controlado: Entrenamiento de un par de modelos de 160 millones de parámetros (AR-160M y DLM-160M) sobre datos idénticos (FineWebEdu) con hiperparámetros idénticos, diferenciándose únicamente en el objetivo de entrenamiento (entropía cruzada frente a difusión enmascarada).
Experimentos de Compresión: Evaluación de la robustez frente a la poda (utilizando WANDA) y la cuantización (utilizando GPTQ) bajo diversas estrategias de asignación de dispersidad (Uniforme, Temprano-Es-Más-Espeso [EIS], Profundo-Es-Más-Espeso [DIS]).

Hallazgos Clave

1. El Super-Valor Atípico y el Colapso de Capas

LLaDA-8B exhibe un fenómeno único denominado colapso de capas, impulsado por un único canal de super-valor atípico (Canal 3848).

Persistencia: A diferencia de los modelos AR donde los valores atípicos son específicos del token, este canal mantiene una activación persistentemente alta a través de todas las posiciones de tokens durante la primera mitad de las capas de la red.
Criticidad: La poda de este único canal hace que el modelo degenere en bucles repetitivos de tokens aleatorios (0% de precisión en GSM8K), mientras que la poda del canal superior en Llama-3.1-8B resulta en una caída de precisión menor (-4%).
Mecanismo: El super-valor atípico actúa como un portador dominante de información, suprimiendo la expresividad de otros canales y provocando que múltiples capas tempranas produzcan representaciones ocultas casi idénticas y redundantes.

2. Patrones de Redundancia Invertidos

La estructura de similitud por capas en los DLM es la inversa de la observada en los modelos AR:

Modelos AR: Las capas tempranas son distintas; las capas más profundas se vuelven cada vez más redundantes (atribuido a la "maldición de la profundidad" o al entrenamiento insuficiente).
DLM (LLaDA-8B): Las capas tempranas son altamente redundantes y similares entre sí. Esta redundancia no es causada por un entrenamiento insuficiente, sino por sobreentrenamiento, evidenciado por valores de $\alpha_{Hill}$ significativamente más bajos en las capas tempranas en comparación con Llama. El super-valor atípico concentra la representación en una estructura de baja dimensionalidad al inicio de la red.

3. Robustez a la Compresión y Reversión de la Estrategia

A pesar de la fragilidad del super-valor atípico, los DLM demuestran una sorprendente robustez frente a la compresión:

Cuantización: LLaDA-8B bajo cuantización GPTQ de 3 bits cae solo un -1.8% en GSM8K, mientras que Llama-3.1-8B cae un -64.7% bajo los mismos ajustes.
Asignación de Dispersidad: La estrategia óptima de asignación de dispersidad está invertida entre las dos familias de modelos.
- AR (Llama): Es óptimo podar las capas más profundas de manera más agresiva (DIS) o utilizar dispersidad uniforme. Podar las capas tempranas (EIS) es subóptimo.
- DLM (LLaDA): Podar las capas tempranas de manera más agresiva (EIS) produce una mejora de +8.4% sobre la estrategia inversa (DIS) al 50% de dispersidad. Esto se debe a que las capas tempranas en los DLM son altamente redundantes (excluyendo el super-valor atípico), mientras que las capas más profundas retienen información más distintiva.

4. Validación mediante Preentrenamiento Controlado

El experimento de preentrenamiento controlado de 160M confirmó que estas dinámicas son inherentes al objetivo de entrenamiento de difusión y no a diferencias arquitectónicas.

DLM-160M exhibió mayor similitud de capas tempranas y un $\alpha_{Hill}$ más bajo (indicando sobreentrenamiento) en comparación con AR-160M.
DLM-160M mostró mayor robustez frente a la compresión que AR-160M, siendo la estrategia de dispersidad óptima nuevamente EIS para DLM y DIS para AR.
Nota: El super-valor atípico no se observó en los modelos de 160M, lo cual es consistente con la literatura que sugiere que tales valores atípicos emergen a escalas mayores (>6.7 mil millones de parámetros).

Significado y Afirmaciones

El artículo afirma que el objetivo de entrenamiento de difusión remodela fundamentalmente la dinámica de las capas en relación con los modelos AR, dando lugar a:

Un Nuevo Fenómeno Estructural: La existencia de un super-valor atípico persistente que impulsa el colapso de capas tempranas, distinto de los valores atípicos específicos del token en los modelos AR.
Sobreentrenamiento vs. Entrenamiento Insuficiente: La redundancia de las capas tempranas en los DLM es resultado de un sobreentrenamiento (fuerte estructura de baja dimensionalidad) y no del entrenamiento insuficiente típicamente observado en capas profundas de AR.
Implicaciones Prácticas para la Compresión: Las heurísticas estándar de compresión derivadas de los modelos AR no solo son subóptimas, sino activamente perjudiciales para los DLM. Específicamente, asignar más dispersidad a las capas tempranas (EIS) es la estrategia óptima para los DLM, en contraposición a la estrategia DIS preferida por los modelos AR.
Robustez: Los DLM poseen una robustez inherente frente a la cuantización y la poda que supera a la de los modelos AR comparables, siempre que se preserve el super-valor atípico dominante.

Los autores concluyen que estos hallazgos requieren una reevaluación de cómo se comprimen e implementan los DLM, sugiriendo que los patrones de redundancia observados son una consecuencia directa del propio objetivo de difusión.