Resumen Técnico: Un Marco de Weibull de Dos Parámetros para Diagnosticar Distribuciones de Pesos en Transformadores

Problema y Motivación

Las herramientas de diagnóstico actuales para la dinámica de entrenamiento de transformadores operan en espacios ortogonales que no capturan la estructura granular de los pesos aprendidos. Métodos como WeightWatcher y HT-SR analizan espectros de valores propios, comprimiendo elementos de matriz en distribuciones de valores singulares, mientras que AlphaDecay rastrea la deriva del valor singular principal. El análisis masivo de activaciones mide las magnitudes de las activaciones. Ninguno de estos enfoques caracteriza directamente la distribución elemento a elemento de las magnitudes de los pesos ($|W_{ij}|$), lo que los autores argumentan es la representación más granular de lo que un modelo ha aprendido.

Los autores postulan que las estadísticas espectrales agregadas oscurecen las diferencias sistemáticas entre componentes funcionales dentro del mismo modelo (por ejemplo, capas FFN frente a proyecciones de atención). Para abordar esto, el artículo propone aplicar la distribución de Weibull—una familia de dos parámetros de la teoría de valores extremos—como una lente de diagnóstico para las magnitudes de los pesos elemento a elemento.

Metodología

El Marco de Diagnóstico de Weibull

El marco se basa en ajustar los valores absolutos de los elementos de peso, $|w|$, a una distribución de Weibull definida por un parámetro de forma $k$ y un parámetro de escala $\lambda$:
$$f(x; k, \lambda) = \frac{k}{\lambda} \left(\frac{x}{\lambda}\right)^{k-1} \exp\left(-\left(\frac{x}{\lambda}\right)^k\right)$$

1. El Ancla de Inicialización:
En la inicialización, los pesos de los transformadores son i.i.d. Gaussianos ($w \sim \mathcal{N}(0, \sigma_{init}^2)$), lo que significa que $|w|$ sigue una distribución Normal Semiglobal. Al ajustar esta distribución Normal Semiglobal a un modelo de Weibull utilizando un protocolo específico, los autores establecen un ancla universal:

• Forma ($k_0$): Aproximadamente 1.20. Este valor es independiente de la escala de inicialización $\sigma_{init}$ y sirve como una regla de medición adimensional. Cualquier desviación de $k_0 \approx 1.20$ en un modelo entrenado es atribuible a la dinámica de entrenamiento.
• Escala ($\lambda_0$): Aproximadamente $0.8875 \cdot \sigma_{init}$.

2. El Protocolo de Ajuste (Recorte del 80% Central):
Para garantizar la robustez frente a valores atípicos y artefactos de precisión numérica, los autores emplean un protocolo de recorte del 80% central. Antes del ajuste, se descartan el 10% más pequeño y el 10% más grande de los valores $|W_{ij}|$.

• Justificación Teórica: En coordenadas de probabilidad de Weibull, la varianza del ruido de muestreo diverge en las colas ($p \to 0$ y $p \to 1$) y alcanza un mínimo cerca de $p \approx 0.80$. El 10% inferior lleva ~6.5$\times$ más ruido que la región central óptima.
• Efecto: Ajustar los datos completos subestima sistemáticamente $k$ entre un 3–7%, a menudo empujando los modelos fuera de la banda de "Transmisión" esperada. El recorte del 80% aísla el "cuerpo" de la distribución, haciendo que la métrica sea robusta frente a valores atípicos de cola pesada (super-pesos).

3. Clasificación Funcional:
El marco divide los componentes del transformador en dos clases distintas basadas en sus trayectorias de $k$:

• Clase de Transmisión: Módulos FFN ($W_{gate}, W_{up}, W_{down}$ o $W_{FFN\_in}, W_{FFN\_out}$) y proyecciones de salida de atención ($W_o$).
• Clase de Selección: Proyecciones de entrada de atención ($W_q, W_k$).

Hallazgos Clave

El marco se aplicó a 12 entradas de modelos que abarcan 7 familias arquitectónicas (Pythia, OLMo-1/2, LLaMA-3, Mistral, Qwen2.5/3) con conteos de parámetros que van desde 70M hasta 14B.

1. La Banda de Transmisión (Estabilidad)

Los componentes en la Clase de Transmisión exhiben una estabilidad notable en su parámetro de forma $k$.

• A través de todas las arquitecturas, funciones de activación (SwiGLU, GeLU), colocaciones de normalización (Pre-LN, QK-Norm) y tamaños de modelo, la mediana terminal de $k$ para estos componentes cae en el estrecho intervalo $[1.186, 1.204]$.
• El coeficiente de variación (CV) a través de las 12 entradas es solo 0.51%.
• Esta estabilidad sugiere que estos componentes preservan la forma de la distribución de inicialización, actuando como conductos de información en lugar de filtros selectivos.

2. La Clase de Selección (Desviación)

Los componentes en la Clase de Selección ($W_q, W_k$) se desvían sistemáticamente del ancla de inicialización ($k_0 \approx 1.20$), desarrollando colas más pesadas (menor $k$). La severidad de esta desviación depende de la arquitectura:

• MHA almacenada por separado (OLMo-1, OLMo-2): Muestra la deriva más profunda, con mediana terminal de $k \in [0.76, 0.99]$.
• Atención de Consultas Agrupadas (GQA) (LLaMA-3, Mistral, Qwen2.5/3): Muestra una deriva más suave, con mediana terminal de $k \in [1.10, 1.16]$.
• $W_{qkv}$ fusionada (Pythia): Ocupa una zona transicional $k \in [1.05, 1.18]$, rastreando monótonamente el presupuesto de entrenamiento adimensional $T/\tau$.
• Mecanismo: Los autores atribuyen esta deriva a la necesidad funcional (atención dispersa), dinámicas de descenso de signo de AdamW y retroalimentación de saturación de softmax. La restricción arquitectónica del intercambio de cabezas K en GQA parece limitar mecánicamente la libertad de especialización disponible para las proyecciones individuales, resultando en una deriva menos severa en comparación con MHA.

3. Parámetro de Escala ($\lambda$) y Progreso de Entrenamiento

Mientras que $k$ etiqueta la clase funcional, el parámetro de escala $\lambda$ etiqueta el progreso de entrenamiento.

• $\lambda$ crece sustancialmente durante el entrenamiento (por factores de 1.4$\times$ a 7.8$\times$).
• Dentro de la familia Pythia, la media terminal de $\lambda$ para componentes de Transmisión escala con $\sqrt{\eta / \lambda_{wd}}$ (Pearson $r = 0.94$), mostrando consistencia direccional con el análisis de escalado de estado estacionario de AdamW de Fan et al. [2025].
• $\lambda$ crece uniformemente a través de los tipos de componentes (por ejemplo, $\lambda_O$ y $\lambda_{FFN\_out}$ están altamente correlacionados, $r=0.9967$), reflejando dinámicas acopladas en la corriente residual.

4. Super-pesos y Comportamiento de Cola

Mientras que el cuerpo de la distribución (ajustado mediante recorte del 80%) permanece conforme a Weibull, los autores observan la aparición de "super-pesos" aislados (valores atípicos tipo rey dragón) en las colas extremas de los modelos entrenados.

• Estos valores atípicos aparecen en cada familia arquitectónica, con relaciones máximo-a-q99 que van desde ~7$\times$ hasta más de 100$\times$.
• El protocolo del 80% central está diseñado específicamente para ser robusto frente a estos valores atípicos, asegurando que el $k$ diagnóstico refleje la distribución masiva en lugar de ser arrastrado por valores extremos.

Contribuciones

1. Un Marco de Diagnóstico: Los autores formalizan un método que utiliza la distribución de Weibull con un ancla de inicialización principista ($k_0 \approx 1.20$) y un protocolo de ajuste óptimo para el ruido (recorte del 80% central). Este marco identifica que $W_q$ y $W_k$ se desvían sistemáticamente del ancla de inicialización, con la magnitud de la desviación moldeada por la arquitectura de almacenamiento.
2. Evidencia Empírica Trans-familia: El artículo documenta una partición robusta de "Transmisión/Selección" a través de 12 modelos. Reproduce la estrecha banda de transmisión de FFN y la deriva de Selección dependiente de la arquitectura (MHA vs. GQA) sin parámetros ajustables.
3. Herramientas de Código Abierto: Los autores lanzan npm-weibull-py v0.4, una biblioteca de Python que implementa ocho funciones de diagnóstico (F1–F8) para ajuste y evaluación comparativa, junto con DATABASE_v9_1, una base de datos de referencia de 12 entradas de modelos.

Significado y Limitaciones

Significado:
El artículo afirma que las estadísticas elemento a elemento revelan una estructura que los métodos espectrales no pueden capturar. Al separar los componentes en clases de Transmisión y Selección, el marco proporciona una visión granular de la dinámica de entrenamiento donde diferentes capas y matrices de proyección evolucionan a lo largo de trayectorias distintas. Los dos parámetros de Weibull portan información independiente: $k$ identifica el rol funcional (Transmisión vs. Selección), mientras que $\lambda$ rastrea la magnitud del progreso de entrenamiento.

Limitaciones (según lo declarado por los autores):

• Mecanismos Causales: Aunque el artículo identifica cinco fuerzas impulsoras candidatas para la deriva de Selección (necesidad funcional, descenso de signo, saturación de softmax, acoplamiento residual, presupuesto de entrenamiento), no proporciona experimentos de ablación controlados para aislar la contribución de cada una. La correlación entre la arquitectura MHA/GQA y la severidad de la deriva es observacional.
• Escalado Trans-familia: La ley de escalado $\lambda \propto \sqrt{\eta / \lambda_{wd}}$ se valida dentro de la familia Pythia, pero es solo observacional entre diferentes familias debido a factores de confusión como diferentes recetas de inicialización y colocaciones de normalización.
• Rendimiento Aguas Abajo: El artículo caracteriza la estructura estadística de los pesos, pero no establece una correlación directa entre la firma $(k, \lambda)$ y el rendimiento en tareas aguas abajo.
• Cobertura de Datos: Para Qwen2.5-14B, las estadísticas por bloque se limitan a las primeras 27 de 48 capas debido a limitaciones de memoria de la GPU, aunque se espera que las afirmaciones cualitativas se mantengan.

Los autores concluyen que este marco ofrece una nueva regla de medición independiente de la arquitectura para diagnosticar el entrenamiento de transformadores, revelando que los componentes de "Selección" ($W_q, W_k$) son los sitios principales de cambio estructural, mientras que los componentes de "Transmisión" permanecen estadísticamente estables.