🤖 machine learning

Weibull Weight-Scale Parameter Evolution under AdamW Training Dynamics

Este artículo analiza la evolución del parámetro de escala de Weibull $\lambda$ durante el entrenamiento de AdamW mediante la derivación de una descomposición de tres fuerzas de la norma al cuadrado de los pesos, demostrando que una fuerza de alineación domina la fase de crecimiento inicial mientras que un equilibrio entre la alineación y el decaimiento de pesos impulsa la relajación subsiguiente, con un método de desplazamiento por splines propuesto que permite la reconstrucción precisa de estas dinámicas a partir de puntos de control dispersos.

Autores originales: Tiexin Ding

Publicado 2026-06-19

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Tiexin Ding

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que entrenar un modelo de IA gigante como AdamW es como intentar construir una escultura masiva y compleja hecha de millones de diminutos ladrillos de Lego invisibles. El objetivo es dar forma a estos ladrillos para que funcionen perfectamente entre sí. Pero, ¿cómo se mueven y se asientan realmente estos ladrillos en sus posiciones finales?

Este artículo actúa como una historia de detectives, investigando por qué el tamaño de estos ladrillos de Lego (los "pesos") crece, se pasa de largo (overshoot) y luego se asienta durante el proceso de entrenamiento. Los autores utilizan una herramienta de medición especial llamada escala de Weibull (llamémosla el "Calibre de Tamaño") para rastrear esto.

Aquí está el desglose sencillo de lo que descubrieron:

1. El misterio del "Calibre de Tamaño"

En estudios anteriores, los investigadores notaron un patrón extraño: el "Calibre de Tamaño" ( $\lambda$ ) de los pesos de la IA no crece de forma constante. Se dispara, se vuelve demasiado grande (se pasa de largo) y luego se encoge de nuevo hasta alcanzar un tamaño de reposo cómodo.

La Pregunta: ¿Por qué sucede esto? ¿Qué fuerzas están empujando los pesos hacia arriba y tirando de ellos hacia abajo?

2. Las tres manos invisibles

Los autores descubrieron que el movimiento de estos pesos está controlado por tres fuerzas distintas, como tres personas empujando y tirando de una caja pesada:

La Fuerza de Alineación (El "Empujador"): Este es el motor principal. Empuja los pesos en la dirección que quieren ir basándose en la señal de aprendizaje. Piensa en ello como un viento fuerte que da forma a la escultura. El artículo encontró que durante la fase de "crecimiento", esta fuerza realiza entre el 88% y el 94% del trabajo. Es el conductor dominante.
La Fuerza de Inyección (El "Jaleo"): Es un pequeño empujón constante causado por la aleatoriedad de los datos (ruido). Es como una ligera vibración en la mesa. Siempre está ahí, pero es muy pequeño (solo representa el 4% del esfuerzo).
La Fuerza de Decaimiento (El "Tirador"): Este es un freno integrado. Intenta constantemente encoger los pesos hacia cero para mantener el modelo simple y evitar que se descontrole. Es como una banda elástica que tira de la escultura hacia el centro.

3. La historia de la curva (Ascenso, Pico, Relajación)

El artículo explica la extraña curva de "subida y bajada" del Calibre de Tamaño usando estas tres fuerzas:

El Ascenso: Al principio, el Empujador (Alineación) es mucho más fuerte que el Tirador (Decaimiento). Los pesos crecen rápidamente porque el empuje está ganando.
El Pico: A medida que el modelo se acerca a estar "terminado", el Empujador se cansa (se alinea con menos perfección) y el Tirador se vuelve más fuerte a medida que los pesos crecen. Eventualmente, se encuentran en el medio. El Empuje y el Tirón se equilibran perfectamente. El crecimiento se detiene. Este es el pico.
La Relajación: Si el Tirador llegara a ser ligeramente más fuerte que el Empujador, los pesos se encogen un poco hasta encontrar un nuevo equilibrio estable. Esto crea el "suelo" donde el modelo se asienta.

4. El "Puente Mágico" (Conectando los puntos)

Había un problema: la matemática de estas fuerzas funciona sobre el tamaño total del peso (RMS), pero el "Calibre de Tamaño" (Weibull) mide la distribución de los pesos.

La Solución: Los autores encontraron un "puente mágico". Descubrieron que la forma de la distribución de los pesos permanece casi perfectamente bloqueada en su lugar (como un molde rígido) durante todo el entrenamiento. Debido a que la forma no cambia, el tamaño total y el "Calibre de Tamaño" se mueven en perfecta sincronía. Esto les permitió traducir la matemática de las fuerzas directamente al comportamiento del Calibre de Tamaño.

5. Resolviendo el rompecabezas de los "Datos Faltantes"

Los modelos de IA del mundo real a menudo se publican sin el "diario interno" (momentos del optimizador) que muestra exactamente cómo se aplicaron las fuerzas en cada paso. Solo tenemos instantáneas de los pesos finales.

El Truco: Los autores inventaron un "Método de Desplazamiento de Spline". Imagina que tienes una película de un coche, pero solo tienes fotos cada 10 segundos. No puedes ver la velocidad entre las fotos. Pero, si dibujas una curva suave que conecte los puntos (un spline), puedes adivinar la velocidad con mucha precisión.
El Resultado: Este método permitió a los autores adivinar la fuerza del "Empujador" a partir de instantáneas dispersas con una precisión del 92–94%, que es el doble de bueno que simplemente adivinar entre dos puntos.

6. Un vistazo a los datos

Los autores también notaron algo interesante: la altura del pico (qué tan grandes se vuelven los pesos antes de encogerse) parece depender de lo que la IA está leyendo.

Si la IA lee un solo tipo de texto (como una wiki específica), los pesos se vuelven muy grandes (pico alto).
Si la IA lee una mezcla de muchos temas diferentes, el pico es más bajo.
Nota: Los autores dicen que esto es solo un "indicio" para investigaciones futuras. No lo han probado exactamente todavía, pero sospechan que leer datos diversos crea direcciones conflictivas que impiden que los pesos crezcan de forma tan enorme.

Resumen

En resumen, este artículo explica que el patrón de "respiración" de los pesos de la IA (crecer, pasarse de largo y asentarse) no es aleatorio. Es una danza precisa entre una fuerte fuerza de empuje (aprendizaje) y una constante fuerza de tirón (decaimiento). Cuando el empuje gana, los pesos crecen. Cuando se equilibran, el modelo se asienta. Los autores también descubrieron cómo observar esta danza incluso cuando no tenemos el video completo, solo unas pocas instantáneas.

Resumen Técnico: Evolución del Parámetro de Escala de Weibull de los Pesos bajo AdamW

Planteamiento del Problema
Comprender la evolución de los pesos de las redes neuronales durante el entrenamiento es fundamental para la optimización y la generalización. Un marco previo (Ding, 2026) estableció una distribución de Weibull de dos parámetros para diagnosticar las magnitudes de los pesos en transformadores, identificando una regularidad de "clase de Transmisión" donde el parámetro de forma $k$ permanece bloqueado cerca de $k_0 \approx 1.20$ , mientras que el parámetro de escala $\lambda$ sigue una trayectoria característica: ascenso, sobreimpulso (overshoot), relajación y suelo. Sin embargo, el mecanismo que impulsa esta trayectoria permanecía sin explicación. Aunque la dinámica de AdamW se define al nivel de los parámetros individuales y los estados del optimizador, y los parámetros de Weibull son resúmenes a nivel de distribución, faltaba un puente para explicar por qué $\lambda$ asciende y luego se relaja. Específicamente, no estaba claro qué fuerzas a nivel de optimizador mueven al modelo a lo largo de la coordenada $\lambda$ .

Metodología
El artículo cierra la brecha entre la dinámica de los parámetros individuales y las estadísticas a nivel de distribución a través de un enfoque de tres pasos:

Descomposición de Tres Fuerzas: Partiendo de la regla de actualización desacoplada de AdamW, los autores derivan una descomposición de primer orden de la dinámica del cuadrado de la norma de los pesos ( $\Delta \Sigma W^2$ ) en tres fuerzas distintas:
- Fuerza de Alineación ( $F_{align}$ ): $-2\eta \langle W, \hat{u} \rangle$ , que mide la correlación entre los pesos actuales y la dirección de actualización adaptativa.
- Fuerza de Inyección ( $F_{inj}$ ): $+\eta^2 \|\hat{u}\|^2$ , que representa la magnitud al cuadrado del paso adaptativo (ruido estocástico).
- Fuerza de Decaimiento ( $F_{decay}$ ): $-2\eta \lambda_{wd} \Sigma W^2$ , la contribución estructural proveniente del decaimiento de pesos desacoplado.
El Puente del Bloqueo de $k$ : Para conectar estas fuerzas de la norma al cuadrado con el parámetro de escala de Weibull $\lambda$ , el artículo utiliza la observación de que $k$ permanece aproximadamente constante ( $k \approx 1.20$ ) para los componentes de clase de Transmisión. Esto permite que el RMS ( $\sigma$ ) y $\lambda$ se relacionen mediante un factor multiplicativo casi fijo ( $\sigma = \lambda \sqrt{\Gamma(1+2/k)}$ ), permitiendo la traducción de la dinámica de fuerzas en $\sigma^2$ a la trayectoria de $\lambda(t)$ .
Recuperación de Checkpoints Dispersos (Desplazamiento por Spline): Dado que los lanzamientos de modelos públicos carecen de momentos del optimizador ( $\hat{m}, \hat{v}$ ), los autores introducen un método para recuperar la información de las fuerzas a partir de checkpoints de pesos dispersos. Al ajustar un spline cúbico a las trayectorias de pesos guardadas, estiman el desplazamiento de un paso unitario requerido para calcular la fuerza de alineación. Este método es validado contra los momentos de verdad fundamental (ground-truth) de modelos auto-entrenados.

Resultos Clave

Dominancia de la Fase de Ascenso: En modelos Pythia-70M auto-entrenados con momentos del optimizador de verdad fundamental, la fuerza de alineación domina la fase de ascenso, contribuyendo con el 88–94% del presupuesto absoluto de fuerza. Esta dominancia es robusta a través de cuatro semillas aleatorias y permanece estable incluso tras eliminar valores atípicos de "pesos superiores" (super-weights). La fuerza de inyección contribuye solo con ~4%, y el decaimiento con ~2–7%.
Transición a la Relajación: La transición del crecimiento de la escala de los pesos a la relajación corresponde a un cambio en el equilibrio de fuerzas. A medida que el entrenamiento progresa hacia la saturación, la fuerza de alineación disminuye mientras que la fuerza de decaimiento aumenta. Cerca del pico y hacia la fase de relajación, la alineación y el decaimiento se aproximan a un equilibrio ( $F_{align} \approx |F_{decay}|$ ), haciendo que la fuerza neta sea nula y la escala de los pesos se estabilice o se reduzca.
Robustez de Arquitectura Cruzada: El mecanismo de dominancia de la alineación se mantiene tanto para arquitecturas tipo Pythia (GPT-NeoX) como tipo Llama, con las participaciones de alineación permaneciendo dentro del rango del 88–94% durante la fase de ascenso.
Precisión de Recuperación: El método de desplazamiento por spline propuesto recupera la fuerza de alineación de los checkpoints dispersos con una precisión del 92–94%, aproximadamente el doble del rendimiento de una línea base ingenua de dos puntos.
Desfase RMS-a-Weibull: La integración de bucle cerrado de las fuerzas para predecir $\lambda(t)$ muestra un desfase sistemático de aproximadamente 5–6% en regiones densamente muestreadas. Esto se descompone en un error de puente de ~4.6% (reconstrucción RMS-a-Weibull) y un error de integración de ~1.9%, confirmando que la dinámica de fuerzas gobierna el componente dominante de la trayectoria.
Modulación Dependiente de los Datos: Una observación exploratoria sugiere que el valor máximo absoluto de $\lambda(t)$ varía con la coherencia de los datos de entrenamiento. Los modelos entrenados en datos de un solo dominio (wikitext-103) alcanzan valores de $\lambda$ pico más altos (~0.069–0.076) en comparación con aquellos entrenados en datos de múltiples dominios (The Pile, ~0.035). Una intervención de entrenamiento continuo en un modelo entrenado con The Pile que cambia a wikitext-103 resultó en un aumento de 2.6x en $\lambda$ , sugiriendo que la coherencia de los datos modula la fuerza de alineación.

Significado y Reivindicaciones
El artículo afirma proporcionar la primera explicación mecánica de la trayectoria observada de ascenso, sobreimpulso y relajación del parámetro de escala de Weibull $\lambda$ durante el entrenamiento de AdamW. Sus principales contribuciones son:

Conectar Niveles de Descripción: Conecta con éxito la brecha entre las reglas de actualización de bajo nivel de AdamW y los diagnósticos de alto nivel de la distribución, mostrando que $\lambda(t)$ sigue el componente de escala de peso de un presupuesto de fuerza de primer orden.
Identificar el Impulsor: Identifica la fuerza de alineación como el motor dominante del crecimiento de la escala de los pesos durante la fase de ascenso del entrenamiento, desafiando la noción de que el decaimiento de pesos o el ruido son los factores primarios en esta fase.
Explicar la Trayectoria: Explica el sobreimpulso y la relajación como una consecuencia de la transición de la dominancia de la alineación al equilibrio entre alineación y decaimiento cerca de la saturación.
Aplicabilidad Práctica: Proporciona un método validado (desplazamiento por spline) para recuperar la dinámica de fuerzas de modelos del mundo real donde los estados del optimizador no están disponibles, extendiendo el análisis más allá de los entornos auto-entrenados.

Los autores señalan explícitamente que la observación de la coherencia de los datos es exploratoria y que una caracterización completa de los efectos de la diversidad de los datos requiere estudios de seguimiento controlados. La contribución principal sigue siendo la explicación del presupuesto de fuerza de la dinámica de la escala de los pesos, sirviendo el resultado de los datos como motivación para futuros experimentos controlados.