📊 statistics

Numerical stability analysis of large language models

Este artículo presenta un análisis de precisión mixta de la inferencia de transformadores que deriva nuevos límites de error y condiciones de estabilidad para componentes clave como LayerNorm, RMSNorm y la autoatención, revelando finalmente que la estabilidad numérica está gobernada por la interacción entre las magnitudes de los pesos y el crecimiento del flujo residual, un hallazgo validado mediante experimentos en GPT-2.

Autores originales: Stanislav Budzinskiy, Wenyi Fang, Longbin Zeng, Philipp Petersen

Publicado 2026-06-23

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Stanislav Budzinskiy, Wenyi Fang, Longbin Zeng, Philipp Petersen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un Modelo de Lenguaje Grande (como los que impulsan los chatbots) como una enorme fábrica de varios pisos. Dentro de esta fábrica, la información fluye desde la planta baja hasta el piso superior, pasando por cientos de habitaciones (capas). En cada habitación, la información se procesa, se mezcla y se reforma antes de ser pasada a la siguiente.

El artículo que proporcionaste es un informe de inspección de seguridad para esta fábrica. Los autores se preguntan: "Si empezamos con una mota de polvo diminuta, casi invisible (un pequeño error de redondeo computacional) en la primera habitación, ¿qué tan grande será esa mota de polvo para cuando llegue al piso superior?"

Aquí tienes un desglose de sus hallazgos utilizando analogías sencicas:

1. El atajo de "Baja Precisión"

Para que estas fábricas funcionen de forma rápida y económica, los ingenieros suelen utilizar matemáticas de "baja precisión". Piensa en esto como medir ingredientes con una regla que solo tiene marcas de pulgadas en lugar de milímetros. Es más rápido, pero pierdes un poco de precisión.

El Problema: Cuando realizas miles de cálculos seguidos, esos pequeños errores de "marcas de pulgadas" pueden acumularse. Los autores querían saber: ¿Se colapsará la fábrica bajo el peso de estos pequeños errores, o se mantendrá estable?

2. Las puertas de "Normalización" (LayerNorm vs. RMSNorm)

Antes de que la información entre en una nueva habitación, debe pasar por una "puerta de normalización" que ajusta el tamaño de los datos.

La Puerta Antigua (LayerNorm): Esta puerta resta el tamaño promedio de los datos. Los autores descubrieron que si los datos tienen un valor atípico masivo (un solo número enorme que es mucho más grande que el resto), esta puerta puede volverse inestable. Es como intentar equilibrar un subibaja donde un lado tiene un elefante y el otro un ratón; las matemáticas se vuelven sensibles.
La Nueva Puerta (RMSNorm): Esta es la puerta moderna utilizada en los modelos de vanguardia. No resta el promedio; simplemente escala basándose en el tamaño total. Los autores descubrieron que esta puerta es incondicionalmente estable. Incluso con ese elefante en el subibaja, la puerta se mantiene firme. Es un diseño más robusto.

3. El foco de "Atención"

La parte más famosa de estos modelos es la "Auto-Atención" (Self-Attention), que decide qué palabras en una oración son importantes entre sí.

El interruptor "Softmax": Este es el mecanismo que convierte las puntuaciones brutas en probabilidades (porcentajes). Los autores analizaron un truco común llamado "desplazamiento" (restar el número más grande antes de calcular) para evitar que las matemáticas exploten (desbordamiento).
El Hallazgo: Demostraron que este truco de "desplazamiento" es seguro. Puede hacer que el sistema sea ligeramente más sensible al ruido (como máximo 4 veces más), pero no rompe las matemáticas. Es como usar gafas de sol para mirar al sol; cambia ligeramente cómo ves las cosas, pero no te deja ciego.
El "Sumidero de Atención" (Attention Sink): También observaron que, en conversaciones largas, el modelo suele centrarse fuertemente en las primeras palabras de la secuencia (el "sumidero"). Sus matemáticas muestran que, incluso con estas secuencias largas, los errores no se salen de control tan drásticamente como sugerían las teorías antiguas.

4. El "Flujo Residual" (La cinta transportadora)

Los datos fluyen a través de la fábrica en un "flujo residual"—una cinta transportadora que lleva el mensaje principal hacia adelante.

El Crecimiento: A medida que los datos suben por los pisos, la cinta transportadora se vuelve naturalmente más "pesada" (los números se hacen más grandes).
Los Pesos: Las máquinas en la cinta transportadora (los pesos) se reducen de escala a medida que la fábrica se hace más alta para mantener el equilibrio.
El Gran Descubrimiento: Los autores encontraron una regla de oro: Si escalas la cinta transportadora hacia arriba o hacia abajo, el error relativo permanece igual.
- Analogía: Imagina que caminas sobre una cinta de correr. Si duplicas la velocidad de la cinta y también duplicas el tamaño de tus zapatos, tu estilo de caminar (en relación con tu tamaño) no cambia.
- El Matiz: Esto solo funciona si la cinta transportadora se comporta de manera "lineal" (predecible). Si escalas los pesos demasiado, la cinta transportadora podría cambiar repentinamente a un modo de operación completamente diferente (una "transición cualitativa"). En ese caso específico, la estabilidad se rompe. Pero mientras la cinta mantenga su ritmo normal, escalar los pesos no daña la precisión.

5. El experimento "GPT-2"

Para demostrar que sus matemáticas no eran solo teoría, probaron con un modelo real llamado GPT-2.

Pesos Aleatorios: Cuando utilizaron un modelo con pesos aleatorios y no entrenados, los errores crecieron de forma lenta y predecible.
Pesos Entrenados: Cuando utilizaron un modelo real y entrenado, los errores crecieron un poco más rápido (exponencialmente), pero aun así dentro de límites manejables.
El Veredicto: Las matemáticas se mantuvieron firmes. El "error relativo" (el error en comparación con el tamaño de los datos) se mantuvo constante, a menos que forzaran al modelo a un estado extraño e inestable cambiando los pesos de forma demasiado drástica.

Resumen

El artículo concluye que los Modelos de Lenguaje Grandes son numéricamente estables.
Aunque utilizan matemáticas "rudimentarias" (baja precisión) y tienen que manejar números masivos, la arquitectura está diseñada de una manera que evita que los errores se acumulen hasta convertirse en un desastre. La clave de esta estabilidad es la interacción entre el tamaño de los pesos y el crecimiento del flujo de datos. Mientras el modelo no sea empujado a un estado extraño e inestable, el "ruido" introducido por las matemáticas de baja precisión sigue siendo una mota de polvo diminuta y manejable, no un derrumbe.

Resumen Técnico: Análisis de Estabilidad Numérica de los Grandes Modelos de Lenguaje

Planteamiento del Problema

Los Grandes Modelos de Lenguaje (LLM), construidos sobre arquitecturas Transformer, dependen fuertemente de la aritmética de baja precisión para lograr una eficiencia en el entrenamiento y la inferencia. Si bien la cuantización y las estrategias de precisión mixta ofrecen ganancias computacionales significativas, estas introducen perturbaciones numéricas que se propagan a través de la red. Estos errores se ven agravados por los errores de redondeo inherentes de las operaciones de punto flotante (FP). Aunque los estudios empíricos han documentado extensamente el impacto de la cuantización, los análisis teóricos rigurosos de la estabilidad numérica en arquitecturas Transformer profundas siguen siendo escasos. Este trabajo aborda este déficit mediante el desarrollo de un análisis numérico determinista de precisión mixta de la inferencia en Transformers, con el objetivo de derivar límites para los números de condición y los errores de propagación (forward errors) de las partes constituyentes de la arquitectura.

Metodología

Los autores emplean un marco de análisis de error de redondeo determinista (Higham, 2002) adaptado para entornos de precisión mixta. El análisis distingue entre cuatro precisiones distintas:

Precisión de cuantización ( $u_q$ ): Utilizada para redondear los operandos en la Multiplicación de Matrices Generalizada (GEMM).
Precisión de acumulación ( $u_a$ ): Utilizada para sumar productos internos.
Precisión de trabajo ( $u_w$ ): Utilizada para evaluar funciones no lineales.
Precisión residual ( $u_r$ ): Utilizada para almacenar las variables de estado en el flujo residual.

El estudio se centra en una arquitectura Transformer de tipo solo decodificador representativa que presenta pre-normalización, autoatención multicabeza causal con Incrustaciones Posicionales Rotatorias (RoPE), y mecanismos de alimentación hacia adelante (FF) ya sea GELU o SwiGLU. El análisis procede mediante:

La derivación de números de condición (normwise, componentwise y mixed) para componentes individuales: LayerNorm/RMSNorm, bloques FF, Softmax y Self-Attention.
El establecimiento de límites de error de propagación para estos componentes bajo aritmética de punto flotante, teniendo en cuenta algoritmos de acumulación específicos (por ejemplo, sumatoria recursiva frente a sumatoria por pares) y efectos de absorción en Softmax.
La agregación de estos límites locales para analizar el error de propagación global de la arquitectura Transformer profunda, modelando explícitamente la dinámica de crecimiento del flujo residual.

Contribuciones Clave

1. Estabilidad de la Normalización (LayerNorm vs. RMSNorm)

El artículo proporciona un análisis comparativo de la estabilidad numérica de LayerNorm y RMSNorm, específicamente en el régimen de "valores atípicos masivos" (massive outliers) característico de la inferencia de los LLM modernos.

Hallazgos: Ninguna función es estrictamente superior en términos de sensibilidad (números de condición). Sin embargo, el error de propagación de LayerNorm está gobernado por la magnitud de las entradas de fondo del valor atípico, mientras que RMSNorm exhibe una estabilidad de propagación incondicional.
Implicación: La transición a RMSNorm en los LLM modernos reduce la complejidad computacional sin degradar estrictamente la estabilidad numérica, aunque el comportamiento específico del error depende de la distribución de entrada.

2. Estabilidad del Mecanismo de Alimentación hacia Adelante (Feedforward)

Los autores analizan la estabilidad de propagación de los bloques FF utilizando activaciones suaves tipo ReLU (por ejemplo, GELU) y mecanismos con compuerta (por ejemplo, SwiGLU).

Hallazgos: Se demuestra que la evaluación en FP de los mecanismos GELU y SwiGLU es de propagación estable. Los límites de error están dominados por los errores de cuantización y acumulación de las GEMM subyacentes más que por las no linealidades mismas.

3. Sensibilidad de Softmax y Sumideros de Atención (Attention Sinks)

El análisis aborda el comportamiento numérico de Softmax, particularmente en presencia de "sumideros de atención" (donde la masa de probabilidad se concentra en los primeros tokens).

Evaluación Desplazada: El artículo confirma que, si bien el algoritmo de evaluación desplazada (restar el máximo para prevenir el desbordamiento) evita la inestabilidad numérica, aumenta la sensibilidad a las perturbaciones por un factor de máximo 4 en comparación con la evaluación sin desplazar.
Distribuciones Concentradas: Para distribuciones de probabilidad concentradas (comunes en los sumideros de atención), los autores derivan un nuevo límite de error de redondeo que tiene en cuenta los efectos de absorción. Este límite escala con la longitud de secuencia efectiva (el número de términos no absorbidos) en lugar de la longitud total de la secuencia, lo que explica el éxito empírico de la inferencia de contexto largo.

4. Límites de Lipschitz Independientes de la Longitud de Secuencia

Una contribución teórica significativa es la derivación de nuevos límites sobre la constante de Lipschitz local de la autoatención que son independientes de la longitud de la secuencia de entrada ( $N$ ).

Mejora: Estos límites mejoran los límites de campo medio previos (Castin et al., 2024) en el caso discreto. Los límites son estrictamente cuadráticos respecto a la norma de la entrada, mientras que los límites discretos anteriores contenían factores exponenciales.
Valores Atípicos: El análisis muestra que la presencia de un valor atípico masivo puede ajustar aún más estos límites, reduciendo el número de condición de la cabeza de atención.

5. Estabilidad de la Arquitectura Global y Dinámica del Flujo Residual

El artículo agrega los límites de error locales para analizar todo el Transformer profundo.

Perspectiva Clave: La estabilidad numérica de la inferencia está determinada por la interacción entre la magnitud de los pesos y la dinámica de crecimiento del flujo residual.
Leyes de Escalamiento: El análisis valida que el escalamiento dependiente de la profundidad estándar de los pesos de proyección residual (introducido en GPT-2) preserva la propagación del error de redondeo relativo, siempre que el escalamiento no fuerce una transición cualitativa en la dinámica del flujo residual. Si el flujo residual responde linealmente al escalamiento de los pesos, el error relativo permanece invariante.

Resultados y Validación Experimental

Los límites teóricos fueron validados mediante experimentos con el modelo GPT-2 XL, comparando pesos inicializados aleatoriamente contra pesos pre-entrenados.

Crecimiento del Error: Para modelos con inicialización aleatoria, el crecimiento del error empírico fue sub-exponencial ( $O(e^{l^{0.24}})$ ), consistente con la predicción teórica de crecimiento sub-exponencial, aunque la tasa empírica fue más leve que el límite del peor caso.
Modelos Pre-entrenados: Los modelos pre-entrenados exhibieron un crecimiento de error exponencial lento. La discrepancia con las predicciones de tasa polinómica se atribuye a la variación en las magnitudes de los pesos con la profundidad en los modelos pre-entrenados, lo que viola los supuestos de escalamiento uniforme del teorema.
Experimentos de Escalamiento de Pesos: Los experimentos escalando los pesos de proyección residual ( $W_O$ $W_{O}$ y $W_{down}$ $W_{d o w n}$ ) confirmaron la hipótesis teórica:
- En el modelo con inicialización aleatoria, el error de redondeo absoluto escaló linealmente con el factor de escalamiento $\xi$ .
- En el modelo pre-entrenado, ocurrió una "transición cualitativa" entre los factores de escalamiento $\xi=2$ y $\xi=5$ , lo que llevó a una respuesta no lineal en el error absoluto. Una vez que el modelo se asentó en un nuevo régimen ( $\xi > 5$ ), el error volvió a un escalamiento estrictamente proporcional.
- Crucialmente, en todos los casos, el error de redondeo relativo permaneció invariante al escalamiento, a menos que el escalamiento indujera una bifurcación en la dinámica del flujo residual.

Significación

El artículo establece una base teórica rigurosa para comprender la estabilidad numérica de la inferencia en Transformers. Su principal significación radica en:

Unir Teoría y Práctica: Proporciona el primer análisis determinista integral de los errores de precisión mixta en Transformers, yendo más allá de las heurísticas empíricas.
Validar Decisiones Arquitectónicas: Justifica matemáticamente el uso de leyes de escalamiento específicas (por ejemplo, la inicialización de GPT-2) y técnicas de normalización (RMSNorm) al mostrar que preservan la propagación del error relativo bajo condiciones dinámicas específicas.
Explicar el Éxito del Contexto Largo: Los límites derivados para Softmax con efectos de absorción ofrecen una explicación teórica de por qué los LLM pueden manejar contextos largos a pesar del potencial de acumulación de error, ya que el número efectivo de términos contribuyentes suele ser pequeño debido a los sumideros de atención.
Definir Límites de Estabilidad: El trabajo aclara que la estabilidad numérica no es solo una función de la precisión o la magnitud de los pesos, sino que está intrínsecamente ligada al comportamiento dinámico del flujo residual.

Los autores concluyen que, si bien sus límites del peor caso pueden ser conservadores (como se vio en la comparación con los pesos pre-entrenados de GPT-2 XL), los principios derivados respecto a la interacción entre el escalamiento de pesos y la dinámica del flujo residual proporcionan un marco robusto para analizar y diseñar LLM numéricamente estables.