📊 statistics

Algebraic Dead Directions in LayerNorm Transformers: A Forward-Pass-Only Diagnostic at LLM Scale

Este artículo introduce un diagnóstico novedoso, de solo paso hacia adelante, para transformadores con LayerNorm que identifica una dirección muerta algebraica exacta en el espacio de parámetros utilizando únicamente los parámetros de escala de LayerNorm, un método validado en 14 modelos para predecir con precisión estructuras singulares y distinguir las arquitecturas de LayerNorm de las de RMSNorm sin necesidad de autovalores.

Autores originales: Tejas Pradeep Shirodkar, P. J. Narayanan

Publicado 2026-06-19

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Tejas Pradeep Shirodkar, P. J. Narayanan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un modelo de aprendizaje automático masivo y complejo (un Transformer) como un gigantesco rascacielos de varios pisos hecho de ecuaciones matemáticas. Cuando los ingenieros entrenan estos modelos, ajustan miles de millones de diminutos pomos (parámetros) para que el edificio se mantenga perfectamente recto y funcione bien.

Este artículo presenta una nueva forma de mirar dentro de ese rascacielos para encontrar "direcciones muertas".

¿Qué es una "Dirección Muerta"?

Piensa en los parámetros del modelo como un paisaje de colinas y valles. Normalmente, si empujas el modelo ligeramente en cualquier dirección, este cambia su funcionamiento. Pero en estas "direcciones muertas", el paisaje es perfectamente plano. Si empujas el modelo a lo largo de una dirección muerta, nada sucede. Es como caminar sobre un lago congelado: puedes deslizarte eternamente sin hundirte ni cambiar tu trayectoria.

Encontrar estas direcciones suele ser difícil. Normalmente requiere ejecutar el modelo a través de miles de casos de prueba, realizar matemáticas complejas sobre los resultados o simular cómo aprende el modelo. Es como intentar encontrar una grieta oculta en una pared golpeándola miles de veces.

El Gran Descubrimiento: La "Brújula Mágica"

Los autores encontraron un atajo, pero solo para modelos que utilizan un componente específico llamado LayerNorm (una herramienta estándar en IA).

Descubrieron que no necesitas ejecutar el modelo ni realizar matemáticas pesadas para encontrar estas direcciones muertas. Solo necesitas mirar un número específico dentro de la configuración del modelo, llamado el parámetro "gamma" ( $\gamma$ ).

La Analogía: Imagina que el componente LayerNorm tiene un dial con números. Los autores descubrieron que, si simplemente tomas el inverso de esos números (los volteas de cabeza) y los normalizas, obtienes un mapa perfecto que apunta directamente a la dirección muerta.
La Magia: Puedes leer este mapa instantáneamente. Sin pasadas hacia adelante (ejecutar el modelo), sin pasadas hacia atrás (calcular errores) y sin necesidad de descomposiciones de autovalores complejas. Es como mirar el plano y saber inmediatamente dónde están los puntos débiles, sin siquiera haber construido la casa.

Los Dos Tipos de Edificios

El artículo probó esto en 14 modelos diferentes (algunos para texto, otros para imágenes). Encontraron una división clara:

Modelos con LayerNorm (Los que tienen el mapa): En 9 de los 9 modelos que usan LayerNorm, la "brújula mágica" funcionó perfectamente. La dirección predicha por el número simple coincidió con la dirección muerta real encontrada mediante matemáticas pesadas hasta en cuatro decimales. Fue una coincidencia perfecta.
Modelos con RMSNorm (Los que no tienen el mapa): En 5 modelos que usan una herramienta diferente llamada RMSNorm, este truco no funcionó. No había una dirección muerta universal que se pudiera encontrar simplemente mirando los números. Esto tiene sentido porque el RMSNorm carece de un "proyector" matemático específico que crea la dirección muerta en el LayerNorm.

¿Qué sucede cuando entrenas?

El artículo también observó qué sucede a medida que el modelo aprende.

Al principio (Aleatorio): La dirección muerta existe debido a la arquitectura (el plano), y la "brújula mágica" la encuentra inmediatamente.
Después del entrenamiento: El modelo se vuelve aún más "plano" en esa dirección. La dirección muerta se convierte en un cañón profundo. La brecha entre el inicio aleatorio y el modelo entrenado muestra cuánto profundizó el proceso de entrenamiento estos puntos planos.

Una Verificación de Seguridad para el Rascacielos

Los autores también utilizaron este método para comprobar si el "flujo residual" (el pasillo principal por donde fluye la información a través del edificio) se mantiene fuerte.

La Regla: En un edificio saludable, el "punto más débil" del pasillo no debería debilitarse a medida que subes los pisos.
El Resultado: En 13 de los 14 modelos, esta regla se cumplió. El pasillo se mantuvo fuerte.
La Excepción: Un modelo (Gemma 4-31B) presentó una "dirección muerta" genuina donde el pasillo se debilitó. El método de los autores localizó este fallo instantáneamente, demostrando que no era solo un error de medición, sino un problema estructural real en ese modelo específico.

Por qué esto importa (Según el artículo)

Es Gratis: Puedes diagnosticar la "estructura singular" (los puntos planos) de un modelo simplemente leyendo sus parámetros. No se requiere computación pesada.
Es un Clasificador: Puedes saber si un modelo usa LayerNorm o RMSNorm con solo comprobar si esta "brújula mágica" funciona.
Es un Diagnóstico: Si ves un modelo donde esta brújula falla o donde el pasillo se debilita, esto señala una posible anomalía estructural que merece ser investigada.

En resumen, el artículo dice: "Si tienes un modelo con LayerNorm, no necesitas ejecutarlo para encontrar sus direcciones más débiles y planas. Solo mira un número, voltéalo y tendrás la respuesta".

Resumen Técnico: Direcciones Muertas Algebraicas en Transformers con LayerNorm

Planteamiento del Problema
Los modelos transformer preentrenados operan cerca de mínimos singulares de su paisaje de pérdida, donde la métrica de información de Fisher se degenera a lo largo de "direcciones muertas" específicas en el espacio de parámetros. A lo largo de estas direcciones, la pérdida es plana y la información de Fisher direccional se anula. Identificar estas direcciones es crucial para comprender la geometría del modelo y la teoría del aprendizaje singular, pero los métodos existentes son computacionalmente costosos o indirectos. Localizar una dirección muerta suele requerir un paso hacia adelante (forward pass) combinado con la descomposición en autovalores de las activaciones, estimaciones de complejidad basadas en muestreo (por ejemplo, el Coeficiente de Aprendizaje Local) o un acceso extensivo a los gradientes. Crucialmente, ningún método previo proporciona una dirección muerta específica computable únicamente a partir de los parámetros de la red sin un paso hacia adelante o hacia atrás (forward o backward pass).

Metodología
Este artículo desarrolla un diagnóstico de forma cerrada para transformadores con LayerNorm (LN) basado en el marco de trabajo de Shirodkar (2026), que deriva direcciones muertas de una factorización KFAC (aproximación de curvatura factorizada por Kronecker) de la información de Fisher. La idea central es que el proyector de sustracción de la media inherente al mapeo hacia adelante de LayerNorm fuerza algebraicamente una dirección de núcleo específica en la covarianza de la activación post-normalización.

Los autores proponen que, para cualquier transformer equipado con LayerNorm, la dirección de escala inversa del parámetro afín de LayerNorm, definida como $v^* = \gamma^{-1} / \|\gamma^{-1}\|$ , es un núcleo algebraico exacto de la covarianza de la activación centrada post-normalización final para cualquier distribución de entrada. Esta dirección se lee directamente del parámetro de escala aprendido $\gamma$ únicamente.

La metodología involucra tres pruebas diagnósticas primarias en 14 transformers preentrenados (que van desde 160M hasta 35B de parámetros, incluyendo modelos de lenguaje y visión con LayerNorm y RMSNorm):

Validación de la Línea Base Algebraica: En una inicialización aleatoria, la dirección predicha $v^*$ se compara con la dirección singular inferior medida ( $u_\perp$ ) de la covarianza de la activación.
Dicotomía del Lado de la Norma: La presencia o ausencia de esta dirección de núcleo universal se utiliza para clasificar el esquema de normalización (LayerNorm vs. RMSNorm).
Brecha Inducida por el Entrenamiento: Se mide el "ratio de Schur" $R(h)$ y su complemento $\Delta_\gamma = 1 - R(h)$ para cuantificar cuánto se profundizan las direcciones muertas reales después del entrenamiento en comparación con la línea base arquitectónica.
Invarianza de Profundidad: El artículo prueba si el valor singular más pequeño de la corriente residual ( $\sigma_{\min}$ ) se preserva bloque a bloque, una propiedad derivada de las conexiones de salto de identidad y la hipótesis de no cancelación.

Todas las mediciones se realizan utilizando un único paso hacia adelante por checkpoint sin acceso a gradientes ni cadenas de muestreo, utilizando acumulación de covarianza centrada en fp64 para evitar los umbrales de ruido numérico.

Contribuciones Clave

Dirección Muerta Algebraica para LayerNorm: El artículo demuestra y valida empíricamente que para cualquier transformer con LayerNorm, la dirección $\gamma^{-1}/\|\gamma^{-1}\|$ es una dirección muerta de la covarianza de la activación centrada post-normalización final. Esta dirección es legible directamente del parámetro afín sin necesidad de un paso hacia adelante.
Diferencial Negativo de RMSNorm: Se demuestra que RMSNorm, al carecer del proyector de sustracción de la media, no posee tal dirección muerta universal dependiente únicamente de $\gamma$ . Esto crea una estricta dicotomía algebraica entre los dos tipos de normalización.
Invariancia de Profundidad de la Corriente Residual $\sigma_{\min}$ : Un corolario de forma cerrada predice que el valor singular más pequeño de la corriente residual no puede disminuir bloque a bloque ( $\sigma_{\min}(X_\ell)/\sigma_{\min}(X_0) \ge 1$ ) bajo la hipótesis de no cancelación.
Diagnóstico de Ratio de Schur: El artículo introduce una métrica cuantitativa ( $\Delta_\gamma$ ) que mide la brecha entre la línea base arquitectónica (inicialización aleatoria) y la estructura singular entrenada. Esta brecha sirve como un diagnóstico de un solo paso hacia adelante para la estructura singular acumulada.

Resultados
Las predicciones fueron probadas en 14 modelos (9 LayerNorm, 5 RMSNorm) a través de varios objetivos (predicción del siguiente token, clasificación de imágenes, aprendizaje auto-supervisado).

Coincidencia Algebraica: En una inicialización aleatoria, la dirección predicha $\gamma^{-1}/\|\gamma^{-1}\|$ coincide con la dirección singular inferior medida con cuatro decimales de precisión ( $|\cos| \ge 0.9999$ ) en todos los 9 modelos LayerNorm. La alineación media fue de 0.99999.
Ausencia de RMSNorm: Los 5 modelos RMSNorm mostraron correctamente la ausencia de alineación con cualquier dirección derivada de $\gamma$ ( $|\cos| \le 0.10$ ), situándose en el nulo de dirección aleatoria.
Brecha de Entrenamiento: En los checkpoints entrenados, el ratio de Schur $\Delta_\gamma$ se satura en $\approx 1$ en todos los tamaños de modelo, indicando que el entrenamiento abre direcciones muertas aproximadamente $10^3$ veces más profundas que la línea base arquitectónica establecida por LayerNorm.
Invarianza de Profundidad: La invariancia de profundidad de $\sigma_{\min}$ $σ_{m i n}$ se cumple para 13 de los 14 modelos cuando se lee sobre sus propias distribuciones de entrada.
- La única excepción, Gemma 4-31B, exhibe una dirección muerta intrínseca genuina donde la $\sigma_{\min}$ de la corriente residual disminuye $\sim 18\times$ en la salida.
- La otra variante de Gemma 4 (Gemma 4-E4B) mostró una caída bajo calibración de solo texto que se disolvió bajo calibración multimodal (texto+imagen+audio), identificándola como una dirección muerta relativa a la distribución en lugar de una intrínseca.
Validación Dinámica: En la trayectoria de preentrenamiento de Pythia-1B, el ratio de $\sigma_{\min}$ se mantuvo $\ge 1$ en cada paso, mientras que la alineación con la dirección de núcleo predicha se mantuvo alta ( $\ge 0.998$ ) incluso a medida que $\gamma$ se dispersaba, confirmando que la predicción rastrea el $\gamma$ aprendido en lugar de la inicialización.

Significancia y Reivindicaciones
El artículo afirma proporcionar la "lectura de dirección muerta más barata" específica para LayerNorm, que requiere únicamente la inspección de un único parámetro ( $\gamma$ ) sin necesidad de pasos hacia adelante o hacia atrás. Esto permite a los profesionales:

Identificar Subespacios Muertos: Detectar direcciones muertas en modelos congelados sin necesidad de muestreo o acceso a gradientes.
Clasificar la Arquitectura: Determinar el esquema de normalización (LN vs. RMSNorm) de un modelo preentrenado puramente a partir de sus parámetros.
Diagnosticar Patologías: Utilizar el perfil de $\sigma_{\min}$ como una señal en tiempo real para detectar anomalías arquitectónicas (por ejemplo, el colapso localizado en el MLP de Gemma 4) que los procesos estándar podrían pasar por alto debido a los umbrales de ruido numérico.
Informar el Diseño: Proporcionar una prueba estructural para nuevos esquemas de normalización para predecir si portarán un núcleo universal derivado de $\gamma$ .

Los autores enfatizan que el marco distingue entre direcciones muertas garantizadas arquitectónicamente (presentes en la inicialización aleatoria en LayerNorm) y direcciones muertas inducidas por el entrenamiento (que profundizan el núcleo tanto en modelos LN como RMSNorm). La brecha entre estos dos estados sirve como un diagnóstico de la estructura singular acumulada durante el entrenamiento. El artículo no pretende resolver el origen de la anomalía de Gemma 4, sino que logra localizarla en la subcapa MLP y distinguirla de los artefactos de calibración.