💬 NLP

Gated Normalization Removal and Scale Anchoring in Pre-Norm Transformers

Este artículo presenta TaperNorm, un enfoque con puerta para transformadores pre-normalizados que elimina gradualmente las capas de normalización internas para mejorar el rendimiento de inferencia y revela que la normalización final sirve principalmente para anclar la escala de las representaciones pre-logit, un papel que puede ser reemplazado por una escalación con objetivo fijo para habilitar modelos completamente libres de normalización.

Autores originales: Andrei Kanavalau, Carmen Amo Alonso, Sanjay Lall

Publicado 2026-05-21

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Andrei Kanavalau, Carmen Amo Alonso, Sanjay Lall

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un modelo Transformer (el cerebro detrás de los chatbots modernos de IA) como una fábrica masiva de varios pisos. Cada vez que un fragmento de datos (una palabra) se mueve a través de la fábrica, pasa por varias salas. En cada sala individual, hay un "Inspector de Control de Calidad" (llamado Capa de Normalización) que verifica los datos, ajusta su tamaño y se asegura de que no se vuelvan demasiado locos ni demasiado pequeños antes de pasar a la siguiente sala.

Durante años, los ingenieros pensaron que estos inspectores eran absolutamente necesarios en cada paso, todo el tiempo. Pero este artículo plantea una pregunta simple: ¿Realmente necesitamos que estos inspectores estén activos después de que la fábrica haya terminado su entrenamiento?

Aquí está el desglose de sus hallazgos usando analogías simples:

1. El Truco del "Afinado" (Convertir a los Inspectores en Pasillos)

Los autores crearon un nuevo método llamado TaperNorm. Piénsalo como un regulador de intensidad para los Inspectores de Control de Calidad.

Durante el Entrenamiento: Al principio, los inspectores trabajan duro, verificando cada pieza de datos tal como lo hacen normalmente.
La Transición: A medida que el entrenamiento termina, los autores "atenúan" lentamente a los inspectores. No simplemente los despiden; les enseñan a dejar de verificar los datos y simplemente dejarlos pasar con una regla simple y fija (como "multiplicar por 1.5").
El Resultado: Al final, los inspectores desaparecen. Han sido reemplazados por una puerta simple y estática. Como la puerta es solo una regla fija, la fábrica puede "plegarla" en la maquinaria de la siguiente sala. Esto significa que la computadora ya no tiene que realizar matemáticas adicionales para verificar los datos; simplemente los hace avanzar.

¿Por qué importa esto?
El artículo probó esto en un modelo pequeño (TinyStories) y en un modelo famoso (GPT-2). Descubrieron que eliminar a estos inspectores internos no dañó mucho la inteligencia del modelo (solo una caída diminuta en el rendimiento). Sin embargo, como los inspectores fueron eliminados, la fábrica se volvió más rápida.

El Impulso de Velocidad: Cuando probaron qué tan rápido podía escribir texto el modelo, fue 1.18 veces más rápido. Es como un coche que pasa de 60 mph a 70 mph simplemente eliminando algunos baches innecesarios.

2. El Problema del "Ancla" (Por qué el Último Inspector debe Quedarse)

Aquí está el descubrimiento más interesante. Aunque pudieron eliminar a los inspectores en el medio de la fábrica, descubrieron que el último inspector (justo antes de que la IA dé su respuesta final) juega un papel especial y único.

La Analogía del Ancla:
Imagina que el pensamiento final de la IA es un globo flotando en el viento.

Con el Último Inspector: El inspector actúa como un ancla. Mantiene el globo a una altura específica. No importa cuán fuerte sople el viento (las matemáticas intentando hacer la respuesta más confiable), el globo se mantiene en un nivel estable. Esto mantiene a la IA estable.
Sin el Último Inspector: Si quitas ese último ancla, el globo queda libre para derivar. Las matemáticas de la IA intentan naturalmente hacer que el globo vuele más y más alto (haciendo las respuestas más "confiables" o extremas) solo para reducir su puntuación de error. Esto se llama "Persecución de Logits". La IA se vuelve inestable porque sigue inflando su propia confianza sin límite.

La Solución:
Si debes eliminar ese último inspector (para hacer el modelo aún más rápido), tienes que reemplazar el ancla con algo más. Los autores utilizaron una "Pérdida de Escala de Objetivo Fijo".

La Metáfora: Imagina una cuerda que tira suavemente del globo de vuelta a una altura específica si intenta flotar demasiado alto o hundirse demasiado bajo. Esta cuerda actúa como un "ancla virtual", evitando que la IA se vuelva loca, permitiéndoles eliminar el último inspector de forma segura.

3. La Conclusión

El artículo concluye con dos conclusiones principales:

Los Inspectores Internos son Opcionales: Puedes entrenar a la IA con inspectores y luego convertirlos en puertas simples al final. Esto hace que la IA sea más rápida (hasta un 18% más rápida en sus pruebas) con casi ninguna pérdida en inteligencia.
El Último Inspector es Especial: La verificación final es crucial porque evita que la IA se vuelva "demasiado confiada" e inestable. Si la eliminas, debes agregar una "cuerda" (una regla matemática específica) para mantener la confianza de la IA bajo control.

En resumen: Puedes eliminar a los intermediarios para hacer que la IA funcione más rápido, pero debes tener cuidado con el último paso, o la IA podría dejarse llevar por su propia confianza.

Resumen Técnico: Eliminación de Normalización con Puerta y Anclaje de Escala en Transformers Pre-Norm

Declaración del Problema

Las capas de normalización (por ejemplo, LayerNorm, RMSNorm) son componentes estándar en las arquitecturas de transformadores, que estabilizan las activaciones y permiten el entrenamiento de redes profundas. Sin embargo, estas capas introducen cálculos no lineales dependientes de la muestra que generan una sobrecarga significativa durante la inferencia. Sigue sin estar claro si estas estadísticas por token son estrictamente necesarias durante toda la fase de inferencia, particularmente en transformadores pre-norm. Aunque trabajos anteriores han intentado eliminar la normalización mediante trucos de inicialización o ajuste fino secuencial, existe una falta de comprensión sobre los roles funcionales distintos de las capas de normalización internas frente a las finales, específicamente en cuanto a cómo controlan la escala de la representación pre-logit.

Metodología

Los autores proponen TaperNorm, un enfoque de eliminación de normalización con puerta diseñado para transformadores pre-norm. Este método permite que el modelo transicione de la normalización estándar a mapas lineales o afines aprendidos e independientes de la muestra durante el entrenamiento, lo que posibilita la eliminación de las operaciones de normalización en la inferencia.

Mecanismo Central: TaperNorm

TaperNorm interpola dinámicamente entre una rama normalizada y una rama de escalado fija utilizando una puerta global $g \in [0, 1]$ . Para un vector de token $h$ :
$\text{TaperNorm}(h; g) = g \cdot \frac{h}{r(h)} D\gamma + (1 - g) \cdot c \cdot h D\tilde{\gamma}$
Donde:

$r(h)$ es el factor de escalado de RMSNorm.
$D\gamma$ y $D\tilde{\gamma}$ son matrices de escalado diagonales aprendibles.
$c$ es un escalar por capa.
$g$ es una puerta global que comienza en 1 (normalización estándar) y decae cosenoidalmente a 0 durante el entrenamiento.

Procedimiento de Entrenamiento:

Calentamiento (Warmup): La puerta $g$ se mantiene en 1. El modelo se entrena como un transformador pre-norm estándar.
Calibración: Al final del calentamiento, se calcula el escalar $c$ para minimizar la diferencia de mínimos cuadrados entre la rama normalizada y la rama de escalado, asegurando una transición suave sin desplazamiento de distribución.
Reducción (Tapering): La puerta $g$ decae a 0. Los parámetros de la rama de escalado ( $\tilde{\gamma}$ ) permanecen entrenables.
Fusión en Inferencia: Una vez que $g=0$ , la capa TaperNorm se convierte en un mapa lineal/afín simple ( $c \cdot h D\tilde{\gamma}$ ). Esta operación puede integrarse matemáticamente en proyecciones lineales adyacentes (por ejemplo, proyecciones QKV o pesos MLP), eliminando la operación de normalización explícita del grafo de inferencia.

Análisis de Anclaje de Escala

El artículo identifica una distinción crítica entre las capas de normalización internas y las finales:

Normalización Final como Ancla: La capa de normalización final actúa como un ancla de escala implícita. Matemáticamente, es 0-homogénea, lo que significa que elimina el componente del gradiente radial en la salida. Sin este ancla, minimizar la entropía cruzada puede impulsar al modelo a aumentar las magnitudes de los logits indefinidamente ("perseguir logits") para reducir la pérdida, lo que conduce a inestabilidad.
Alternativa Explícita: Cuando se elimina la normalización final (en configuraciones "All-Taper"), los autores introducen una pérdida de escala de objetivo fijo ( $L_{aux}$ ). Esta pérdida auxiliar penaliza las desviaciones de las escalas de los tokens desde un objetivo fijo $s_{tgt}$ , proporcionando una fuerza restauradora radial explícita que contrarresta la tendencia a perseguir logits.

Se prueban dos configuraciones experimentales:

Reducción Interna (Internal-Taper): Los normalizadores de bloques internos se reducen a mapas lineales, pero la normalización final permanece activa (ancla implícita).
Reducción Total (All-Taper): Todos los normalizadores, incluida la final, se reducen. Esto requiere la pérdida de escala de objetivo fijo para mantener la estabilidad (ancla explícita).

Contribuciones Clave

Eliminación de Normalización con Puerta: Un método para reducir los módulos RMSNorm/LayerNorm a reescalados lineales/afines fijos, permitiendo eliminar las estadísticas por token en la inferencia mediante la fusión de pesos.
Teoría de Anclaje de Escala de Salida: Un análisis que demuestra que el rol principal y distintivo de la capa de normalización final es eliminar los gradientes radiales. El artículo muestra que sin este ancla, la entropía cruzada induce un crecimiento ilimitado de los logits, y que una pérdida de escala de objetivo fijo puede sustituir eficazmente este rol estabilizador.
Validación Empírica: Experimentos en pre-entrenamiento de TinyStories y ajuste fino de GPT-2 muestran que la normalización interna puede eliminarse con aumentos mínimos en la pérdida de validación. El enfoque logra hasta 1.18× mayor rendimiento en la decodificación autoregresiva con caché KV tras fusionar los escalados internos.

Resultados

Pre-entrenamiento (TinyStories):
- Reducción Interna (+aux): Logró pérdidas de validación dentro del 0.7–1.5% de la línea base en todos los tamaños de modelo (de 1M a 30M parámetros).
- Reducción Total (+aux): Logró pérdidas dentro del 0.8–1.8% de la línea base, demostrando que un modelo completamente sin normalización es viable con anclaje de escala explícito.
- Dinámicas: Los modelos sin ancla de escala exhibieron un crecimiento rápido en las magnitudes de los logits ("perseguir logits"). La pérdida de escala de objetivo fijo suprimió con éxito este comportamiento, alineando las magnitudes de los gradientes con la línea base anclada.
Rendimiento en Inferencia:
- En una NVIDIA H100, la configuración Reducción Interna (fusionada) logró un 1.15–1.18× mayor rendimiento en tokens por segundo en comparación con la línea base estándar RMSNorm. La configuración Reducción Interna (no fusionada) (operaciones de escalado explícitas) logró una aceleración de 1.10–1.14×.
Ajuste Fino (GPT-2):
- Los métodos propuestos Internal-TaperLN y All-TaperLN lograron pérdidas de entropía cruzada competitivas con el enfoque "FakeLN" (Baroni et al., 2025) y los modelos Vanilla estándar en los conjuntos de datos OpenWebText y The Pile.
- A diferencia de los métodos de eliminación secuencial, TaperNorm utiliza una única puerta global para eliminar todas las capas seleccionadas simultáneamente.

Significado y Afirmaciones

El artículo afirma que las capas de normalización internas y finales desempeñan roles distintos en los transformadores pre-norm. Mientras que los normalizadores internos pueden ser reemplazados por mapas lineales aprendidos e independientes de la muestra con una degradación de rendimiento negligible, la capa de normalización final cumple una función única como ancla de escala de salida.

La importancia de este trabajo radica en:

Eficiencia: Proporciona una vía práctica para eliminar operaciones de normalización computacionalmente costosas del grafo de inferencia, generando ganancias medibles en el rendimiento (hasta 1.18×) sin reentrenar desde cero.
Perspectiva Teórica: Aclara que la estabilidad proporcionada por la capa de normalización final se debe en gran medida a su eliminación de los gradientes radiales. Esta perspectiva permite el diseño de modelos "completamente sin normalización" reemplazando el ancla implícita con una pérdida de escala de objetivo fijo explícita.
Robustez: El enfoque mantiene las dinámicas pre-norm estándar al inicio del entrenamiento, transicionando a mapas lineales solo más tarde, lo que parece más estable que los métodos que intentan entrenar sin normalización desde el principio.

Los autores mantienen modestia respecto al alcance, señalando que los experimentos se limitan a modelos de hasta 30M parámetros y pilas de hardware específicas. Reconocen que la robustez ante valores atípicos en las activaciones en regímenes de miles de millones de parámetros y la aplicabilidad a otros objetivos más allá de la entropía cruzada siguen siendo preguntas abiertas para trabajos futuros.