🤖 machine learning

Bug or Feature $^2$ : Weight Drift, Activation Sparsity, and Spikes

Este trabajo identifica una deriva fundamental de pesos negativos causada por la interacción entre las funciones de pérdida estándar y las activaciones con sesgo positivo, la cual induce alta dispersión de activaciones y acantilados de precisión en redes profundas, llevando a los autores a proponer ReLU $^2$ y GELU $^2$ recortados como soluciones efectivas que equilibran dispersión, estabilidad y rendimiento.

Autores originales: Egor Shvetsov, Aleksandr Serkov, Shokorov Viacheslav, Redko Dmitry, Vladislav Goloshchapov, Evgeny Burnaev

Publicado 2026-05-19

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Egor Shvetsov, Aleksandr Serkov, Shokorov Viacheslav, Redko Dmitry, Vladislav Goloshchapov, Evgeny Burnaev

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás construyendo una máquina masiva y compleja compuesta de miles de interruptores diminutos (neuronas) que aprenden a reconocer patrones. Durante años, los ingenieros han estado ajustando estas máquinas mediante prueba y error, añadiendo características que parecen funcionar bien sin comprender plenamente por qué funcionan.

Este artículo, titulado "Bug or Feature2", investiga una peculiaridad oculta en cómo aprenden estas máquinas. Los autores descubrieron un "fantasma" en la máquina: una tendencia de los ajustes internos (pesos) a desviarse lentamente en una dirección negativa, lo que provoca que muchos interruptores se apaguen por completo.

Aquí tienes el desglose de sus hallazgos utilizando analogías simples:

1. La "Deriva Negativa" (La Tira y Afloja)

Imagina que la máquina comienza con todos sus ajustes equilibrados perfectamente alrededor de cero. Los autores descubrieron que, debido a cómo la máquina calcula sus errores (usando fórmulas matemáticas estándar llamadas "funciones de pérdida") y cómo procesa la información (usando "funciones de activación" como ReLU), existe una tira y afloja sutil e invisible.

El Mecanismo: En los primeros segundos del entrenamiento, las matemáticas empujan los ajustes ligeramente hacia el lado negativo.
El Resultado: Una vez que un ajuste se vuelve negativo, se mantiene negativo. Es como una bola rodando cuesta abajo; una vez que comienza, sigue hasta chocar contra un muro. Esto ocurre incluso si la máquina recibe datos aleatorios y sin sentido. Es un defecto en el proceso de entrenamiento en sí, no en los datos.

2. Los "Interruptores Silenciosos" (Esparsidad de Activación)

Ahora, imagina que esos interruptores son bombillas.

Con ReLU (un tipo común de interruptor): Si el ajuste se desvía hacia lo negativo, la bombilla se apaga completamente y permanece apagada. Los autores descubrieron que en algunos modelos (como un modelo de lenguaje pequeño llamado GPT-nano), hasta el 90% de las bombillas se apagan y permanecen silenciosas.
La Pregunta: ¿Es esto un Bug o una Característica?
- Bug: Si se apagan demasiadas luces, la máquina podría quedarse ciega y dejar de aprender.
- Característica: Si la máquina puede hacer su trabajo con menos luces encendidas, podría ser más eficiente.

3. El "Acantilado" (La Zona de Peligro)

Los investigadores probaron cuánto silencio podía soportar la máquina antes de romperse. Encontraron un "Acantilado" pronunciado.

La Zona Segura: Si apagas hasta el 70% de los interruptores, la máquina sigue funcionando casi tan bien como antes. Es sorprendentemente robusta.
El Acantilado: Si intentas apagar más del 70% (digamos, 80% o 90%), el rendimiento de la máquina se desploma. Es como intentar conducir un coche con una sola rueda; funciona bien hasta que alcanzas cierta velocidad, luego se desmorona.
La Excepción: Las máquinas con "conexiones de salto" (como ResNet o Transformers) son como coches con ruedas de repuesto; pueden soportar mucho más silencio antes de estrellarse.

4. El Experimento de "Cuadrado" (ReLU2)

Los autores probaron un nuevo tipo de interruptor llamado ReLU2, que eleva la señal al cuadrado (hace que los números grandes sean aún más grandes).

El Problema: Esto creó "Picos". Imagina que unas pocas bombillas parpadean de repente tan brillantemente que se funden o cegaran el sistema. En las capas intermedias de la máquina, estos picos se volvieron peligrosamente grandes.
La Solución: Descubrieron que recortar los picos (poniendo un techo a lo brillante que puede llegar a estar la bombilla) solucionó el problema.
El Ganador: Un "ReLU2 Recortado" funcionó mejor que el original, y un "GELU2 Recortado" (un interruptor suave diferente) realmente obtuvo el mejor rendimiento en el modelo de lenguaje, logrando la tasa de error más baja.

5. El Truco de "Congelar" (Eficiencia Computacional)

La "deriva" ocurre principalmente en los primeros pasos del entrenamiento. Después de eso, los ajustes se estabilizan.

La Idea: Por lo general, la máquina recalcula su "centro de gravedad" (estadísticas de normalización) cada vez que ve una nueva imagen o frase. Esto es lento.
El Truco: Los autores descubrieron que una vez que la deriva inicial se asienta (después de un breve "calentamiento"), puedes congelar esos cálculos. Dejas de recalcular y simplemente usas los números del inicio.
El Beneficio: Esto hace que la máquina se entrena aproximadamente un 25–30% más rápido sin perjudicar su inteligencia final. Es como ajustar el termostato una vez que la habitación alcanza la temperatura correcta, en lugar de verificar la temperatura cada segundo.

Resumen

El artículo revela que los modelos de IA modernos desarrollan naturalmente "zonas muertas" donde muchas neuronas dejan de funcionar debido a una peculiaridad matemática en cómo aprenden.

No es un bug en los datos; es un bug en las matemáticas de optimización.
El silencio es aceptable hasta cierto punto (70%), pero demasiado silencio provoca un colapso.
Nuevos interruptores (funciones cuadradas) pueden ser poderosos pero necesitan "recorte" para evitar picos peligrosos.
Congelar los cálculos iniciales puede hacer que el entrenamiento sea significativamente más rápido.

Los autores concluyen que lo que parece un efecto secundario aleatorio es en realidad un mecanismo controlable que, si se comprende, puede ayudarnos a construir una IA más rápida y eficiente.

Resumen Técnico: Bug o Característica 2: Deriva de Pesos, Esparsidad de Activación y Picos

Declaración del Problema

El diseño de arquitecturas neuronales modernas ha evolucionado mediante elecciones empíricas incrementales, sin embargo, los mecanismos intrínsecos que gobiernan la dinámica de entrenamiento permanecen parcialmente comprendidos. Este trabajo identifica una deriva negativa de los pesos sistemática inducida por la interacción entre funciones de pérdida estándar (MSE, entropía cruzada) y funciones de activación con sesgo positivo (por ejemplo, ReLU, GELU, SiLU) en ausencia de normalización centrada en la media.

El problema central es que, durante las primeras iteraciones del entrenamiento, el descenso de gradiente impulsa los pesos hacia valores negativos. Esto ocurre porque el gradiente esperado con respecto a las pre-activaciones positivas es no negativo. En consecuencia, las pre-activaciones se desplazan hacia abajo, causando que más neuronas caigan por debajo de cero. Cuando se pasan a través de funciones de activación como ReLU, estas pre-activaciones negativas se comprimen a cero, induciendo esparsidad de activación dura. Los autores investigan si esta esparsidad emergente es una característica beneficiosa para la eficiencia o un bug perjudicial que degrada el rendimiento del modelo. Además, el trabajo examina los picos de activación patológicos observados en funciones de activación al cuadrado (por ejemplo, ReLU2) dentro de arquitecturas transformer.

Metodología

1. Análisis Formal de la Deriva de Pesos

Los autores proporcionan una prueba formal para Perceptrones Multicapa (MLP) basados en ReLU en la inicialización.

Marco Teórico: Definen una matriz de pesos efectiva $V_{eff}$ que representa la composición de las capas lineales subsiguientes y las puertas ReLU.
Teorema Clave: Bajo inicialización de pesos i.i.d. con media cero, las filas de $V_{eff}$ exhiben media cero pero correlación cruzada no negativa ( $E[\langle v_i, v_j \rangle] \ge 0$ ).
Análisis de Gradiente: Tanto para las pérdidas MSE como de entropía cruzada, el gradiente esperado con respecto a cualquier pre-activación positiva es no negativo. Dado que el descenso de gradiente actualiza los pesos en la dirección negativa del gradiente ( $w \leftarrow w - \eta \nabla w$ ), este gradiente consistentemente positivo impulsa los pesos hacia valores negativos.
Ciclo de Realimentación Positiva: A medida que los pesos se vuelven negativos, las pre-activaciones se desplazan aún más por debajo de cero, aumentando la fracción de neuronas muertas y reforzando la deriva.

2. Validación Empírica

Los autores verifican estas dinámicas en diversos entornos:

Arquitecturas: MLP, ResNet-18, MaxViT, MP-SENet y GPT-nano.
Activaciones: ReLU, GELU, SiLU, NoisyReLU, SUGARBSiLU y ReLU2.
Datos: Entrenamiento tanto en conjuntos de datos del mundo real (CIFAR-10, ImageNet-1K, FineWeb) como en entradas completamente aleatorias para aislar la dinámica de optimización de la distribución de datos.
Optimizadores: SGD, SGD con momento y Adam/AdamW.

3. Control de Esparsidad y Análisis de Compensaciones

Para determinar si la esparsidad es un "bug" o una "característica", los autores controlan explícitamente los niveles de esparsidad utilizando dos mecanismos:

Esparsidad Top-K: Mantiene el top $k\%$ de las activaciones (utilizado con GELU).
Centrado por Percentil (PC): Un método propuesto que desplaza las activaciones por un percentil objetivo $q$ en lugar de la media antes de aplicar ReLU, controlando directamente la fracción de activaciones anuladas.
Evaluación: Comparan 79 configuraciones en diversas arquitecturas para mapear la relación entre los niveles de esparsidad y la precisión/pérdida del modelo.

4. Investigación de Activaciones al Cuadrado y Picos

El trabajo analiza ReLU2 ( $max(0, x)^2$ ) y GELU2 en GPT-nano.

Detección de Picos: Observan picos masivos de activación en las capas 2–4 de GPT-nano al utilizar ReLU2.
Mitigación: Prueban recortar estas activaciones en umbrales (15 y 50) para determinar si los picos son perjudiciales (bugs) o informativos (características).

Resultados Clave

1. La Deriva Negativa de Pesos es Intrínseca

Universalidad: La deriva ocurre en todas las arquitecturas y funciones de activación probadas, incluidas aquellas sin normalización explícita (por ejemplo, RMSNorm).
Origen de Optimización: El fenómeno persiste incluso en datos aleatorios, confirmando que es una propiedad de la dinámica de optimización y no de la distribución de datos.
Magnitud: La deriva es más pronunciada en las primeras iteraciones de entrenamiento y se estabiliza a medida que los gradientes disminuyen. Los optimizadores basados en momento aceleran esta deriva inicial.
Consecuencia de Esparsidad: En modelos basados en ReLU, esta deriva induce una esparsidad natural que alcanza hasta un 90% en GPT-nano sin regularización explícita.

2. El "Acantilado" de Esparsidad-Precisión

Curva de Compensación: El rendimiento se mantiene estable en niveles de esparsidad moderados ( $s \lesssim 0.7$ ) pero se degrada bruscamente más allá de un umbral crítico (el "acantilado").
Dependencia de la Arquitectura:
- MLPs: Sufren un colapso catastrófico a ~85% de esparsidad.
- ResNet: Muestra una degradación monótona con esparsidad estructurada (por canal) pero mantiene robustez con esparsidad no estructurada.
- Transformers (ViT, GPT): Exhiben una resiliencia extrema. GPT-nano mantiene un rendimiento cercano a la línea base hasta ~91% de esparsidad.
Independencia del Mecanismo: El método específico para inducir esparsidad (Top-K vs. Centrado por Percentil) tiene un impacto marginal en comparación con el nivel de esparsidad en sí mismo.

3. Funciones de Activación y Esparsidad

GELU: Logra la mayor precisión en la mayoría de las tareas de clasificación pero induce una esparsidad natural mínima.
ReLU2: Altamente sensible a la normalización. Colapsa en MLPs sin normalización pero logra la pérdida de validación más baja en GPT-nano (3.250) en comparación con GELU (3.260).
ReLUficación: Convertir modelos entrenados con GELU a ReLU mediante un epoca de ajuste fino recupera una esparsidad del 55–74% con una pérdida de precisión negligible (<1%), ofreciendo una estrategia práctica para la eficiencia.

4. Picos Patológicos y Recorte

Origen de los Picos: Los picos en GPT-nano se originan en la proyección ascendente de los bloques MLP y son amplificados por la operación de cuadrado en ReLU2.
Beneficios del Recorte:
- ReLU2 Recortado: Supera a ReLU2 sin recortar (3.236 vs. 3.251), indicando que los picos extremos son perjudiciales.
- GELU2 Recortado: Logra la mejor pérdida de validación general (3.233) en GPT-nano.
- Resultados en ViT: Las activaciones al cuadrado no superan a GELU en MaxViT, lo que sugiere que los beneficios de las activaciones al cuadrado pueden ser específicos de los modelos autoregresivos.

5. Eficiencia Computacional mediante Detención de Acumulación

Observación: Dado que la deriva de pesos se estabiliza después de unos pocos miles de pasos, el cálculo dinámico de estadísticas de normalización (percentiles, medias) es innecesario durante toda la duración del entrenamiento.
Método: Los autores proponen Detención de Acumulación (AS), donde las estadísticas se calculan mediante un Promedio Móvil Exponencial (EMA) durante una fase de calentamiento (por ejemplo, 50k pasos) y luego se congelan.
Resultado: Esto recupera el rendimiento de entrenamiento a niveles cercanos a la línea base (eliminando la sobrecarga de ~25–30% del cálculo dinámico de percentiles) sin degradar la calidad del modelo (las puntuaciones FID/IS permanecen estables o mejoran).

Significado y Afirmaciones

El trabajo reencuadra la esparsidad de activación no como una propiedad emergente de los datos, sino como una consecuencia controlable de la interacción entre funciones de pérdida, funciones de activación y capas de normalización.

Comprensión Mecanística: El trabajo proporciona una explicación teórica y empírica de por qué las arquitecturas modernas (que a menudo omiten el centrado en la media, por ejemplo, usando RMSNorm) exhiben una deriva sistemática de pesos y alta esparsidad.
Directrices de Diseño:
- Control de Esparsidad: Se puede lograr una esparsidad agresiva (hasta ~70-80%) sin degradación significativa del rendimiento en modelos basados en transformers, ofreciendo una vía para la eficiencia computacional.
- Elección de Activación: Aunque ReLU2 ofrece ganancias de rendimiento en LLMs, requiere recorte para mitigar picos patológicos. GELU sigue siendo una línea base robusta de propósito general.
- Eficiencia: La técnica de "Detención de Acumulación" ofrece un método práctico para reducir la sobrecarga de entrenamiento congelando las estadísticas de normalización después de la fase inicial de estabilización de la deriva.
Limitaciones: Los autores señalan que las pruebas teóricas se aplican estrictamente a la inicialización y ReLU, siendo las extensiones a activaciones suaves empíricas. La aplicabilidad de estos hallazgos a LLMs de escala fronteriza (1B+ parámetros) y los umbrales de recorte óptimos para diferentes arquitecturas siguen siendo preguntas abiertas.

El trabajo concluye que comprender estas decisiones de diseño "aparentemente incidentales" es crucial para el desarrollo futuro de arquitecturas, particularmente a medida que el campo avanza hacia normalización no centrada e inferencia esparsa.