Massive Activations Are Architecturally Robust: A Controlled Scratch/Commitment Residual Stream Test

Resumen Técnico: Las activaciones masivas son arquitectónicamente robustas

Planteamiento del problema
Los modelos transformer entrenados exhiben consistentemente "activaciones masivas": un pequeño conjunto de dimensiones de estado oculto con magnitudes miles de veces mayores que la mediana. Estos valores atípicos son estructuralmente específicos, aparecen en dimensiones fijas a través de los inputs y se concentran fuertemente en el token de inicio de secuencia (o delimitador). Emergen temprano en la red, persisten a través de las capas subsiguientes y actúan como componentes de carga estructural; anularlos provoca el colapso del modelo.

El origen de estas activaciones es un tema de debate activo. Un bando las considera un artefacto del rol sobrecargado del flujo residual, donde un único flujo debe servir tanto como un bloc de notas mutable para la computación intermedia como un acumulador estable para la respuesta final. Los defensores de esta visión argumentan que las intervenciones arquitectónicas explícitas (p. ej., normalización QK, sesgos de clave/valor) pueden suprimir la magnitud de estos valores atípicos con una pérdida mínima en el rendimiento del modelado de lenguaje. El bando opuesto las ve como necesidades funcionales, que potencialmente sirven como sumideros de atención (attention sinks) para evitar la mezcla excesiva, reguladores adaptativos de gradiente o términos de sesgo requeridos para computaciones específicas.

La pregunta central abordada es si las activaciones masivas son un subproducto eliminable de la arquitectura o un requisito funcional que el modelo reconstruirá independientemente del mecanismo utilizado para separar sus roles de lectura/escritura.

Metodología: Residuos de Libro de Contabilidad (Ledger Residuals)
Para probar directamente la hipótesis del artefacto, los autores introducen los Residuos de Libro de Contabilidad (Ledger Residuals), una intervención arquitectónica que divide el estándar flujo residual único en dos canales distintos:

1. Flujo de Deliberación ($D$): Un "bloc de notas" mutable donde las subclases pueden escribir y, crucialmente, borrar contenido libremente. Esto permite que las computaciones intermedias sobrescriban datos obsoletos sin enterrarlos.
2. Flujo de Compromiso ($C$): Un "libro de contabilidad" protegido y de solo adición. Las subclases pueden añadir contenido a este flujo mediante un compuerta aprendida, pero no pueden sobrescribirlo. Crucialmente, la capa de desembebido (el cabezal de salida del modelo) decodifica exclusivamente desde este flujo.

El diseño asegura que, si las activaciones masivas son simplemente una solución improvisada al conflicto entre el rol de bloc de notas y el de respuesta, proporcionar un canal de respuesta dedicado y protegido debería hacer que estas sean innecesarias. La arquitectura está parametrizada para reducirse exactamente a un transformer pre-norm estándar bajo configuraciones de compuerta específicas, asegurando que cualquier diferencia observada se deba a la factorización en sí misma y no a un aumento de capacidad.

Los autores entrenaron transformers de solo decodificador a escalas de 160M y 290M de parámetros utilizando el corpus FineWeb-Edu. Compararon cuatro configuraciones con pérdida de validación igualada:

• Vanilla: Transformer pre-norm estándar.
• Suppress (Suprimir): Vanilla con normalización QK (conocida por reducir la magnitud de los valores atípicos).
• Ledger: La arquitectura propuesta de flujo dividido con una penalización de dispersión ligera en los compromisos.
• Ledger-HS: La misma arquitectura con una penalización de dispersión seis veces más fuerte para forzar que el canal de compromiso sea disperso.

Resultos Clave
La intervención falló en eliminar las activaciones masivas, lo que constituye un claro resultado negativo para la hipótesis del artefacto:

1. Reconstrucción en el Canal Protegido: En los modelos Ledger, el flujo de Compromiso ($C$) protegido reconstruyó el valor atípico canónico de dimensión fija y token de inicio. Aunque la magnitud del valor atípico en $C$ era menor que en el modelo "Vanilla" estándar, la firma estructural permaneció: la característica se concentró en la misma dimensión fija y se bloqueó fuertemente al token de inicio (BOS).
2. La Dispersión Intensifica la Característica: Contrario a la intuición de que forzar al canal de compromiso a ser disperso evitaría la formación de valores atípicos persistentes, la configuración Ledger-HS (alta penalización de dispersión) hizo que la característica fuera más fuerte. La persistencia de la dimensión dominante aumentó de 0.58 a 0.96, y la concentración en el token de inicio subió de 3.36 a 4.69. El modelo no abandonó la característica; concentró sus escasos "compromisos" en ella.
3. Magnitud vs. Estructura: El estudio distingue entre la magnitud de un valor atípico y su estructura. Mientras que la normalización QK (la línea base "Suppress") logró reducir la magnitud y la concentración en el token de inicio, la arquitectura Ledger demostró que, incluso cuando se le da un canal limpio, la estructura (dimensión fija + bloqueo de token de inicio) reemerge.
4. Sin Penalización de Rendimiento: La reubicación de la magnitud del valor atípico al flujo de compromiso no tuvo un impacto medible en la perplejidad de validación o en la robustez del modelo a la cuantización de pesos (8-bit y 4-bit).

Significancia y Reivindicaciones
El artículo sostiene que las activaciones masivas son arquitectónicamente robustas. El hecho de que el modelo reconstruya el valor atípico específico de dimensión fija y token de inicio en un canal dedicado y protegido —a pesar de tener un espacio de trabajo separado para la computación— sugiere que estas activaciones no son meramente un artefacto del doble rol del flujo residual. En cambio, parecen ser una necesidad funcional de la cual el modelo depende activamente, independientemente de dónde se le obligue a almacenar su representación final.

Los autores posicionan esto como evidencia que apoya el lado "funcional" del debate. Argumentan que, si bien la magnitud de los valores atípicos puede suprimirse (como muestran trabajos previos usando sesgos o normalización), la estructura subyacente persiste cuando se le da a la arquitectura la libertad de evitar el artefacto. El estudio no determina la función específica que estas activaciones sirven (p. ej., sumidero de atención, regulador de gradiente o término de sesgo), pero demuestra que el modelo reconstruirá esta característica estructural específica cada vez que decodifique desde una representación.

Los autores liberan la arquitectura de Residuos de Libro de Contabilidad y el código de medición para facilitar la reproducción y el escalado de esta prueba. Reconocen limitaciones, incluyendo los tamaños de modelo relativamente pequeños (290M) y el uso de una única semilla, señalando que se requieren más pruebas en escalas mayores y tareas diversas para generalizar plenamente estos hallazgos.