Resumen Técnico: El tamaño no importa: Autoencoders dispersos con puntuación de coseno

1. Planteamiento del problema

Los Autoencoders Dispersos (SAEs) son herramientas estándar para la interpretabilidad mecánica, diseñadas para descomponer las activaciones de un modelo en un diccionario de características interpretables por humanos. Los SAEs estándar detectan características mediante una puntuación de producto interno, $\langle w_i, x \rangle$, la cual escala tanto con la alineación direccional del input $x$ como con la magnitud del mismo $\|x\|$.

Esta geometría de puntuación es fundamentalmente incompatible con las arquitecturas transformer modernas que emplean normalización de pre-subcapa (específicamente RMSNorm). En estos modelos, la subcapa lee la activación normalizada $x/\|x\|$, descartando efectivamente la información de magnitud antes de la computación. Sin embargo, el codificador del SAE, conectado al flujo residual, observa la magnitud completa. Por consiguiente, la puntuación de producto interno confunde la alineación de contenido con la norma del token.

Bajo la selección BatchTopK (el mecanismo de dispersión estándar), este desajuste crea una presión de selección patológica: los tokens de alta norma inflan las pre-activaciones para todas las características simultáneamente, independientemente de su alineación direccional. Estos tokens reclaman desproporcionadamente los slots del diccionario, causando que el SAE aprenda "detectores de norma" (características que se activan basándose en la magnitud del token) en lugar de "detectores de contenido". Esto resulta en diccionarios dominados por características que codifican una cantidad que el propio modelo ignora, socavando la fiabilidad del sondeo disperso, el control de características (steering) y el análisis de circuitos.

2. Metodología

Los autores proponen reemplazar la puntuación del codificador de producto interno estándar por una puntuación de coseno con exponente aprendido. La nueva pre-activación $s_i(x)$ se define como:

$$s_i(x) = e^b \|x_c\|^a \cdot \cos(x_c, w_i) + b_{enc,i}$$

Donde:

• $x_c = x - b_{dec}$ es el input centrado en el sesgo del decodificador.
• $w_i$ son las filas del codificador con normalización unitaria.
• $a$ es un exponente aprendible que controla la dependencia de la magnitud del input.
• $b$ es un parámetro de escala aprendible.
• El término $e^b \|x_c\|^a$ interpola entre la similitud de coseno pura ($a=0$) y el producto interno ($a=1$).

El artículo investiga dos regímenes de parámetros:

1. $a$ Global: Un único escalar de exponente compartido por todas las características.
2. $a_i$ por característica: Una extensión donde cada característica aprende su propio exponente ($a_i = a_{base} + \delta_i$), permitiendo la heterogeneidad en la dependencia de la norma.

Decisiones de diseño clave:

• Normalización Unitaria: Las filas del codificador se normalizan unitariamente en cada paso hacia adelante para asegurar que la puntuación sea una verdadera similitud de coseno cuando $a=0$.
• Inicialización: $a$ se inicializa en 0 (coseno puro) y $b$ en $\log \sqrt{d_{model}}$.
• Estabilidad: Para evitar cascadas de "ganador se lleva todo" donde las características con gradientes iniciales ligeramente más altos aumentan sus exponentes para dominar los tokens de alta norma, la variante por característica utiliza una parametrización base+delta ($a_i = a_{base} + \delta_i$). Esto ancla la escala global mientras permite desplazos individuales.

3. Contribuciones clave

Arquitectura

El artículo introduce los SAE de puntuación de coseno, un reemplazo directo para el codificador estándar que elimina la suposición por defecto de que la magnitud es una señal útil para la detección de características. Al permitir que el optimizador aprenda el exponente de dependencia de la norma $a$, la arquitectura puede recuperar el producto interno si la magnitud es genuinamente útil, pero por defecto opta por una puntuación basada solo en la dirección.

Resultados empíricos

Los experimentos en Qwen3-8B (Capa 18, 500M de tokens) y Gemma-2-2B demuestran que los SAE de puntuación de coseno logran:

• Reconstrucción emparejada: La Fracción de Varianza Explicada (FVE) y la preservación del comportamiento del modelo (puntuaciones KL/CE) son estadísticamente indistinguibles de los SAE estándar.
• Ganancias significativas de interpretabilidad: Con una reconstrucción emparejada, la variante de coseno por característica mejora la precisión de sondeo disperso top-1 en +14.9% a través de ocho conjuntos de datos de SAEBench.
• Descubrimiento de características: La mejora no se debe a una mejor codificación de características compartidas, sino al descubrimiento de nuevas características interpretables. Los SAE estándar fallan al aprender estas características porque sus slots de diccionario están ocupados por detectores de norma.
• Geometría aprendida: El entrenamiento conduce consistentemente el exponente aprendido $a$ hacia cero. En el régimen global, $a \approx 0.26$; en el régimen por característica, la media $a_i \approx 0.08$. Ninguna característica se acerca jamás al límite del producto interno ($a=1$), confirmando que la dirección, y no la magnitud, es la señal útil.

Identificación de mecanismos

El artículo aísla la causa del fallo del SAE estándar: la selección TopK en el pase hacia adelante bajo inflación de norma.

• El reponderado de gradientes falla: Los intentos de igualar las magnitudes de los gradientes a través de los cuartiles de norma en el SAE estándar (mediante reponderado de pérdida) cierran solo entre un 1.9% y un 6.8% la brecha de rendimiento. Esto confirma que el problema es la geometría de selección (qué características ganan la competencia TopK), no el flujo de gradiente en el pase hacia atrás.
• Características condicionadas por la norma: Los SAE estándar asignan la mayor parte de su capacidad a características que se activan abrumadoramente en tokens de alta norma (86% de las activaciones en el cuartil superior). Estas características codifican magnitud, no contenido.
• Patología de reconstrucción: En tokens de alta norma, los SAE estándar reconstruyen con una norma de salida 9.5$\times$ mayor que la del input, mientras que los SAE de coseno mantienen una relación de 1$\times$, alineándose con la lectura real del modelo.

4. Significado y afirmaciones

El artículo argumenta que la puntuación de coseno debería ser el estándar para el aprendizaje de diccionarios en representaciones normalizadas. El modo de fallo identificado —donde los SAE de producto interno cuentan sistemáticamente menos las características de contenido en favor de los detectores de norma— probablemente afecta a cualquier SAE entrenado en sitios post-RMSNorm.

• Impacto práctico: El cambio propuesto es una modificación arquitectónica mínima (añadir uno o dos parámetros escalares) que produce diccionarios más interpretables sin coste de reconstrucción.
• Alcance y limitaciones:
  • La ventaja es más pronunciada bajo RMSNorm. En modelos con LayerNorm (ej. Pythia, Falcon), el beneficio disminuye o desaparece en capas profundas, sugiriendo que la resta de la media de LayerNorm preserva una estructura correlacionada con la magnitud que la puntuación de producto interno puede explotar.
  • Sentimiento es la única tarea donde el SAE estándar supera a la variante de coseno, lo cual es consistente con la hipótesis de que la magnitud transporta señal relevante para la tarea en el análisis de sentimiento.
  • Los resultados son robustos a través de capas y modelos, pero no son universales; la magnitud de la ganancia escala con la dimensión y profundidad del modelo.

Los autores concluyen que el principio "el tamaño no importa" se sostiene: para representaciones normalizadas, la magnitud de la activación es ruido para la detección de características, y la geometría de la puntuación del codificador debe reflejar esto para recuperar conceptos significativos y reconocibles por humanos.