Resumen Técnico: Autoencoders Gated Escasos Conscientes del Signo

Enunciado del Problema

Los Autoencoders Escasos (SAE) son una herramienta estándar para extraer características interpretables de Modelos de Lenguaje Grandes (LLM) mediante el aprendizaje de diccionarios sobredeterminados de características latentes. Sin embargo, las variantes estándar de SAE (por ejemplo, basadas en ReLU o los SAE Gated estándar) imponen no negatividad en las activaciones latentes ($f_i(x) \geq 0$). Esta restricción obliga al modelo a aprender características latentes separadas para conceptos diametralmente opuestos (por ejemplo, "presión demasiado alta" frente a "presión demasiado baja") a lo largo del mismo eje semántico.

Esta "división por signo" desperdicia la capacidad del diccionario, ya que se requieren dos latentes para representar una única dirección de característica bidireccional. Aunque la codificación escasa clásica permite coeficientes con signo, las implementaciones estándar de SAE carecen típicamente de mecanismos para representar tanto evidencia positiva como negativa a lo largo de una dirección de decodificador compartida sin incurrir en artefactos de contracción L1 o requerir un doble ancho de modelo.

Metodología: SAE Gated Consciente del Signo (SA-GSAE)

Los autores proponen el SAE Gated Consciente del Signo (SA-GSAE), una arquitectura diseñada para modelar características anticorrelacionadas utilizando una única codificación latente. El método generaliza el SAE Gated introduciendo un mecanismo de escasez con puerta de dos lados con magnitud con signo y supervisión auxiliar.

1. Activación Bi-Jump-ReLU

La innovación central es la función de activación Bi-Jump-ReLU. Para cada latente $i$, el modelo calcula una proyección alineada con el decodificador $t_i(x)$. Se define una "zona muerta" aprendible $[-\delta^-_i, \delta^+_i]$ mediante umbrales.

• Selección de Polaridad: Una preactivación de puerta $\pi_i(x)$ determina la polaridad $s_i(x) \in \{+1, -1, 0\}$. Si $\pi_i(x)$ supera el umbral positivo, el latente se activa positivamente; si cae por debajo del umbral negativo, se activa negativamente.
• Magnitud con Signo: Una vez que la puerta selecciona una polaridad, una ruta de magnitud separada calcula el valor de activación. Críticamente, esta ruta utiliza un parámetro de ganancia ($g^+_i$ o $g^-_i$) y un desplazamiento de magnitud compartido, evitando la resta de umbrales de la magnitud activa (lo cual causa contracción L1).
• Dirección Compartida: Tanto las activaciones positivas como las negativas se mapean a la misma columna de decodificador $D_{:,i}$, permitiendo que un único latente represente un eje semántico bidireccional.

2. Objetivo de Entrenamiento

La función de pérdida de entrenamiento combina tres componentes:

1. Reconstrucción Principal: $\|x - D a(x) - b_{dec}\|^2_2$, donde $a(x)$ contiene las activaciones Bi-Jump-ReLU con signo.
2. Penalización de Escasez de Puerta: Una pérdida de bisagra de dos lados $\Omega_{gate}(\pi_i(x))$ aplicada a las preactivaciones de la puerta para fomentar la escasez sin reducir las magnitudes activas.
3. Reconstrucción Auxiliar: Una pérdida auxiliar $L_{aux}$ que utiliza una ruta de decodificador con gradiente detenido. Esta pérdida supervisa directamente la puerta, enseñándole qué lado de la zona muerta cruzar, mientras que la reconstrucción principal aprende la magnitud con signo. Esta separación evita que la puerta colapse (un modo de fallo común en los SAE con signo).

3. Argumento de Eficiencia Paramétrica

Los autores proporcionan un argumento teórico sobre la eficiencia paramétrica. Si una fracción $p$ de las características de verdad fundamental aparecen como pares anticorrelacionados, un SAE estándar requiere un ancho $H$, mientras que el modelo consciente del signo requiere $H_{\pm} = H(1 - p/2)$.

• El modelo consciente del signo añade 4 parámetros escalares por latente (dos umbrales, dos escalas de magnitud) en comparación con un SAE Gated estándar.
• Se producen ahorros netos de parámetros cuando $p > \frac{8}{d_{in} + 4}$.
• Para tamaños de capa oculta típicos de transformadores ($d_{in} = 2048$), este umbral es aproximadamente $0.39\%$. Los autores argumentan que incluso una pequeña fracción de pares anticorrelacionados hace que el enfoque consciente del signo sea estrictamente más eficiente en parámetros.

Contribuciones Clave

1. Arquitectura: Introducción del SA-GSAE con Bi-Jump-ReLU, habilitando la estimación de magnitud con signo y la escasez con puerta de dos lados. Los estudios de ablación confirman que la puerta de dos lados y la pérdida auxiliar son los componentes "estructurales"; eliminar la pérdida auxiliar provoca un fallo catastrófico (98% de latentes muertos).
2. Predeterminado de Magnitud Simétrica: Los autores demuestran que atar las escalas de magnitud positiva y negativa ($r^+_i = r^-_i$) es prácticamente indistinguible de la escalado independiente ($|\Delta R^2| \approx 0.0015$) en activaciones reales de LLM. Recomiendan esta variante simétrica como predeterminada por eficiencia paramétrica.
3. Validación Empírica: Evaluación extensa en Pythia-1B y SmolLM3-3B a través de tres puntos de conexión (salida MLP, salida de atención, flujo residual).

Resultados

El artículo compara un SA-GSAE de medio ancho ($H = 16,384$) contra un SAE Gated de ancho completo ($2H = 32,768$) y un SAE Gated de ancho coincidente.

• Reducción de la Fracción Muerta: El SA-GSAE de medio ancho reduce drásticamente la fracción de latentes muertos (inactivos) en comparación con el SAE Gated de ancho completo.
  • En celdas de salida MLP y flujo residual de Pythia-1B, la reducción es por factores de 100× a 500× (media geométrica).
  • En celdas de atención y flujo residual de SmolLM3-3B, la reducción es de 2× a 4×.
• Fidelidad de Reconstrucción:
  • En 3 de 6 celdas (ambos puntos de conexión de salida MLP y flujo residual de Pythia-1B), el SA-GSAE de medio ancho domina estrictamente en el sentido de Pareto al SAE Gated de ancho completo en toda la superposición de $L_0$ (escasez) barrida, logrando un $R^2$ igual o mejor con significativamente menos latentes muertos.
  • En las 3 celdas restantes, la brecha de $R^2$ es insignificante (dentro de $0.025$), mientras que la fracción muerta sigue reduciéndose significativamente.
• Estabilidad: A ancho completo, el SA-GSAE exhibe un colapso reproducible de reconstrucción en el sitio de flujo residual de SmolLM3-3B (MSE hasta 6.0, $R^2$ hasta -4.3). La variante de medio ancho evita por completo esta patología, proporcionando una motivación práctica para operar a medio ancho.
• Uso Bipolar: El análisis de calibración muestra que en las celdas de salida MLP, la mayoría de los latentes transportan señal en ambas polaridades (alta "fracción bipolar"), impulsando las ganancias de capacidad. En las capas de atención, la estructura bipolar se concentra en un conjunto más pequeño de latentes de activación superior.

Significado y Afirmaciones

El artículo afirma ser el primer SAE con puerta, de dos lados y sin contracción para el intercambio de características con signo. Su significado principal radica en:

1. Eficiencia: Demostrar que la conciencia del signo permite una reducción en el ancho del diccionario (medio ancho) sin sacrificar la calidad de reconstrucción, resolviendo efectivamente la ineficiencia de la "división por signo".
2. Insight Estructural: Mostrar que la capacidad de compartir direcciones de decodificador para pares anticorrelacionados no es solo una posibilidad teórica, sino una necesidad práctica para el aprendizaje eficiente de características en LLM, particularmente en salidas MLP.
3. Robustez: Identificar que la pérdida auxiliar es crítica para la estabilidad del entrenamiento y que una variante de magnitud simétrica es suficiente para un alto rendimiento.

Los autores tratan los diccionarios SAE como descomposiciones útiles en lugar de bases únicas de verdad fundamental. Concluyen que el SA-GSAE de medio ancho con magnitudes simétricas es el punto operativo recomendado, ofreciendo una utilización de capacidad superior y mayor estabilidad en comparación con los SAE Gated no negativos estándar.