Steering LLMs? Actually, Sparse Autoencoders can outperform simple baselines

Resumen Técnico: Dirigiendo LLMs con Autoencoders Dispersos

Planteamiento del Problema
Se ha propuesto que los Autoencoders Dispersos (SAEs, por sus siglas en inglés) son una herramienta para interpretar Modelos de Lenguaje Grande (LLMs) mediante el descubrimiento de características monosemánticas dentro del flujo residual, basándose en la Hipótesis de Representación Lineal y la hipótesis de la superposición. Aunque teóricamente las características de los SAEs son capaces de controlar la generación del modelo (dirección o steering), evaluaciones recientes como AxBench (Wu et al., 2025) sugirieron que los SAEs rinden significativamente por debajo de líneas de base simples como el prompting. Wu et al. (2025) concluyeron que "incluso las líneas de base simples superan a los Autoencoders Dispersos" en tareas de dirección. Además, un trabajo previo (Wang et al., 2025) sugirió que una alta interpretabilidad y utilidad de dirección están fuertemente correlacionadas con una alta dispersión (bajo $\ell_0$), una condición que a menudo se cumple con las características anotadas en repositorios como Neuronpedia. Los autores de este artículo argumentan que el bajo rendimiento reportado por Wu et al. (2025) puede deberse a estrategias subóptimas de etiquetado y selección de características, en lugar de una limitación inherente de los SAEs.

Metodología
El artículo propone un flujo de trabajo supervisado para el etiquetado y la selección de características de SAEs para mejorar el rendimiento de la dirección, contrastando con los enfoques previos de etiquetado no supervisados o basados en LLMs.

1. Flujo de Trabajo de Etiquetado Supervisado:

   • Fuente de Datos: Los autores utilizan conjuntos de datos de Stack Exchange (por ejemplo, academia, biología, deportes) donde las etiquetas asignadas por usuarios sirven como etiquetas múltiples de verdad fundamental (ground-truth).
   • Sondas de Características: Para cada característica de SAE, se construye una sonda lineal calculando la frecuencia de activación de la característica sobre un conjunto de datos. Se realiza una predicción binaria basada en si la frecuencia supera un umbral $\tau$.
   • Puntuación F1 Calibrada: Para emparejar las características con las etiquetas, los autores computan una "F1 calibrada" ($F1^c$). Esta métrica ajusta la puntuación F1 estándar para tener en cuenta el soporte de la etiqueta (frecuencia), evitando el sesgo hacia etiquetas raras o comunes. El umbral óptimo $\tau$ se selecciona para maximizar esta puntuación.
   • Depuración y Selección: Para asegurar emparejamientos de alta calidad, el flujo de trabajo aplica tres criterios:
     1. Umbral de Soporte de Etiqueta: Filtra etiquetas con menos de 50 ocurrencias para reducir la varianza.
     2. Proxy de Puntuación de Salida: Utiliza un umbral ($10^{-3}$) basado en la puntuación de salida de Arad et al. (2025) para filtrar características con potencial de dirección inherente.
     3. Selección Top-K: Retiene los 50 mejores pares característica-etiqueta por categoría.

2. Mecanismo de Dirección (Steering):

   • Los autores emplean el enfoque de edición de activación de Templeton et al. (2024). Durante la inferencia, las activaciones de características específicas ($z_f$) se fijan a un valor $\alpha$. Se preserva el error de reconstrucción y el vector latente editado se pasa a través del decodificador.
   • Evaluación: El método se evalúa en AxBench, que califica el texto generado en fluidez, seguimiento de instrucciones e incorporación de conceptos. Los autores optimizan la fuerza de dirección $\alpha$ individualmente para cada par característica-etiqueta mediante validación cruzada, en lugar de utilizar un único valor global.

3. Configuración Experimental:

   • Modelos: Los experimentos se realizaron en Gemma 2 (9B) utilizando SAEs de Gemma Scope (ancho 131k) insertados en el flujo residual en las capas 17 y 32.
   • Líneas de Base: Las comparaciones incluyen la línea de base "NP random" (características seleccionadas aleatoriamente con etiquetas de Neuronpedia) y la línea de base de dirección por prompt de Wu et al. (2025).

Resultos Clave

• Paridad de Rendimiento con LoRA: Cuando las características se seleccionan y etiquetan mediante el flujo de trabajo supervisado propuesto, los SAEs alcanzan un rendimiento de dirección en el benchmark AxBench que es cercano a la par con las líneas de base de LoRA (Low-Rank Adaptation). Esto supera significativamente los resultados reportados por Wu et al. (2025).
• Validez Causal: El flujo de trabajo selecciona características que son sorprendentemente causales de sus etiquetas identificadas. Incluso cuando se elimina el componente de "puntuación de salida" (un proxy de la capacidad de dirección) del proceso de selección, las características restantes seleccionadas por el etiquetado supervisado aún demuestran un rendimiento de dirección superior en comparación con las selecciones aleatorias de Neuronpedia.
• Independencia de la Dispersión: Contrario a los hallazgos de Wang et al. (2025), los autores encuentran que una alta dispersión (bajo $\ell_0$) no es estrictamente crucial para una dirección exitosa. Tanto los SAEs de baja como de alta dispersión en el modelo Gemma Scope fueron efectivos para las tareas de dirección.
• Línea de Base de Prompting: Aunque el método de SAE propuesto mejora significativamente respecto a intentos previos de SAE, los autores señalan que el prompting simple sigue siendo una línea de base fuerte, probablemente porque los LLMs están entrenados explícitamente para seguir instrucciones.

Significancia y Reivindicaciones
El artículo sirve como una refutación parcial a la afirmación de que los SAEs son ineficaces para la dirección. Los autores argumentan que los resultados negativos de Wu et al. (2025) no hicieron "plena justicia" a los SAEs debido a la dependencia de etiquetas preexistentes, potencialmente subóptimas, y a la falta de una selección de características supervisada.

La significancia principal radica en demostrar que:

1. El Etiquetado Importa: El método de etiquetado de las características de los SAE es crítico. Un enfoque supervisado utilizando métricas calibradas y umbrales de soporte produce características con un impacto causal genuino en la generación del modelo.
2. Robustez de los SAEs: Los SAEs pueden ser competitivos con los métodos de ajuste fino de parámetros eficientes (LoRA) para la dirección, validando su utilidad como herramienta de interpretabilidad.
3. Verdad Fundamental Causal: En un entorno de investigación, la dirección exitosa de una característica confirma la "verdad fundamental" de la etiqueta de una característica, distinguiéndola de artefactos de idiosincrasias del conjunto de datos (polisemanticidad) que podrían confundir la interpretación basada en la correlación.

Los autores mantienen un tono modesto, reconociendo que, si bien los SAEs son poderosos para la investigación y la comprensión de los componentes internos del modelo, el prompting sigue siendo una línea de base difícil de superar para aplicaciones prácticas debido a la naturaleza del entrenamiento de los LLM. También señalan que la dirección de características implica un "daño controlado" al modelo, lo que lo hace menos adecuado para entornos de producción en comparación con el ajuste fino estándar.