Do Sparse Autoencoders Identify Reasoning Features in Language Models?

Enunciado del Problema
Los avances recientes en modelos de lenguaje grandes (LLM) han demostrado capacidades sólidas de razonamiento multietapa, a menudo elicidas mediante la técnica de prompting de cadena de pensamiento (CoT). Un cuerpo creciente de investigación en interpretabilidad mecanicista utiliza Autoencoders Dispersos (SAE) para identificar características internas asociadas con estos procesos de razonamiento. El enfoque predominante implica una selección contrastiva: identificar características del SAE que exhiben una activación significativamente mayor en textos de razonamiento (por ejemplo, trazas de CoT) en comparación con textos de no razonamiento. Sin embargo, los autores argumentan que este método adolece de ambigüedades fundamentales. Dado que las respuestas de CoT difieren de las respuestas directas no solo en el razonamiento subyacente, sino también en el uso léxico superficial (por ejemplo, marcadores discursivos como "Espera", "Pero", "Vamos"), los métodos contrastivos pueden identificar características que capturan confusos léxicos superficiales en lugar de cálculos de razonamiento genuinos. La pregunta central abordada es si los SAE pueden identificar de manera fiable características monosémicas que representen el propio proceso de razonamiento interno, o si simplemente capturan correlatos lingüísticos de baja dimensión que coexisten con el razonamiento.

Metodología
El artículo propone un marco de evaluación basado en la falsificación diseñado para probar la robustez de las "características de razonamiento" seleccionadas de forma contrastiva. La metodología procede en tres etapas:

1. Motivación Teórica: Los autores presentan un análisis estilizado que muestra que la decodificación regularizada por dispersión en los SAE favorece inherentemente correlatos estables y de baja dimensión sobre la variación de alta dimensión dentro del comportamiento. En un escenario donde un comportamiento de alto nivel (razonamiento) coexiste con una pista léxica estable, la decodificación dispersa puede retener preferentemente la coordenada de la pista mientras suprime la variación distribuida y de alta dimensión de la propia traza de razonamiento. Esto sugiere que los métodos contrastivos pueden aislar estructuras tipo pista en lugar de cálculos de razonamiento.

2. Inyección Causal de Tokens: Para probar dependencias léxicas superficiales, los autores realizan experimentos de inyección causal de tokens. Identifican los tokens o n-gramas con mayor activación para una característica candidata e los insertan en textos de no razonamiento. Si la característica se activa significativamente tras la inyección de estos pocos tokens, se clasifica como "impulsada por tokens", lo que indica que captura una pista léxica en lugar de un proceso de razonamiento.

3. Falsificación Guiada por LLM: Para las características que permanecen "dependientes del contexto" después de la inyección de tokens, los autores emplean un proceso adversarial guiado por un LLM. Un LLM genera hipótesis sobre qué patrones lingüísticos o estructurales detecta una característica. Luego construye dos tipos de contraejemplos:

   • Falsos Positivos (FP): Textos de no razonamiento que instan el patrón hipotético (por ejemplo, marcadores discursivos específicos o estructuras sintácticas) para desencadenar la activación sin razonamiento.
   • Falsos Negativos (FN): Parafraseos de las trazas de razonamiento con mayor activación que preservan el significado semántico y la intención de razonamiento, pero alteran la forma superficial (vocabulario, sintaxis, estilo) para suprimir la activación.
     Una característica se considera una "característica de razonamiento genuina" solo si resiste estos intentos de falsificación (es decir, no se activa en los FP y sí se activa en los FN).

4. Verificación de Sanidad de Dirección: Como verificación suplementaria, los autores realizan experimentos de dirección de características para ver si la amplificación de las características candidatas mejora las pruebas de razonamiento posteriores, señalando que los cambios en el rendimiento por sí solos son una prueba insuficiente de la representación del razonamiento.

Contribuciones Clave

• Perspectiva Teórica: El artículo proporciona un mecanismo teórico que explica por qué la dispersión en los SAE crea una asimetría que favorece la retención de pistas léxicas estables y de baja dimensión sobre la variabilidad de razonamiento de alta dimensión, incluso cuando el diccionario es perfecto.
• Marco de Evaluación: Introduce un pipeline riguroso orientado a la falsificación que combina la inyección causal de tokens y la generación de contraejemplos guiada por LLM para distinguir entre características de razonamiento genuinas y correlatos lingüísticos.
• Evidencia Empírica: El estudio aplica sistemáticamente este marco en 22 configuraciones que involucran múltiples familias de modelos (Gemma-3, DeepSeek-R1-Distill-Llama, Llama-3.1), capas y conjuntos de datos de razonamiento.

Resultados

• Sensibilidad a Tokens: En todas las configuraciones, se encontró que una mayoría significativa (45%–90%) de las características candidatas seleccionadas de forma contrastiva eran altamente sensibles a intervenciones a nivel de token. Inyectar solo unos pocos tokens asociados en textos de no razonamiento fue suficiente para desencadenar aumentos sustanciales en la activación, clasificándolas como impulsadas por tokens o parcialmente impulsadas por tokens.
• Falsificación de Características Dependientes del Contexto: Para las características restantes que no fueron explicadas por una inyección simple de tokens, el proceso de falsificación guiado por LLM construyó con éxito contraejemplos dirigidos. El LLM generó textos de no razonamiento que activaron las características (Falsos Positivos) y parafraseos de textos de razonamiento que suprimieron la activación (Falsos Negativos).
• Cero Características Genuinas: De las 248 características dependientes del contexto analizadas, cero fueron clasificadas como características de razonamiento genuinas. Cada característica examinada demostró ser un confuso, típicamente detectando plantillas sintácticas específicas (por ejemplo, "Primero, necesito..."), marcadores discursivos o enmarcado académico formal en lugar del cálculo de razonamiento subyacente.
• Impacto de la Dirección: Los experimentos de dirección arrojaron un rendimiento mínimo o ligeramente degradado en las pruebas (AIME, GPQA), lo cual es consistente con el hallazgo de que estas características no codifican el mecanismo de razonamiento en sí mismo.

Significado y Afirmaciones
El artículo concluye que, en los escenarios estudiados, las descomposiciones dispersas tienden a favorecer correlatos de baja dimensión que coexisten con el razonamiento en lugar de aislar el proceso de razonamiento en sí mismo. Los autores afirman que las correlaciones contrastivas por sí solas son evidencia insuficiente para la existencia de características de razonamiento monosémicas. Enfatizan que atribuir comportamientos de alto nivel a características individuales de SAE requiere validación causal y falsificación para descartar confusos lingüísticos superficiales. El trabajo no afirma que los SAE no puedan representar estructuras relevantes para el razonamiento, sino que las pipelines contrastivas actuales identifican de manera fiable características que se explican mejor como correlatos lingüísticos. Los autores abogan por tratar las correlaciones contrastivas como hipótesis que deben someterse a pruebas causales y adversariales rigurosas antes de interpretarse como representaciones de cálculos cognitivos específicos.