💬 NLP

Sparse Autoencoders Encode Both Concepts and Functions: The Downstream Geometry of Feature Effects

Este artículo introduce el Análisis de Geometría de Efecto de Características (FEGA) para demostrar que, si bien las características de los autoencoders dispersos pueden ser causalmente relevantes, rara vez funcionan como direcciones de control estables, exhibiendo en su lugar patrones geométricos distintos donde las características de tipo "valor" producen efectos estructurados y las características de tipo "puntero" generan cambios difusos y dependientes del contexto.

Autores originales: Phu Gia Hoang, Anwoy Chatterjee, Tanmoy Chakraborty, Iryna Gurevych, Subhabrata Dutta

Publicado 2026-07-28

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Phu Gia Hoang, Anwoy Chatterjee, Tanmoy Chakraborty, Iryna Gurevych, Subhabrata Dutta

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando comprender una biblioteca mágica y gigante donde los libros se escriben a sí mismos. Esta biblioteca es un "Modelo de Lenguaje Extenso", un tipo de inteligencia artificial que ha leído casi todo lo que hay en internet y ha aprendido a predecir la siguiente palabra en una oración. Dentro de esta biblioteca, hay millones de diminutos e invisibles interruptores llamados "neuronas" que se iluminan cuando el modelo piensa en algo. Durante mucho tiempo, los científicos intentaron comprender el modelo simplemente observando qué interruptores se iluminaban. Pensaban: "Si un interruptor se ilumina cuando el modelo habla de 'París', entonces ese interruptor debe ser el 'interruptor de París'".

Pero aquí está la parte complicada: el hecho de que un interruptor se ilumine no significa que realmente esté haciendo el trabajo. Podría estar simplemente observando. Para saber realmente qué hace un interruptor, tienes que meter la mano, apagarlo y ver si la historia cambia. Esto se llama "intervención". Recientemente, los científicos construyeron una herramienta especial llamada "Autocodificador Disperso" (o SAE, por sus siglas en inglés) para ayudar a encontrar estos interruptores. Piensa en un SAE como un archivador súper organizado que clasifica los interruptores desordenados y brillantes en carpetas ordenadas y etiquetadas. La esperanza era que, si encontrábamos una carpeta etiquetada como "París", pudiéramos simplemente encender o apagar esa carpeta para hacer que el modelo hable de París o deje de hablar de él. Esta idea se llama "dirección" o "steering".

Sin embargo, había una duda persistente. A veces, cuando los científicos encendían una carpeta de "París", el modelo no hablaba de París en absoluto. A veces hablaba de Francia, otras veces se confundía y otras veces hacía exactamente lo contrario de lo esperado. Era como tener un control remoto donde el botón de "Subir Volumen" a veces apagaba la televisión o cambiaba de canal. La gran pregunta era: ¿Por qué sucede esto? ¿Está roto el control remoto o nuestra comprensión de cómo funcionan los botones es errónea?

Este artículo, titulado "Los Autocodificadores Dispersos Codifican Tanto Conceptos Como Funciones", se embarca en una misión de detective para resolver este misterio. Los autores, un equipo de investigadores de Alemania e India, decidieron dejar de limitarse a mirar las etiquetas de las carpetas y empezar a observar qué sucede con la historia después de que se acciona un interruptor. Inventaron un nuevo método llamado "Análisis de Geometría de Efecto de Característica" (FEGA). Imagina que el FEGA es una cámara de alta tecnología que toma una instantánea de la biblioteca cada vez que accionas un interruptor, no solo una vez, sino en miles de historias diferentes. Luego, observan la "nube" de todas estas instantáneas para ver si el interruptor siempre empuja la historia en la misma dirección.

Lo que encontraron fue una sorpresa. Descubrieron que los interruptores dentro del modelo se dividen en dos categorías muy diferentes, que llamaron "Similares a Valores" y "Similares a Punteros".

Primero, están los interruptores Similares a Valores. Estos son como los "datos" en la biblioteca. Si un interruptor está vinculado al hecho de que "París está en Francia", actúa como una pieza de información estática. Cuando accionas este interruptor, la salida del modelo cambia de una manera algo organizada, como un grupo de personas caminando en una formación laxa. No es una sola línea recta, pero tampoco es un caos total. Estos interruptores son fiables para retener hechos específicos.

Luego, están los interruptos Similares a Punteros. Estos son los verdaderos problemáticos para la idea del "control remoto". Estos interruptores no contienen un hecho específico; en su lugar, contienen un trabajo o una función. Piensa en ellos como un botón de "Copiar" en un teclado. Un botón de "Copiar" no le importa qué está copiando; simplemente realiza la acción de copiar. En el modelo, un interruptor similar a un puntero podría ser responsable de "copiar la palabra de la parte anterior de la oración". Si la oración dice "El gato es grande", el interruptor copia "grande". Si la oración dice "El gato es pequeño", el interruptor copia "pequeño". Debido a que el trabajo es copiar lo que sea que esté ahí, accionar este interruptor no empuja la historia en una sola dirección predecible. En cambio, el efecto se dispersa por todas partes, como una nube de polvo.

El artículo muestra que para estos interruptores "Similares a Punteros", la vieja idea de "dirección" o "steering" es mayormente errónea. No puedes simplemente encender un interruptor de "Copiar" y esperar que el modelo siempre diga "Copiar". El efecto depende enteramente de lo que el modelo esté mirando en ese momento exacto. Los autores descubrieron que, mientras algunos interruptores (los Similares a Valores) tienen un efecto algo estructurado, la mayoría de los interruptores funcionales interesantes (los Similares a Punteros) crean un efecto "difuso". Son esenciales para que el modelo funcione —son la razón por la cual el modelo puede seguir reglas o copiar palabras— pero no apuntan en una dirección única y predecible.

En resumen, el artículo sugiere que necesitamos cambiar la forma en que pensamos sobre estos interruptores de IA. No podemos tratarlos a todos como simples botones de encendido/apagado para temas específicos. Algunos son como archivadores para hechos, pero otros son como herramientas dinámicas que cambian su efecto según la situación. Si queremos controlar estos modelos de IA en el futuro, no podemos simplemente buscar un único botón de "París" o un único botón de "Copiar" y esperar que funcione de la misma manera cada vez. Tenemos que entender que, para muchas de estas herramientas, el efecto es una nube compleja que cambia de forma dependiendo de la historia que se esté contando. Los autores no pretenden haber solucionado el problema todavía, pero han proporcionado un nuevo mapa que muestra exactamente dónde reside la confusión, demostrando que el "control remoto" para la IA es mucho más complicado de lo que pensábamos.

Resumen Técnico: Los Autoencoders Dispersos Codifican Tanto Conceptos como Funciones: La Geometría de los Efectos de las Características en el Procesamiento Posterior

1. Planteamiento del Problema

La adopción generalizada de los Autoencoders Dispersos (SAE, por sus siglas en inglés) para la interpretabilidad mecanística está actualmente limitada por un vínculo inconsistente entre las características del SAE y el comportamiento del modelo. Aunque las características poseen a menudo descripciones de activación claras (por ejemplo, "París" o "copiar"), sus efectos causales son frecuentemente inestables. Trabajos previos han demostrado que los efectos de dirección (steering) pueden variar según el prompt, oponerse a las direcciones pretendidas o no producir los cambios de salida deseados a pesar de una fuerte activación.

Los flujos de trabajo de interpretabilidad existentes dependen de la evidencia de activación (ejemplos de alta activación, descripciones automatizadas, lecturas del decodificador) para asociar características con conceptos. Sin embargo, la activación por sí sola no establece la contribución causal. Existe una brecha crítica en la comprensión de la geometría de los cambios en los logits del modelo causados por intervenciones en las características. Específicamente, no está claro si el efecto descendente de una característica constituye una dirección estable y reutilizable (un "vector de dirección") o si exhibe estructuras geométricas complejas y dependientes del contexto. Este artículo aborda la pregunta: ¿Qué tan comparables son los efectos descendentes de una característica cuando dicha característica es intervenida en diferentes contextos?

2. Metodología

2.1 Análisis de la Geometría del Efecto de la Característica (FEGA)

Los autores introducen el Análisis de la Geometría del Efecto de la Característica (FEGA), un marco no supervisado y fuera de línea (offline) diseñado para medir y clasificar la geometría de los cambios en los logits descendentes resultantes de la ablación de características.

Protocolo de Intervención:

Línea Base Relativa a la Reconstrucción: Para aislar el efecto de una característica específica $j$ $j$ del error de reconstrucción del SAE, el método compara dos rutas:
- Línea Base: La reconstrucción del SAE $\bar{h}^{(c)}_\ell = D(E(h^{(c)}_\ell))$ .
- Intervención: La reconstrucción con la característica $j$ puesta en cero: $\hat{h}^{(c)}_{\ell,j\downarrow} = D(z^{(c)} - z^{(c)}_j e_j)$ .
Propagación Descendente: Ambas rutas se propagan a través de la cola congelada del modelo (capas subsiguientes) hasta la lectura final de logits $\phi(\cdot)$ .
Nube de Efectos: Se computa la diferencia de logits $\Delta^{(c)}_j = \phi(\hat{h}^{(c)}_{\ell,j\downarrow}) - \phi(\bar{h}^{(c)}_\ell)$ para un conjunto de contextos válidos $C$ . La colección de estas diferencias forma la nube de efectos de la característica $E_j$ .

Diagnósticos Geométricos:
FEGA analiza la forma de $E_j$ en el espacio de los logits utilizando una serie de diagnósticos basados en los vectores de dirección normalizados $v^{(i)}_j$ :

Concentración de Rayo Dirigido ( $C_{ray}$ ): Prueba si todos los efectos apuntan en la misma dirección con signo.
Estructura de Eje o Antipodal ( $B_{axis}$ ): Prueba si los efectos se alinean con un único eje pero se dividen entre signos positivos y negativos (por ejemplo, $u$ y $-u$ ).
Mezcla Direccional: Utiliza un modelo de mezcla de von Mises-Fisher para detectar múltiples modos direccionales distintos y coherentes.
Espectro de Alcance Global: Utiliza PCA sobre la matriz de kernel para determinar si los efectos yacen dentro de un subespacio de baja dimensión (por ejemplo, 2D o 3D).
Espectro de Residuo Centrado: Analiza la variación alrededor de la dirección media para detectar desviaciones de baja dimensión.

El marco asigna una etiqueta de geometría primaria (por ejemplo, "Rayo Dirigido", "Eje", "Difuso") y etiquetas secundarias (por ejemplo, heterogeneidad de magnitud) basándose en estos diagnósticos.

2.2 Configuración Experimental

Modelo: Gemma-2-2B.
Variantes de SAE: ReLU, TopK y Matryoshka Batch TopK (ancho $\approx$ 65k) aplicados a la corriente residual post-capa-12.
Espectro de Tareas:
- Tipo-Valor (Factual): RAVEL (desentrelazamiento de atributos Ciudad-País). Las características aquí representan información estática (por ejemplo, "París está en Francia").
- Tipo-Puntero (Operacional): Copia de Secuencia Literal (LSC), Contenido de Palabra (WC), PrOntoQA (seguimiento de reglas) y Traducción de Tokens (TT). Estas tareas requieren operaciones dependientes del contexto (copiar, vincular, aplicación de reglas) sin significados de tokens fijos.
Aislamiento de Características:
- Tipo-Valor: Seleccionadas mediante el enmascaramiento binario diferencial de SAEBench para el control de atributos.
- Tipo-Puntero: Seleccionadas basándose en la frecuencia de activación alta a través de familias de prompts en tareas de ICL, seguido de ablación para verificar la contribución causal.

3. Resultados Clave

3.1 Los Efectos de las Características Rara Vez Son Direcciones Únicas

En todas las variantes de SAE y tareas, los efectos descendentes de las características raramente colapsan en un único vector de logits invariante al contexto. La hipótesis de que las características actúan como direcciones de dirección (steering) reutilizables es la excepción más que la regla. La mayoría de las nubes de efectos no exhiben una alta concentración de rayo dirigido.

3.2 Distinción Entre Características Tipo-Valor y Tipo-Puntero

El artículo distingue dos roles funcionales con propiedades geométricas distintas:

Características Tipo-Puntero: Asociadas con operaciones locales al prompt (copiar, seguimiento de reglas).
- Recurrencia: Un conjunto pequeño y compacto de características recurre a través de diferentes tareas de ICL (por ejemplo, Lس, WC, PrOntoQA), particularmente en arquitecturas TopK y Matryoshka Batch TopK.
- Geometría: Estas características exhiben predominantemente efectos difusos. Incluso cuando recurren en las tareas, no actúan como direcciones de logits reutilizables; sus efectos se dispersan por todo el espacio de salida, lo cual es consistente con que el objetivo cambie según el valor específico que se está copiando o traduciendo.
- Causalidad: La ablación conjunta de estos conjuntos seleccionados causa caídas significativas en la precisión, confirmando su rol causal a pesar de la falta de una dirección geométrica estable.
Características Tipo-Valor: Asociadas con atributos fácticos estáticos (por ejemplo, RAVEL Ciudad-País).
- Geometría: Estas características exhiben efectos más estructurados y de baja dimensión en comparación con las características tipo-puntero.
- Estructura: Sin embargo, incluso estos efectos estructurados suelen abarcar múltiples direcciones de salida en lugar de colapsar en un solo vector de dirección.

3.3 Conjuntos de Características Disjuntos

Los conjuntos de características identificados para tareas tipo-puntero (ICL) y tareas tipo-valor (RAVEL) son disjuntos. Ninguna característica seleccionada para tareas de ICL aparece en los conjuntos de atributos fácticos de RAVEL, lo que sugiere que el diccionario del SAE separa estos roles funcionales, incluso si sus manifestaciones geométricas son complejas.

4. Contribuciones y Significado

Contribución Primaria:
El artículo introduce FEGA, un marco que desplaza el enfoque de la interpretabilidad desde la descripción de la activación hacia la geometría del efecto de la intervención. Proporciona un diagnóstico computable de cómo se organizan los efectos de las características, distinguiendo entre direcciones reutilizables, espacios de baja dimensión estructurados y nubes difusas.

Afirmaciones de Significado:

Desafío a la Suposición de Dirección (Steering): Los resultados desafían la suposición común de que una característica con una descripción clara y un efecto causal puede servir como una variable de control de dirección única y fiable. Una característica puede ser interpretable y causalmente importante sin proporcionar una dirección de dirección estable.
Refinamiento de los Roles de las Características: Al distinguir entre características "tipo-valor" (información estática) y "tipo-puntero" (operaciones dependientes del contexto), el artículo explica por qué el comportamiento de dirección varía. Las características tipo-puntero, que apoyan operaciones en lugar de conceptos estáticos, producen naturalmente efectos difusos y dependientes del contexto.
Cambio Metodológico: El trabajo argumenta que la interpretabilidad a nivel de característica debe distinguir tres aspectos: qué detecta una característica, si importa causalmente y cómo varían sus efectos a través de los contextos. FEGA proporciona la "auditoría del lado del efecto" necesaria para evaluar este tercer aspecto.

Modestia de las Afirmaciones:
Los autores declaran explícitamente que sus hallazgos sugieren que la estabilidad en la dirección del espacio de los logits es "a menudo limitada". No afirman que las características de los SAE sean inútiles para la dirección, sino que la expectativa de un único vector de dirección reutilizable es, a menudo, incorrecta. El artículo no propone nuevos algoritmos de dirección, sino que proporciona una herramienta de diagnóstico para comprender las limitaciones de los enfoques de dirección actuales. Las etiquetas geométricas (por ejemplo, "Difuso", "Eje") se describen como resúmenes descriptivos de la nube de efectos en lugar de explicaciones mecanísticas de la computación neuronal subyacente.