SAEVerbalizer: Generating Explanations for Sparse Autoencoder Features via Representation Verbalization

Resumen Técnico: SAEVerbalizer

Planteamiento del Problema
Los Autoencoders Dispersos (SAEs, por sus siglas en inglés) se utilizan ampliamente para extraer características interpretables de las representaciones densas de los Modelos de Lenguaje de Gran Escala (LLMs) mediante su mapeo en un espacio disperso de alta dimensión. Sin embargo, persiste un cuello de botella crítico: explicar qué representan estas características extraídas en lenguaje natural. Los métodos actuales de vanguardia dependen de una interpretación de base ascendente (bottom-up), que consiste en ejecutar un LLM sobre un corpus extenso para identificar los ejemplos de mayor activación para una característica y luego utilizar un LLM externo para resumir el patrón compartido.

Los autores identifican dos limitaciones principales en este paradigma existente:

1. Explicaciones Superficiales: Al inferir el significado basándose únicamente en ejemplos de activación, estos métodos describen qué tienen en común los ejemplos en lugar de acceder directamente al contenido semántico codificado dentro de la propia representación de la característica.
2. Ineficiencia Computacional: Generar explicaciones para millones de características requiere la inferencia repetida a escala de corpus, el cálculo de activaciones y la recuperación de ejemplos, lo cual no es escalable.

Metodología: SAEVerbalizer
El artículo presenta SAEVerbalizer, un marco que desplaza el proceso de explicación de la observación del comportamiento externo al procesamiento directo de las representaciones internas. En lugar de recuperar ejemplos de activación, SAEVerbalizer trata la dirección del decodificador del SAE como la única entrada para generar una explicación.

• Mecanismo Central: El marco inyecta una dirección del decodificador del SAE (un vector que representa una característica específica) directamente en las representaciones de tokens de un LLM en una capa de inyección designada ($L_{inj}$). Las capas descendentes del LLM se ajustan (fine-tuning) para generar una explicación en lenguaje natural basada en esta representación inyectada.
• Estrategia de Inyección: La dirección del decodificador se añade a las representaciones de los tokens en un intervalo de inyección fijo utilizando una inyección aditiva con ajuste de norma:
  $$h'_{b,s} = h_{b,s} + \alpha \bar{n}_b \hat{v}_{f_b}$$
  donde $\hat{v}$ es la dirección normalizada, $\bar{n}_b$ es la norma media de las representaciones previas a la inyección, y $\alpha$ controla la fuerza de la inyección.
• Entrenamiento:
  • Ajuste del Verbalizador (Verbalizer Fine-tuning): El LLM se ajusta mediante pares de característica-explicación de alta calidad (obtenidos de Neuronpedia y filtrados por coherencia y especificidad). Solo se actualizan las capas descendentes de la capa de inyección, preservando el espacio de representación donde se definen las direcciones del SAE.
  • Adaptador para Transferencia entre LLMs: Para aplicar un verbalizador entrenado en un LLM a características de SAE de un LLM diferente, se entrena un adaptador afín ligero. Este adaptador mapea las direcciones del decodificador del espacio de representación del LLM de origen hacia el espacio de la capa de inyección del verbalizador de destino, entrenado con representaciones ocultas alineadas de texto no etiquetado.
• Inferencia: Una vez entrenado, el verbalizador puede explicar características no vistas inyectando la dirección del decodificador correspondiente y generando texto de forma autorregresiva, sin necesidad de recuperar o procesar ejemplos de activación.

Contribuciones Clave

1. Un Nuevo Paradigma para la Interpretación: Los autores proponen un enfoque ligero para explicar las características de los SAE directamente desde las direcciones del decodificador, evitando la necesidad de inferencia a escala de corpus y recuperación de ejemplos.
2. Capacidad Entrenable: Demuestran que la capacidad de verbalizar representaciones internas es una capacidad entrenable que se generaliza a características no vistas y se transfiere entre diccionarios de SAE entrenados por separado dentro del mismo espacio de representación.
3. Escalabilidad entre LLMs: Mediante adaptadores ligeros, el marco extiende las capacidades de verbalización a las características de SAE de diferentes LLMs sin requerir supervisión específica del origen o el reentrenamiento del núcleo del verbalizador.
4. Análisis de Intervención: El artículo proporciona evidencia empírica de que el verbalizador captura la semántica composicional (cuando se inyectan múltiples direcciones) y las relaciones de signo (cuando se invierten las direcciones), lo que sugiere que aprende la geometría subyacente del espacio de características en lugar de solo memorizar asociaciones.

Resultados Experimentales
Los autores evaluaron SAEVerbalizer utilizando modelos Gemma LLM (1B, 4B, 27B) y SAEs de Gemma Scope 2.

• Rendimiento: El verbalizador logra puntuaciones significativas de Acuerdo de Referencia (RA) (por ejemplo, 52.3% en el conjunto Global Train-Standard para el modelo de 27B con 48k pares de entrenamiento), demostrando que puede generar explicaciones consistentes con referencias curadas por humanos de alta calidad.
• Generalización: El modelo se generaliza a características no vistas y se transfiere directamente a un diccionario SAE diferente (anchura de 65k) entrenado en el mismo LLM sin necesidad de ajuste adicional.
• Transferibilidad: Al utilizar adaptadores para transferir de modelos de 1B y 4B a un verbalizador de 27B, el sistema aprovecha con éxito la mayor capacidad de verbalización del modelo más grande, mejorando el rendimiento respecto a los verbalizadores nativos entrenados en modelos más pequeños.
• Robustez: El sistema es robusto ante variaciones en el diseño de prompts y en la fuerza de la inyección, siempre que la inyección sea suficientemente fuerte.
• Hallazgos Cualitativos:
  • Composicionalidad: La inyección conjunta de dos direcciones produce explicaciones que combinan los significados de ambas características.
  • Reversión de Dirección: Invertir el signo de una dirección del decodificador produce explicaciones semánticamente relacionadas pero desplazadas (por ejemplo, "lecciones aprendidas" frente a "plan de lección"), lo que indica que el verbalizador captura la naturaleza direccional del espacio de características.

Significancia y Reivindicaciones
El artículo afirma que SAEVerbalizer ofrece una ruta más directa y computacionalmente eficiente desde las representaciones aprendidas hacia las explicaciones de las características. Al fundamentar las explicaciones en el espacio de representación interna del LLM en lugar de inferirlas a partir de textos de activación, el método aborda las limitaciones de superficialidad e ineficiencia de la interpretación automatizada actual.

Los autores posicionan a SAEVerbalizer no como un reemplazo para todos los métodos de interpretación, sino como un complemento entrenable y parcialmente reutilizable de los enfoques existentes. Permite la generación de explicaciones para características no vistas y a través de diferentes arquitecturas de modelos con un gasto mínimo, facilitando el escalado de la interpretación de los SAE a millones de características. El trabajo sugiere que la verbalización de la representación interna es una capacidad aprendible que puede transferirse y adaptarse, abriendo nuevas vías para analizar la estructura semántica de los LLMs.

Limitaciones
Los autores reconocen varias limitaciones:

• Cobertura: Los experimentos están limitados actualmente a los modelos Gemma LLM y SAEs de Gemma Scope 2; la generalización a otras familias no ha sido verificada.
• Validación: La evaluación depende del Acuerdo de Referencia con explicaciones de Neuronpedia filtradas, que sirven como un sustituto (proxy) de la calidad pero no constituyen una verdad absoluta.
• Supervisión: El flujo de trabajo actual depende del costoso filtrado computacional de los datos de Neuronpedia para crear pares de entrenamiento, aunque los autores señalan que se podrían utilizar fuentes de supervisión alternativas.
• Variabilidad de Ejecución: Los resultados se reportan de ejecuciones únicas, sin medir la variabilidad entre semillas aleatorias.