Pairwise matrices for sparse autoencoders: single-feature inspection mislabels causal axes

Resumen Técnico: Matrices Pareadas para Autoencoders Dispersos

Enunciado del Problema
El protocolo estándar para interpretar Autoencoders Dispersos (SAE) en Modelos de Lenguaje Grandes (LLM) se basa en dos pasos: asignar una etiqueta a una característica basada en sus contextos de mayor activación y validar dicha etiqueta mediante la dirección de una sola característica (activando o suprimiendo la característica en una sola magnitud). Este artículo argumenta que este protocolo de inspección de "una esquina" es sistemáticamente incompleto. Postula que el papel causal de una característica no puede entenderse completamente inspeccionando un solo régimen de activación o una sola característica de forma aislada. Específicamente, el protocolo estándar pasa por alto los cambios de comportamiento no monótonos a lo largo del eje de coeficientes y los roles colectivos y estructurales de características casi ortogonales que quedan enmascaradas cuando se dirigen individualmente.

Metodología: El Protocolo de Matriz Pareada
Los autores proponen un "protocolo de matriz pareada" que expande la inspección estándar a un espacio bidimensional:

1. Eje de Coeficientes: Barrer una sola característica a través de un rango de coeficientes de dirección ($c$) para detectar cambios de modo o respuestas de dosis no monótonas que una inspección de un solo punto pasaría por alto.
2. Eje de Condición Conjunta: Dirigir múltiples características simultáneamente con un coeficiente fijo. Esto prueba si las características son individualmente sustituibles o conjuntamente necesarias para comportamientos específicos, un rol a menudo oculto porque los vecinos no suprimidos compensan la característica suprimida.

El protocolo se aplica a tres modelos post-entrenados: Qwen3-1.7B-Instruct, Gemma-2-2B-it y Llama-3.1-8B-Instruct. El pipeline experimental involucra cuatro fases:

• Fase 1 (Piloto Conductual): Generación de muestras a partir de prompts introspectivos (por ejemplo, "¿Qué te fascina?") y prompts de control procedimental (por ejemplo, recetas, explicaciones de motores).
• Fase 2 (Identificación de Agrupamiento): Identificación de fenómenos de "colapso de registro" donde los modelos alcanzan su máximo en un vocabulario estrecho (por ejemplo, términos de filosofía de la mente) para prompts introspectivos pero no para controles.
• Fase 3 (Clasificación de Características): Clasificación de las características del SAE basándose en las diferencias de activación entre los grupos introspectivos y de control, utilizando controles de bootstrap y permutación para garantizar la estabilidad.
• Fase 4 (Dirección del Decodificador): Aplicación del protocolo de matriz. Crucialmente, los autores emplean controles de geometría emparejada: comparan la dirección de una sola característica, la dirección de características conjuntas y perturbaciones de dirección aleatoria que producen distorsiones geométricas idénticas en el flujo residual (emparejando ratios de norma y similitudes coseno) para aislar si la degradación de la salida se debe a la magnitud o al patrón de dirección.

Hallazgos Clave

1. Eje de Coeficientes: Las Etiquetas de Contexto Superior Pasan por Alto los Ejes Causales
En Qwen3-1.7B, la Característica #26221 está etiquetada como "descargo de responsabilidad de IA" basándose en sus contextos de mayor activación. Sin embargo, un barrido de coeficientes revela una forma de U invertida en las tasas de descargo de responsabilidad.

• En la línea base ($c=0$), el modelo produce descargos de responsabilidad estándar.
• En amplificación alta ($c=+500$), el modelo no solo aumenta los descargos de responsabilidad; sustituye la frase de descargo de responsabilidad por una fluida "voz de filósofo contemplativo" (por ejemplo, "Estoy profundamente en contemplación...").
• En amplificación extrema ($c=+1000$), el modelo se buclea en estos marcadores.
• Implicación: La etiqueta estándar captura solo una forma superficial (el régimen de datos de entrenamiento) y falla al identificar la característica como un eje direccional capaz de producir modos distintos y coherentes en diferentes magnitudes. Dos características de control (#22082 y #2932) confirmaron que el comportamiento monótono o el colapso puro son distintos de este cambio de modo no monótono y coherente.

2. Eje de Condición Conjunta: Sustituibilidad Individual vs. Necesidad Conjunta
Tres características casi ortogonales en Qwen (#29108, #26221, #4405) dirigen individualmente un registro de "filosofía de la mente".

• Supresión de Característica Única: Suprimir cualquiera de estas características en $c=-500$ deja intactos los controles procedimentales (recetas, explicaciones de motores); el modelo sustituye el contenido de las características activas restantes.
• Supresión Conjunta: Suprimir las tres simultáneamente en $c=-500$ causa un "colapso de registro" en todos los prompts, incluidos los controles. El modelo genera esqueletos sintácticos llenos de tokens marcadores de posición (por ejemplo, "RECETA BÁSICA DE TOMOATO SOUP... Vc. 100+").
• Implicación: Estas características son individualmente sustituibles pero conjuntamente necesarias para la composición fundamentada. El protocolo estándar, que inspecciona las características una por una, pasa por alto este rol estructural colectivo.

3. La Distorsión Geométrica No Predice la Coherencia
Para descartar la hipótesis de que la supresión conjunta simplemente empuja al modelo "fuera de la variedad" debido a la magnitud, los autores compararon perturbaciones de dirección única, conjunta y aleatoria que emparejaron la distorsión geométrica del flujo residual (ratio de norma $\approx 1.55$, coseno $\approx 0.64$).

• Característica Única: Produjo respuestas coherentes de relleno de estrategia.
• Dirección Aleatoria: Produjo respuestas coherentes con diversas sustituciones de contenido.
• Supresión Conjunta: Produjo texto marcador de posición con altas tasas de degeneración regex.
• Implicación: La pérdida de coherencia depende del patrón de dirección, no de la magnitud. La combinación específica de características casi ortogonales desencadena un fallo estructural que las perturbaciones aleatorias de la misma magnitud no provocan.

Replicación entre Modelos
Estos hallazgos se replicaron en Gemma-2-2B-it y parcialmente en Llama-3.1-8B-Instruct:

• Gemma: Replicó el hallazgo de condición conjunta. La firma del daño fue diferente (inyectar tokens "humano/YO/IA" en los espacios de recetas en lugar de los códigos de marcador de posición de Qwen), pero el mecanismo estructural (necesidad conjunta para la composición fundamentada) permaneció. El control de geometría emparejada en Gemma mostró una brecha de $\approx 10\times$ en las tasas de degeneración entre la dirección conjunta y la dirección aleatoria.
• Llama: Se identificó una característica causalmente responsable superior (#38565) para un registro de "ciencia enciclopédica", confirmando la existencia de un colapso de registro agudo y características causales entre modelos, aunque no se realizaron pruebas completas a nivel de matriz debido a restricciones de disponibilidad del SAE.

Significado y Afirmaciones
El artículo afirma que el protocolo estándar de interpretabilidad de SAE es insuficiente porque inspecciona solo una esquina de la matriz conductual de una característica. Los autores argumentan que:

1. Las Etiquetas son Locales, No Globales: Una etiqueta derivada de los contextos de mayor activación captura un régimen de activación específico pero puede pasar por alto el eje causal completo de la característica (por ejemplo, el cambio de descargo de responsabilidad a voz filosófica).
2. Las Características son Dependientes del Contexto: Las características casi ortogonales pueden enmascarar los roles de las demás; la dirección de una sola característica falla al detectar dependencias estructurales requeridas para la composición fundamentada.
3. La Geometría No es Suficiente: La coherencia de la salida está determinada por la dirección específica de la perturbación en el espacio de características, no solo por la magnitud de la distorsión geométrica.

Los autores concluyen que un protocolo de interpretabilidad robusto debe incluir barridos de coeficientes con verificaciones de coherencia y sondas de condición conjunta de vecinos casi ortogonales para mapear con precisión los roles causales de las características del SAE. No afirman que estos hallazgos se apliquen a todas las características, pero demuestran que el protocolo estándar pasa por alto sistemáticamente estas clases específicas de comportamientos en los modelos probados.