Resumen Técnico: Aprendizaje de Circuitos Escalable para la Interpretación de Grandes Modelos de Lenguaje

1. Planteamiento del Problema

La interpretabilidad mecanicista busca descubrir el "porqué" detrás de los comportos de los Grandes Modelos de Lenguaje (LLM) mediante la identificación de circuitos: subgrafos compactos que conectan componentes clave (por ejemplo, cabezas de atención, neuronas) que impulsan capacidades específicas. Sin embargo, los métodos actuales de aprendizaje de circuitos enfrentan dos cuellos de botella primarios:

1. Polisemia: Las neuronas puras en los LLM son polisémicas, lo que significa que una sola neurona se activa para múltiples conceptos no relacionados. Esto resulta en circuitos aprendidos que son densos, ruidosos y difíciles de interpretar para los humanos.
2. Escalabilidad: Aunque los Autoencoders Dispersos (SAEs) ofrecen una solución al descomponer las activaciones en características de alta dimensión y monosemánticas (de un solo concepto), los métodos actuales de aprendizaje de circuitos basados en intervenciones (por ejemplo, rastreo causal, parcheo de atribución) no escalan a la alta dimensionalidad de las características de los SAE. Estos métodos requieren intervenciones contrafácticas computacionalmente costosas (pasadas hacia adelante y hacia atrás) para cada componente, lo que los hace prohibitivos para modelos grandes y espacios de características de alta dimensión.

2. Metodología: CircuitLasso

Los autores proponen CircuitLasso, un enfoque de aprendizaje de circuitos escalable que reemplaza los costosos pipelines basados en intervenciones por un marco de regresión lineal dispersa.

Formulación Central

En lugar de estimar efectos causales mediante intervenciones, CircuitLasso trata el grafo computacional del LLM como un Modelo de Ecuaciones Estructurales (SEM) lineal disperso. Dado $N$ componentes (neuronas o características de SAE) y $M$ observaciones, el método busca una matriz de adyacencia ponderada $A$ tal que:
$$X \approx A^\top X$$
donde $X$ es la matriz de activaciones. El objetivo es aprender un Grafo Acíclico Dirigido (DAG) que represente las dependencias minimizando el error de reconstrucción sujeto a restricciones de dispersión ($\ell_1$) y aciclicidad:
$$\hat{A} = \arg \min_{A} \|X - A^\top X\|_F^2 + \lambda \|A\|_1$$

Manejo de Restricciones y Escalabilidad

• Aciclicidad: En lugar de imponer complejas restricciones de aciclicidad continua (que son computacionalmente pesadas), CircuitLasso aprovecha la arquitectura conocida de alimentación hacia adelante (feed-forward) de los Transformers. Asume una estructura triangular superior por bloques donde la capa $i$ depende solo de las capas $j < i$. Esto transforma el problema en una serie de subproblemas de Lasso (regresión lineal dispersa) independientes, resolubles eficientemente mediante el algoritmo FISTA.
• Datos Observacionales: El método opera únicamente con datos observacionales (activaciones de una pasada hacia adelante), evitando la necesidad de las múltiples pasadas hacia adelante/atrás requeridas por los métodos basados en intervenciones.
• Integración de SAE: El marco se extiende para operar directamente sobre las características de los SAE ($z \in \mathbb{R}^D$, donde $D \gg d$). Aprende dependencias capa por capa entre las características de los SAE y también puede vincular las características de la última capa con los objetivos de predicción descendentes ($y$).

Análisis de Complejidad

El análisis teórico (Proposición 3.2) demuestra que CircuitLasso ofrece ganancias de eficiencia garantizadas sobre los métodos basados en intervenciones de vanguardia (como EAP-ig) bajo regímenes específicos, particularmente cuando el número de ubicaciones de componentes ($L$) es moderado en relación con la longitud de la secuencia y las dimensiones del modelo. El costo escala con $O(M L^2 d^2)$, mientras que los métodos de intervención escalan con el costo de las pasadas adicionales hacia adelante/atrás a través de todo el modelo.

3. Contribuciones Clave

1. Algoritmo CircuitLasso: Un sustituto de regresión dispersa para el descubrimiento de circuitos que reemplaza los pipelines pesados en intervenciones con un enfoque observacional basado en Lasso.
2. Escalabilidad a SAEs: El primer método capaz de aprender eficientemente circuitos sobre características de SAE de alta dimensión y monosemánticas, superando las prohibiciones computacionales de las técnicas anteriores.
3. Eficiencia Teórica: Un análisis formal que establece las condiciones bajo las cuales el enfoque de regresión es demostrablemente más rápido que los baselines de intervención.
4. Validación Empírica: Demostraciones en neuronas de modelos y características de SAE que muestran que CircuitLasso logra una precisión estructural comparable a los baselines de vanguardia al costo de una fracción de su tiempo de cómputo.

4. Resultados Experimentales

Rendimiento de Referencia (Neuronas del Modelo)

Evaluado en InterpBench (86 transformers semi-sintéticos y la tarea de Identificación de Objeto Indirecto):

• Precisión: CircuitLasso (variante lineal) logró una Distancia de Hamming Estructural (SHD) media de 3.16, estadísticamente indistinguible del baseline de intervención SOTA EAP-ig (2.98) y mejor que EAP (3.61).
• Eficiencia: Fue 3.0x más rápido que EAP-ig (16.3s vs 49.1s por caso) y 2.1x más rápido que EAP.
• No Linealidad: Una extensión no lineal de CircuitLasso ofreció mejoras marginales en precisión pero con un tiempo de ejecución significativamente mayor, sugiriendo que el sustituto lineal es suficiente para recuperar el esqueleto de dependencia.

Estudio de Caso de Interpretabilidad (Características de SAE)

Aplicado a GPT-2 Small en el conjunto de datos CoLA (Aceptabilidad Lingüística del Corpus):

• Circuitos Monosemánticos: El método recuperó circuitos con forma de árbol donde los nodos corresponden a conceptos interpretables por humanos (por ejemplo, "-self", "hambre/sed", "puntuación final").
• Propagación Semántica: Los circuitos revelaron cómo los conceptos persisten a través de las capas, se fusionan (combinando conceptos de múltiples padres) o se pierden (ignorando ciertas entradas).
• Causal vs. Espurio: Los grafos aprendidos capturaron tanto relaciones semánticas causales (por ejemplo, "hambre" llevando a "comer") como correlaciones espurias probablemente introducidas por sesgos del conjunto de datos (por ejemplo, la coocurrencia de "-self" y "hambre").

Utilidad Descendente (Generalización de Dominio)

Evaluado en la tarea Bias-in-Bios (predicción de profesión mitigando el sesgo de género):

• Rendimiento: CircuitLasso logró una precisión de predicción de profesión comparable, y en algunos casos ligeramente superior, al baseline más fuerte no-Oráculo (SHIFT), manteniendo una fuga de género cerca del ideal del 50%.
• Eficiencia: Como se muestra en la Tabla 1, CircuitLasso requirió significativamente menos características y un tiempo de ejecución sustancialmente menor que SHIFT. Para el modelo Gemma-2-9B, CircuitLasso tomó 107.4s comparado con los 908.4s de SHIFT.

5. Significado y Reivindicaciones

El artículo afirma que CircuitLasso aborda con éxito el cuello de botella de la escalabilidad en la interpretabilidad mecanicista. Su principal significancia radica en lograr "eficiencia con paridad de precisión":

• Recupera circuitos estructurales con la misma precisión que los métodos basados en intervenciones más rigurosos, pero a una fracción de su costo computacional.
• Permite el uso de características de SAE monosemánticas para el análisis de circuitos, proporcionando explicaciones más claras y humanas sobre cómo se propagan los conceptos semánticos a través de los LLM.
• Los conocimientos derivados de estos circuitos son prácticamente útiles, permitiendo tareas efectivas de generalización de dominio y mitigación de sesgos a un costo mucho menor que los métodos existentes.

Los autores mantienen la modestia respecto a la naturaleza de los pesos aprendidos, señalando que los coeficientes lineales representan un esqueleto de dependencia en lugar de efectos causales exactos de la computación no lineal subyacente. Ven el método como un sustituto de primer orden que identifica eficazmente qué componentes influyen en otros, en lugar de cuantificar la magnitud precisa de los efectos causales.