Resumen Técnico: Los circuitos de los modelos de lenguaje son dispersos en la base de neuronas

Planteamiento del problema

La investigación en interpretabilidad de modelos de lenguaje se ha alejado en gran medida del análisis de neuronas individuales, operando bajo la creencia de que los conceptos de alto nivel están distribuidos en las neuronas y que la base de neuronas es ininterpretable. En consecuencia, el campo ha adoptado técnicas como los Autoencoders Dispersos (SAEs) y los transcodificadores para descomponer las representaciones en bases de características dispersas e interpretables. Sin embargo, estas bases aprendidas introducen errores de aproximación, sufren de división y absorción de características (polisemanticidad) y requieren una carga de entrenamiento adicional. La pregunta central que aborda este artículo es si la base de neuronas original es inherentemente ininterpretable, o si la percepción de falta de dispersión es un artefacto de métodos de análisis subóptimos.

Metodología

Los autores proponen un pipeline de atribución basado en gradientes de extremo a extremo para trazar circuitos directamente en la base de neuronas MLP (específicamente las activaciones previas a la proyección descendente/down-projection), en lugar de las características aprendidas de los SAE. La metodología se basa en dos cambios técnicos clave para cerrar la brecha de rendimiento entre las neuronas y los SAE:

1. Selección de Base Privilegiada: En lugar de utilizar las salidas de MLP post-proyección descendente (el estándar de referencia), los autores utilizan las activaciones de MLP pre-proyección descendente. Hipotetizan que, debido a que la arquitectura aplica no linealidades elemento a elemento (por ejemplo, SiLU) antes de la proyección descendente, estas coordenadas de activación constituyen una "base privilegiada" donde las características están más naturalmente alineadas, produciendo circuitos significativamente más dispersos.
2. Atribución Avanzada (RelP): El artículo reemplaza los Gradientes Integrados (IG), que son ruidosos en modelos profundos y computacionalmente costosos (requieren múltiples pasadas hacia atrás), por RelP (Relevance Patching). RelP es un método de atribución basado en gradientes que opera sobre un "modelo de reemplazo" donde las no linealidades se linealizan (por ejemplo, tratando las puertas SiLU como constantes). Esto permite un descubrimiento de circuitos fiel con una sola pasada hacia atrás. Los autores implementan una "regla media" para MLPs con compuertas (gated MLPs) para asegurar que se preserve la propiedad de completitud de las puntuaciones de atribución.

El pipeline evalúa los circuitos utilizando dos métricas estándar:

• Fidelidad (Faithfulness): La capacidad de la complementación del circuito (el resto del modelo) para reproducir el comportamiento del modelo original cuando el circuito es ablacionado.
• Completitud (Completeness): La capacidad del propio circuito para reproducir el comportamiento del modelo cuando el resto del modelo es ablacionado.

Los experimentos se realizaron en el benchmark de Concordancia Sujeto-Verbo (SVA) (Marks et al., 2025) y en una tarea de razonamiento multi-salto de ciudad-estado-capital (Lindely et al., 2025) utilizando Llama 3.1-8B-Instruct, con validación adicional en modelos Gemma-2.

Resultados Clave

1. Las activaciones de MLP son una base dispersa

Los autores demuestran que las activaciones de MLP producen circuitos que son órdenes de magnitud más dispersos que aquellos derivados de las salidas de MLP.

• En el benchmark SVA, los circuitos construidos a partir de las activaciones de MLP son aproximadamente 100 veces más pequeños que los de las salidas de MLP, logrando una fidelidad y completitud comparables.
• Este hallazgo reduce significamente la brecha entre la base de neuronas y las representaciones basadas en SAE.

2. RelP supera a los Gradientes Integrados

El cambio de IG a RelP mejora aún más la dispersión y la fidelidad.

• Utilizando RelP en las activaciones de MLP, los autores logran una fidelidad y completitud casi perfectas con solo ~200 neuronas en el benchmark SVA.
• RelP cierra la brecha restante entre los circuitos basados en neuronas y los circuitos basados en SAE, haciendo que las neuronas sean competitivas con los diccionarios aprendidos en términos de dispersión.
• En el Benchmark de Interpretabilidad Mecanicista (MIB), RelP logra un rendimiento de vanguardia (menores puntuaciones CMD) en tres de cinco tareas, superando las líneas de base existentes basadas en IG.

3. Estudio de Caso: Razonamiento Multi-salto

En un estudio de caso que involucra la recuperación de capitales de estados (por ejemplo, "¿Cuál es la capital del estado que contiene Dallas?"), los autores rastrearon circuitos en Llama 3.1-8B-Instruct.

• Identificaron un circuito disperso de ~23 neuronas clave (de un conjunto trazado mayor) que corresponden a pasos de razonamiento específicos: mapear una ciudad a un estado, y mapear un estado a su capital.
• Estas neuronas se agruparon en clústeres con descripciones interpretables (por ejemplo, "Dallas", "Texas", "capital") que coincidían con los hallazgos de trabajos previos que utilizan Transcodificadores de Capas Cruzadas (CLTs).
• Experimentos de Dirección (Steering): Al intervenir en clústeres de neuronas específicos (por ejemplo, suprimiendo el clúster de "Texas"), los autores pudieron alterar causalmente la salida del modelo, confirmando que estas neuronas específicas son causalmente efectivas en la cadena de razonamiento.

4. Generalizabilidad

Los hallazgos se mantienen a través de diferentes arquitecturas de modelos (Gemma-2 2B y 9B) y diferentes configuraciones de datos (contrafácticos emparejados y datos no emparejados con baselines de cero).

Significado y Reivindicaciones

El artículo afirma proporcionar la primera evidencia empírica de que las neuronas de MLP son una base de características tan dispersa como los SAE, desafiando la suposición prevaleciente de que las neuronas son ininterpretables.

• Practicidad: La base de neuronas ofrece una representación "privilegiada" y fiel sin los errores de reconstrucción, división o absorción inherentes a los diccionarios aprendidos.
• Eficiencia: El pipeline propuesto evita el costo computacional de entrenar SAEs o transcodificadores, requiriendo solo una única pasada hacia atrás por cada entrada mediante RelP.
• Reproducibilidad: La capacidad de reproducir hallazgos de circuitos complejos (como los de Lindsey et al., 2025) utilizando únicamente la base de neuronas nativa sugiere que la "materia oscura" de los modelos de lenguaje puede ser más accesible de lo que se pensaba.

Los autores concluyen que, si bien la interpretación humana de circuitos grandes sigue siendo un desafío, la base de neuronas debe agotarse como una vía primaria para la interpretabilidad antes de recurrir a diccionarios dispersos aprendidos. Enmarcan este trabajo como un paso hacia la democratización de la investigación en seguridad de la IA, proporcionando herramientas eficientes y escalables para rastrear computaciones internas.