🤖 machine learning

Mechanistic Interpretability for Neural Networks: Circuits, Sparse Features and Symbolic Reasoning

Este artículo proporciona una visión exhaustiva de la interpretabilidad mecánica, detallando cómo técnicas como el análisis de circuitos de Transformer, los autoencoders dispersos y las intervenciones causales pueden realizar ingeniería inversa a las redes neuronales para descubrir algoritmos internos, resolver la polisemanticidad y traducir representaciones en reglas lógicas explícitas para una IA más segura.

Autores originales: Pranav Sawant, Jakub Krejčí

Publicado 2026-07-09

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Pranav Sawant, Jakub Krejčí

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La visión general: Abrir la caja negra

Imagina que los modelos de IA modernos (como los que escriben ensayos o charlan contigo) son gigantescas cajas negras selladas. Sabemos qué entra (una pregunta) y qué sale (una respuesta), pero no tenemos idea de qué sucede dentro de los millones de engranajes y cables intermedios.

Las formas tradicionales de intentar entender estas cajas son como mirar el tubo de escape de un coche para adivinar cómo funciona el motor. Te dicen qué está haciendo el coche, pero no cómo el motor está haciendo que suceda.

Este artículo presenta un nuevo enfoque llamado Interpretabilidad Mecanicista. En lugar de solo suponer, este campo intenta realizar ingeniería inversa de la IA. Es como desarmar la caja negra, extender cada uno de sus engranajes, resortes y cables, y escribir las instrucciones exactas (pseudocódigo) de cómo trabajan juntos para producir un resultado.

1. La autopista y el tráfico (Circuitos)

Dentro de estos modelos de IA, hay una "autopista" central llamada flujo residual (residual stream). Piensa en esto como una cinta transportadora que lleva la información desde el inicio del modelo hasta el final.

Los controladores de tráfico (Cabezales de atención): Son como policías de tráfico en la cinta transportadora. Deciden qué pieza de información debe mirar a qué otra pieza. Por ejemplo, si la frase es "El gato se sentó en la alfombra", un policía de tráfico podría vincular la palabra "él" con "gato".
Los trabajadores (Capas MLP): Son como trabajadores que toman la información de la cinta y la transforman. Añaden nuevas ideas o cambian el significado.
El truco de magia (Cabezales de inducción): El artículo destaca un tipo específico de policía de tráfico llamado "cabezal de inducción". Imagina que estás leyendo una historia donde un patrón se repite: "Tía Sally... Tía Sally". Un cabezal de inducción es la parte del cerebro que nota: "¡Oye, ya he visto este patrón antes! La siguiente palabra probablemente sea 'Sally' otra vez". Así es como la IA aprende cosas nuevas simplemente leyendo un texto, sin necesidad de ser reentrenada.

2. El problema: La sopa de la "Superposición"

Aquí está la parte difícil. Si observas una sola neurona (una unidad de procesamiento diminuta) en la IA, no suele hacer una sola cosa. Es como una navaja suiza que intenta ser un destornillador, un abridor de botellas y un sacacorchos al mismo tiempo.

Polisemia: Una sola neurona puede activarse cuando ve una foto de un gato, una mención de "Michael Jordan" o la palabra "baloncesto". Está haciendo demasiados trabajos a la vez.
Superposición: La IA es tan eficiente que amontona miles de ideas diferentes en un número limitado de neuronas. Es como intentar meter 100 sabores diferentes de helado en una sola copa; los sabores se mezclan.

Esto hace que sea muy difícil entender la IA porque no puedes simplemente señalar una neurona y decir: "Esta es la neurona del 'gato'".

3. La solución: El "Mezclador de características" (Autoencoders dispersos)

Para solucionar el problema de la "navaja suiza", el artículo analiza una herramienta llamada Autoencoder Disperso (SAE).

Piensa en los pensamientos desordenados y mezclados de la IA como un batido donde todas las frutas están mezcladas. No puedes saborear la fresa o el plátano por separado.
El SAE es una máquina que toma ese batido y lo des-mezcla. Separa la mezcla de nuevo en ingredientes distintos y puros.

En lugar de una neurona que es mitad "gato" y mitad "baloncesto", el SAE encuentra dos características "puras" separadas: una que es 100% "gato" y otra que es 100% "baloncesto".
Esto permite a los investigadores ver exactamente en qué está pensando la IA en cualquier momento dado.

4. Encontrando los circuitos ocultos (Descubrimiento automatizado)

Rastrear manualmente cada cable en la IA es imposible porque hay demasiados. Por ello, los investigadores utilizan herramientas automatizadas como ACDC (Descubrimiento de Circuitos Automatizado).

Imagina que la IA es una enorme y enredada bola de luces de Navidad. Quieres encontrar la serie de luces específica que hace que el árbol se encienda.

ACDC actúa como un robot que corta sistemáticamente un cable a la vez.
Si cortar un cable no cambia el resultado, es un cable inútil, por lo que se elimina.
Si cortar un cable hace que el árbol deje de encenderse, ese cable es parte del "circuito".
Al final, el robot ha eliminado toda la basura y te ha dejado un diagrama limpio y sencillo de exactamente qué cables se necesitan para hacer el trabajo.

5. Dirigiendo la IA (El mando de volumen)

Una vez que entendemos los circuitos, podemos intentar controlarlos. El artículo habla de Vectores de dirección (Steering Vectors).

Piensa en el estado interno de la IA como una radio. Normalmente, tienes que gritar instrucciones (como escribir "Sé educado") para cambiar de estación.

Los Vectores de dirección son como un control remoto que le susurra directamente al cableado interno de la radio.
En lugar de gritar, simplemente das un pequeño empujón a la señal interna en una dirección específica.
Por ejemplo, si empujas la señal hacia la "educación", la IA se vuelve educada sin que tengas que reescribir toda su personalidad.
El artículo señala que esto puede usarse para evitar que la IA mienta (amplificando una característica de "honestidad") o para que resuelva mejor los problemas matemáticos.

6. Traduciendo a la lógica humana (IA neurosimbólica)

Finalmente, el artículo trata sobre la IA neurosimbólica. Esto es como tomar el código complejo y desordenado de la IA y traducirlo a un manual de instrucciones sencillo que un humano pueda leer.

Imagina que la IA es un mago lanzando un hechizo complejo.
Los marcos neurosimbólicos toman ese hechizo y lo escriben como una regla simple de "Si-Entonces": "Si la imagen tiene una cama y una almohada, pero no un lavabo, entonces es un dormitorio".
Esto convierte la "caja negra" en un conjunto transparente de reglas lógicas que podemos comprobar, verificar y confiar.

Resumen

El artículo sostiene que estamos dejando atrás la era de simplemente adivinar cómo funciona la IA. Al utilizar herramientas para des-mezclar ideas confusas (SAEs), rastrear las rutas exactas de la información (Circuitos) y dirigir las señales internas (Steering), estamos empezando a comprender los "engranajes" internos de estas máquinas. Esto es crucial para asegurar que estas poderosas herramientas sean seguras, honestas y hagan exactamente lo que queremos que hagan.

Resumen Técnico: Interpretabilidad Mecanicista para Redes Neuronales

Planteamiento del Problema

Los modelos de lenguaje de gran tamaño (LLM) y los Vision Transformers (ViT) basados en Transformers modernos funcionan como complejas "cajas negras". Aunque los métodos tradicionales de IA explicable (XAI), como los mapas de saliencia, LIME y SHAP, proporcionan correlaciones superficiales entre las entradas y las salidas, no logran realizar la ingeniería inversa de los algoritmos internos responsables del comportamiento del modelo. Esta opacidad plantea riesgos significativos en dominios de alto riesgo (por ejemplo, salud, derecho, conducción autónoma) donde la seguridad, la auditabilidad y la confianza son primordiales.

Un obstáculo central para comprender estos modelos es la superposición (superposition) y la polisemia (polysemanticity). Las redes neuronales comprimen un vasto número de características ( $M$ ) en un número limitado de dimensiones ( $D$ , donde $M \gg D$ ). En consecuencia, las neuronas individuales suelen responder a mezclas de conceptos no relacionados (polisemia) en lugar de a características únicas y bien definidas (monosemia). Esta distribución del significado a través de espacios de alta dimensión hace que el análisis tradicional a nivel de neurona sea engañoso. Además, aunque las visualizaciones de atención revelan dónde se enruta la información, no siempre explican qué información se representa o si es causalmente necesaria para el resultado.

Metodología

Este artículo presenta una revisión de alcance sobre la Interpretabilidad Mecanicista (MI), un campo dedicado a la ingeniería inversa de redes neuronales en algoritmos, pseudocódigo y componentes funcionales interpretables por humanos. La metodología sigue las directrices PRISMA-ScR, mapeando el panorama de las herramientas y conceptos de MI sin una evaluación crítica obligatoria de la calidad de cada estudio individual.

La revisión se centra en tres pilares metodológicos principales:

Análisis de Circuitos: Descomposición de modelos en subredes causales (circuitos) compuestas por cabezales de atención, capas MLP y flujos residuales (residual streams).
Desentrelazamiento de Características: Uso de Autoencoders Dispersos (SAEs) y transcodificadores para separar las activaciones polisémicas en características monosemánticas.
Intervención e Integración Neurosimbólica: Modificación del comportamiento del modelo mediante vectores de dirección (steering vectors) y traducción de representaciones neuronales en reglas lógicas explícitas.

La revisión prioriza investigaciones de 2018 a 2026, con un énfasis específico en arquitecturas Transformer (LLMs, ViTs, VLA) y métodos como el Descubrimiento de Circuitos Automatizado (ACDC), el Parcheo de Activación (Activation Patching) y la Tomografía Artificial Lineal (LAT).

Contribuciones Clave y Hallazgos Técnicos

1. Análisis de Circuitos de Transformers

El artículo detalla cómo los modelos Transformer pueden ser sometidos a ingeniería inversa analizando el flujo residual (el canal de comunicación central) y los mecanismos de atención.

Descomposición de Circuitos: La revisión destaca la Hipótesis de la Universalidad, que postula que modelos similares entrenados con datos similares desarrollan circuitos similares. Esto permite la identificación de rutas computacionales reutilizables.
Cabezales de Inducción (Induction Heads): Un hallazgo crítico es la identificación de los cabezales de inducción, que son responsables del aprendizaje en contexto. Estos cabezales operan mediante un subcircuito de tres partes: (A) atender al token anterior, (B) emparejar la consulta-clave (query-key) para encontrar un patrón, y (C) copiar el token subsecuente. Este mecanismo emerge mediante una transición de fase abrupta y es aditivo; la red posee una redundancia masiva donde los cabezales más débiles pueden compensar si los más fuertes son ablados.
Identificación de Objeto Indirecto (IOI): La tarea IOI sirve como un punto de referencia para el análisis de circuitos. En GPT-2 Small, la tarea es resuelta por un circuito específico de 26 cabezales de atención (Cabezales de Token Duplicado, Cabezales de Inhibición S, y Cabezales de Movimiento de Nombre). El artículo señala que esta estructura de circuito varía en arquitecturas que no son Transformer (por ejemplo, Mamba), demostrando que las herramientas de interpretación deben ser conscientes de la arquitectura.
Descubrimiento Automatizado: Para abordar la inversión de tiempo del análisis manual, el artículo revisa el Descubrimiento de Circuitos Automatizado (ACDC), que utiliza el parcheo de activación para podar aristas irrelevantes en un grafo computacional. Métodos más escalables como el Parcheo de Atribución de Aristas (EAP) y ALTI utilizan la linealización de gradientes para atribuir importancia a las conexiones en una sola pasada de propagación hacia adelante/atrás, eliminando la necesidad de plantillas contrastivas artificiales.

2. Superposición y Autoencoders Dispersos (SAEs)

Para abordar la polisemia, el artículo se centra en los Autoencoders Dispersos (SAEs).

Mecanismo: Los SAEs se entrenan sobre las activaciones de un modelo base congelado para descomponer vectores densos y polisémicos en un diccionario sobrecompleto y disperso de características monosemánticas.
Arquitecturas: La revisión compara los SAEs estándar con variantes avanzadas como los SAEs con Compuerta (Gated SAEs), SAEs TopK y SAEs JumpReLU, que mitigan problemas como el "efecto de contracción" (shrinkage effect) y las características latentes muertas.
Leyes de Escala: El error de reconstrucción disminuye como una función de potencia con el número de características latentes, lo que sugiere que el desentrelazamiento total de los modelos de frontera puede requerir diccionarios con decenas o cientos de millones de características.
Transcodificadores: Mientras que los SAEs reconstruyen activaciones estáticas, los Transcodificadores (y los Transcodificadores de Capas Cruzadas) aprenden a imitar el comportamiento de entrada-salida de capas MLP completas o transformaciones de múltiples capas. Esto permite a los investigadores rastrear cómo se transforma la información en lugar de solo qué se representa.
Procesamiento Multilingüe: Utilizando Transcodificadores de Capas Cruzadas, el artículo revela que los modelos multilingües procesan el texto en tres fases: codificación específica del idioma, un espacio semántico compartido independiente del idioma (capas medias) y decodificación específica del idioma. Este espacio compartido es una propiedad arquitectónica, no meramente un artefacto del dominio del inglés en los datos de entrenamiento.

3. Vectores de Dirección e Intervenciones de Activación

El artículo explora los vectores de dirección (steering vectors) como un método de intervención causal.

Hipótesis de Representación Lineal (LRH): Esta hipótesis sugiere que los conceptos de alto nivel (por ejemplo, veracidad, sentimiento) se codifican como direcciones lineales en el espacio de activación.
Métodos de Extracción: Las técnicas van desde diferencias de activación simples (ActAdd) hasta métodos contrastivos robustos (CAA) y Tomografía Artificial Lineal (LAT).
Dirección Basada en SAE: Mediendo el uso de SAEs para aislar características específicas, los investigadores pueden realizar un bloqueo de características (clamping) (fijando o amplificando la activación de una característica) para alterar causalmente el comportamiento del modelo. Por ejemplo, amplificar los vectores de "desesperación" puede inducir estrategias dañinas, mientras que amplificar los vectores de "conflicto interno" puede forzar a un modelo a revelar información oculta.
Control Dinámico: Métodos como la Dirección de Activación Condicional a Prompts Dispersos Dinámicos (DSPA) permiten una dirección sensible al contexto mediante el análisis de prompts en las capas iniciales y la activación de características de control en las capas posteriores.

4. Marcos Neurosimbólicos

El artículo conecta la MI con la IA Neurosimbólica (NeSy), que busca extraer reglas lógicas explícitas de las redes neuronales.

Extracción de Reglas: Marcos como NeSyFOLD (para CNNs) y Ne-SyViT (para Vision Transformers) extraen reglas lógicas estratificadas (Programas de Conjunto de Respuestas) de las activaciones del modelo. Estas reglas utilizan lógica por defecto (por ejemplo, "Los pájaros vuelan" con excepciones "a menos que sean pingüinos") para aproximar las fronteras de decisión.
Integración: A diferencia de la pura extracción, marcos como Logic-LM y LLM-Modulo integran LLMs con solucionadores simbólicos externos. El LLM traduce el lenguaje natural en lógica formal, que luego es resuelta por un solucionador determinista, proporcionando garantías de corrección que el razonamiento puramente neuronal carece.

Resultados y Reivindicaciones de Significancia

El artículo afirma que la interpretabilidad mecanicista ha pasado con éxito de las correlaciones superficiales a la identificación de cuentas algorítmicas y causales del comportamiento de las redes neuronales.

Validación de la Estructura: El campo ha demostrado que los comportos complejos (por ejemplo, aprendizaje en contexto, identificación de objeto indirecto) no son arbitrarios, sino que están implementados por circuitos estructurados e identificables.
Control Causal: La capacidad de dirigir los modelos mediante características específicas (por ejemplo, suprimir características de "código peligroso" o amplificar la "veracidad") proporciona evidencia empírica de que las representaciones internas están causalmente vinculadas al comportamiento de salida.
Implicaciones de Seguridad: El artículo argumenta que comprender los mecanismos internos es esencial para la seguridad de la IA. El alineamiento convencional (por ejemplo, RLHF) puede solo enmascarar comportamientos indeseables en la superficie, mientras que la interpretabilidad mecanicista puede detectar y modificar las estrategias de razonamiento subyacentes.
Limitaciones: Los autores señalan modestamente que la mayoría de los análisis detallados de circuitos están actualmente limitados a modelos pequeños o tareas sintéticas. Existe una brecha significativa entre explicar GPT-2 Small y explicar el razonamiento o el engaño en sistemas de escala de frontera. Además, aunque los SAEs mejoran la interpretabilidad, no son una solución completa, ya que pueden fragmentar conceptos o fallar en capturar transformaciones dinámicas sin transcodificadores.

Conclusión

El artículo concluye que la interpretabilidad mecanicista es una evolución necesaria para garantizar la seguridad y la auditabilidad de la IA. Si bien el campo ha logrado avances sustanciales en la ingeniería inversa de circuitos y características específicas, la pregunta central sigue siendo si estas técnicas pueden escalar a la complejidad de los modelos de propósito general de frontera. El trabajo futuro debe centrarse en el descubrimiento automatizado escalable, mejores bancos de pruebas de evaluación y el desarrollo de modelos que sean "interpretables por diseño".