💬 NLP

Mechanistic Interpretability as Statistical Estimation: A Variance Analysis

Este artículo sostiene que la interpretabilidad mecanicista es fundamentalmente un problema de estimación estadística plagado de una alta varianza intrínseca en las puntuaciones de mediación causal, lo que provoca que los procesos de descubrimiento de circuitos produzcan resultados inestables y frágiles que requieren un cambio hacia la robustez estadística rigurosa y el reporte de estabilidad.

Autores originales: Maxime Méloux, François Portet, Maxime Peyrard

Publicado 2026-06-01

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Maxime Méloux, François Portet, Maxime Peyrard

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La visión general: Intentar trazar el mapa de una ciudad con una brújula inestable

Imagine que intenta dibujar el mapa de una ciudad compleja (una red neuronal) para entender cómo llega del Punto A al Punto B (cómo resuelve un problema). Los científicos en el campo de la Interpretabilidad Mecanicista son como exploradores urbanos. Quieren encontrar las "carreteras" e "intersecciones" específicas (neuronas y conexiones) que la ciudad utiliza para tomar decisiones. Llaman a estas rutas especiales "circuitos".

El artículo sostiene que, actualmente, estos exploradores están usando una brújula que gira descontroladamente. Piensen que están encontrando el único mapa verdadero, pero en realidad, están dibujando mapas diferentes cada vez que miran, dependiendo de diminutos cambios aleatorios en el clima o en cómo sostienen la brújula.

El problema central: La "brújula que gira" (Varianza)

Los investigadores descubrieron que las herramientas utilizadas para encontrar estos circuitos son fundamentalmente inestables. Desglosaron el problema en tres capas de inestabilidad:

1. La señal bruta es ruidosa (Variabilidad intrínseca)

La analogía: Imagine que intenta medir la fuerza de una corriente de viento específica durante una tormenta. Si mide en un segundo exacto, obtiene un número. Si mide un segundo después, el viento podría ser ligeramente más fuerte o más débil debido a la turbulencia aleatoria.
La afirmación del artículo: La "importancia" de una parte específica de la IA no es un número fijo como el peso de una roca. Es más bien como la velocidad del viento. Cambia drásticamente dependiendo del input específico (la "tormenta") que se esté observando. El artículo muestra que, incluso si se calcula perfectamente, la puntuación de una sola conexión fluctúa tanto que es difícil distinguir si es realmente importante o si es solo una ráfaga aleatoria.

2. Las herramientas añaden más ruido (Errores de aproximación)

La analogía: Debido a que medir el viento perfectamente toma demasiado tiempo, los exploradores usan un sensor barato y rápido (métodos de aproximación como EAP) para adivinar la velocidad del viento. Pero este sensor barato es errático. Añade su propio estática y errores sobre el viento que ya de por sí es cambiante.
La afirmación del artículo: Los métodos rápidos que los científicos usan para ahorrar tiempo (como el Edge Attribution Patching) introducen aún más ruido. A menudo hacen que las puntuaciones parezcan más inestables de lo que ya eran. La "relación señal-ruido" es tan baja que las herramientas a menudo solo están captando estática en lugar de la señal real.

3. El mapa cambia con cada paso (Inestabilidad de agregación)

La analogía: Para dibujar el mapa final, los exploradores toman 100 mediciones diferentes y las promedian. Pero debido a que las mediciones son tan inestables, si cambian la lista de 100 mediciones aunque sea un poco (como intercambiar una por otra), el mapa final se ve completamente diferente. Un día, el mapa muestra una autopista; al día siguiente, muestra un camino de tierra.
La afirmación del artículo: Cuando los científicos combinan estas puntuaciones inestables para construir un "circuito", el resultado es increíblemente frágil.

Cambios en los datos: Si utilizan un conjunto de ejemplos ligeramente diferente para entrenar su mapa, encuentran un circuito totalmente distinto.
Cambios en el método: Si ajustan una configuración (como cambiar la forma en que promedian los números), encuentran un circuito diferente.
Cambios en la perturbación: Si cambian la forma en que "rompen" la IA para probarla (el contrafactual), el circuito que encuentran se desplaza de nuevo.

El efecto del "Salmón Muerto"

El artículo menciona que los métodos actuales son propensos a los artefactos del "salmón muerto".
La analogía: En neurociencia, los investigadores encontraron una vez "actividad cerebral" en un salmón muerto simplemente porque no corrigieron el ruido estadístico. El artículo sugiere que los investigadores de IA podrían estar haciendo lo mismo: encontrar "circuitos" que parecen reales pero que en realidad son solo ruido aleatorio que coincidió por azar.

Lo que los investigadores encontraron (La evidencia)

Realizaron experimentos en diferentes modelos de IA (como GPT-2 y Llama) y tareas (como matemáticas o gramática).

El resultado: Cuando ejecutaron el mismo experimento 100 veces con datos ligeramente diferentes, los "circuitos" que encontraron apenas se solapaban. A veces, el solapamiento era inferior al 10%.
La conclusión: No existe un único "Circuito Verdadero" esperando ser descubierto. En su lugar, hay una nube de posibles circuitos, y los métodos actuales solo están eligiendo un punto aleatorio de esa nube y llamándolo la verdad.

La solución propuesta: Dejar de adivinar, empezar a medir la incertidumbre

Los autores no dicen "rindan la interpretación de la IA". En su lugar, dicen "dejen de pretender que sabemos más de lo que sabemos".

El nuevo reglamento:

Reportar la varianza: No muestre solo un mapa. Muestre 100 mapas y diga: "Aquí está el promedio, y aquí es cuánto difieren".
Verificar la estabilidad: Antes de afirmar que encontró un circuito, verifique si se mantiene igual cuando cambia ligeramente los datos. Si el circuito desaparece con un pequeño cambio, no es fiable.
Abrazar la incertidumbre: Trate estos hallazgos como pronósticos del clima (por ejemplo, "70% de probabilidad de lluvia") en lugar de hechos absolutos (por ejemplo, "Va a llover").

Resumen

El artículo argumenta que la Interpretabilidad Mecanicista está actualmente intentando hacer ciencia sin admitir que está tratando con estadísticas. Es como intentar medir la altura de una montaña mientras se está parado sobre un trampolín. Los autores quieren que el campo deje de buscar un único y perfecto "ground truth" (verdad fundamental) del circuito y comience a reportar qué tan inestable y variable es realmente sus hallazgos. Solo al reconocer esta inestabilidad podremos confiar en los mapas que estamos dibujando de las mentes de la IA.

Resumen Técnico: La interpretabilidad mecánica como estimación estadística: Un análisis de la varianza

Planteamiento del problema

La interpretabilidad mecánica (MI, por sus siglas en inglés) busca realizar ingeniería inversa en redes neuronales profundas mediante la identificación de "circuitos": subredes funcionales responsables de comportamientos específicos del modelo. Estos circuitos se descubren típicamente utilizando el Análisis de Mediación Causal (CMA), que implica intervenir en el grafo computacional para medir el efecto causal de componentes específicos (nodos o aristas) sobre las salidas del modelo.

Sin embargo, la validez científica de estos hallazgos es cada vez más cuestionada debido a una falta de estabilidad. Las prácticas actuales de MI suelen producir "estimaciones puntuales" (resúmenes estructurales únicos) sin cuantificar la incertidumbre. El artículo argumenta que el descubrimiento de circuitos no es una tarea independiente, sino un problema de estimación estadística basado en el CMA. El problema central identificado es la inestabilidad fundamental: el efecto causal de un componente no es una propiedad fija, sino una variable aleatoria volátil. En consecuencia, pequeñas perturbaciones en los datos de entrada, los hiperparámetros o las definiciones de la intervención producen circuitos muy diferentes, lo que socava la fiabilidad de los hallazgos de la MI y su capacidad de generalización.

Metodología

Los autores enmarcan el descubrimiento de circuitos como un flujo de trabajo descendente alimentado por el CMA y analizan su estabilidad a través de una lente estadística, descomponiendo la inestabilidad en dos fuentes primarias:

Varianza (Sensibilidad de Muestreo): Fluctuaciones derivadas de depender de conjuntos de datos finitos para aproximar las expectativas de la población.
Robustez (Sensibilidad Metodológica): Sensibilidad a la especificación de los contrafácticos (estrategias de intervención) y a los hiperparámetros.

El estudio emplea la siguiente configuración experimental:

Tareas: Tres tareas estándar de interpretabilidad: Identificación de Objeto Indirecto (IOI), Concordancia Sujeto-Verbo (SVA) y Mayor que (Greater-Than).
Modelos: GPT-2-small, Llama-3.2-1B y Llama-3.2-1B-Instruct.
Estimadores: El estudio se centra en la familia de Atribución de Aristas por Parcheo (EAP), que incluye el CMA exacto (donde es computacionalmente factible), EAP y EAP-IG (con gradientes integrados para entradas y activaciones).
Métricas de Estabilidad:
- Estabilidad Estructural: Medida mediante el índice Jaccard de pares de conjuntos de aristas descubiertos.
- Estabilidad Funcional: Medida mediante el Error de Circuito (CE) y la divergencia KL entre el modelo completo y el circuito aislado.
Regímenes de Perturbación:
- Remuestreo de Datos: Remuestreo de Bootstrap para simular tamaños de muestra limitados.
- Desplazamientos de Distribución: Uso de meta-datasets y parafraseo de prompts.
- Definición de la Intervención: Variación de la amplitud del ruido en la generación de contrafácticos (ruido gaussiano en los embeddings de los tokens).
- Perturbaciones Metodológicas: Variación de las funciones de agregación (media vs. mediana), tipos de parcheo y elección de estimadores.

Contribuciones Clave y Resultados

1. Variabilidad Intrínseca de las Puntuaciones de CMA

Los autores demuestran que incluso las puntuaciones de CMA exactas exhiben una alta variabilidad intrínseca. Para una sola arista, el efecto causal no es constante entre las entradas extraídas de la misma distribución.

Hallazgo: El coeficiente de variación (CV) para las puntuaciones de aristas exactas es a menudo cercano a 0.5.
Implicación: El efecto causal es una variable aleatoria dependiente del par específico de entrada-contrafáctico, no una propiedad fija del componente.

2. Amplificación por Métodos de Aproximación

Los métodos de aproximación como EAP y EAP-IG introducen ruido de estimación adicional sobre la varianza intrínseca.

Hallazgo: Los estimadores aproximados a menudo tienen un CV > 1, lo que significa que la desviación estándar de la puntuación excede su media. Esto resulta en una baja relación señal-ruido, haciendo que la identificación de circuitos estables a partir de muestras finitas sea estadísticamente precaria.

3. Inestabilidad del Circuito a través del Flujo de Trabajo

La inestabilidad de las puntuaciones de las aristas se propaga a la estructura final del circuito, lo que conduce a resultados altamente divergentes bajo cambios menores:

Remuestreo de Datos: El remuestreo de Bootstrap produce la menor consistencia estructural (índice Jaccard medio $\approx$ 0.56 para GPT-2-small) y la mayor variabilidad. Los circuitos descubiertos a partir de datos remuestreados son a menudo estructuralmente disjuntos y menos fieles al modelo original.
Tamaño del Modelo: La estabilidad se degrada significativamente en modelos más grandes (Llama-3.2-1B) en comparación con GPT-2-small, lo que sugiere que identificar circuitos fiables en modelos más capaces no es una tarea trivial.
Sensibilidad Metodológica: Cambiar los hiperparámetros (por ejemplo, la agregación de suma a mediana, o el tipo de parcheo) puede reducir la similitud de Jaccard a casi cero (por ejemplo, 0.086), devolviendo efectivamente un subgrafo disjunto. Diferentes variantes de EAP a menudo aíslan diferentes artefactos de la distribución de alta varianza en lugar de converger en un único circuito.
Sensibilidad de la Intervención: El circuito identificado no es invariante a la magnitud de la perturbación. Variar la amplitud del ruido en la generación de contrafácticos desplaza el conjunto de componentes identificados como importantes, con regímenes críticos (por ejemplo, amplitud de ruido $\approx$ 0.2) que muestran un pico de inestabilidad.

4. No Identificabilidad vs. Inestabilidad del Estimador

El artículo distingue entre no identificabilidad (una imposibilidad teórica de recuperar un circuito único incluso con datos infinitos) e inestabilidad del estimador (sensibilidad empírica al muestreo finito y la aproximación). Si bien una alta inestabilidad es consistente con la no identificabilidad, los autores muestran que la variabilidad observada es lo suficientemente grande como para socavar las prácticas actuales de reporte, independientemente de la causa raíz.

Significado y Recomendaciones

El artículo sostiene que para que la Interpretabilidad Mecánica evolucione hacia una ciencia rigurosa, debe adoptar los estándares de la inferencia estadística utilizados en las ciencias naturales. La práctica actual de reportar descubrimientos de circuitos de punto único sin estimaciones de incertidumbre es insuficiente.

Mejores Prácticas Propuestas:

Reportar Métricas de Estabilidad: Los investigadores deben reportar rutinariamente métricas de estabilidad junto con los resultados del descubrimiento de circuitos. Específicamente, la varianza de la estructura del circuito (por ejemplo, el índice Jaccard medio de pares) y el rendimiento (CV del error del circuito) bajo remuestreo de Bootstrap ( $n \ge 100$ $n \geq 100$ ).
- Umbral Sugerido: Un índice Jaccard medio de pares por encima de 0.8 bajo remuestreo de Bootstrap podría servir como un baremo preliminar para reportar un circuito como estable.
Cuantificar la Incertidumbre del Estimador: Se deben realizar y reportar análisis de sensibilidad respecto a los hiperparámetros y los métodos de agregación. Si un mecanismo solo es visible bajo hiperparámetros específicos, esta fragilidad debe ser divulgada.
Caracterizar la Sensibilidad de la Intervención: En lugar de depender de una única intervención fija, los investigadores deben analizar cómo cambian los circuitos a medida que las definiciones de los contrafácticos (por ejemplo, la amplitud del ruido) varían para distinguir los mecanismos centrales de los artefactos localizados.

Conclusión:
Los autores concluyen que el campo debe alejarse de la búsqueda de un único "circuito verdadero". En su lugar, el trabajo futuro debería apuntar a caracterizar una distribución sobre posibles circuitos (Descubrimiento de Circuitos Probabilísticos) y desarrollar objetivos de optimización que penalicen explícitamente la varianza, priorizando los componentes que sirven como mediadores fiables a través de diversos conjuntos de datos y perturbaciones. Este encuadre estadístico se presenta como un paso necesario para construir sistemas de IA confiables y asegurar que las herramientas de interpretabilidad proporcionen una base sólida para las decisiones de seguridad y políticas.