💬 NLP

Position: Mechanistic Interpretability Must Disclose Identification Assumptions for Causal Claims

Este artículo sostiene que la investigación sobre interpretabilidad mecanicista con frecuencia confunde las métricas de validación con la identificación causal al no establecer explícitamente los supuestos necesarios, y propone una nueva norma de divulgación que exige que los autores articulen claramente sus estrategias de identificación y la robustez de sus afirmaciones causales.

Autores originales: Zezheng Lin, Fengming Liu

Publicado 2026-05-11

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zezheng Lin, Fengming Liu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un detective tratando de averiguar por qué una máquina compleja (una IA) hace lo que hace. Sospechas que un engranaje específico (un "circuito" o una "característica") es la causa de una acción específica. Sacas ese engranaje y la máquina deja de funcionar. Declaras: "¡Ajá! ¡Ese engranaje era la causa!".

Este artículo argumenta que en el campo de la "interpretabilidad mecánica" de la IA, los investigadores hacen estas declaraciones con demasiada frecuencia sin seguir las reglas de la evidencia. Están afirmando haber encontrado la causa, pero no han explicado por qué su experimento demuestra que es la causa y no simplemente una coincidencia.

Aquí está el desglose del argumento del artículo utilizando analogías simples:

1. El problema central: "Validación" no es "Identificación"

El artículo hace una distinción crucial entre dos cosas:

Validación (El "Qué"): "Sacé el engranaje y la máquina dejó de funcionar". Esto es un hecho. Es una prueba exitosa.
Identificación (El "Por qué"): "Sé con certeza que solo ese engranaje causó que la máquina dejara de funcionar, y no algún engranaje de respaldo oculto o un efecto secundario de mi extracción".

La analogía:
Imagina que eres un médico. Le das una pastilla a un paciente y su fiebre baja.

Validación: "La fiebre bajó después de la pastilla". (Esto es cierto).
Identificación: "La pastilla causó que la fiebre bajara". (Esto requiere suposiciones).

Quizás la fiebre bajó porque era la hora del día en que la fiebre naturalmente cede. Quizás el paciente bebió agua al mismo tiempo. Quizás la pastilla no funcionó, pero la fiebre se estaba yendo de todos modos.

En la investigación de IA, los artículos a menudo dicen: "Cambiamos esta parte de la IA y el comportamiento cambió, por lo que esta parte es la causa". El artículo argumenta que están saltándose el paso de probar que ninguna otra explicación podría haber causado ese cambio. Están tratando el "bajar de la fiebre" (validación) como prueba de que "la pastilla funcionó" (identificación) sin verificar si el paciente tenía un ciclo natural de fiebre.

2. La trampa de las "Suposiciones Ocultas"

Cada vez que un investigador afirma haber encontrado una causa, se apoya en un conjunto de suposiciones invisibles. El artículo dice que estas suposiciones están actualmente ocultas.

La analogía:
Imagina que un mago afirma: "Hice desaparecer al conejo porque agité mi varita".

La suposición oculta: "El conejo no saltó por la puerta trasera".
La suposición oculta: "El conejo no ya se había ido antes de que agitara la varita".

En los artículos de IA, los "trucos de magia" son cosas como:

Parcheo de Activación: "Intercambiamos esta parte del cerebro de la IA. El comportamiento cambió".
- Suposición oculta: "No despertamos accidentalmente un sistema de respaldo dormido que también hace este trabajo".
Autoencoders Escasos (SAE): "Encontramos una 'característica' específica en la IA que representa el concepto de 'honestidad'".
- Suposición oculta: "Esta característica es un bloque de construcción único e independiente, no simplemente una mezcla desordenada de otras cosas que casualmente parecen 'honestidad'".

El artículo audita 10 artículos principales (y revisa 30 más) y descubre que cero de ellos tienen una sección dedicada donde enumeran estas suposiciones ocultas. Solo muestran el truco de magia (el resultado) y dicen "¡Mira, funciona!" sin admitir qué reglas están asumiendo que sigue el universo.

3. El error de "Sustitución"

El artículo llama al hábito actual "Sustitución de Métricas de Validación".

La analogía:
Imagina que un mecánico de coches dice: "Arreglé tu motor porque el coche arrancó".

El error: El mecánico está sustituyendo el resultado (el coche arrancó) por la prueba (sé exactamente qué parte arreglé y que nada más podría haber hecho arrancar el coche).
La realidad: El coche podría haber arrancado porque la batería se recargó sola, o porque el mecánico golpeó la llave, o porque el motor estaba bien todo el tiempo.

En los artículos de IA, los investigadores informan métricas como "fidelidad" (¿coincide la explicación con el modelo?) o "completitud" (¿encontramos todas las partes?). El artículo argumenta que estas son solo momentos de "el coche arrancó". Son buenos de tener, pero no son prueba de causalidad a menos que se declaren las suposiciones que las convierten en prueba.

4. La solución propuesta: El "Protocolo de Divulgación"

El autor sugiere que el campo debería tomar prestada una regla de la Econometría (el estudio de datos económicos). En economía, si afirmas que "X causa Y", debes declarar explícitamente:

Lo que estás afirmando: "Afirmamos que X causa Y".
La estrategia: "Estamos utilizando el método Z para probarlo".
Las suposiciones: "Asumimos que [Condición A] y [Condición B] son verdaderas".
La prueba de estrés: "Si [Condición A] es falsa, nuestra conclusión se desmorona. Aquí mostramos cómo probamos si es verdadera".

La analogía:
En lugar de decir simplemente "la pastilla funcionó", el médico debe escribir un informe:

"Afirmamos que la pastilla bajó la fiebre".
"Asumimos que el paciente no tomó otros medicamentos".
"Asumimos que la fiebre no estaba terminando naturalmente".
"Si el paciente sí tomó otros medicamentos, nuestra conclusión es incorrecta. Aquí están los datos que muestran que no lo hizo".

5. Lo que encontró la auditoría

El autor examinó 10 artículos clave en el campo (que cubren diferentes métodos como el descubrimiento de circuitos y autoencoders) y luego revisó 30 más.

Resultado: 0 de 30 artículos tenían una sección dedicada que enumeraba sus suposiciones de identificación.
Resultado: La mayoría de los artículos (aproximadamente de 19 a 26 de 30, dependiendo de lo estricto que seas) utilizaron "métricas de validación" (como "la IA se comportó como se esperaba") como sustituto de probar que sus suposiciones eran verdaderas.
Resultado: Incluso los artículos más cuidadosos, que encontraron errores en el trabajo de otros, no enumeraron explícitamente las suposiciones que estaban utilizando para encontrar esos errores.

Resumen

El artículo es un llamado a la honestidad y la claridad. No dice que la investigación de IA esté mal; dice que la investigación de IA está incompleta.

Actualmente, los investigadores dicen: "¡Mira, encontramos la causa!".
El artículo dice: "Por favor, detente y cuéntanos qué reglas estás asumiendo para hacer esa afirmación. Si no nos dices las reglas, no sabemos si tu 'causa' es real o solo una adivinanza afortunada".

Le está pidiendo al campo pasar de "Mira lo genial que es nuestro truco de magia" a "Aquí está exactamente cómo funciona el truco, y aquí está por qué sabemos que no es un truco".

Resumen Técnico: La Interpretabilidad Mecanicista Debe Revelar las Suposiciones de Identificación para las Afirmaciones Causales

Declaración del Problema
La investigación en interpretación mecánica (IM) emplea cada vez más un vocabulario causal —como "circuitos", "mediadores", "abstracción causal" y "monosemanticidad"— para describir el comportamiento de los modelos. Sin embargo, el artículo argumenta que estas afirmaciones causales carecen frecuentemente de suposiciones de identificación explícitas. En la inferencia causal, una afirmación solo es válida si se declaran las condiciones bajo las cuales la cantidad causal se identifica a partir de datos observables. El artículo identifica un patrón recurrente en el que los investigadores sustituyen las métricas de validación (por ejemplo, fidelidad, completitud, monosemanticidad, alineación o efectos de ablación) por suposiciones de identificación. Si bien estas métricas demuestran que una descripción es consistente con el modelo o los datos, no establecen que el mecanismo propuesto sea la causa y no un correlato. El artículo postula que, sin declarar las suposiciones bajo las cuales se identifica una afirmación, la afirmación causal permanece no identificada, independientemente de las puntuaciones de validación altas.

Metodología
El artículo emplea una auditoría intencional de la literatura de IM para documentar la ausencia de divulgación de suposiciones de identificación.

Auditoría Principal (n=10): Una auditoría con un solo codificador de diez artículos influyentes que abarcan cuatro líneas metodológicas: descubrimiento de circuitos, autoencoders dispersos (SAE), abstracción causal y sondeo (probing). La muestra incluye trabajos de NeurIPS, ICLR, CLeaR, BlackboxNLP y el Hilo de Circuitos de Transformadores de Anthropic.
Auditoría de Extensión (n=30): Una auditoría con dos codificadores humanos sobre un conjunto ampliado de 30 artículos para probar la robustez y estimar la fiabilidad inter-evaluador.
Dimensiones de Codificación:
- Dim A: Tipo de afirmación abstracta (causal explícita con/sin base de identificación, causal implícita, o solo asociación).
- Dim B: Presencia de una sección dedicada "Suposiciones de Identificación" en el texto principal.
- Dim C: Presencia de pruebas de falsabilidad o análisis de sensibilidad.
- Dim D: "Sustitución por métrica de validación" (informar una métrica de validación como soporte causal sin separarla de las suposiciones de identificación).
Validación: El estudio incluye una re-codificación por un segundo codificador humano de un subconjunto para medir el acuerdo ( $\kappa$ ) y una auditoría con un solo evaluador en una submuestra estratificada para verificar los hallazgos estructurales.

Contribuciones Clave

Distinción Conceptual: El artículo distingue formalmente entre validación (responder "¿Qué cambió cuando intervenimos?") e identificación (responder "¿Por qué ese cambio identifica este mecanismo?"). Argumenta que las métricas de validación son necesarias pero insuficientes para las afirmaciones causales.
Documentación de la Brecha: La auditoría revela una falta sistémica de divulgación de suposiciones. En los artículos muestreados, ningún artículo contenía una sección dedicada a las suposiciones de identificación. La mayoría de los artículos hacían implícitamente afirmaciones causales y sustituían las métricas de validación por declaraciones de identificación.
Enumeración de Suposiciones Específicas por Método: El artículo enumera las suposiciones de identificación específicas, a menudo implícitas, requeridas para los métodos comunes de IM:
- Parcheo de Activaciones: Asume completitud del circuito (los componentes dirigidos explican todas las vías) y exclusividad de la vía (el parcheo no activa circuitos paralelos latentes).
- Autoencoders Dispersos: Asume recuperabilidad de la base del diccionario (las características corresponden a una base verdadera, no a una rotación arbitraria) y atomicidad/monosemanticidad de las características.
- Abstracción Causal: Asume fidelidad de la alineación y validez de la optimización.
- Sondeo (Probing): Asume localidad causal y completitud de la intervención.
Protocolo de Divulgación Propuesto: El artículo propone una norma de cinco pasos para los artículos de IM que hacen afirmaciones causales:
- Declarar en el resumen si la afirmación es causal o asociativa.
- Nombrar la estrategia de identificación.
- Incluir una sección numerada "Suposiciones de Identificación" en el texto principal.
- Proporcionar una prueba de falsabilidad, un análisis de sensibilidad o una declaración clara de evidencia contraria para al menos una suposición central.
- Discutir cómo cambian las conclusiones si las suposiciones clave fallan.

Resultados

Ausencia de Secciones Dedicadas: En ambas auditorías (n=10 y n=30), 0/30 artículos contenían una sección dedicada a las suposiciones de identificación bajo cualquier regla de codificación o codificador.
Prevalencia de la Sustitución: En la auditoría n=30, 19/30 artículos (bajo adjudicación estricta) o 26/30 (bajo reglas permisivas) fueron codificados como sustituyendo una métrica de validación por una declaración de identificación.
Heterogeneidad por Línea: El patrón de sustitución fue más concentrado en las líneas de Autoencoders Dispersos y Abstracción Causal (6/6 y 3/3 artículos, respectivamente, en la muestra n=30 mostraron sustitución completa). El parcheo de activaciones mostró una tasa de sustitución menor, posiblemente debido a la literatura existente sobre "ilusión y modos de fallo" (por ejemplo, Makelov et al., 2024) que proporciona una protección parcial.
Fiabilidad Inter-evaluador: El acuerdo sobre la presencia de una sección dedicada (Dim B) fue bajo ( $\kappa = 0.26$ ), lo que indica que los artículos actuales no proporcionan declaraciones de suposiciones estables ni fácilmente identificables. Sin embargo, el hallazgo estructural de cero secciones dedicadas fue robusto en todos los codificadores y reglas.

Significado y Afirmaciones
El artículo afirma que la práctica actual en la interpretación mecánica trata las métricas de validación como un sustituto de la identificación causal, lo que conduce a "ilusiones de interpretabilidad" donde puntuaciones altas coexisten con una identificación fallida (como demostraron trabajos anteriores como Makelov et al., 2024, y Leask et al., 2025).

No es una Imposición de Marco: El artículo no importa marcos econométricos específicos (por ejemplo, variables instrumentales, do-cálculo) a la IM. En su lugar, importa la meta-práctica de la inferencia causal: el requisito de que las afirmaciones causales sean evaluadas a través de suposiciones declaradas.
Necesidad Lógica: Los autores argumentan que la divulgación es un requisito lógico de cualquier afirmación causal, no meramente una elección estilística. Sin suposiciones declaradas, la comunidad científica no puede evaluar si un resultado refleja una estructura causal genuina o un artefacto de condiciones no declaradas.
Estándar Comunitario: La auditoría sirve como evidencia de que la brecha es lo suficientemente generalizada en los principales foros como para justificar un estándar comunitario. El protocolo propuesto está diseñado para ser generativo en lugar de restrictivo, permitiendo una crítica acumulativa al hacer explícitas y falsables las suposiciones.

El artículo concluye que, aunque la muestra de la auditoría es pequeña e intencional (no es una estimación de prevalencia para toda la literatura), la consistencia del patrón a través de las líneas y los años sugiere que el campo aún no ha adoptado la práctica básica de la divulgación de suposiciones, a pesar de la creciente dependencia del lenguaje causal.