Resumen Técnico: "Todo, en todas partes, al mismo tiempo: ¿Es la interpretabilidad mecanística identificable?"

Declaración del Problema

A medida que los sistemas de IA se despliegan en aplicaciones de alto riesgo, garantizar su interpretabilidad es crítico. La Interpretabilidad Mecanística (MI, por sus siglas en inglés) busca la ingeniería inversa de las redes neuronales mediante la extracción de algoritmos comprensibles para el ser humano (abstracciones computacionales) incrustados en sus estructuras. Una abstracción computacional consta de dos componentes: el qué (el algoritmo explicativo) y el dónde (el subgrafo o circuito específico dentro de la red donde se implementa este algoritmo).

Aunque los métodos de MI suelen operar bajo un supuesto tácito de unicidad explicativa —la creencia de que existe una explicación única y correcta para el comportamiento de un modelo—, este artículo cuestiona sistemáticamente dicha premisa. Utilizando una analogía con la identificabilidad en estadística (donde los parámetros se infieren de forma única a partir de los datos bajo supuestos específicos), los autores preguntan: Bajo los criterios establecidos por la MI, ¿se garantiza que la explicación para un comportamiento fijo sea única?

El artículo investiga dos estrategias primarias para generar explicaciones de MI:

1. Dónde-entonces-qué: Detectar un subconjunto de la red (un circuito) que replique el comportamiento del modelo, para luego derivar la interpretación de sus componentes.
2. Qué-entonces-dónde: Partir de algoritmos explicativos candidatos y buscar subespacios de activación en la red donde estos algoritmos estén causalmente alineados.

El problema central es si estas estrategias, bajo sus respectivos criterios de validez (error de circuito y alineación causal), producen una explicación única y singular o si múltiples explicaciones incompatibles pueden satisfacer los mismos criterios.

Metodología

Los autores realizan una prueba de estrés de la identificabilidad de la MI utilizando un entorno controlado y de pequeña escala que permite la enumeración exhaustiva de explicaciones candidatas, una tarea imposible en modelos de gran escala.

Configuración Experimental

• Tareas: Entrenar Perceptrones Multicapa (MLP) para implementar funciones booleanas, específicamente la función XOR y combinaciones de puertas lógicas.
• Arquitectura: MLPs pequeños (por ejemplo, tamaño de entrada 2, capas ocultas de tamaño $k$, tamaño de salida $n$) entrenados con entradas binarias y ruido gaussiano añadido hasta alcanzar un umbral de pérdida bajo.
• Búsqueda Exhaustiva:
  • Para "Dónde-entonces-qué": Los autores enumeran todos los subgrafos (circuitos) posibles de la red. Prueban cada circuito en datos de validación para identificar "circuitos perfectos" (error de circuito cero). Para cada circuito perfecto, buscan recursivamente todos los mapeos válidos (interpretaciones) de las activaciones de las neuronas a puertas lógicas (AND, OR, NOT) que satisfagan la consistencia (el mapeo conmuta con la computación).
  • Para "Qué-entonces-dónde": Los autores enumeran algoritmos booleanos candidatos (árboles de análisis sintáctico) que implementan la función objetivo. Luego, buscan todos los subconjuntos de neuronas y mapeos posibles que logren una alineación causal perfecta, medida por la Precisión de Intercambio de Intervención (IIA). Un IIA de 1 indica que las intervenciones contrafácticas en el algoritmo producen efectos idénticos en los estados internos de la red.

Definiciones de Identificabilidad

El artículo define una explicación como no identificable si los criterios actuales de MI no logran discriminar entre dos explicaciones incompatibles. La incompatibilidad surge si:

1. Dos explicaciones postulan diferentes algoritmos para el mismo comportamiento.
2. El mismo algoritmo está incrustado en diferentes subespacios de la red.

Resultados Clave

Los experimentos revelan una evidencia abrumadora de no identificabilidad en todas las etapas del proceso de MI:

1. Circuitos No Únicos (Dónde): Múltiples circuitos distintos pueden replicar perfectamente el comportamiento del modelo (error de circuito cero). En el ejemplo de XOR, se encontraron 85 circuitos únicos con precisión perfecta.
2. Interpretaciones No Únicas (Qué): Para un solo circuito válido, existen múltiples interpretaciones válidas (mapeos de neuronas a puertas lógicas). En el ejemplo de XOR, se encontró un promedio de 535.8 interpretaciones por cada circuito.
3. Algoritmos No Únicos (Qué): Varios algoritmos diferentes pueden estar perfectamente alineados causalmente con la computación neuronal (IIA = 1). Incluso probando solo dos algoritmos candidatos para XOR, se encontró que ambos tenían implementaciones perfectas.
4. Localizaciones No Únicas (Dónde): Para un solo algoritmo causalmente alineado, múltiples subespacios distintos de la red pueden estar igualmente alineados (IIA = 1). En el ejemplo de XOR, se identificaron 159 mapeos mínimos perfectos para solo dos algoritmos candidatos.

Hallazgos Cuantitativos:

• A medida que el tamaño de la red ($k$) aumenta, el número de abstracciones computacionales válidas crece exponencialmente (la mediana aumenta de 38 a 910,000 en el enfoque de primero el circuito).
• Menos del 2% de las redes entrenadas contenían exactamente un mapeo mínimo válido, y ninguna red contenía exactamente una interpretación de circuito.
• El aumento de la complejidad de la tarea (entrenamiento en múltiples puertas lógicas simultáneamente) redujo el número de interpretaciones, pero no eliminó la no identificabilidad.

Contribuciones Clave

1. Formalización de la Identificabilidad en MI: El artículo introduce el concepto de "identificabilidad de la explicación" al campo de la interpretabilidad mecanística, adaptando un concepto estadístico para definir la unicidad de las explicaciones bajo criterios de validez fijos.
2. Prueba de Estrés Sistemática: Al utilizar modelos de pequeña escala para permitir la enumeración exhaustiva, los autores proporcionan la primera demostración empírica rigurosa de que los criterios actuales de MI (error de circuito e IIA) no garantizan explicaciones únicas.
3. Categorización de Estrategias: El trabajo delinea y evalúa claramente las estrategias de "donde-entonces-qué" y "qué-entonces-dónde", mostrando que ambas sufren de problemas de no identificabilidad.
4. Evidencia Empírica de Incompatibilidad: El estudio demuestra que un mismo modelo entrenado puede soportar cientos de miles de abstracciones computacionales mutuamente incompatibles que satisfacen todos los criterios de una "buena" explicación.

Significado y Reivindicaciones

Los autores afirman que este trabajo tiene como objetivo contribuir constructivamente al esfuerzo continuo por formalizar las expectativas de las explicaciones de IA. El artículo no afirma que la MI sea inútil, sino que desafía la "intuición de la unicidad" que a menudo se asume en el campo.

• Postura Pragmática: Los autores sugieren que si el objetivo es la predicción o la manipulabilidad, la unicidad puede no ser necesaria, y se podría adoptar una postura pragmática aceptando múltiples explicaciones válidas.
• Postura Estricta: Si la unicidad se considera esencial para proporcionar un verdadero "sentido de comprensión", el artículo argumenta que los criterios actuales son insuficientes y que se requieren criterios menos permisivos (o el marco de "interpretabilidad interna" que requiere múltiples validaciones complementarias).
• Dirección Futura: El trabajo destaca la necesidad de definiciones rigurosas de lo que constituye una explicación en la IA, yendo más allá de la suposición de que existe un único mecanismo "verdadero" que es fácilmente descubrible mediante los métodos actuales.

El artículo concluye que el panorama actual de la Interpretabilidad Mecanística enfrenta un problema fundamental de identificabilidad: sin restricciones o criterios adicionales, no podemos garantizar que las explicaciones que derivamos sean los mecanismos únicos y correctos que gobiernan el comportamiento de un modelo.