Causally Grounded Mechanistic Interpretability for LLMs with Faithful Natural-Language Explanations

Este artículo presenta un pipeline que vincula el análisis de circuitos causales en modelos de lenguaje con explicaciones en lenguaje natural, demostrando mediante una evaluación en la tarea de identificación de objetos indirectos que las explicaciones generadas por LLM superan a las plantillas y revelan que, aunque son suficientes, la baja comprehensividad indica la existencia de mecanismos de respaldo distribuidos.

Lo esencial

¡Claro que sí! Imagina que los Modelos de Lenguaje Grandes (como el que estás usando ahora) son como cajas negras gigantes y misteriosas. Sabemos que funcionan increíblemente bien: escriben poemas, resuelven problemas y conversan como humanos. Pero si les preguntas: "¿Por qué elegiste esa palabra específica?", suelen responder con un silencio o con una explicación confusa que no nos dice la verdad real.

Este paper es como un detective que entra a la caja negra para ver qué está pasando realmente por dentro, y luego trata de traducir ese "secreto técnico" en una historia que cualquier persona pueda entender.

Aquí tienes la explicación con analogías sencillas:

1. El Problema: La "Caja Negra" y las Adivinanzas

Antes, los científicos intentaban entender a la IA mirando dos cosas:

• Opción A (Mecanística): Miraban los cables internos (los "circuitos") y decían cosas como: "El cable L9H9 contribuye un 17.4% al resultado". Es verdad, pero es aburrido y nadie lo entiende.
• Opción B (Explicaciones simples): Pedían a la IA que dijera por qué lo hizo. Pero a veces la IA mentía o alucinaba, diciendo cosas que sonaban bien pero que no eran la causa real (como culpar al "foco" de una luz cuando en realidad fue el "interruptor" el que la encendió).

La misión de este paper: Crear un puente. Quieren tomar los datos técnicos reales de los cables y convertirlos en una historia natural y honesta.

2. El Experimento: El Juego de "¿Quién es el Indirecto?"

Para probar su idea, usaron un juego simple llamado IOI (Identificación del Objeto Indirecto).

• La frase: "Cuando María y Juan fueron a la tienda, Juan dio una bebida a..."
• La respuesta correcta: "María".
• El truco: La IA tiene que ignorar a "Juan" (que acaba de mencionarse) y recordar a "María". Es como si la IA tuviera que hacer un ejercicio de memoria y atención.

Usaron un modelo pequeño (GPT-2) y lo sometieron a una prueba de fuego:

1. Parchear la activación: Imagina que la IA es una orquesta. Los autores "silencian" o "cambian" a ciertos músicos (las cabezas de atención) para ver quién es realmente necesario para que la orquesta toque la nota correcta.
2. Descubrieron el "Círculo de la Verdad": Encontraron que solo 6 músicos (6 cabezas de atención) eran los verdaderos responsables de que la IA acertara. Estos 6 hacían el 61% del trabajo.

3. La Solución: Dos Maneras de Contar la Historia

Una vez que supieron quiénes eran los 6 músicos clave, intentaron explicar el resultado de dos formas:

• Opción A (Plantilla rígida): Como un formulario de rellenar huecos.
  • Ejemplo: "El modelo predice 'María' porque la cabeza L9H9 la mira con mucha atención".
  • Resultado: Es correcto, pero suena robótico y aburrido.
• Opción B (Generada por otra IA): Usaron una IA más inteligente para que escribiera la historia basándose en los datos reales.
  • Ejemplo: "GPT-2 elige 'María' porque la cabeza L9H9 se fija en ella con un 66% de atención, ignorando a Juan, identificándola así como la receptora".
  • Resultado: ¡Mucho mejor! Fue un 66% más alta calidad. La IA "traductora" supo poner los números y el contexto de forma natural.

4. La Sorpresa: La "Redundancia" y las Trampas

Aquí viene la parte más interesante y un poco triste de la investigación.

Los autores midieron si sus explicaciones eran fieles (¿decían la verdad?) usando dos reglas:

1. Suficiencia (¿Es suficiente?): Si solo miramos a esos 6 músicos, ¿podemos explicar por qué la IA acertó? Sí, el 100% de las veces.
2. Completitud (¿Es todo?): Si quitamos a esos 6 músicos, ¿la IA falla? No del todo. Solo falla un 22% de las veces.

¿Qué significa esto?
Imagina que tienes un equipo de fútbol. Tienes 6 jugadores estrella que anotan la mayoría de los goles. Si los quitas, el equipo sigue jugando y a veces gana, porque hay jugadores suplentes (mecanismos de respaldo) que también ayudan, pero que no son tan famosos.

• La lección: Las explicaciones que damos (basadas en los 6 principales) son suficientes para entender el resultado, pero no son completas. La IA tiene "planes B" ocultos. Si solo explicamos los planes A, le estamos contando al usuario una historia incompleta.

5. La Advertencia: La Confianza no es Verdad

El paper descubrió algo muy importante para nuestra seguridad:

• Mito: "Si la IA está muy segura (alta confianza) de su respuesta, su explicación debe ser buena".
• Realidad: Falso. No hay ninguna relación entre lo segura que se siente la IA y lo completa que es su explicación.
• Analogía: Es como un conductor que conduce muy rápido y seguro, pero no sabe que tiene un neumático de repuesto en el maletero. Si le preguntas "¿por qué llegaste?", te dirá "porque conduje bien", pero no te dirá que tenía un neumático de repuesto listo para usar.

En Resumen

Este trabajo nos dice:

1. Podemos traducir la "magia" interna de la IA en explicaciones humanas reales usando datos causales (no solo adivinanzas).
2. Las explicaciones generadas por IA son mucho mejores que las plantillas automáticas.
3. Pero cuidado: Aunque la IA tenga una explicación perfecta para el 100% de los casos, a menudo oculta mecanismos de respaldo. Por lo tanto, nunca debemos confiar ciegamente en una explicación solo porque la IA parezca muy segura.

Es un paso gigante hacia hacer que la Inteligencia Artificial sea más transparente y honesta, recordándonos que siempre hay más de lo que parece a simple vista.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español:

Título: Interpretabilidad Mecanística Causalmente Fundada para LLMs con Explicaciones en Lenguaje Natural Fiables

Autor: Ajay Pravin Mahale (Hochschule Trier, Alemania).

---

1. Planteamiento del Problema

Aunque los Modelos de Lenguaje Grandes (LLMs) logran un alto rendimiento, sus procesos internos de toma de decisiones permanecen opacos. Existen dos enfoques principales para abordar esto, pero que han evolucionado de forma aislada:

1. Interpretabilidad Mecanística: Descompone el modelo en circuitos internos (ej. cabezas de atención específicas), pero sus hallazgos son técnicos y difíciles de entender para humanos (ej. "L9H9 contribuye un 17.4%").
2. IA Explicable (XAI): Genera razones en lenguaje natural, pero a menudo se basa en señales correlacionales (como los pesos de atención) que no reflejan necesariamente mecanismos causales.

El problema central: ¿Cómo traducir automáticamente el análisis de circuitos mecanísticos en explicaciones en lenguaje natural que sean causalmente fieles (es decir, que reflejen la verdadera causa del comportamiento del modelo y no solo correlaciones)?

2. Metodología

El autor propone un pipeline de tres etapas para cerrar la brecha entre el análisis de circuitos y las explicaciones en lenguaje natural (NL), evaluado en la tarea de Identificación de Objeto Indirecto (IOI) utilizando GPT-2 Small (124M parámetros).

A. Identificación del Circuito (Parcheo de Activación)

En lugar de confiar en los pesos de atención crudos, el método utiliza parcheo de activación (activation patching) para medir la importancia causal:

• Se crea una versión corrupta de la entrada (intercambiando nombres).
• Se mide la recuperación del efecto en la diferencia de logit ($LD = \text{logit}(\text{IO}) - \text{logit}(\text{S})$) al restaurar las activaciones de una cabeza específica.
• Fórmula de importancia causal:
  $$\text{Effect}_h = \frac{LD_{\text{patched}} - LD_{\text{corrupt}}}{LD_{\text{clean}} - LD_{\text{corrupt}}}$$
• Se identifican las cabezas de atención con mayor recuperación de efecto como componentes causales críticos.

B. Generación de Explicaciones

Se comparan dos métodos para convertir los datos del circuito en texto:

1. Basado en Plantillas: Relleno fijo de valores extraídos (ej. "El modelo predice 'X' porque la cabeza Y atiende con Z%...").
2. Generado por LLM: Se utiliza un LLM externo con datos estructurados del circuito (nombres de cabezas, porcentajes de atención, confianza) para generar explicaciones contextuales de 1-2 oraciones.

C. Evaluación de Fidelidad (Métricas ERASER Adaptadas)

Se adaptan las métricas del conjunto de datos ERASER, tradicionalmente usadas para tokens, a componentes de nivel de circuito:

• Suficiencia (Sufficiency): ¿Las cabezas citadas explican por sí solas la predicción?
  $$\text{Suff} = \frac{\sum_{h \in \text{citadas}} \text{Contrib}_h}{LD_{\text{clean}}}$$
• Comprehensividad (Comprehensiveness): ¿Eliminar las cabezas citadas cambia la predicción?
  $$\text{Comp} = 1 - \frac{LD_{\text{ablated}}}{LD_{\text{clean}}}$$
• Puntuación F1: Media armónica de suficiencia y comprehensividad.
• Calidad: Evaluación basada en patrones e-SNLI (mención de cabezas específicas, porcentajes, concisión).

3. Contribuciones Clave

1. Pipeline de Traducción: Un marco que convierte hallazgos de circuitos mecanísticos en explicaciones en lenguaje natural.
2. Adaptación de Métricas: Aplicación de métricas de fidelidad (ERASER) a componentes de nivel de circuito en lugar de tokens.
3. Comparativa Novel: Primera comparación entre explicaciones basadas en plantillas y generadas por LLMs en el contexto de la interpretabilidad mecanística.
4. Taxonomía de Fallos: Identificación de categorías específicas donde las explicaciones divergen de los mecanismos reales.

4. Resultados Principales

Identificación del Circuito (RQ1)

• En la tarea IOI, se identificaron 6 cabezas de atención (incluyendo Name Mover y S-Inhibition) que explican el 61.4% de la diferencia de logit.
• Esto confirma hallazgos previos (Wang et al., 2023) y establece una "verdad fundamental" para la evaluación.

Evaluación de Fidelidad (RQ2)

• Suficiencia Perfecta: El método basado en circuitos alcanzó un 100% de suficiencia (las cabezas citadas son suficientes para la predicción).
• Baja Comprehensividad: Solo alcanzó un 22% de comprehensividad. Esto indica que, aunque las cabezas identificadas son suficientes, el modelo tiene mecanismos de respaldo distribuidos que mantienen la funcionalidad incluso cuando se eliminan las cabezas principales.
• Comparación con Baselines: El método propuesto superó a la línea base basada en atención (que solo logró 16.7% de suficiencia) en un 75% en la puntuación F1 (36.0% vs 20.6%).

Calidad de la Explicación

• Las explicaciones generadas por LLM superaron a las basadas en plantillas en un 66% en métricas de calidad.
• Las explicaciones de LLM incluyeron porcentajes específicos y contexto, mientras que las plantillas fueron genéricas.

Análisis de Fallos (RQ3)

• Correlación Nula: No hubo correlación entre la confianza del modelo y la fidelidad de la explicación ($r = 0.009$). Las predicciones de alta confianza pueden depender de mecanismos distribuidos no capturados por explicaciones simples.
• Categorías de Divergencia:
  1. Cómputo Distribuido: El comportamiento emerge de muchas cabezas con contribuciones moderadas.
  2. Cabeza Citada Faltante: Los contribuyentes principales para instancias específicas no están en el circuito fijo global.
  3. Actividad Redundante: Añadir más cabezas no aumenta la cobertura causal debido a la redundancia.

5. Significado e Impacto

• Fundamento Causal vs. Correlacional: El trabajo demuestra que las explicaciones fieles requieren un anclaje causal (parcheo de activación) y no pueden basarse únicamente en los pesos de atención.
• Robustez vs. Explicabilidad: La brecha entre la alta suficiencia (100%) y la baja comprehensividad (22%) revela que los transformadores implementan redundancia computacional. Esto hace que los modelos sean robustos a la ablación, pero difícilmente explicables de forma concisa sin omitir mecanismos de respaldo.
• Advertencia de Confianza: La falta de correlación entre la confianza del modelo y la calidad de la explicación implica que los usuarios no deben confiar en la "seguridad" del modelo como indicador de que la explicación es completa.
• Limitaciones: El estudio se limita a una sola tarea (IOI) y un modelo pequeño (GPT-2 Small). No se realizó evaluación humana de la utilidad de las explicaciones.

En conclusión, este trabajo establece un nuevo estándar para generar explicaciones en lenguaje natural que sean verdaderamente fieles a la mecánica interna de los LLMs, advirtiendo simultáneamente sobre las limitaciones inherentes de la explicabilidad concisa en sistemas con mecanismos de respaldo distribuidos.