💬 NLP

Tracking Equivalent Mechanistic Interpretations Across Neural Networks

Este artículo aborda los desafíos de escalabilidad y generalización en la interpretabilidad mecánica de redes neuronales definiendo y formalizando el concepto de equivalencia interpretativa, proponiendo un algoritmo para determinar si diferentes modelos comparten interpretaciones comunes sin requerir una descripción explícita de estas, y estableciendo condiciones basadas en la similitud de representaciones que vinculan garantías entre interpretaciones algorítmicas, circuitos y representaciones.

Autores originales: Alan Sun, Mariya Toneva

Publicado 2026-04-01

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Alan Sun, Mariya Toneva

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que los modelos de inteligencia artificial (como los que usan para escribir textos o generar imágenes) son como cajas negras gigantes y misteriosas. Sabemos qué entra (una pregunta) y qué sale (una respuesta), pero no tenemos ni idea de qué ocurre por dentro.

La "Interpretabilidad Mecanística" es el intento de abrir esa caja y ver los engranajes, los cables y las fórmulas que el modelo usa para pensar. Pero hay un problema: es muy difícil y costoso abrir cada caja nueva. A veces, dos cajas parecen muy diferentes por fuera, pero por dentro están usando el mismo "manual de instrucciones" para resolver un problema.

Este artículo propone una forma inteligente de saber si dos modelos diferentes están usando el mismo "alma" o lógica interna, sin necesidad de leer todo su manual de instrucciones.

Aquí te lo explico con analogías sencillas:

1. El Problema: ¿Son gemelos o son impostores?

Imagina que tienes dos cocineros, el Chef A y el Chef B.

Ambos te hacen un pastel delicioso.
El Chef A usa una batidora eléctrica y harina de trigo.
El Chef B usa un batidor de mano y harina de almendras.

Si solo miras el pastel final, parecen iguales. Pero si quieres saber cómo piensan, tendrías que revisar cada paso. El problema es que revisar cada paso de cada chef es agotador. Además, a veces un chef puede tener 100 formas diferentes de hacer el mismo pastel (usando diferentes utensilios o ingredientes), pero el resultado final y la lógica son los mismos.

Los autores se preguntan: ¿Cómo sabemos si el Chef A y el Chef B están usando la misma "receta mental" (interpretación), aunque usen herramientas diferentes?

2. La Solución: La Prueba de la "Familia de Gemelos"

En lugar de intentar leer la receta mental de cada chef (lo cual es muy difícil), los autores proponen una prueba genial basada en la variación:

Crear variaciones: Imagina que tomas al Chef A y le cambias cosas que no importan para el pastel (por ejemplo, le cambias el color del delantal, o le das un tenedor en lugar de una cuchara para mezclar). Sigues obteniendo el mismo Chef A, pero con ligeras variaciones. A esto los autores le llaman "implementaciones".
La comparación: Ahora, tomas al Chef A, creas muchas de sus variaciones, y haces lo mismo con el Chef B.
El truco de la "huella digital": En lugar de mirar la receta, miras la "huella digital" de cómo piensan mientras cocinan (sus representaciones internas).

La regla de oro del artículo es esta:

Si el Chef A y el Chef B usan la misma receta mental, entonces sus variaciones (sus "gemelos") se parecerán mucho entre sí, sin importar de qué familia vengan.
Si usan recetas diferentes, sus variaciones se sentirán extrañas y distantes entre sí.

Es como si fueras a una fiesta:

Si dos grupos de personas usan el mismo código secreto para saludarse, podrás mezclar a cualquiera de un grupo con cualquiera del otro y se entenderán perfectamente.
Si usan códigos diferentes, habrá confusión.

3. ¿Por qué es esto un superpoder?

El artículo demuestra que podemos usar esta "prueba de familia" para hacer dos cosas increíbles:

A. Reducir el trabajo (El modelo pequeño explica al grande):
Imagina que quieres entender cómo piensa un modelo gigante (como un superordenador), pero es demasiado complejo. Si demuestras que un modelo pequeño y simple es "interpretativamente equivalente" al gigante (es decir, usan la misma lógica), ¡puedes estudiar al pequeño y saber cómo piensa el gigante! Ahorraste un montón de tiempo.
B. Simplificar tareas complejas:
A veces, predecir la próxima palabra en una frase es muy difícil de entender. Pero si descubres que, para ciertas palabras (como los signos de puntuación), el modelo usa la misma lógica que para identificar si una palabra es un sustantivo o un verbo, puedes estudiar la tarea fácil (sustantivos/verbos) y aplicar ese entendimiento a la tarea difícil.

4. En resumen: La analogía final

Imagina que la Inteligencia Artificial es como un idioma.

Tradicionalmente, para entender a alguien, tenías que traducir palabra por palabra todo lo que decía (leer el código fuente).
Este nuevo método dice: "No necesito traducir todo. Solo necesito ver si, cuando le hago preguntas de prueba, sus respuestas internas (sus 'pensamientos') vibran en la misma frecuencia que las de otra persona".

Si las vibraciones coinciden, son la misma persona (o usan la misma lógica), aunque lleven ropa diferente o hablen con acentos distintos.

¿Qué logran los autores?
Han creado una herramienta matemática (un algoritmo) que mide esa "vibración" o similitud. Han probado que funciona en tareas sencillas y en modelos de lenguaje reales (como GPT-2). Esto es un paso gigante para que la IA sea más transparente, segura y fácil de entender, sin tener que desmontar cada máquina pieza por pieza.

¡Es como tener un detector de mentiras para la lógica de las máquinas!

Resumen Técnico: Rastreo de Interpretaciones Mecanicistas Equivalentes en Redes Neuronales

1. El Problema

La Interpretabilidad Mecanicista (MI) es un marco emergente que busca descubrir procesos algorítmicos concisos que expliquen cómo toman decisiones los modelos de redes neuronales. Sin embargo, la MI enfrenta dos desafíos fundamentales que dificultan su escalabilidad y generalización:

Falta de una noción precisa de interpretación válida: No existe un criterio riguroso para determinar cuándo una interpretación es "completa" o "fiable".
Proceso ad hoc: La generación de interpretaciones suele ser manual y arbitraria. Además, existe una relación "muchos-a-muchos" entre algoritmos de alto nivel (interpretaciones) y circuitos neuronales (implementaciones), lo que hace que la identificación de una interpretación específica sea ambigua.

El objetivo de este trabajo es definir y estudiar un subproblema relajado de la MI: la equivalencia interpretativa. El reto consiste en determinar si dos modelos diferentes comparten la misma interpretación de alto nivel sin necesidad de describir explícitamente cuál es esa interpretación.

2. Metodología y Marco Teórico

Los autores proponen un enfoque basado en el principio de que dos interpretaciones son equivalentes si y solo si sus implementaciones son equivalentes. En lugar de comparar algoritmos abstractos directamente, comparan los conjuntos de modelos (implementaciones) que pueden ser interpretados bajo esas definiciones.

Conceptos Clave:

Implementación: Un modelo $h$ es una implementación de una interpretación $A$ si existe una alineación causal que permite abstraer el comportamiento de $h$ hacia $A$ .
Equivalencia Interpretativa: Se define como la distancia de Hausdorff entre los conjuntos de implementaciones de dos interpretaciones. Si los conjuntos de implementaciones se superponen significativamente, las interpretaciones son equivalentes.
Compresión Interpretativa: Mide la "dispersión" o diámetro del conjunto de implementaciones de una interpretación. Una alta compresión implica que muchas arquitecturas diferentes pueden realizar la misma tarea bajo la misma interpretación.

Algoritmo Propuesto: Congruity (Congruencia)
Para estimar la equivalencia sin interpretar explícitamente los modelos, los autores desarrollan el algoritmo Congruity (Algoritmo 1 en el papel):

Generación de Implementaciones (GetImpl): Mediante intervenciones causales (como el patching de activaciones), se identifican componentes del modelo que no son críticos para la tarea (fuera del circuito). Se generan nuevas variantes del modelo perturbando estos componentes no esenciales. Esto crea un conjunto de modelos que comparten la misma interpretación subyacente.
Medición de Similitud Representacional: Se extraen las representaciones ocultas de los modelos originales y sus variantes. Se calcula la similitud de representación lineal ( $d_{repr}$ ), que mide hasta qué punto las representaciones de una red pueden transformarse linealmente en las de otra.
Lógica de Comparación:
- Se toma un modelo $h_1$ (interpretación $A_1$ ) y un modelo $h_2$ (interpretación $A_2$ ).
- Se genera una variante $h^*$ de $h_1$ .
- Si $A_1$ y $A_2$ son equivalentes, la distancia entre $h_1$ y su variante $h^*$ debería ser estadísticamente indistinguible de la distancia entre $h_1$ y $h_2$ (promediado sobre muchas muestras).
- Si las interpretaciones son diferentes, las representaciones de $h_1$ y $h^*$ (misma interpretación) serán más similares entre sí que con $h_2$ (diferente interpretación).

Fundamento Teórico:
Los autores demuestran teóricamente que la similitud de representación es una condición necesaria y suficiente para caracterizar la equivalencia interpretativa, bajo ciertas suposiciones de Lipschitz y compresión. Establecen cotas superiores e inferiores que vinculan la distancia entre implementaciones con la distancia entre sus representaciones.

3. Resultados Experimentales

El algoritmo se evaluó en tres escenarios principales:

Calibración en Tareas Sintéticas (Detección de Permutaciones):
- Se crearon 6 interpretaciones distintas (basadas en ordenamiento y conteo) para resolver la tarea de detectar permutaciones de $n$ números.
- Se generaron 100 variantes de modelos para cada interpretación.
- Resultado: Congruity mostró alta congruencia (similitud) dentro del mismo grupo de interpretación (diagonal de la matriz) y baja congruencia entre grupos diferentes. Esto valida que el algoritmo puede distinguir entre interpretaciones algorítmicas distintas basándose únicamente en la similitud de representaciones.
Reducción a Modelos Más Simples (Tarea IOI):
- Se aplicó a la tarea de identificación de objetos indirectos (IOI) en modelos GPT-2 y Pythia de diferentes escalas (de 85M a 2.9B parámetros).
- Resultado: Se confirmó que modelos de diferentes tamaños dentro de la misma familia (ej. Pythia-160M y Pythia-2.8B) son interpretativamente equivalentes. Esto sugiere que se puede estudiar un modelo pequeño para entender uno grande, reduciendo la carga computacional. Además, se detectaron diferencias claras entre las familias GPT-2 y Pythia, que utilizan circuitos distintos para la misma tarea.
Reducción a Tareas Más Simples (Predicción de Tokens vs. POS):
- Se comparó la predicción de tokens en GPT-2 con la tarea de identificación de partes del discurso (POS).
- Resultado: Se encontró que la predicción de ciertos tokens "sintácticos" (como puntuación terminal o paréntesis de cierre) es interpretativamente equivalente a la tarea de POS, mientras que tokens semánticos no lo son. Esto demuestra que la equivalencia interpretativa puede descomponer tareas complejas en sub-tareas más simples.

4. Contribuciones Clave

Algoritmo de Equivalencia sin Interpretación: Propone un método (Congruity) para determinar si dos modelos comparten una interpretación sin necesidad de realizar el costoso proceso de descubrimiento de circuitos o de asignación manual de significados.
Fundamento Teórico Riguroso: Formaliza la relación entre interpretaciones, circuitos y representaciones mediante la teoría de la abstracción causal. Proporciona las primeras garantías teóricas que vinculan directamente la similitud de representaciones con la equivalencia interpretativa.
Herramienta de Validación y Reducción: Ofrece una métrica para validar hipótesis de interpretación y permite reducir el análisis de modelos complejos a modelos más pequeños o tareas más simples, siempre que se cumpla la equivalencia.
Nueva Perspectiva sobre la No Identificabilidad: Aborda el problema de la ambigüedad (muchos circuitos, una interpretación) enfocándose en los conjuntos de implementaciones en lugar de individuos, permitiendo una comparación estadísticamente robusta.

5. Significado e Impacto

Este trabajo es significativo porque:

Automatiza la Evaluación de MI: Proporciona un marco para evaluar rigurosamente si dos interpretaciones propuestas son realmente equivalentes, reduciendo la subjetividad en el campo.
Escalabilidad: Permite escalar la interpretabilidad a modelos masivos al permitir inferir el comportamiento de modelos grandes a partir de modelos pequeños equivalentes.
Puente Teórico: Conecta la teoría de la abstracción causal con la práctica de la similitud de representaciones, ofreciendo una base matemática sólida para futuros métodos de descubrimiento automático de interpretaciones.
Seguridad y Confianza: Al ofrecer métodos más rigurosos para entender los mecanismos internos de los modelos, contribuye a la seguridad de la IA al permitir verificar si un modelo implementa realmente el algoritmo deseado o si está utilizando atajos (heurísticas) no deseados.

En conclusión, el paper establece un nuevo paradigma para la interpretabilidad mecanicista, moviéndose de la búsqueda de "la" interpretación correcta hacia la detección de "equivalencias" entre modelos, lo cual es un paso crucial hacia la generalización y automatización de la comprensión de la IA.