Resumen Técnico: Descubrimiento de Circuitos Basado en Datos para la Interpretabilidad de Modelos de Lenguaje

Enunciado del Problema

La interpretabilidad mecánica (IM) busca reverse-engineer los mecanismos internos de los Modelos de Lenguaje (ML) grandes mediante la localización e interpretación de "circuitos": subgrafos dispersos del grafo de computación del modelo responsables de comportamientos específicos. El paradigma predominante en el descubrimiento de circuitos es hipótesis-dirigido: los investigadores definen una tarea, construyen un conjunto de datos representativo y aplican un algoritmo para descubrir un único circuito destinado a explicar el comportamiento del modelo en dicha tarea.

Este flujo de trabajo se basa en dos supuestos implícitos:

1. Supuesto de Circuito Único: El modelo implementa una tarea dada mediante un único mecanismo computacional coherente.
2. Supuesto de Adecuación del Conjunto de Datos: El conjunto de datos específico utilizado para el descubrimiento representa adecuadamente el alcance completo de la tarea tal como la entienden los humanos.

Los autores hipotetizan que estos supuestos son defectuosos. Plantean que los métodos existentes podrían no descubrir circuitos de tarea generales, sino más bien circuitos específicos del conjunto de datos que pueden mezclar inadvertidamente mecanismos distintos en una sola explicación. Además, cuestionan si un único circuito puede realmente dar cuenta de todas las instancias de una tarea, o si el modelo emplea múltiples mecanismos distintos para lo que los humanos categorizan como una única tarea.

Metodología

1. Evaluación Sistemática de Métodos Hipótesis-dirigidos

Los autores prueban rigurosamente la validez del paradigma existente en cuatro tareas establecidas: Identificación de Objeto Indirecto (IOI), Vinculación de Entidades (EB), Suma Aritmética y Completado de Secuencias. Evalúan estas tareas en tres modelos (GPT-2 Small, Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct) utilizando métodos de descubrimiento estándar (EAP-IG, EAP, E-ACT).

Su diseño experimental involucra dos investigaciones principales:

• Fidelidad Transversal a Conjuntos de Datos: Construyen múltiples variantes de conjunto de datos para cada tarea que preservan la semántica de la tarea pero varían en características superficiales (complejidad, sintaxis, dominio). Descubren un circuito en una variante y prueban su fidelidad en otras.
• Descubrimiento de Tareas Mixtas: Construyen conjuntos de datos que mezclan ejemplos de dos tareas distintas (por ejemplo, aritmética y vinculación de entidades) y observan si los métodos hipótesis-dirigidos devuelven un único circuito que sea fiel a ambas, lo que podría indicar una mezcla de mecanismos.

2. Marco Propuesto: Descubrimiento de Circuitos Basado en Datos (DCD)

Motivados por los hallazgos de que los métodos hipótesis-dirigidos no generalizan y pueden mezclar mecanismos, los autores proponen el Descubrimiento de Circuitos Basado en Datos (DCD). Este marco elimina el supuesto de un circuito único por tarea.

Flujo de Trabajo de DCD:

1. Agrupación por Computación: En lugar de asumir que todos los ejemplos en un conjunto de datos son procesados por el mismo mecanismo, DCD analiza primero cómo el modelo procesa cada ejemplo individual. Calcula vectores de atribución de aristas por ejemplo (utilizando métodos como EAP-IG) para caracterizar la dependencia del modelo de aristas específicas para cada entrada.
2. Agrupamiento (Clustering): Estos vectores de atribución de alta dimensión se proyectan en un espacio de menor dimensión (mediante PCA o SVD) y se agrupan (por ejemplo, utilizando K-means). Esto agrupa ejemplos que son procesados por mecanismos computacionales similares.
3. Descubrimiento Independiente: Se descubre un circuito separado de forma independiente para cada grupo.

El resultado es un conjunto de circuitos distintos, cada uno explicando un subconjunto específico de los datos que depende de un mecanismo coherente, en lugar de un único circuito que intenta explicar todo el conjunto de datos.

Resultados Clave

1. Fallo de los Circuitos de Tarea Generales

El estudio encuentra que los circuitos descubiertos por métodos hipótesis-dirigidos son específicos del conjunto de datos, no circuitos de tarea generales:

• Baja Fidelidad Transversal a Conjuntos de Datos: Los circuitos descubiertos en una variante de conjunto de datos a menudo exhiben una fidelidad significativamente menor en otras variantes de la misma tarea (por ejemplo, un circuito IOI de 2 personas fallando en una variante de 3 personas), a pesar de que las tareas sean semánticamente idénticas.
• Baja Superposición Estructural: Los circuitos descubiertos en diferentes variantes de la misma tarea comparten una baja superposición de aristas (similitud de Jaccard que oscila entre 0.30 y 0.66), lo que indica que dependen de vías computacionales diferentes.
• Mezcla de Mecanismos: Cuando los conjuntos de datos de descubrimiento contienen ejemplos de dos tareas distintas (por ejemplo, aritmética y vinculación de entidades), los métodos hipótesis-dirigidos aún devuelven un único circuito con alta fidelidad en ambas tareas. Esto sugiere que el método está mezclando mecanismos distintos en un solo circuito en lugar de aislarlos.

2. Eficacia de DCD

DCD aborda con éxito estas limitaciones:

• Descubrimiento de Múltiples Mecanismos: En conjuntos de datos de tareas mixtas, DCD recupera múltiples circuitos distintos. Cada circuito se especializa en un subconjunto coherente de ejemplos (por ejemplo, un circuito para aritmética, otro para vinculación de entidades) y logra alta fidelidad en su grupo específico mientras falla en otros.
• Mayor Fidelidad y Dispersión: DCD supera consistentemente a las líneas base hipótesis-dirigidas (EAP-IG, EAP, E-ACT) y a las líneas base de partición aleatoria (K-RANDOM) en términos de fidelidad mejor-de-K (seleccionando el circuito más fiel para cada instancia de prueba). Esta ventaja es más pronunciada en regímenes de baja dispersión (tamaños de circuito $\le$ 0.05).
• Agrupamiento Coherente: Los grupos formados por DCD se alinean con la organización interna del modelo en lugar de los límites de tareas definidos por humanos. Por ejemplo, dentro de una sola tarea como IOI, DCD separa ejemplos basándose en la complejidad (2 personas vs. 3 personas) o el dominio (nombres vs. letras), descubriendo circuitos distintos para cada uno.

Significado y Afirmaciones

El artículo afirma que el enfoque actual hipótesis-dirigido para el descubrimiento de circuitos está fundamentalmente limitado por su dependencia de los límites de tareas definidos por humanos y el supuesto de un único mecanismo por tarea.

• Reencuadre del Alcance de la Explicación: Los autores argumentan que un "circuito" no debe definirse como el mecanismo para una tarea definida por humanos, sino más bien como el mecanismo para un grupo específico de ejemplos procesados de manera similar por el modelo.
• Cambio de Paradigma Basado en Datos: DCD demuestra que permitir que la estructura computacional interna del modelo determine el alcance del descubrimiento de circuitos produce explicaciones más fieles e interpretables. Revela que lo que los humanos perciben como una única tarea a menudo comprende múltiples mecanismos distintos que los métodos existentes confunden.
• Limitaciones y Trabajo Futuro: Los autores notan modestamente que DCD hereda supuestos de los métodos de atribución subyacentes (por ejemplo, que las puntuaciones de atribución reflejan fielmente los mecanismos) y depende de hiperparámetros de agrupamiento. Identifican preguntas abiertas sobre cómo asignar nuevos ejemplos a grupos en tiempo de prueba y cómo interpretar grupos que resisten una descripción legible por humanos, dejando esto para trabajos futuros.

En conclusión, el artículo proporciona evidencia empírica de que los métodos existentes de descubrimiento de circuitos recuperan artefactos específicos del conjunto de datos en lugar de mecanismos generales de tarea y propone DCD como un marco para descubrir la verdadera naturaleza multi-mecanismo de la computación de los modelos de lenguaje.