Resumen Técnico: Todos los Circuitos Conducen a Roma

Declaración del Problema

El artículo desafía una suposición central, en gran medida implícita, en el campo de la interpretabilidad mecánica conocida como la Hipótesis de Anisotropía Funcional. Esta hipótesis postula que capacidades o tareas específicas dentro de los Modelos de Lenguaje Grandes (LLM) están respaldadas por un único mecanismo interno, único o casi único (un circuito o haz específico). Bajo esta visión, se asume que las funciones del modelo están distribuidas de manera anisotrópica, lo que significa que cada capacidad corresponde a un subgrafo privilegiado.

Los autores argumentan que esta suposición sustenta los paradigmas de evaluación dominantes en el Descubrimiento de Circuitos y Hazes (CSD), donde el éxito se mide recuperando un circuito de "verdad fundamental" o encontrando el mecanismo más pequeño posible que preserve el rendimiento de la tarea. El artículo cuestiona si estos métodos están realmente identificando un mecanismo subyacente único o simplemente una de muchas realizaciones posibles.

Metodología

Para investigar sistemáticamente la existencia de mecanismos competidores, los autores introducen la Repulsión de Hazes Consciente de Superposición (OASR).

1. Marco de Descubrimiento de Hazes: El trabajo se basa en el marco DiscoGP, que formula el descubrimiento de hazes como un problema de selección de bordes diferenciable. Un haz se define como un subgrafo que contribuye causalmente al cálculo y puede sostener independientemente el rendimiento de la tarea (a diferencia de un circuito estándar que puede depender de activaciones parcheadas).
2. Mecanismo OASR: Los métodos de descubrimiento estándar a menudo convergen hacia soluciones similares debido a la inicialización aleatoria o a los paisajes de optimización. OASR modifica la función objetivo añadiendo una pérdida de superposición ($L_{overlap}$) explícita.
   • Tras descubrir un haz inicial $R$, el método penaliza la activación esperada de los bordes ya seleccionados en $R$.
   • La función objetivo combinada es: $L = L_{fidelity} + \lambda_s L_{sparsity} + \lambda_c L_{complete} + \lambda_o L_{overlap}(R)$.
   • Esta "repulsión" fuerza al optimizador a encontrar hazes alternativos que sean fieles a la tarea pero estructuralmente distintos (minimizando la Intersección sobre Unión, o IoU) de los descubiertos previamente.
3. Alcance Experimental: Los autores aplican OASR en múltiples tareas de referencia (Identificación de Objeto Indirecto [IOI], BLiMP, AGA, ANA, variantes de ADN y Docstring) y modelos (GPT-2 Small y Pythia-160M). También validan sus hallazgos a través de otros métodos CSD, incluyendo ACDC (heurístico), EAP (atribución basada en gradientes) y Poda de Bordes (EP).

Resultados Clave

1. Existencia de Hazes Funcionalmente Equivalentes y de Baja Superposición

El hallazgo empírico principal es que una sola tarea de LLM puede ser realizada fielmente por múltiples hazes estructuralmente distintos.

• Estudio de Caso IOI: Utilizando OASR, los autores descubrieron dos hazes para la tarea IOI que ambos alcanzaron un 100% de precisión. Sin embargo, su superposición estructural (IoU) fue solo del 4.1%, cercana a la probabilidad aleatoria.
• Generalización: Este fenómeno se mantiene en todas las referencias probadas. Para cada tarea, se descubrieron pares de hazes con alto rendimiento pero muy baja IoU (típicamente 4–11%).
• Efecto de Escala: A medida que aumenta el número de hazes descubiertos (hasta 20 ejecuciones), la intersección mutua de bordes se reduce drásticamente (a menudo a <1% de IoU), mientras que la unión de bordes crece. Esto indica que el espacio de mecanismos válidos es vasto y no converge a un núcleo único.

2. Persistencia a través de Métodos

La ruptura de la anisotropía funcional no es un artefacto del método OASR o de DiscoGP únicamente:

• ACDC: Variar el orden de recorrido de las cabezas de atención (una elección de ordenamiento no semántico) resultó en circuitos significativamente diferentes con baja IoU, a pesar de utilizar los mismos umbrales.
• EAP: Cambiar información irrelevante para la tarea (por ejemplo, intercambiar nombres en los prompts de IOI) condujo a circuitos sistemáticamente diferentes, desafiando la estabilidad de los métodos basados en atribución.
• Poda de Bordes: Al utilizar funciones de pérdida específicas de la tarea, EP también exhibió una alta diversidad en los circuitos descubiertos, similar a DiscoGP.

3. Ausencia de Componentes Indispensables

Los autores probaron una versión "debilitada" de la hipótesis de anisotropía: que, aunque existen múltiples hazes, podrían compartir un pequeño "núcleo" esencial de bordes indispensables.

• Haze Ultra-Esparsos: Identificaron un haz de tres bordes ultra-esparsos para IOI que alcanzó un 86.7% de precisión en aislamiento.
• No Indispensabilidad: Sin embargo, cuando la tarea se descompuso (por ejemplo, separando las plantillas ABBA y BABA) o cuando estos tres bordes fueron explícitamente prohibidos, el proceso de descubrimiento aún encontró otros hazes esparsos y de alto rendimiento.
• Conclusión: Ningún borde único (ni siquiera el núcleo de tres bordes) es estrictamente indispensable para todos los mecanismos funcionalmente válidos. La aparente "esencialidad" del núcleo surge solo cuando la tarea se trata como un todo agregado.

4. Análisis Teórico

El artículo propone la Hipótesis del Circuito Denso Distributivo para explicar estos hallazgos.

• Demostración Teórica: Bajo suposiciones leves (aditividad residual y linealidad local), los autores demuestran la existencia de múltiples circuitos estructuralmente distintos y de baja superposición que son $\epsilon$-fieles a la misma tarea.
• Mecanismo: En espacios de alta dimensión, el número de posibles subconjuntos de bordes crece combinatoriamente. Debido a la superposición lineal, subconjuntos distintos de bordes pueden producir vectores de lectura casi idénticos (colisiones de suma de subconjuntos). Si la decisión de la tarea está protegida por un margen finito, estas diferencias estructurales no afectan la predicción final, permitiendo múltiples explicaciones válidas.

Significado y Afirmaciones

El artículo no afirma invalidar el Descubrimiento de Circuitos y Hazes (CSD) como campo; más bien, aboga por un replanteamiento fundamental de cómo deben interpretarse y evaluarse los resultados de CSD.

• Rechazo de la Unicidad: Los resultados sugieren que las explicaciones mecánicas en los LLM son inherentemente no canónicas. Un circuito o haz descubierto representa una realización válida entre muchas en un espacio de mecanismos funcionalmente equivalentes, no el mecanismo subyacente a una tarea.
• Crítica a la Evaluación: Los paradigmas de evaluación actuales que buscan una "verdad fundamental" o un circuito único "mínimo" se basan en una premisa defectuosa. El artículo argumenta que la búsqueda de un único subgrafo esparsos e indispensable es insuficiente para explicar la no unicidad empírica observada.
• Visión Distribuida: Los autores abogan por una visión distribuida del cálculo, donde el comportamiento de la tarea emerge de un régimen denso de mecanismos competidores y parcialmente redundantes.
• Implicaciones: Esto desafía la noción de componentes "esenciales" y sugiere que la redundancia en los LLM no es meramente un sistema de respaldo latente (activado solo tras la ablación), sino una característica fundamental de la operación normal del modelo.

En resumen, el artículo proporciona tanto evidencia empírica como justificación teórica de que "Todos los Circuitos Conducen a Roma": múltiples vías estructurales distintas pueden y de hecho apoyan el mismo comportamiento funcional en los LLM, socavando la suposición de anisotropía funcional.