Resumen Técnico: Muchos Circuitos, Un Solo Mecanismo

Planteamiento del Problema

La interpretabilidad mecánica busca realizar ingeniería inversa a las redes neuronales mediante la identificación de "circuitos": subgrafos dispersos del grafo computacional de un modelo que implementan comportamientos específicos. Una suposición prevalente en el campo es que, para un modelo y una tarea dados, existe un único circuito estable para ser descubierto. En consecuencia, las diferencias estructurales entre los circuitos descubiertos se interpretan a menudo como evidencia de mecanismos distintos o especializaciones funcionales.

Sin embargo, esta suposición enfrenta desafíos relacionados con la estabilidad de los métodos de extracción, la existencia de comportamientos de respaldo redundantes (el "efecto Hidra") y la no identificabilidad fundamental. Si bien trabajos previos han demostrado que los circuitos pueden variar entre modelos, escalas o estructuras de prompts, no está claro si las diferencias estructurales surgen únicamente de cambios en las estadísticas de entrada (por ejemplo, la frecuencia de los tokens) mientras la definición de la tarea permanece fija y, crucialmente, si tales diferencias estructurales corresponden a una verdadera especialización funcional.

Metodología

Los autores investigan esta cuestión utilizando la Copia de Secuencia Literal (LSC), una tarea no semántica en la que un modelo debe reproducir un token de una ocurrencia anterior en una secuencia. Esta tarea aísla un comportamiento de copia estrecho, minimizando los sesgos semánticos.

Diseño Experimental:

• Modelos: Cinco modelos Pythia que van desde 70M hasta 1.4B de parámetros.
• Condiciones: El vocabulario se particiona en cuatro bandas de frecuencia de tokens (frecuencia muy baja a muy alta) basadas en estadísticas de preentrenamiento, además de una condición de control ponderada por frecuencia.
• Extracción: Se utiliza el algoritmo ACDC (Descubrimiento de Circuitos Automático) para extraer los circuitos. Para asegurar la robustez, se realizan tres extracciones independientes por modelo por condición, obteniendo un total de 75 circuitos.
• Granularidad de Evaluación: El estudio introduce una distinción crítica entre dos niveles de evaluación:
  • Nivel de fuente (Source-level): Preserva todos los bordes salientes de cualquier nodo que contribuya con al menos un borde de circuito.
  • Nivel de borde (Edge-level): Preserva solo los bordes específicos seleccionados por el algoritmo de descubrimiento.
• Ejes de Análisis: Los circuitos se comparan a través de ejes estructurales (solapamiento de bordes), funcionales (transferencia entre bandas, suficiencia, necesidad) y representacionales (geometría de la activación interna). También se emplean intervenciones de intercambio causal para probar la intercambiabilidad de las representaciones internas.

Contribuciones Clave

1. Especialización Fantasma: El artículo acuña el término "especialización fantasma" para describir un fenómeno donde los algoritmos de descubrimiento de circuitos recuperan circuitos estructuralmente distintos para diferentes condiciones de entrada (por ejemplo, bandas de frecuencia) que, no obstante, implementan exactamente la misma computación.
2. Mapeo Muchos-a-Uno: Los autores demuestran un mapeo muchos-a-uno de la estructura del circuito a la función. La divergencia estructural no implica necesariamente especialización funcional; más bien, los algoritmos de descubrimiento pueden muestrear de una clase de equivalencia de subgrafos válidos y funcionalmente intercambiables.
3. Dependencia de la Granularidad: El estudio establece que la visibilidad de esta degeneración depende enteramente de la granularidad de la evaluación. La evaluación a nivel de fuente infla sistemáticamente la fidelidad aparente y oscurece la falta de especialización, mientras que la evaluación a nivel de borde revela el mapeo muchos-a-uno.
4. Recomendaciones Metodológicas: El artículo propone que las diferencias estructurales no deben aceptarse como evidencia de mecanismos distintos sin pruebas de transferencia entre condiciones, y aboga por la evaluación a nivel de borde y el uso de múltiples extracciones con agregación por voto mayoritario para identificar estructuras estables.

Resultados Clave

• Diferencias Estructurales: Los circuitos extraídos de diferentes bandas de frecuencia son estructuralmente distintos. Los circuitos de baja frecuencia son sistemáticamente más grandes y contienen un superconjunto de bordes en comparación con los de alta frecuencia. La similitud de Jaccard entre bandas es menor que dentro de las bandas, aunque las brechas absolas son pequeñas.
• Equivalencia Funcional: A pesar de las diferencias estructurales, los circuitos son funcionalmente equivalentes.
  • Transferencia entre Bandas: Los bordes específicos de una banda se transfieren ampliamente a todas las bandas de frecuencia con alta eficiencia (81–97%).
  • Suficiencia del Núcleo: Un "núcleo universal" de bordes compartidos por la mayoría de las bandas (específicamente aquellos que aparecen en $\ge$3 de 5 condiciones) recupera al menos el 99% del rendimiento del circuito completo.
  • Intercambio Causal: Las intervenciones de intercambio confirman que las representaciones internas son intercambiables entre bandas de frecuencia; el intercambio de activaciones entre bandas preserva la salida del modelo con una fidelidad casi perfecta.
• Inestabilidad y Ruido: La extracción es ruidosa; los bordes específicos de cada banda son altamente inestables entre ejecuciones independientes (aparecen en solo una de tres extracciones). Este ruido es funcionalmente irrelevante, ya que extracciones estructuralmente diferentes producen salidas equivalentes.
• Inflación de la Evaluación: La evaluación a nivel de fuente infla la precisión aparente del circuito entre 0.22 y 0.85 puntos en comparación con la evaluación a nivel de borde, enmascarando efectivamente la falta de especialización.
• Invarianza Representacional: Aunque la dinámica de procesamiento (tiempo de convergencia) varía ligeramente con la frecuencia de los tokens, la geometría representacional subyacente y las vías causales permanecen mayormente invariantes entre las bandas.

Significado y Reivindicaciones

El artículo argumenta que las diferencias estructurales entre circuitos son evidencia insuficiente de mecanismos distintos. La "especialización" observada es un artefacto fantasma del proceso de extracción (poda codiciosa sobre rutas redundantes) y de la metodología de evaluación (granularidad a nivel de fuente).

Los autores afirman que:

• La degeneración es prevalente: Los algoritmos de descubrimiento muestrean de una clase de equivalencia de subgrafos estructuralmente distintos pero funcionalmente intercambiables, análogos a la degeneración biológica.
• La granularidad importa: La estructura causal de un modelo se manifiesta de manera diferente en distintos niveles de descripción. La evaluación a nivel de fuente crea un "macroestado" de fidelidad aparente que colapsa la degeneración subyacente, mientras que la evaluación a nivel de borde revela el verdadero mapeo muchos-a-uno.
• Cambio Metodológico: Para evitar malinterpretar los artefactos de extracción como especialización funcional, el trabajo futuro debe emplear pruebas de transferencia entre condiciones, priorizar la evaluación a nivel de borde y utilizar múltiples extracciones para distinguir mecanismos estables de ruido.

El artículo concluye que un único circuito descubierto no debe tratarse como la identificación única del mecanismo subyacente, ya que la misma función puede ser implementada por múltiples configuraciones estructurales válidas dependiendo de las estadísticas de entrada y las elecciones de extracción.