Resumen Técnico: Los parámetros individuales en Transformers de peso disperso parecen interpretables

Declaración del Problema

Un objetivo central de la interpretabilidad mecánica es comprender la función de los componentes individuales dentro de las redes neuronales. Los enfoques dominantes, como el hallazgo de circuitos, realizan ingeniería inversa de los pesos basándose en comportamientos específicos dentro de subdistribuciones asociadas. Sin embargo, la literatura existente sugiere que los pesos individuales suelen participar en múltiples circuitos, contribuyendo de manera distinta a través de diversos subconjuntos de la distribución de entrada.

En los transformers densos estándar, la comprensión global de los pesos individuales se ve obstaculizada por la superposición (superposition), donde la base de pesos no es una base interpretable para los parámetros de la red. Este artículo investiga si los transformers de peso disperso (weight-sparse transformers) —modelos entrenados con una alta fracción de pesos forzados a cero— ofrecen un banco de pruebas tratable para la interpretabilidad global. La pregunta central es: ¿Puede un único peso no nulo entenderse globalmente a través de toda la distribución de entrenamiento caracterizando los inputs específicos en los que es relevante?

Metodología

Los autores introducen un flujo de trabajo automatizado basado en LLM diseñado para generar y verificar descripciones legibles por humanos sobre cuándo un peso específico está activo. El flujo de trabajo opera en tres etapas:

1. Cálculo de la ubicación de importancia:

   • Se ejecuta el modelo sobre un corpus tanto normalmente como con el peso $w$ ablado (establecido en cero).
   • Se calcula la divergencia de Kullback–Leibler (KL) por posición entre el modelo original y el ablado.
   • Se identifican las posiciones con la mayor divergencia KL acumulada (el 90% superior) como la "ubicación de importancia" donde el peso tiene el efecto más significativo.

2. Generación de predicados candidatos:

   • Los contextos de tokens que rodean las posiciones de mayor impacto se pasan a un LLM.
   • El LLM es instruido para generar $N$ funciones de Python candidatas (predicados) de la forma $f(\text{tokens}, \text{pos}) \to \text{bool}$, que describen las comunidades de estos contextos.
   • El prompt enfatiza la cobertura de los contextos afectados por encima de la elegancia del código.

3. Puntuación y verificación:

   • Los candidatos se califican mediante una prueba de ablación de cero condicional en un corpus de reserva (texto que el LLM nunca ha visto).
   • Recuperación (Recovery): Mide cuánto se restaura el efecto de la ablación cuando el peso se vuelve a habilitar solo donde el predicado es verdadero.
   • Inverso (Inverse): Mide el efecto de restaurar el peso solo donde el predicado es falso (para protegerse contra predicados excesivamente amplios).
   • Puerta de cobertura (Coverage Gate): Un predicado solo es válido si se activa en al menos una posición pero no más del 50% del corpus ($0 < p(f) \leq 0.5$).
   • Puntuación de interpretabilidad: Definida como $\min(\text{recovery}, 1 - \text{inverse})$. Un peso se considera interpretable si su mejor candidato supera un umbral (ej., $T=0.75$) y pasa la puerta de cobertura.
   • Robustez: Para asegurar la generalización, el mejor predicado se vuelve a calificar en $K=10$ segmentos disjuntos de reserva. Un peso se cuenta como "robustamente interpretable" solo si su puntuación promedio en estos segmentos supera de manera fiable el umbral.

Configuración Experimental

El flujo de trabajo fue evaluado en cuatro modelos:

• Modelos Dispersos (Sparse Models):
  • Gao et al. (2025): Un transformer de codificación de peso disperso (~99% de dispersión) entrenado en código Python.
  • Drori (2026): Un par disperso-denso entrenado en el corpus SimpleStories (~98% de dispersión para el núcleo disperso).
• Controles Densos:
  • Drori (2026) Denso: Un contraparte al modelo disperso sin restricciones de dispersión.
  • Pythia-70m: Un modelo denso estándar preentrenado y entrenado en The Pile.

Resultados Clave

1. Los modelos dispersos son significativamente más interpretables

La fracción de pesos no nulos que admiten una descripción única, corta y generalizable es sustancialmente mayor en los transformers dispersos que en los densos.

• Tasas de interpretabilidad robusta:
  • Gao et al. (2025) Disperso: ~15.0% de los pesos no nulos.
  • Drori (2026) Disperso: ~9.6% de los pesos no nulos.
  • Drori (2026) Denso: ~1.5% de los pesos no nulos.
  • Pythia-70m: ~0.4% de los pesos no nulos.
• La brecha se amplía significativamente cuando se descartan las descripciones no fiables (aquellas que fallan en datos de reserva).

2. Estabilidad de las puntuaciones

En los modelos dispersos, la puntuación de interpretabilidad de un peso es una propiedad estable del propio peso, no un artefacto del corpus específico utilizado para las pruebas.

• Fiabilidad: Para los modelos dispersos, ~85–90% de la varianza en las puntuaciones entre diferentes segmentos de reserva refleja diferencias reales entre los pesos.
• Inestabilidad densa: Para los modelos densos (específicamente Pythia-70m), solo ~47% de la varianza de la puntuación es estable; el resto es ruido de muestreo. Esto sugiere que la aparente interpretabilidad en los modelos densos surge a menudo de un sobreajuste a patrones superficiales en el segmento de entrenamiento específico, en lugar de capturar una función de peso global.

3. Naturaleza de los predicados

Los predicados generados por el LLM son generalmente cortos y locales:

• Forma más común: Búsquedas de un solo token (ej., "es el token un dígito", "está en el conjunto {th, ode, b}").
• Forma secundaria: Pruebas de vecinos inmediatos (ej., "la palabra anterior termina en -ed").
• Los predicados rara vez mantienen un estado a través de prompts largos o abarcan más de 2–3 tokens adyacentes.

4. Casos de estudio

• Detección de dígitos: Una neurona en el modelo disperso de Gao detecta tokens numéricos y se descompone en nueve pesos individualmente interpretables, cada uno de los cuales controla conteos de dígitos específicos (un dígito, dos dígitos, etc.).
• Verbos de habla: Una neurona en el modelo disperso de Drori, que aparece como un "detector de verbos de habla" al nivel de activación, se descompone en cinco roles funcionales paralelos al nivel de peso: activadores de verbos de habla, supresores de verbos mentales, supresores de verbos modales, puertas de puntuación y puertas de tokens específicos.

Significado y Reivindicaciones

El artículo afirma que una fracción significativa (12–31%) de los pesos en los transformers de peso disperso puede ser interpretada individualmente con una descripción corta y generalizable que se generaliza a través de la distribución de entrenamiento. Esto contrasta con los modelos densos, donde la interpretabilidad global (0–3%) es casi inexistente.

Los autores posicionan este trabajo como un paso hacia la comprensión de los "algoritmos" implementados por las redes neuronales. Al demostrar que el entrenamiento disperso obliga a los pesos supervivientes a organizarse en circuitos compactos y legibles, el artículo sugiere que los transformers de peso disperso sirven como un banco de pruebas natural para desarrollar flujos de trabajo de interpretabilidad por parámetro. Los autores señalan que, una vez identificada una base interpretable para los modelos densos, estos flujos de trabajo podrían aplicarse potencialmente a los modelos de lenguaje de vanguardia.

Limitaciones

Los autores declaran explícitamente varias limitaciones:

• Alcance de la explicación: El método identifica cuándo un peso está activo, no qué computa una vez activo.
• Restricciones de lenguaje: El lenguaje de los predicados (funciones de Python sobre el contexto de tokens) no puede expresar características semánticas (ej., "se refiere a una persona") o estructuras complejas con estado que abarquen múltiples tokens. Los pesos que dependen de tales estructuras son clasificados como "no interpretables", incluso si tienen un rol funcional claro.
• Cambio de distribución: El corpus de reserva se extrae de la misma distribución de preentrenamiento; no se ha probado la supervivencia ante un cambio de distribución.
• Límite inferior: Las cifras reportadas son un límite inferior de lo que el método podría encontrar, limitado por la expresividad del lenguaje de predicados actual.