Resumen Técnico: Circuitos de Sonda Espectral

Enunciado del Problema

La interpretabilidad mecánica de los transformadores preentrenados suele basarse en análisis post-hoc: identificar circuitos de cabezas de atención una vez que el modelo está completamente entrenado, mediante la ablación de cabezas y la observación de la degradación del rendimiento en una tarea fija y preespecificada. Este flujo de trabajo es computacionalmente costoso (requiere pasadas hacia adelante sobre redes completamente entrenadas para cada condición) y es inherentemente reactivo, ya que la capacidad objetivo debe definirse antes de que comience la búsqueda. Además, los métodos existentes a menudo luchan por distinguir entre el cálculo dependiente del contenido en general y los circuitos causales específicos de la tarea, particularmente en modelos más grandes donde los "sumideros de atención" (cabezas que atienden al primer token) dominan el panorama.

Metodología: Una Receta de Tres Pasos

El artículo propone una receta de tres pasos para identificar circuitos de cabezas de atención que opera por cabeza, no requiere etiquetas de tarea ni gradientes de atribución, y puede aplicarse durante el entrenamiento o en puntos de control finales.

Paso 1: Señal Espectral por Cabeza (El Indicador General)

El primer paso identifica cabezas que realizan un cálculo sostenido y dependiente del contenido utilizando una métrica espectral derivada de la teoría de matrices aleatorias.

• Métrica: Para cada cabeza en cada punto de control de entrenamiento, se calcula la Relación de Participación (PR) de la matriz de salida de atención por cabeza. La PR mide la rango efectivo (dimensionalidad) de la distribución de salida.
• Característica de la Trayectoria: El método integra la evolución temporal de esta señal: $I(L, H) = \sum_t \max(PR(L, H, t) - 1, 0) \cdot \Delta \log(\text{tokens}_t)$.
• Función: Esta "integral de PR" clasifica las cabezas que mantienen un rango efectivo alto (abarcando muchas direcciones) a lo largo del tiempo. Sirve como un indicador general de especialización, filtrando las cabezas que colapsan a estados de bajo rango (independientes del contenido) o permanecen ruidosas. Crucialmente, no distingue qué está haciendo la cabeza, solo que está realizando un cálculo especializado.

Paso 2: Filtro de Patrón de Tarea (El Filtro Específico de Tarea)

La señal espectral general se especializa para una tarea objetivo midiendo los patrones de atención contra objetivos canónicos.

• Mecanismo: Un filtro de "todas las cabezas" mide la selectividad de cada cabeza para patrones de atención específicos (por ejemplo, inducción, token anterior, token duplicado, primer token/BOS, auto, local).
• Definición de Selectividad: La selectividad es la relación entre la atención a las posiciones objetivo y una línea base uniforme.
• Umbral: Las cabezas se clasifican si su selectividad supera un umbral (por ejemplo, $\ge 30\times$ para asignación, $\ge 50\times$ para membresía en el circuito de inducción).
• Función: Este paso convierte la señal general de "especialización" en un circuito candidato para una capacidad específica. Aborda la limitación del Paso 1, que en modelos dominados por sumideros de atención clasificaría las cabezas genéricas dependientes del contenido más alto que las específicas de la tarea.

Paso 3: Verificación Causal (La Afirmación Falsable)

Los circuitos candidatos se validan mediante ablación de grupo con controles rigurosos para asegurar que el efecto sea causal y no un artefacto de la composición de capas.

• Procedimiento: El corte por cabeza del flujo residual en la proyección de salida de atención se pone a cero.
• Controles:
  1. Aleatorio Emparejado: Se abla un número igual de cabezas en las mismas capas que no fueron seleccionadas por el filtro. Esto descarta la hipótesis de que "ablar cualquier cabeza en estas capas causa degradación".
  2. Límite Superior: Se abla todas las cabezas en las capas seleccionadas. Esto establece el efecto máximo posible para esa capa.
• Criterio: Un circuito se considera causal si las cabezas seleccionadas por el filtro producen una degradación significativamente mayor que el control aleatorio emparejado, mientras que el límite superior se satura cerca de cero.

Resultados Clave

1. Replicación Trans-Arquitectura y Trans-Escala

La receta se validó en un rango de 8$\times$ en parámetros (51M a 1B activos / 7B totales) y tres familias de arquitecturas (GPT-NeoX denso, estilo Llama denso y MoE estilo Llama) entrenadas en diferentes pipelines de datos (TinyStories, FineWeb, Pile, DCLM).

• Circuito de Inducción: Se encontró que un pequeño circuito de inducción (3–6 cabezas) es causalmente necesario para tareas de inducción sintética en cada modelo probado.
• Escalado Sublineal: Si bien el conteo total de cabezas aumenta linealmente con el tamaño del modelo, el tamaño del circuito de inducción permanece sublineal (3–11 cabezas), lo que indica que la capacidad específica no escala linealmente con la capacidad del modelo.

2. La Fracción Conservada de Cabezas Especializadas

En el rango de escala de 8$\times$ (124M a 410M), la fracción de cabezas que realizan un cálculo especializado identificable se conserva en $\sim$17–19%.

• Esta fracción se recuperó independientemente utilizando dos métodos: (1) clasificar las selecciones espectrales top-$K$ en clases de capacidad, y (2) contar cabezas con selectividad de inducción por encima del nivel de ruido de una distribución nula.
• En modelos más grandes de la clase 1B, esta fracción varía más significativamente (4.7% a 27.3%) y se correlaciona con la dominancia de atractor de BOS (sumideros de atención) en lugar de la escala del modelo, lo que sugiere que la conservación es una propiedad dentro de familias específicas de arquitectura/datos.

3. Poder Predictivo y Especificidad de Semilla

• Especificidad de Semilla: En un modelo de 51M de parámetros entrenado con seis semillas aleatorias diferentes, la receta identificó circuitos distintos y específicos de la semilla para la misma tarea. Ablar el circuito identificado para la Semilla A no tuvo efecto en el modelo de la Semilla B, confirmando que el método encuentra la implementación real del modelo en lugar de un patrón universal.
• Tiempo Predictivo: La señal espectral (Paso 1) aumenta antes de que la selectividad de capacidad cruce su umbral funcional. La receta puede identificar el circuito utilizando solo una pequeña fracción (0.3–2%) de los tokens totales de entrenamiento, precediendo a la emergencia completa de la capacidad.

4. Robustez ante Cambios de Datos

En un modelo entrenado en FineWeb y luego continuado en OpenWebText, el circuito de inducción identificado en el punto final de FineWeb permaneció invariante (Jaccard = 1.00) a través del cambio de datos. Las cabezas mantuvieron su selectividad y trayectorias de PR, lo que sugiere que el método identifica la especialización estructural en lugar de estadísticas específicas del corpus.

5. Dependencias Composicionales

El método identificó con éxito el circuito de "token anterior" (8–9 cabezas) y demostró su papel causal en la inducción. Ablar el circuito de token anterior destruyó el rendimiento de inducción, confirmando la estructura composicional estándar donde las cabezas de token anterior construyen los vectores clave utilizados por las cabezas de inducción.

Significado y Afirmaciones

El artículo se posiciona como el ancla metodológica para un programa de tres artículos. Sus afirmaciones principales son modestas y se centran en la validez de la receta misma:

1. La Receta es una Receta, no un Filtro Universal: Los autores declaran explícitamente que el Paso 1 (señal espectral) es un indicador general de especialización, no un detector específico de tareas. El Paso 2 (filtro) proporciona especificidad de tarea, y el Paso 3 (ablación) proporciona falsabilidad causal. La combinación es lo que hace robusto al método.
2. Enmarcado Honesto de Afirmaciones Causales: El artículo enfatiza que el diferencial "aleatorio emparejado" es lo que hace honesta la afirmación causal. Sin este control, no se puede distinguir entre un circuito específico y un efecto general de la capa.
3. Precedencia del Desarrollo: La señal espectral precede a la emergencia de la selectividad de capacidad, ofreciendo una ventana potencial para monitorear la formación de circuitos durante el preentrenamiento (detallado en un artículo complementario).
4. Limitaciones: Los autores señalan que para tareas compuestas (por ejemplo, Identificación de Objeto Indirecto), el patrón de atención principal puede desacoplarse de la estructura causal de la tarea entre diferentes familias de modelos, requiriendo un conjunto más amplio de filtros candidatos. Además, el método depende de lotes de evaluación fijos, y las cabezas del circuito específico pueden variar entre re-entrenamientos (aunque la fracción de cabezas especializadas parece estable).

En resumen, el artículo proporciona un marco reproducible y libre de etiquetas para aislar pequeños circuitos de cabezas de atención causalmente necesarios, demostrando que una fracción conservada de la capacidad del modelo está dedicada a un cálculo especializado que escala sublinealmente con el tamaño del modelo.