Pattern Selectivity is Not Task-Causal Structure: A Cross-Architecture Mechanistic Study of Composed-Task Circuits in 1B-Class Language Models

Resumen Técnico: La selectividad de patrones no es una estructura causal de la tarea

Planteamiento del problema
Este artículo investiga si la receta establecida de "cribado y ablación" (screen-and-ablate) para la interpretabilidad mecánica —identificar circuitos de cabezales de atención mediante la selectividad de patrones de tarea seguida de una ablación causal— produce afirmaciones mecánicas consistentes a través de diferentes familias de modelos. Si bien trabajos previos (p. ej., Wang et al., 2023) establecieron circuitos canónicos para tareas como la Identificación del Objeto Indirecto (IOI) en GPT-2 small, sigue siendo desconocido si estos circuitos específicos se generalizan a otros modelos de la clase 1B entrenados en diferentes corpus con arquitecturas distintas. La pregunta central es si un único cribado de patrón de tarea identifica el mismo circuito causal en diferentes modelos, o si la implementación mecánica de tareas compuestas es específica de cada modelo.

Metodología
Los autores aplican un protocolo unificado de cribado y ablación a través de una rejilla empírica de $4 \times 3$:

• Tareas: Cuatro tareas compuestas: Identificación del Objeto Indirecto (IOI), Greater-Than (Mayor que), Successor Sequences (Secuencias de sucesores) y Variable Binding (Vinculación de variables).
• Modelos: Tres modelos de la clase 1B de distintos pipelines:
  • Pythia 1B: Arquitectura densa, entrenada en The Pile.
  • OLMo 1B: Arquitectura densa, entrenada en DCLM.
  • OLMoE 1B-7B: Arquitectura de Mezcla de Expertos (MoE) (64 expertos, top-8), entrenada en DCLM.
• Procedimiento:
  1. Señal Espectral: Los cabezales se pre-criban mediante un integral de la razón de participación (PR) para identificar la computación especializada.
  2. Cribado de Patrón de Tarea: Los cabezales candidatos se filtran basándose en su selectividad para patrones de atención específicos (p. ej., token anterior, inducción, name-mover, S-Inhibition).
  3. Verificación Causal: Se realiza la ablación de grupo del circuito candidato (reemplazando las salidas de los cabezales con la activación de la media del lote).
  4. Control: Se genera un nulo de control aleatorio emparejado para cada celda utilizando 10 semillas independientes, muestreando cabezales aleatorios de las mismas capas con igual conteo y sin solapamiento con las selecciones.
• Métricas: El rendimiento se mide mediante $\Delta$top-1 accuracy y $\Delta$logit-diff (diferencia entre los logits correctos y los distractores).

Contribuciones Clave

1. Rejilla Empírica: Un análisis exhaustivo de 12 celdas (tarea, modelo) en la frontera de la clase 1B, demostrando que, si bien la metodología es transferible, los circuitos causales específicos no lo son.
2. Taxonomía de Cinco Categorías: Un marco cuantitativo para clasificar los resultados del cribado:
   • Causa Primaria: Mayor efecto no saturado con alta especificidad ($\ge 3\times$ sobre el nulo aleatorio emparejado).
   • Causa Secundaria: Efecto significativo pero menor que el cribado primario; a menudo una vía redundante.
   • Correlato: Los cabezales muestran el patrón esperado, pero la ablación tiene poco o ningún impacto causal (la respuesta ya está codificada en etapas upstream).
   • Interferidor: La ablación mejora el rendimiento de la tarea; a menudo causado por sumideros de atención de tipo BOS (primer token) que compiten con la tarea.
   • Nulo: Sin rol causal; el tamaño del efecto es indistinguible del ruido aleatorio.
3. Hipótesis de la Primacía del Token Anterior de OLMoE: Una afirmación falsable de que los modelos MoE a la escala de 1B de actividad construyen circuitos de tareas compuestas sobre un sustrato posicional de token anterior fundacional. La computación específica de la tarea se estratifica sobre este sustrato, excepto cuando la estructura de la tarea explora directamente un patrón diferente (p. ej., el copiado de nombre en la posición final de IOI).
4. Refinamientos Metodológicos:
   • Demostración de que los controles aleatorios emparejados son esenciales para distinguir la causalidad real de las búsquedas de datos (fishing expeditions), revelando particularmente que los cribados concentrados en L0 tienen nulos de alta varianza.
   • Identificación de la firma margin-not-argmax: En algunos modelos, la ablación comprime el margen de los logits (reduciendo la confianza) sin cambiar la predicción top-1, lo que sugiere que las capacidades se implementan como sesgos distribucionales en lugar de decisiones de gating.

Resultos Clave

• Sin Transferencia de Circuito entre Arquitecturas: Ninguna de las dos celdas de la rejilla $4 \times 3$ comparte el mismo cribado causal primario con un tamaño de efecto comparable.
  • IOI: Pythia es primariamente prev-token; OLMo es primariamente S-Inhibition; OLMoE es primariamente name-mover.
  • Greater-Than: Pythia es primariamente GT-specific; OLMo muestra un efecto de solo margen; OLMoE es primariamente prev-token.
  • Successor: Pythia es mixto; OLMo está concentrado en L0 (nulo poco fiable); OLMoE es primariamente prev-token.
  • Variable Binding: El cribado ingenuo de Pythia identifica interferidores (confundidos por BOS); OLMo y OLMoE son primariamente prev-token.
• El Patrón de OLMoE: En OLMoE, el circuito de token anterior es el principal motor causal para Greater-Than, Successor y Variable Binding. La excepción es IOI, donde la estructura de la tarea (copiado de nombre en la posición final) involucra directamente al circuito name-mover.
• Confundidos de Clase BOS: En la tarea de Variable Binding de Pythia, los principales candidatos del cribado fueron cabezales de clase BOS que actuaron como interferidores. Se requirieron ablaciones de cabezales individuales para distinguirlos de los verdaderos apoyos, un diagnóstico que se generaliza a través de regímenes dominados por BOS.
• Sensibilidad de la Métrica: Depender únicamente de la precisión top-1 ignora efectos mecánicos significativos. Por ejemplo, en la tarea Greater-Than de OLMo, la ablación del cribado específico de GT comprimió significativamente el margen de los logits ($\Delta$-1.98) mientras que el top-1 cayó mínimamente ($\Delta$-0.6).

Significancia y Afirmaciones
El artículo argumenta que la pregunta "¿Cuál es el circuito para la capacidad X?" está mal formulada para la frontera de la clase 1B, ya que presupone una solución única y transferible. En su lugar, los autores proponen que:

1. Desacoplamiento Mecánico: Diferentes modelos logran la misma capacidad conductual a través de implementaciones mecánicas completamente diferentes. La "receta" (cribado y ablación) es un procedimiento generativo válido, pero el circuito específico debe derivarse de nuevo para cada modelo.
2. Regularidades de Clase de Modelo: Aunque los circuitos específicos difieren, los patrones estructurales pueden persistir dentro de las familias de arquitectura. La hipótesis de la primacía del token anterior de OLMoE sugiere que las arquitecturas MoE dependen de un sustrato posicional estable para el enrutamiento, sobre el cual se construye la lógica específica de la tarea.
3. Honestidad Metodológica: El artículo enfatiza que las señales espectrales por sí solas son insuficientes; se requieren cribados de patrón de tarea y verificación causal (específicamente ablaciones de cabezales individuales en regímenes dominados por BOS) para distinguir entre apoyos, correlatos e interferidores.

Los autores presentan estos hallazgos como el punto de partida para un programa empírico más amplio, señalando que la hipótesis de OLMoE requiere validación en otros modelos MoE (p. ej., Mixtral, DBRX) y que la rejilla de 12 celdas es suficiente para motivar, pero no para establecer completamente, la generalización entre tareas.