Resumen Técnico: El Ajuste de Instrucciones Modifica Cómo el Estado Upstream Condiciona la Lectura Tardía

Declaración del Problema

Investigaciones recientes de interpretabilidad mecánica han localizado comportamientos posteriores al entrenamiento (por ejemplo, rechazo, personalidad, seguimiento de instrucciones) en direcciones, características y capas específicas, a menudo en las etapas medias a tardías de la pila del transformador. Sin embargo, persiste una brecha crítica en la comprensión de la cooperación entre el cálculo temprano y la pila tardía. Específicamente, no está claro si las diferencias posteriores al entrenamiento surgen principalmente de cambios en las características tardías en sí mismas o de cambios en los estados residuales anteriores que activan dichas características. La pregunta central es: ¿El ajuste de instrucciones simplemente modifica la capa de lectura tardía, o altera fundamentalmente el estado upstream necesario para hacer efectivas esas características tardías?

Metodología: Parcheo Cruzado de Primera Divergencia

Para abordar esto, los autores introducen el parcheo cruzado de primera divergencia, un diagnóstico que descompone el efecto del ajuste de instrucciones (IT) en componentes dependientes del upstream y componentes directos de la pila tardía.

1. Sitio de Intervención

Para un prompt dado, el método identifica la primera posición de token generado donde un modelo base preentrenado (PT) y su contraparte ajustada con instrucciones (IT) no coinciden en el siguiente token top-1. Sean estos tokens $t_{PT}$ y $t_{IT}$.

2. El Factorial de Cuatro Celdas

En este punto de divergencia, los autores construyen cuatro pasos forward híbridos emparejando el estado residual upstream ($U$) de un modelo con la pila tardía ($L$) del otro. La pila tardía se define como el ~40% final de las capas (comenzando aproximadamente al 60% de profundidad).
Las cuatro configuraciones son:

1. $Y(U_{PT}, L_{PT})$: Upstream base + pila tardía base (Control)
2. $Y(U_{PT}, L_{IT})$: Upstream base + pila tardía IT
3. $Y(U_{IT}, L_{PT})$: Upstream IT + pila tardía base
4. $Y(U_{IT}, L_{IT})$: Upstream IT + pila tardía IT (Control)

La puntuación $Y$ se define como el margen de logits: $\text{logit}(t_{IT}) - \text{logit}(t_{PT})$.

3. Descomposición

La métrica central es el efecto de interacción, calculado como:
$$\text{Interacción} = [Y(U_{IT}, L_{IT}) - Y(U_{IT}, L_{PT})] - [Y(U_{PT}, L_{IT}) - Y(U_{PT}, L_{PT})]$$
Esto mide cuánto más ayuda la pila tardía IT cuando lee su propio estado upstream (IT) en comparación con el estado upstream base (PT).

• Efecto Directo de la Pila Tardía: La contribución de la pila tardía IT cuando se empareja con upstream PT ($Y(U_{PT}, L_{IT}) - Y(U_{PT}, L_{PT})$).
• Efecto Dependiente del Upstream: La ganancia adicional cuando la pila tardía IT lee el estado upstream IT.

4. Validación y Controles

El estudio emplea controles rigurosos para asegurar que los estados híbridos no sean artefactos:

• Integridad del Estado Híbrido: La interpolación entre estados PT e IT es suave; las permutaciones aleatorias con signo no logran reproducir el efecto.
• Sesgo de Selección: Los desacuerdos locales aleatorios (no en la primera divergencia) muestran una interacción reducida pero del mismo signo, mientras que la puntuación pre-divergencia es cercana a cero, confirmando que la primera divergencia concentra el efecto.
• Historial Nativo: El efecto persiste al usar historiales de generación nativos IT o PT en lugar de un prefijo compartido.

Resultados Clave

1. Acoplamiento Upstream-Tardío

En cinco familias de modelos densos (4B–32B: Llama 3.1, Qwen 3, Mistral 7B, OLMo 2, Qwen2.5 32B), los resultados muestran un fuerte acoplamiento upstream-tardío:

• Efecto Directo: La pila tardía IT añade +0.76 logits hacia el token IT cuando se empareja con estado upstream PT.
• Efecto Dependiente del Upstream: La pila tardía IT añade +2.44 logits cuando se empareja con estado upstream IT.
• Interacción: El término de interacción es +1.68 logits, positivo en las cinco familias.
• Interpretación: La pila tardía tiene un efecto directo real, pero la mayoría del cambio de comportamiento observado en el checkpoint IT solo se manifiesta cuando la pila tardía lee su propio estado upstream posterior al entrenamiento.

2. Separación de Recetas de Entrenamiento

El diagnóstico distingue entre diferentes recetas posteriores al entrenamiento:

• Descendientes de Seguimiento de Instrucciones: Muestran una fuerte dependencia upstream (interacción grande). Sus efectos tardíos requieren su propio estado upstream específico.
• OpenMath2 (Dominio Matemático): A pesar de compartir la base Llama 3.1, el efecto tardío del dominio matemático de OpenMath2 es en gran medida portátil. Muestra un efecto grande incluso cuando lee el estado upstream base (interacción $\approx -0.15$).
• Preentrenamiento de Continuación Controlado (CPT): Los adaptadores de CPT de código y biomédicos que mejoran con éxito el NLL del dominio no reproducen el patrón de interacción de prompt de instrucciones en el soporte principal (interacciones cercanas a cero). Esto sugiere que la dependencia upstream es específica de la alineación de seguimiento de instrucciones, no de la adaptación de dominio genérica.

3. Evidencia Mecanística

• Características Escasas de Capa Final: Los crosscoders en las capas MLP finales identifican características escasas que median parcialmente la interacción. La ablación de las 200 características causales superiores reduce la interacción entre un 26% y un 48% en familias con puerta de calidad.
• Impulso Upstream: Parchear el cálculo upstream IT en el híbrido débil rescata +1.71 logits, con una parte mediada por estas características de capa final. Esto respalda un mecanismo de "pase" donde el estado temprano impulsa la activación de características de capa final.
• Estado Estructurado: Las proyecciones PCA de los cambios en el estado de la frontera descendente menos base cierran una porción significativa del margen faltante, indicando que el estado upstream faltante tiene una forma estructurada y de bajo rango.

4. Consecuencias Downstream

• Puntuación de Token Forzado: Forzar el token divergente preferido por IT mejora el éxito de respuesta exacta solo con sufijo en prompts de razonamiento de contenido en +0.157.
• Continuación Restringida: La interacción persiste en horizontes cortos (hasta $N=8$ tokens), con colas nativas coherentes que llevan más interacción que colas mezcladas.

Significado y Afirmaciones

El artículo afirma proporcionar una descomposición local y causal de cómo el ajuste de instrucciones altera el comportamiento del modelo, yendo más allá de la simple localización de características para entender su activación condicional.

1. Refutación de Pilas Tardías Autocontenidas: Los resultados desfavorecen la visión de que las capas tardías son autocontenidas. Un gran efecto tardío medido en un checkpoint IT no implica que el cálculo sea independiente; a menudo depende del estado upstream específico generado por la receta de entrenamiento IT.
2. Mecanismos Específicos de la Receta: La firma de "dependencia upstream" es una propiedad específica de la alineación de seguimiento de instrucciones, distinguiéndola de la fine-tuning específico de dominio (como OpenMath2) o del preentrenamiento de continuación genérico.
3. Diagnóstico Operacional: Los autores proponen que cualquier estudio que localice diferencias en capas tardías debe probar si esos efectos sobreviven bajo el estado upstream del otro checkpoint. Si el efecto desaparece o se reduce significativamente, la pila tardía no es autocontenida.
4. Limitaciones de Alcance: Los autores declaran explícitamente que estos son tests locales de lectura de siguiente token en la primera divergencia. No afirman estimar el comportamiento promedio de despliegue ni proporcionar una reconstrucción completa del circuito del seguimiento de instrucciones. Los hallazgos están acotados a familias de transformadores densos y soportes de prompt específicos.

En resumen, el artículo argumenta que el ajuste de instrucciones remodela la cooperación entre el cálculo upstream y la lectura tardía, donde la capacidad de la pila tardía para producir salidas de seguimiento de instrucciones está fuertemente condicionada por los estados residuales específicos producidos por las capas anteriores del modelo ajustado.