Resumen Técnico: Parches de No Linealidad: Vectores de Instrucción en Modelos de Lenguaje de Gran Escala

1. El Problema

A pesar del éxito masivo del ajuste de instrucciones (instruction tuning), la comunidad científica aún desconoce los mecanismos internos mediante los cuales los Modelos de Lenguaje de Gran Escala (LLMs) procesan y utilizan las instrucciones. Existe una brecha en la comprensión de si estas instrucciones se procesan de forma "justo a tiempo" (junto con la consulta) o de forma "eager" (creando representaciones previas), y cómo estas representaciones interactúan con el resto del modelo para ejecutar tareas específicas.

2. Metodología

Los autores investigan el proceso de post-entrenamiento, comparando el Ajuste Fino Supervisado (SFT) y la Optimización de Preferencias Directas (DPO), utilizando modelos de la familia OLMo-2 (1B y 7B). Su enfoque se divide en tres pilares:

• Localización mediante Causal Mediation (Patching): Utilizan la técnica de activation patching para identificar en qué capas y posiciones del flujo residual se almacenan las representaciones de la instrucción.
• Análisis de Superaditividad: Evalúan si la influencia causal de múltiples capas es simplemente la suma de sus partes o si existe una interacción no lineal.
• Propuesta de un nuevo método de trazado de información: Para superar las limitaciones de los métodos tradicionales (que asumen interacciones lineales/aditivas), proponen un método que trata al Transformer como una colección de mapas localmente lineales de token a token. Esto permite rastrear "rutas" de información sin las suposiciones de linealidad implícitas en el patching convencional.

3. Contribuciones Clave

• Descubrimiento de los Vectores de Instrucción (IVs): Identifican que los modelos construyen "resúmenes neuronales" localizados de la instrucción inmediatamente después de procesar el contexto instructivo (en el token final de la instrucción, $T_{inst}$).
• Evidencia de Superaditividad: Demuestran que los IVs no actúan de forma lineal. La combinación de ciertas capas produce un efecto causal mayor que la suma de sus efectos individuales, lo que desafía la "hipótesis de representación lineal" común en la interpretabilidad mecánica.
• IVs como Selectores de Circuitos: Proponen que los vectores de instrucción no realizan la tarea por sí mismos, sino que actúan como selectores de circuitos, activando rutas de procesamiento específicas en las capas posteriores para resolver la tarea consultada.

4. Resultados Principales

• Localización y Eager Computation: Los IVs se encuentran de forma localizada en el flujo residual. El procesamiento es "eager", lo que significa que el modelo construye el resumen de la tarea antes de recibir la consulta (query).
• Separabilidad Geométrica: Mediante análisis LDA, observan que las representaciones de diferentes tareas forman grupos (clusters) bien definidos. Aunque no siempre son linealmente separables en 2D, un clasificador lineal simple puede distinguirlas con una precisión superior al 98%, lo que confirma que la información de la tarea está codificada de forma estructurada.
• Rol del Post-entrenamiento: Encuentran que, si bien un modelo pre-entrenado puede construir representaciones de la tarea, el ajuste de instrucciones (SFT/DPO) es indispensable para dotar a esos vectores de la capacidad de seleccionar circuitos y ejecutar la tarea correctamente.
• Sparsity (Dispersión): El trazado de rutas revela que, a pesar de la complejidad combinatoria, el flujo de información es altamente disperso; solo un número limitado de rutas de alta importancia conectan la instrucción con la respuesta correcta.

5. Significancia e Implicaciones

Este trabajo tiene implicaciones profundas para la interpretabilidad mecánica:

1. Crítica a los modelos de Grafo Acíclico Dirigido (DAG): Al demostrar la superaditividad, los autores señalan que los métodos actuales de descubrimiento de circuitos (que asumen interacciones aditivas entre componentes) pueden subestimar la importancia de ciertas variables si estas dependen de la activación de otras.
2. Robustez y Seguridad: La existencia de un "cuello de botella de información" (donde la instrucción se condensa en un vector localizado) sugiere una oportunidad para mejorar la robustez de los modelos contra ataques adversarios en las instrucciones.
3. Diagnóstico de Capacidades: Proporciona una base para diagnosticar si un modelo ha adquirido realmente la capacidad de seguir instrucciones o si solo está replicando patrones superficiales.