Resumen Técnico: "Como X, haz Y: Cómo se combinan la persona y la tarea en los LLMs ajustados por instrucciones"

Declaración del Problema

Los Modelos de Lenguaje Grandes (LLMs) ajustados por instrucciones manejan con robustez los prompts de la forma "Como X, haz Y", donde una especificación de persona ($X$) se combina con una especificación de tarea ($Y$). Sin embargo, el mecanismo interno mediante el cual estas dos especificaciones distintas se integran causalmente dentro del flujo residual del modelo sigue siendo poco comprendido. Específicamente, no está claro dónde a lo largo de los ejes de capa y posición esta combinación es lo suficientemente simple como para ser aproximada aditivamente, y si el estado compuesto resultante puede reconstruirse o manipularse mediante intervenciones en el flujo residual.

Metodología

El artículo emplea un marco de intervención causal para descomponer las activaciones del flujo residual de los modelos ajustados por instrucciones. La metodología central implica:

1. Descomposición del Prompt: Para cada par persona-tarea, los autores construyen una cuadrícula de $2 \times 2$ de prompts:
   • Línea Base-Línea Base ($BB$): Sin persona específica, tarea base.
   • Solo Persona ($XB$): Persona específica, tarea base.
   • Solo Tarea ($BY$): Persona base, tarea específica.
   • Persona Más Tarea ($XY$): Persona específica, tarea específica.
2. Descomposición del Flujo Residual: En capas y posiciones de secuencia específicas, los autores definen:
   • Efecto puro de persona: $\Delta X = h_{XB} - h_{BB}$
   • Efecto puro de tarea: $\Delta Y = h_{BY} - h_{BB}$
   • Efecto combinado: $\Delta XY = h_{XY} - h_{BB}$
   • Término de interacción: $Inter = \Delta XY - \Delta X - \Delta Y$
3. Sustitución Causal: Los autores prueban la hipótesis de que $\Delta XY \approx \Delta X + \Delta Y$ sustituyendo el estado oculto limpio $XY$ con la predicción aditiva ($h_{BB} + \Delta X + \Delta Y$).
4. Métricas de Evaluación:
   • KL Causal: La divergencia de Kullback-Leibler entre la salida del modelo después de la sustitución y la continuación limpia $XY$ (en una ventana de 10 tokens). Un KL bajo indica que la aproximación aditiva es causalmente suficiente.
   • Alineación Geométrica: Similitud del coseno entre $\Delta XY$ y $\Delta X + \Delta Y$, y entre $\Delta X$ y $\Delta Y$.
   • Verificación Conductual: Una prueba basada en marcadores que puntúa la presencia de contenido específico de la persona (por ejemplo, "escalabilidad" para una persona de ingeniero) en generaciones voraces de 80 tokens.
5. Modelos y Cuadrículas: Los experimentos se realizaron en Gemma-2-2B-IT, Qwen-2.5-1.5B-Instruct y Qwen-2.5-3B-Instruct. Se utilizaron dos cuadrículas de prompts: una cuadrícula "corta" de 12 celdas (4 personas, 3 tareas) y una cuadrícula "larga de persona" de 48 celdas (8 personas de múltiples oraciones, 6 tareas diversas).

Resultados Clave

1. Composición Aditiva Localizada

El artículo identifica una región específica donde la combinación persona-tarea es causalmente simple y aproximadamente aditiva:

• Ubicación: La región abarca el último token del prompt ($p_{last}$) y los dos primeros tokens generados ($g_1, g_2$), específicamente dentro de una banda de capas tempranas a medias.
• Evidencia: En esta región, sustituir la predicción aditiva ($h_{BB} + \Delta X + \Delta Y$) por el residual limpio produce salidas aguas abajo con una divergencia KL muy baja (por ejemplo, KL mediano de 0.0004 en la capa 6 para Gemma-2-2B-IT en $p_{last}$).
• Geometría: Los vectores $\Delta X$ y $\Delta Y$ son parcialmente separables (baja similitud del coseno entre ellos), y el término de interacción, aunque no despreciable en norma, no rota significativamente el vector combinado lejos de la suma aditiva.
• Robustez: Este "régimen aditivo localizado" se mantiene a través de diferentes escalas de modelos (de 1.5B a 3B), diferentes arquitecturas (Gemma vs. Qwen) y en ambas cuadrículas, la corta y la larga de persona.

2. Fidelidad Conductual

La sustitución aditiva preserva el contenido semántico de la persona.

• Al sustituir la predicción aditiva en $p_{last}$ (capa 14), el modelo genera salidas que contienen marcadores específicos de la persona a tasas comparables a la condición limpia (58.3% vs. 66.7% para "Cualquier marcador presente").
• Crucialmente, simplemente restar la contribución de la persona ($\Delta X$) en un solo sitio ($p_{last}$) no elimina los marcadores de la persona (62.5% de presencia), lo que indica que el contenido de la persona no está localizado en un solo vector residual, sino que está distribuido.

3. El Límite de la Aditividad

El artículo establece un límite agudo para la aproximación aditiva:

• Fallo de Inyección en el Anfitrión: Sustituir la predicción aditiva en caché en un prompt de anfitrión base (donde se elimina el texto de la persona) no logra recuperar el comportamiento completo condicionado a la persona. La brecha KL permanece grande (KL mediano ~2.84 vs. 3.05 para la base), recuperando solo una pequeña fracción del comportamiento objetivo.
• Límite Multicapa: Fijar la predicción aditiva a través de múltiples capas (hasta 22 capas) no mejora el resultado y eventualmente degrada el rendimiento, ya que impide la propagación hacia adelante natural.
• Conclusión: El régimen aditivo local captura la composición del siguiente paso (cómo el modelo transita del prompt a la respuesta), pero no da cuenta del mecanismo completo de generación de múltiples tokens, que depende de la atención hacia las posiciones del texto de la persona a lo largo de todo el prompt.

Contribuciones Clave

1. Localización de la Composición: El artículo caracteriza la región específica (capas tempranas/medias en la transición de prompt a respuesta) donde las especificaciones de persona y tarea se combinan de manera causalmente simple y aditiva.
2. Descomposición de Efectos: Proporciona una explicación a nivel de flujo residual que separa los efectos puros de persona, los efectos puros de tarea y su interacción, demostrando que, aunque la interacción existe, la suma aditiva es un fuerte predictor del estado compuesto en la región identificada.
3. Distinción entre Mecanismos Locales y Distribuidos: El trabajo aclara que, mientras que la composición de persona y tarea es localmente aditiva en el punto de formación de la respuesta, la generación de contenido condicionado a la persona es un mecanismo distribuido que depende de la atención al contexto completo del prompt, el cual no puede ser reemplazado por un solo vector residual.

Significado y Afirmaciones

El artículo afirma proporcionar una explicación a nivel de flujo residual de dónde el prompting de roles es causalmente lo suficientemente simple como para ser aproximado aditivamente y dónde esa historia termina.

• Modestia: Los autores declaran explícitamente que no afirman "cierre a nivel de circuito" (identificar neuronas o pesos específicos) ni proponen una herramienta de dirección para el control. El objetivo es la caracterización, no el control.
• Generalidad: Los hallazgos se mantienen a través de diferentes familias de modelos y complejidades de prompts, sugiriendo una propiedad generalizable de los modelos ajustados por instrucciones sobre cómo integran rol y tarea.
• Limitación: El artículo reconoce que el análisis se restringe a la región cercana a la formación de la respuesta y no caracteriza el mecanismo distribuido completo requerido para el mantenimiento de la persona a largo plazo.

En resumen, el artículo demuestra que los prompts "Como X, haz Y" crean un régimen aditivo localizado cerca de la transición de entrada a salida, pero la generación completa condicionada a la persona depende de un mecanismo de atención más amplio y distribuido que resiste la sustitución residual simple.