Single-Position Intervention Fails: Distributed Output Templates Drive In-Context Learning

Este artículo demuestra que la identidad de la tarea en el aprendizaje en contexto no está localizada en capas o tokens específicos como sugiere la sonda lineal, sino que está causalmente codificada como plantillas de formato de salida distribuidas a través de los tokens de demostración, con una ventana de intervención crítica alrededor del 30% de la profundidad de la red.

Lo esencial

Imagina un modelo de lenguaje grande (como los que impulsan los chatbots) como una fábrica masiva de varios pisos. Cuando le das algunos ejemplos de una tarea (como "convierte esta palabra a mayúsculas"), intenta descubrir la regla y aplicarla a tu nueva pregunta. Esto se llama Aprendizaje en Contexto (ICL).

Durante mucho tiempo, los científicos pensaron que sabían dónde se almacenaba esa "regla" dentro de esta fábrica. Utilizaban una herramienta llamada "sonda" (como un detector de metales) que podía sonar fuerte y decir: "¡Sí, la regla para 'mayúsculas' está justo aquí!". Encontraron estas señales en puntos específicos de pisos concretos de la fábrica.

La Gran Sorpresa: El Detector de Metales es un Mentiroso
Los autores de este artículo decidieron probar si esas señales significaban realmente algo importante. Realizaron un experimento de "cirugía": fueron al lugar exacto donde el detector de metales indicaba que estaba la regla, eliminaron la información y la reemplazaron por otra cosa.

• El Resultado: No pasó nada. La fábrica siguió funcionando perfectamente, ignorando por completo la cirugía.
• La Analogía: Imagina que crees que el motor de un coche está controlado por un solo cable rojo. Cortas ese cable, esperando que el coche se detenga. En cambio, el coche sigue conduciendo. Resulta que el motor no está controlado por un solo cable; la señal se distribuye a través de miles de cables. Si cortas solo uno, al coche no le importa.

El Descubrimiento Real: La "Plantilla Distribuida"
Los investigadores se dieron cuenta de que la "regla" no se almacena en un solo lugar. Es como un puzzle disperso por todo el conjunto de ejemplos que le diste al modelo.

1. El Fallo de Posición Única: Si intentas cambiar solo una pieza del puzzle (una palabra en el ejemplo), el modelo no lo nota. Tiene demasiadas piezas adicionales para deducir la imagen.
2. El Avance de Múltiples Posiciones: Pero, si cambias todas las piezas del puzzle al mismo tiempo (cada palabra de salida en los ejemplos), el modelo sí cambia de opinión. Comienza a seguir la nueva regla que le diste.

El "Punto Dulce" en la Fábrica
Los investigadores descubrieron que este "intercambio de piezas del puzzle" solo funciona si lo haces en un piso específico de la fábrica.

• Demasiado pronto (Pisos 1–7): Las piezas del puzzle aún no se han ensamblado; el patrón no está claro.
• Demasiado tarde (Pisos 15+): La fábrica ya ha terminado de construir el coche y se está alejando; cambiar el plano ahora es demasiado tarde.
• Justo a tiempo (Piso 8): Esta es la "ventana de compromiso". Es donde la fábrica está finalizando el diseño pero aún no ha comenzado a construir. Si cambias los planos aquí, la fábrica construye el nuevo coche.

¿Qué es lo que realmente se transfiere?
El artículo descubrió que el modelo no está aprendiendo el significado de la tarea (como "esto trata sobre sentimientos"). En cambio, está aprendiendo la forma de la respuesta.

• La Analogía: Imagina que enseñas a un modelo cómo escribir un poema. Si cambias los ejemplos para mostrar un tipo diferente de poema (por ejemplo, de pareados rimados a haikus), el modelo no cambiará, incluso si el tema es el mismo.
• El Hallazgo: El modelo solo copia la "plantilla". Si los ejemplos muestran "Palabra, Palabra, Palabra", el modelo solo cambiará a una nueva tarea si esa nueva tarea también se parece a "Palabra, Palabra, Palabra". No le importa si las palabras son sobre gatos o números; le importa que la estructura coincida.

La Consulta vs. Los Ejemplos
El artículo también encontró una asimetría curiosa:

• Los Ejemplos (La Demo): Estos son como los "ingredientes". Necesitas todos ellos para hacer el plato. Si te falta uno, la receta aún funciona porque los demás lo compensan. Pero si cambias todos ellos, el plato cambia completamente.
• La Pregunta (La Consulta): Este es el "chef" que lee la receta. Si alteras las instrucciones del chef (la parte de la pregunta), todo falla. El chef es esencial, pero el chef no guarda la receta; los ingredientes sí.

Resumen en Lenguaje Claro

1. No confíes en el detector de metales: Solo porque un modelo pueda encontrar una regla en un lugar no significa que ese lugar sea importante.
2. La regla está en todas partes: La "identidad de la tarea" se distribuye por todas las respuestas de ejemplo, no está atrapada en un solo lugar.
3. El momento importa: Solo puedes cambiar la opinión del modelo en medio de su proceso de pensamiento, no al principio ni al final.
4. Se trata de la forma, no del significado: El modelo copia el formato de la respuesta (como una plantilla) en lugar de entender la lógica profunda de la tarea.

Este artículo esencialmente reescribió el mapa de cómo estos modelos de IA aprenden de ejemplos, mostrándonos que el "cerebro" de la tarea es una red distribuida y tolerante a fallos, no un único interruptor.

Resumen técnico

Resumen Técnico: Las Plantillas de Salida Distribuidas Impulsan el Aprendizaje en Contexto

Enunciado del Problema

Comprender cómo los Modelos de Lenguaje de Gran Escala (LLMs) codifican la identidad de la tarea a partir de demostraciones de pocos ejemplos sigue siendo un problema abierto central en la interpretabilidad mecánica. Investigaciones anteriores han dependido predominantemente del sondeo lineal para localizar representaciones de tareas, reportando altas tasas de clasificación en capas y posiciones específicas. Sin embargo, existe una brecha crítica entre la decodificabilidad (la capacidad de un sondeo para extraer información) y la relevancia causal (si esa información impulsa el comportamiento del modelo). Este artículo investiga si la alta precisión de sondeo observada en trabajos anteriores se traduce en un control causal sobre la identidad de la tarea en el aprendizaje en contexto (ICL).

Metodología

Los autores emplean experimentos de intervención de activación en Llama-3.2-3B-Instruct y replican los hallazgos en otros tres modelos (Llama-3.2-1B, Qwen2.5-1.5B, Gemma-2-2B). El estudio distingue entre tres tipos de posiciones en una solicitud de ICL: entradas de demostración, salidas de demostración y la consulta.

1. Sondeo: Se entrenan clasificadores de centroide más cercano en cada par (capa, posición) para medir la decodificabilidad de la identidad de la tarea.
2. Intervención de Posición Única: El vector de activación en un solo par (capa, posición) en una solicitud objetivo se reemplaza con la activación media de una tarea fuente. Esto prueba si la identidad de la tarea está localizada.
3. Intervención de Múltiples Posiciones: Las activaciones en todos los tokens de salida de demostración se reemplazan simultáneamente. Esto prueba si la identidad de la tarea está distribuida.
4. Rastreo Causal: Se inyecta ruido gaussiano en posiciones específicas para medir la necesidad (tasa de interrupción), mientras que el trasplante mide la suficiencia (tasa de transferencia).
5. Análisis de Compatibilidad de Formato: El estudio crea variantes de tareas con operaciones idénticas pero formatos de salida diferentes (por ejemplo, "PALABRA" vs. "PALABRA.") para determinar si la transferencia depende de reglas abstractas o plantillas superficiales.

Contribuciones y Resultados Clave

1. El Fracaso de la Intervención de Posición Única

A pesar de lograr una precisión de sondeo del 100% en las posiciones de demostración y del 83% en la posición de consulta a través de las 28 capas, la intervención de posición única logra una transferencia de tarea del 0% en cada capa. Experimentos de control (ablación cero y aleatoria) confirman que ninguna posición única es causalmente necesaria; el modelo ignora por completo las perturbaciones de posición única. Esto demuestra que la codificación de la tarea es fundamentalmente distribuida y tolerante a fallos.

2. El Avance de la Intervención de Múltiples Posiciones

Los autores revelan que la identidad de la tarea solo puede transferirse causalmente mediante intervención simultánea de múltiples posiciones.

• Ventana Óptima: La transferencia alcanza su punto máximo en la Capa 8 (aproximadamente 30% de la profundidad de la red) para modelos de 28 capas, logrando una transferencia del 96% (IC del 95%: [87%, 99%]) para pares compatibles en formato.
• Especificidad de Posición: Reemplazar los tokens de salida de las demostraciones produce una transferencia del 94%, mientras que reemplazar los tokens de entrada produce un 0%. Reemplazar todos los tokens de demostración (entradas + salidas) produce un 96%, lo que indica que los tokens de salida portan la señal principal.
• Efectos Umbral: La transferencia no es gradual. Reemplazar 1–3 posiciones produce un 0% de transferencia; reemplazar ~10 posiciones produce un 10%; reemplazar todas las posiciones produce ~90%. De manera similar, 1–3 demostraciones fuente producen un 0% de transferencia, mientras que 5 producen un 93%.

3. Asimetría Causal: Consulta vs. Demostraciones

El rastreo causal mediante inyección de ruido revela una asimetría sorprendente:

• Posición de Consulta: Estrictamente necesaria (53–100% de interrupción cuando se añade ruido en las capas 0–14) pero no suficiente (0% de transferencia cuando se trasplanta).
• Posiciones de Demostración: Individualmente no necesarias (0% de interrupción cuando se añade ruido) pero colectivamente suficientes (96% de transferencia cuando todas se reemplazan).
  Esto sugiere una tubería escalonada: las capas tempranas codifican plantillas distribuidas, las capas intermedias agregan esta información a la consulta y las capas tardías se comprometen con la generación de salida.

4. La Hipótesis de la Plantilla Distribuida

La transferencia depende de la compatibilidad de la representación interna, no de la similitud superficial.

• Sensibilidad al Formato: Las tareas con operaciones idénticas pero formatos de salida diferentes (por ejemplo, "PALABRA" vs. "PALABRA.") muestran un 0% de transferencia. Por el contrario, las tareas con plantillas estructuralmente similares (por ejemplo, "palabra palabra" vs. "palabra, palabra") muestran un 90% de transferencia.
• Compatibilidad de Recuento de Tokens: La transferencia está impulsada por la compatibilidad de los recuentos de tokens de salida. Por ejemplo, mayúsculas (1 token) se transfiere a lineal 2x (1 token) al 100%, pero repetir palabra (2 tokens) falla al transferirse a repetir n (3 tokens).
• Predecibilidad: Solo 7 de 56 pares de tareas (13%) logran ≥50% de transferencia. Estos forman un clúster de tareas procedimentales con estructuras de salida rígidas de un solo token o tokens repetidos. Las tareas semánticas muestran una transferencia cruzada cercana a cero.

Significado y Afirmaciones

El artículo establece la Hipótesis de la Plantilla Distribuida: la identidad de la tarea en ICL no se codifica como un vector localizado o una regla abstracta, sino como plantillas de formato de salida distribuidas a través de los tokens de demostración.

• Perspectiva Mecanística: Los hallazgos resuelven la ambigüedad entre la decodificabilidad y la relevancia causal, mostrando que una alta precisión de sondeo no implica control causal.
• Especificidad de Arquitectura: La ventana de intervención óptima a ~30% de profundidad parece ser una característica universal en las arquitecturas LLaMA, Qwen y Gemma, lo que sugiere una etapa general de procesamiento de transformadores donde se codifican las plantillas antes de la agregación.
• Implicaciones para la Dirección: La dirección efectiva de activación para ICL requiere un reemplazo coordinado de múltiples posiciones en las capas tempranas e intermedias, en lugar de la edición de un solo vector.
• Naturaleza del ICL: Los resultados sugieren que, para muchas tareas, el modelo opera mediante la coincidencia de plantillas de salida en lugar de inferir relaciones abstractas de entrada-salida, particularmente para tareas procedimentales.

Los autores concluyen que, aunque el mecanismo es general, la transferencia exitosa está restringida por una estricta compatibilidad estructural entre los formatos de salida de origen y destino, descartando explicaciones triviales basadas en la similitud superficial o artefactos de inyección aleatoria.