Resumen Técnico: Fijación en Contexto

Declaración del Problema

Mientras que investigaciones previas (Min et al., 2022) establecieron que las etiquetas de demostración aleatorias tienen un impacto mínimo en el rendimiento del Aprendizaje en Contexto (ICL), este artículo identifica un modo de fallo crítico denominado Fijación en Contexto. Los autores demuestran que, cuando las demostraciones comparten etiquetas homogéneas (incluso si son semánticamente válidas), la precisión del modelo colapsa a $\le$12% en diversas arquitecturas y tareas.

Crucialmente, el artículo argumenta que el detonante no es la correctitud de las etiquetas, sino el contenido del espacio de la etiqueta en sí mismo. El modelo parece tratar los tokens que ocupan la posición de la etiqueta en las demostraciones como un vocabulario de respuestas exhaustivo. Este comportamiento contradice las cuentas bayesianas de conceptos latentes (Xie et al., 2022), las cuales predecirían que etiquetas sin sentido diversas resultarían en una posterior difusa que permitiría la recuperación mediante inferencia semántica. En cambio, el modelo vincula su salida estrictamente al inventario de tokens demostrado, anulando la plausibilidad semántica.

Metodología

El estudio emplea un enfoque multifacético que combina análisis conductual, interpretabilidad mecánica causal y validación cruzada de arquitecturas:

1. Configuración Experimental:

   • Tareas: Cuatro tareas de clasificación binaria de un solo token (Categoría, Sentimiento, Temperatura, Tamaño) y clasificación multiclase de 4 vías.
   • Modelos: Seis modelos base de tres familias (Pythia, Llama, Qwen) que van desde 0.8B hasta 8B parámetros.
   • Condiciones:
     • Camino de Jardín (GP): Las 8 demostraciones comparten una etiqueta opuesta a la respuesta de prueba.
     • Sin sentido variado: Las demostraciones utilizan tokens sin sentido diversos de un conjunto $\{foo, bar, vex, nit, orb\}$.
     • Multi-token: Uso de verbalizadores como "muy positivo" para descomponer la fijación de formato frente a contenido.
   • Métricas: Precisión, masa de probabilidad en conjuntos demostrados frente a respuestas correctas, y tasas de recuperación mediante parcheo.

2. Análisis Mecánico:

   • Parcheo de Activación Pareado por Ítem: Utilizado en Pythia-1B para intercambiar activaciones de capas de atención desde prompts de control (etiquetas correctas) hacia prompts de camino de jardín para identificar circuitos causales.
   • Lente de Logits: Aplicado en Llama-3.2-1B para rastrear la evolución de los logits a través de las capas, observando la trayectoria de "codificar-luego-anular".
   • Atribución Directa de Logits (DLA): Para identificar cabezas de atención específicas que contribuyen a la fijación.

Contribuciones Clave

1. Fenómeno General de Tarea: El efecto de fijación es robusto en cuatro tareas, seis modelos y tres familias de modelos (0.8B–8B). En las 12 combinaciones de tarea $\times$ modelo, la precisión de GP cae por debajo del 15%, con brechas de 64–100 puntos porcentuales en comparación con controles equilibrados.
2. Fijación a Nivel de Conjunto (Recuperación de Vocabulario Restringido): El artículo demuestra que la fijación opera sobre todo el conjunto de etiquetas demostradas, no solo sobre un solo token. Incluso con etiquetas sin sentido variadas, el modelo concentra el 42–67% de la probabilidad en el conjunto demostrado mientras suprime la respuesta semánticamente correcta ($P(perro) < 0.2\%$). Esto prueba que el modelo recupera del inventario demostrado en lugar de inferir a partir de conceptos latentes.
3. Generalización a Multiclase y Multi-token:
   • La fijación se extiende a la clasificación de 4 vías, reduciendo la precisión al 0% cuando las etiquetas son homogéneas.
   • En verbalizadores multi-token, la fijación se descompone en componentes de nivel de formato (adopción de la plantilla "muy X") y nivel de contenido (anulación de polaridad), los cuales son experimentalmente disociables.
4. Primer Circuito Causal para un Modo de Fallo de ICL:
   • En Pythia-1B, el parcheo pareado por ítem recupera el 98.4% de la brecha de precisión.
   • El circuito está localizado en un circuito centrado en la capa 7 (específicamente involucrando las capas 7, 10 y 11).
   • Una coalición dispersa de solo 4 cabezas (a través de 3 capas) logra una recuperación del 87.6%, aunque el circuito está distribuido (existen vías redundantes).
5. Replicación Cruzada de Arquitecturas: El análisis de lente de logits en Llama-3.2-1B confirma la trayectoria de codificar-luego-anular: las capas intermedias (L9–L11) codifican la respuesta correcta, pero las capas superiores (L12–L15) la anulan bajo condiciones de camino de jardín. El parcheo por ítem en Llama confirma la suficiencia causal (89% de recuperación con las 5 capas superiores).

Resultados

• Respuesta a la Dosis: La precisión disminuye monótonamente a medida que aumenta el número de demostraciones engañosas. En Qwen3-8B, una sola demostración engañosa adicional (pasando de $k=7$ a $k=8$) causa un colapso casi discontinuo de 42% a 0% de precisión.
• Límites a Nivel de Conjunto: Cuando una etiqueta correcta (por ejemplo, "perro") se excluye del conjunto demostrado, su probabilidad se suprime entre 1.6–9.4$\times$ en relación con los controles equilibrados, independientemente de la validez semántica de las etiquetas de demostración.
• Sesgo de Recencia: Una sola demostración correctiva en la posición final (posición 8) puede revertir completamente la fijación (0% $\to$ 100% de precisión), anulando siete demostraciones opuestas.
• Fallo de Calibración: Los métodos de calibración contextual no logran resolver la fijación, dejando una brecha residual de 40 puntos porcentuales.
• Ajuste de Instrucciones: Los modelos ajustados con instrucciones exhiben fijación bajo prompting crudo, aunque las plantillas de chat pueden reducir la brecha en algunos modelos (por ejemplo, Llama-3.2-3B-Instruct), lo que sugiere que el efecto interactúa con el formato del prompt.

Significado y Afirmaciones

El artículo afirma revelar que la salida de ICL es recuperación de vocabulario restringido en lugar de inferencia semántica o actualización bayesiana de conceptos latentes. El modelo vincula su salida al inventario de tokens demostrado independientemente de la plausibilidad semántica.

• Perspectiva Mecánica: La trayectoria de "codificar-luego-anular" proporciona una explicación mecánica para los fallos de ICL: el modelo calcula correctamente la respuesta en capas medias pero la descarta en capas superiores en favor del conjunto de etiquetas demostrado.
• Implicaciones Teóricas: Este hallazgo desafía la visión de ICL como inferencia bayesiana puramente implícita. Sugiere un mecanismo de "recuperación de conjunto condicionado a espacio" donde el espacio de la etiqueta define el soporte de la distribución de salida.
• Implicaciones Prácticas: Los autores identifican esto como un modo de fallo de fiabilidad concreto para sistemas desplegados (por ejemplo, pipelines RAG, andamios de agentes). Proponen que la diversidad de demostraciones es crítica; específicamente, añadir una sola demostración diversa y correctamente etiquetada al final de un prompt puede mitigar el efecto.
• Seguridad: El mecanismo constituye una superficie de ataque de inyección de prompts donde un adversario que controla la selección de demostraciones puede anular determinísticamente las predicciones del modelo asegurando la homogeneidad de las etiquetas.

El artículo concluye que, aunque el efecto persiste a 8B parámetros, la arquitectura específica del circuito varía según el modelo (por ejemplo, Pythia vs. Llama), y el fenómeno merece una mayor investigación en modelos más grandes y tareas de razonamiento.