When Correct Demonstrations Hurt: Rethinking the Role of Exemplars in In-Context Learning

Resumen Técnico: Cuando las Demostraciones Correctas Perjudican: Replanteando el Papel de los Ejemplares en el Aprendizaje en Contexto

Enunciado del Problema
El aprendizaje en contexto (ICL) permite que los modelos de lenguaje grandes (LLM) se adapten a nuevas tareas condicionándose sobre un pequeño conjunto de demostraciones de entrada-salida sin actualizar parámetros. Una intuición predominante sugiere que las demostraciones son beneficiosas porque proporcionan ejemplos correctos del mapeo de la tarea objetivo. Sin embargo, este trabajo identifica un fenómeno contra intuitivo: la corrección de los ejemplares no garantiza su utilidad. Los autores demuestran que las demostraciones pueden ser individualmente válidas bajo la definición de la tarea (es decir, el par entrada-salida satisface el mapeo de la tarea) y, no obstante, degradar el rendimiento del ICL cuando se utilizan como evidencia contextual. Esta "brecha entre corrección y utilidad" surge porque el modelo no aprende meramente un mapeo a partir de pares individuales, sino que infiere una tarea latente, un régimen de entrada y una regla de decisión a partir de la mezcla de todos los ejemplares proporcionados.

Metodología: Perturbaciones que Preservan la Tarea
Para aislar la distinción entre corrección y utilidad, los autores introducen perturbaciones que preservan la tarea. Este marco implica modificar el lado de la entrada de los ejemplares en contexto, manteniendo estrictamente la definición de la tarea, el formato del prompt y el orden de las demostraciones. Crucialmente, cada ejemplar perturbado se empareja con el objetivo inducido por el mismo mapeo de tarea $g_T$, asegurando que la demostración permanezca "correcta" de forma aislada.

El marco abarca dos regímenes:

1. Perturbaciones de Actualización de Etiquetas: Se alteran las semánticas relevantes para la tarea y se recalcula el objetivo según el mapeo de la tarea (por ejemplo, cambiar una oración de sentimiento de positiva a negativa y actualizar la etiqueta).
2. Perturbaciones Estrictas de Conservación del Objetivo: El objetivo original permanece válido, pero la entrada se modifica para incluir distracciones o reordenamientos (por ejemplo, añadir hechos numéricos irrelevantes a un problema de matemáticas o insertar premisas distractores en el razonamiento lógico).

Los autores definen la razón de perturbación $\rho$ como la proporción de ejemplares reemplazados por estas variantes que preservan la tarea. Formalizan el modo de fallo resultante como desplazamiento de la evidencia contextual: las perturbaciones alteran la mezcla efectiva de evidencia que el modelo utiliza para la inferencia, desplazando el contexto de decisión inferido por el modelo, incluso cuando el mapeo subyacente de la tarea permanece sin cambios.

Contribuciones Clave

1. Identificación de la Brecha entre Corrección y Utilidad: El artículo establece que una demostración puede satisfacer la condición de corrección ($y_i = g_T(x_i)$) mientras tiene utilidad negativa (aumentando el riesgo en consultas limpias) debido a su interacción con el contexto más amplio.
2. Marco Metodológico: La introducción de perturbaciones que preservan la tarea como una intervención controlada. A diferencia de estudios adversarios anteriores que alteran etiquetas o semánticas de la tarea, este método preserva el mapeo de la tarea para probar específicamente cómo los desplazamientos en la distribución de entrada afectan al ICL.
3. Formalización Teórica: Se formaliza el concepto de desplazamiento de la evidencia contextual, mostrando cómo las perturbaciones cambian la mezcla de evidencia efectiva ($m_\theta$) utilizada para la inferencia contextual, separando así la razón de perturbación nominal del peso efectivo que el modelo asigna a la evidencia perturbada.

Resultados Experimentales
Los autores evaluaron modelos de instrucción ajustados de pesos abiertos (Llama-2, Llama-3.1, Qwen2.5/3.5, Gemma-4) en tres dominios: clasificación de sentimientos (SST-2), razonamiento lógico (ProverQA) y problemas de palabras matemáticas (PROBLEMATHIC).

• Degradación del Rendimiento: En todas las tareas, aumentar la razón de perturbación $\rho$ degradó sustancialmente el rendimiento del ICL. En algunos casos (por ejemplo, SST-2 con modelos más pequeños), el rendimiento cayó por debajo de las líneas base de cero disparos.
• Sensibilidad a la Escala del Modelo: La degradación fue fuertemente dependiente de la escala. Los modelos más pequeños (por ejemplo, 7B–14B) mostraron una vulnerabilidad significativa, mientras que los modelos más grandes (por ejemplo, 70B+) permanecieron relativamente estables. Por ejemplo, en SST-2, la precisión de Llama-2-7B cayó del 96,4 % al 56,9 % con una perturbación del 100 %, mientras que Llama-3.1-70B se mantuvo cerca del 100 %.
• Dificultad de la Tarea: Las tareas más difíciles (por ejemplo, razonamiento lógico complejo o problemas matemáticos) mostraron una mayor sensibilidad a las perturbaciones, particularmente para los modelos más pequeños.
• Efectos Posicionales: Las perturbaciones colocadas cerca de la consulta (perturbaciones en la cola) fueron desproporcionadamente dañinas para los modelos más pequeños, los cuales mostraron una fuerte sensibilidad a la recencia. El análisis de los mapas de atención reveló que los modelos más grandes fueron capaces de reasignar mejor la atención a los ejemplares tempranos y limpios, mitigando el desplazamiento de la evidencia.
• Experimentos de Control: Reemplazar ejemplares con declaraciones factuales irrelevantes para la tarea causó solo una degradación leve, confirmando que el daño proviene de una evidencia válida para la tarea pero desplazada distribucionalmente, en lugar de una interrupción genérica del prompt o un fallo en el reconocimiento de la tarea.

Significado y Afirmaciones
El artículo argumenta que un ICL robusto requiere evaluar no solo si las demostraciones son correctas, sino también cómo influyen en la inferencia contextual. Los autores afirman que la efectividad de un conjunto de demostraciones depende de su composición global y de la mezcla de evidencia resultante, no solo de la calidad individual de los ejemplos.

El estudio concluye que la "corrección" de un ejemplar es una propiedad local, mientras que la "utilidad" es dependiente del contexto. En consecuencia, las tuberías estándar de ICL que seleccionan ejemplares basándose únicamente en la corrección o la similitud pueden introducir inadvertidamente evidencia contextual dañina. Los autores posicionan su trabajo como una abstracción explicativa (desplazamiento de la evidencia contextual) en lugar de un relato mecánico completo, señalando limitaciones como el enfoque en el ICL solo de texto y las perturbaciones controladas. Sugieren que el trabajo futuro debería explorar mecanismos de defensa que seleccionen o ponderen las demostraciones por utilidad en lugar de por corrección únicamente.