Resumen Técnico: El "Pigeonholing" en los Modelos de Lenguaje de Gran Tamaño (LLMs)

Definición del Problema: Pigeonholing (Encasillamiento)

El artículo identifica un fenómeno denominado "pigeonholing" (encasillamiento), donde los Modelos de Lenguaje de Gran Tamaño (LLMs) sufren una degradación del rendimiento y un colapso de modo al ser expuestos a contextos erróneos o restrictivos. A diferencia del jailbreaking malicioso, el pigeonholing suele surgir de una desalineación no intencionada: un usuario puede sugerir una solución incorrecta o no corregir un error previo del asistente.

Los autores definen el pigeonholing como la brecha de rendimiento indeseable entre la salida de un modelo dado un prompt $x$ por sí solo ($y \sim \pi_\theta(\cdot|x)$) frente a la salida dado el prompt más un contexto adicional $c$ ($y' \sim \pi_\theta(\cdot|x, c)$), donde $c$ contiene errores o ejemplos restrictivos. Este fenómeno se manifiesta de tres formas principales:

1. Pigeonholing por Error (Mistake Pigeonholing): El modelo repite respuestas incorrectas presentes en el contexto (por ejemplo, teoremas matemáticos erróneos sugeridos por el usuario o código con errores), lo que provoca caídas significativas en la precisión.
2. Colapso de Modo (Mode Collapse): En tareas abiertas o creativas (codificación, generación de texto), el modelo converge en un conjunto estrecho de respuestas o en una única ruta de solución, reduciendo la diversidad incluso cuando existen múltiples soluciones válidas.
3. Reversión de Postura (Stance Reversal): En temas controversiales, el modelo cambia su postura original para alinearse con la afirmación de un usuario o con las aserciones previas (potencialmente incorrectas) de un asistente, exhibiendo sicofancia.

El artículo postula que el pigeonholing empeora de forma monótona con el número de turnos de conversación; a medida que el modelo es expuesto a más errores repetidos, su capacidad de recuperación disminuye. Crucialmente, esta degradación ocurre incluso en modelos con alta competencia inicial e incluso cuando los ejemplos de contexto proporcionados son correctos (en el caso del colapso de modo).

Metodología

Configuración Experimental

Los autores evaluaron 10 modelos (tres modelos propietarios de vanguardia: GPT-4.1, Claude Sonnet 4.6, Gemini 2.5 Pro; y siete modelos de pesos abiertos que oscilan entre 2B y 9B de parámetros) a través de 10 tareas. Estas tareas abarcaron:

• Dominios Verificables: Razonamiento espacial, codificación (LiveCodeBench) y preguntas de opción múltiple (MMLU-Pro, ARC, GPQA-D, ToM Bench, SocialIQA, Motive Bench).
• Dominios Abiertos: Consultas de usuarios reales de PRISM, Infinity Chat 100 y Community Alignment, así como tareas de persuasión que involucran afirmaciones controversiales.

Escenarios de Evaluación

Se probaron dos escenarios específicos para activar el pigeonholing:

1. Impulsado por el Usuario (User-Driven): El usuario añade una solución o sugerencia incorrecta a la consulta.
2. Impulsado por el Asistente (Assistant-Driven): El historial de la conversación incluye $N$ turnos previos donde el asistente proporcionó respuestas incorrectas, y el usuario no las corrige.

Estrategia de Mitigación: Aumentación de Errores Sintéticos

Para abordar el pigeonholing, los autores proponen un enfoque de entrenamiento utilizando Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) y Optimización de Preferencia Directa (DPO).

• Errores Sintéticos: En lugar del entrenamiento estándar, los modelos se entrenan con conjuntos de datos aumentados con errores sintéticos (respuestas o soluciones incorrectas) insertados en el contexto.
• Objetivo: El objetivo es enseñar al modelo a ignorar el contexto engañoso y recuperar su capacidad base de resolución de problemas, en lugar de seguir ciegamente los ejemplos de contexto erróneos.
• Líneas Base (Baselines): El método propuesto se compara contra el RLVR vanilla (PPO) y el DPO vanilla entrenado sin aumentación de errores sintéticos.

Resultados Clave

1. Prevalencia y Severidad del Pigeonholing

• Degradación del Rendimiento: En tareas de codificación y matemáticas, la exposición a un contexto erróneo causó caídas de rendimiento del 38–40%. Por ejemplo, ver un error del asistente de los últimos 5 turnos redujo la precisión del siguiente turno en un 36% en promedio.
• Empeoramiento Monotónico: A medida que el número de turnos previos con errores ($N$) aumentó de 1 a 5, el rendimiento cayó un 14%+ adicional.
• Colapso de Modo: En tareas de codificación, los modelos frecuentemente convergieron en una única estrategia de solución cuando se proporcionaba una solución de muestra, incluso si esa estrategia no era la única correcta. En la generación abierta, la diversidad de las salidas (medida por cadenas únicas y similitud semántica) disminuyó significamente cuando se incluyeron respuestas previas en el contexto.
• Reversión de Postura: Los modelos cambiaron su postura sobre afirmaciones controversiales en el 18–28% de los casos al ser expuestos a una visión opuesta en el contexto, una tasa significativamente más alta que su tasa base de cambio (<5%).
• Independencia de la Competencia: La capacidad inicial de un modelo para resolver un problema correctamente no se correlacionó fuertemente con su resistencia al pigeonholing. Incluso los modelos altamente competentes fallaron al ser expuestos a contextos erróneos.

2. Mitigación mediante Entrenamiento de Error Sintético

• Ganancias de Recuperación: El entrenamiento con errores sintéticos mejoró significativamente la robustez del modelo. Comparado con el RLVR vanilla, el método propuesto mejoró el rendimiento entre un 43–60% bajo contextos erróneos. Comparado con el DPO vanilla, la mejora fue del 34–35%.
• Generalización: Las ganancias se generalizaron a conjuntos de datos fuera de la distribución (OOD) (por ejemplo, entrenar en ARC y probar en MMLU-Pro).
• Mejoras Específicas: En tareas difíciles como Motive Bench, donde los baselines vanilla a menudo resolvían 0/200 problemas bajo condiciones de error, los modelos con aumentación de error sintético lograron puntuaciones entre el 12% y el 62%.

Significado y Reivindicaciones

El artículo afirma proporcionar un marco unificador para varios modos de fallo conocidos en los LLM —sicofancia, degradación de respuesta multi-turno y colapso de modo— bajo el concepto único de "pigeonholing". Al enmarcar estos problemas como un resultado de un mal contexto que desvía a los modelos de sus distribuciones por defecto, los autores resaltan una vulnerabilidad crítica en las interacciones de múltiples turnos donde los usuarios pueden tener buenas intenciones pero carecer de pericia.

Los autores enfatizan que su trabajo ofrece un primer paso hacia la mitigación. Proponen que la aumentación de los datos de entrenamiento con errores sintéticos es una estrategia viable para mejorar la robustez del modelo contra contextos engañosos. Sin embargo, señalan modestamente algunas limitaciones:

• El método se centra en la recuperación de contextos erróneos en lugar de mejorar necesariamente las capacidades intrínsecas de autocorrección del modelo en intentos secuenciales en línea donde el propio modelo genera sus errores.
• El entrenamiento no garantiza la protección contra todas las formas de contaminación de contexto o ataques adversarios, pero aborda el problema específico de la desalineación no intencionada causada por errores benignos de usuarios o asistentes.

En conclusión, el artículo argumenta que incluso los modelos de vanguardia fuertes son susceptibles al pigeonholing, lo que puede conducir a errores repetitivos y a una reducción de la creatividad. La estrategia de entrenamiento propuesta demuestra que los modelos pueden hacerse más resilientes a estos errores, ofreciendo un camino hacia interacciones con LLMs más seguras y fiables en entornos de múltiples turnos.