Beyond Continuity: Challenges of Context Switching in Multi-Turn Dialogue with LLMs

Resumen Técnico: Más allá de la Continuidad: Desafíos del Cambio de Contexto en Diálogos de Múltiples Turnos con Modelos de Lenguaje Grandes

Declaración del Problema
En conversaciones de múltiples turnos del mundo real, los usuarios frecuentemente cambian a nuevos temas o refinan los existentes sin iniciar explícitamente una nueva sesión. Sin embargo, los Modelos de Lenguaje Grandes (LLMs) a menudo exhiben un "sesgo de continuidad", arrastrando contexto obsoleto e irrelevante de turnos anteriores incluso cuando la intención del usuario ha cambiado. Esto conduce a respuestas inexactas y a una falla en restablecer el contexto de manera apropiada. Si bien trabajos anteriores han abordado la gestión de contextos largos y la reescritura de consultas, la capacidad específica de los LLMs listos para usar de detectar cambios de tema (giros) y restablecer el contexto en un entorno de cero disparos (zero-shot) sigue siendo poco estudiada. Este artículo investiga la capacidad inherente de los LLMs para distinguir entre un usuario girando hacia un nuevo tema y refinando el tema actual, y su capacidad subsiguiente para seleccionar únicamente los turnos anteriores relevantes para la respuesta actual.

Metodología
Los autores construyen un marco de prueba de estrés utilizando benchmarks sintéticos derivados de dos conjuntos de datos del mundo real: TopiOCQA (búsqueda de conocimiento, preguntas y respuestas centradas en entidades) y MSC (Chat de Múltiples Sesiones, charla basada en personajes). Para crear "cambios duros" controlados, los autores concatenan segmentos iniciales de diferentes conversaciones, estableciendo etiquetas de verdad fundamental para cada turno del usuario como GIRO o REFINAR, junto con una lista corta de verdad fundamental de índices de turnos anteriores relevantes.

El estudio evalúa tres variantes experimentales:

1. V1 (Concatenación Dura): Las conversaciones se unen sin ningún texto de enlace, creando un giro difícil e implícito.
2. V2 (Puente con Pista): Se inserta una frase de pista léxica (por ejemplo, "cambiando de marcha") en el turno de giro para proporcionar una señal explícita.
3. V3 (Estudio de Posición): Se inserta un único giro en posiciones variables (turnos 2–20) dentro de una sesión para analizar el sesgo de posición.

Los autores evalúan diez LLMs en tres categorías: modelos de peso abierto no razonadores, modelos de fuente cerrada no razonadores y modelos razonadores. La evaluación se realiza en un entorno de cero disparos, solicitando a los modelos que generen un objeto JSON que contenga una etiqueta predicha (GIRO/REFINAR) y una lista de índices de turnos anteriores relevantes.

Contribuciones Clave

• Formalización de la Detección de Giros y el Restablecimiento de Contexto: El artículo formaliza la tarea como un problema dual: (1) clasificar la intención del usuario (giro vs. refinar) y (2) seleccionar el subconjunto correcto de turnos anteriores.
• Nueva Métrica de Evaluación (Tasa de Arrastre Excesivo): Los autores introducen la métrica Arrastre Excesivo (Over-Carry, OC) para cuantificar los errores de arrastre de contexto específicamente en los turnos de giro. A diferencia de las puntuaciones F1 estándar, OC mide directamente la capacidad de un modelo para "resetear" su política de recuperación cuando ocurre un cambio de tema (es decir, la lista corta predicha debería estar vacía para un giro).
• Benchmark Exhaustivo de Cero Disparos: El estudio proporciona una de las primeras comparaciones directas de diversas familias de LLMs (abiertas/cerradas, razonadoras/no razonadoras) en la detección de giros y el restablecimiento de contexto sin ajuste fino específico de la tarea.
• Análisis de Modos de Fallo: El artículo identifica patrones de fallo específicos, incluidos comportamientos de "arrastre constante" en modelos de peso abierto, restablecimiento conservador en otros, y un sesgo de posición significativo donde los giros posteriores son más difíciles de detectar.

Resultados
La evaluación revela niveles de rendimiento distintos y modos de fallo:

• Modelos Razonadores: Los modelos con capacidades de razonamiento explícito (por ejemplo, o3, Claude-3.7-sonnet, Gemini-2.5-pro) demuestran un rendimiento superior. Logran altas puntuaciones F1_GIRO y un OC cercano a cero, lo que indica que "bloquean" eficazmente el contexto y descartan información irrelevante en los cambios de tema.
• Modelos de Fuente Cerrada No Razonadores: Modelos como gpt-4o funcionan bien en tareas de búsqueda de conocimiento (TopiOCQA) con bajo arrastre excesivo, pero luchan más en la charla basada en personajes (MSC), mostrando un OC más alto. gpt-4o-mini muestra una detección fuerte pero sufre de un arrastre excesivo dramático, revelando un fuerte sesgo de continuidad.
• Modelos de Peso Abierto: Estos modelos generalmente luchan. Algunos (por ejemplo, Gemma-3, Llama-3.1) muestran una detección razonable pero un OC alto, lo que indica una desalineación entre su cabeza de clasificación y el mecanismo de selección de contexto (reconocen un giro pero aún arrastran contexto obsoleto). Otros (por ejemplo, Mistral-7.2B) tienen un rendimiento deficiente en ambas métricas. Phi-4 muestra un OC muy bajo pero una detección deficiente, lo que sugiere una política de restablecimiento demasiado agresiva que pasa por alto giros reales.
• Sesgo de Posición: Surge una tendencia clara donde F1_GIRO se degrada a medida que aumenta la posición del giro (más adelante en la conversación). Esto indica que a medida que crece el historial de conversación, los modelos se vuelven menos fiables para detectar cambios, un fenómeno exacerbado en modelos no razonadores.
• Impacto de las Pistas: La presencia de frases de pista explícitas (V2) mejora el rendimiento en la mayoría de los modelos, particularmente para aquellos con fuertes capacidades de seguimiento de instrucciones, lo que sugiere que los límites léxicos actúan como desencadenantes efectivos para el restablecimiento de contexto.

Significado y Afirmaciones
El artículo afirma que, aunque algunos LLMs avanzados (específicamente modelos razonadores y fuertemente instruidos) poseen la capacidad inherente de detectar giros y restablecer el contexto, muchos modelos de vanguardia de peso abierto fallan en hacerlo de manera fiable sin ajuste fino. Los autores argumentan que la "adherencia" del contexto obsoleto es un modo de fallo crítico para la robustez a largo plazo en diálogos de múltiples turnos.

El estudio concluye que mejorar las capacidades de múltiples turnos requiere abordar brechas específicas:

1. Ajuste Fino Dirigido: Para alinear las cabezas de clasificación con los mecanismos de selección de contexto.
2. Tubería de Dos Etapas: Separar la detección de giros de la selección de contexto.
3. Decaimiento Consciente de la Posición: Mitigar la degradación del rendimiento a medida que aumenta la longitud de la conversación.
4. Guardianes en Tiempo de Inferencia: Implementar reglas para imponer restablecimientos de contexto en los límites detectados.

Los autores posicionan este trabajo como una lente diagnóstica para comprender las limitaciones inherentes de los LLMs listos para usar en diálogos dinámicos, enfatizando que los modelos actuales a menudo priorizan la coherencia sobre la disciplina del contexto, lo que conduce a errores en aplicaciones del mundo real donde los cambios de tema son frecuentes.