MT-OSC: Path for LLMs that Get Lost in Multi-Turn Conversation

Resumen Técnico: MT-OSC

Declaración del Problema

Los Modelos de Lenguaje Extensos (LLMs) exhiben una degradación significativa en el rendimiento cuando las instrucciones de la tarea y el contexto crítico se fragmentan a través de múltiples turnos de conversación. Mientras que los benchmarks de un solo turno muestran resultados sólidos, el diálogo en el mundo real distribuye naturalmente la información, las aclaraciones y las intenciones a lo largo de varios intercambios. Esta fragmentación crea dos desafíos primarios:

1. Dispersión de la Información: Los LLMs tienen dificultades para recordar e integrar con precisión detalles cruciales dispersos a través de los turnos, lo que genera inconsistencias y errores en comparación con las consultas de un solo mensaje.
2. Agotamiento de la Ventana de Contexto: El enfoque estándar de concatenar el historial de chat completo en los prompts consume rápidamente las ventanas de contexto. A medida que las conversaciones se alargan, esto conduce a un aumento en la latencia, mayores costos computacionales y rendimientos decrecientes, lo que a menudo obliga a los sistemas a truncar el historial o fallar.

Las soluciones existentes, como la sumarización ad-hoc, corren el riesgo de omitir contexto esencial necesario para el razonamiento complejo. Otros métodos, como los diálogos con aumentación de recuperación o la compresión jerárquica, a menudo requieren el ajuste fino del modelo, esquemas de selección complejos o introducen latencia mediante la recuperación en tiempo real, limitando su escalabilidad y facilidad de integración.

Metodología: Marco de Trabajo MT-OSC

Los autores proponen MT-OSC (Multi-Turn One-off Sequential Condensation), un marco diseñado para condensar automáticamente el historial de chat en segundo plano sin interrumpir la experiencia del usuario ni requerir el reentrenamiento del modelo. El sistema opera a través de tres componentes principales:

1. Agente Condensador (Condenser Agent)

El Condensador es un agente basado en LLM (utilizando Llama-3.3-70B-Instruct en los experimentos) que emplea un enfoque de inferencia basado en pocos ejemplos (few-shot). A diferencia de la sumarización genérica, está ajustado con ejemplares curados que demuestran políticas de condensación específicas:

• Retener el texto clave del usuario de forma literal para referencia futura.
• Consolidar información exhaustiva.
• Excluir de forma segura los turnos irrelevantes.
  El agente genera un par usuario-asistente condensado $(C_{ju}, C_{ja})$ junto con el razonamiento de la estrategia utilizada. Esto permite al modelo adaptarse dinámicamente a diversos patrones de diálogo observados en conjuntos de datos públicos.

2. Módulo Decisor (Decider Module)

Para evitar la pérdida de información en diálogos densos o repetitivos, un componente Decisor ligero determina de forma adaptativa si se aplica la condensación. Emplea una función basada en reglas para cuantificar la redundancia y la novedad:

• Representa los mensajes del usuario y las respuestas del asistente como conjuntos de palabras de contenido normalizadas.
• Calcula la superposición entre los turnos del asistente en relación con las consultas previas del usuario.
• Lógica: Si la superposición promedio de palabras entre los turnos del asistente supera un umbral $\gamma$ (p. ej., 0.2) y el total de tokens de contenido del usuario supera un umbral $\tau$ (p. ej., 1000) a través de una ventana de $w$ turnos, la condensación se retiene ($D_w = 0$). De lo contrario, la condensación se aplica ($D_w = 1$).
  Esta salvaguarda asegura que las conversaciones ricas en información o altamente repetitivas conserven la fidelidad necesaria.

3. Estrategia de Condensación Secuencial de Un Solo Paso (One-off Sequential Condensation Strategy)

MT-OSC procesa las conversaciones secuencialmente en una ventana deslizante de tamaño $w$ (p. ej., $w=4$).

• A medida que la conversación progresa, una vez que se acumulan $w$ turnos, el Condensador genera una representación condensada de esa ventana.
• Este historial condensado reemplaza el historial bruto para las entradas subsecuentes, mientras que los turnos más recientes permanecen en su forma original.
• El proceso se repite a medida que se añaden nuevos turnos, asegurando que la entrada del modelo siempre contenga un historial compacto y contextualmente relevante.
• Ejecución Asíncrona: La condensación se ejecuta como un proceso en segundo plano. Dado que la salida no es requerida para el siguiente turno inmediato (se utiliza para el siguiente-al-siguiente turno), no añade latencia a la experiencia del usuario.

Contribuciones Clave

1. Marco Independiente de la Tarea (Task-Agnostic): MT-OSC logra hasta una reducción de tokens del 72% en diálogos de 10 turnos sin interrumpir la experiencia del usuario, operando enteramente en segundo plano sin modificaciones del modelo ni ajuste fino.
2. Agente de Condensación Robusto: El marco introduce un Agente Condensador utilizando ejemplos de pocos disparos (few-shot) curados para preservar el contexto matizado, junto con un Decisor configurable para minimizar la pérdida de información en diálogos densos.
3. Evaluación Escalable: Experimentos extensos a través de 13 LLMs de vanguardia y 10 diversos benchmarks multi-turno demuestran la amplia aplicabilidad y robustez del marco contra distracciones y turnos redundantes.

Resultados

La evaluación utilizó 10 conjuntos de datos, incluyendo versiones fragmentadas de benchmarks estándar (GSM8K, BFCL, HumanEval, Spider, Summary of Hayckstack) y conjuntos de datos MT-EVAL (Recollection, Expansion, Follow-up, Refinement).

• Preservación y Mejora del Rendimiento: A través de 13 LLMs, MT-OSC redujo consistentemente la brecha de rendimiento multi-turno. En muchos casos (p. ej., GSM8K, BFCL, HumanEval), mejoró la precisión en comparación con la línea base de pasar el historial de chat completo. Por ejemplo, en el conjunto de datos fragmentado BFCL, MT-OSC mejoró la precisión del 81.13% al 86.79% mientras reducía los tokens.
• Reducción de Tokens: MT-OSC redujo los tokens del historial de chat en un promedio del 41% en los conjuntos de datos, con reducciones que alcanzan el 72% en diálogos de 10 turnos. Para conversaciones con más de 6 turnos, la reducción promedio fue del 44.56%.
• Robustez: El marco se mantuvo resiliente cuando fue probado contra ruido sintético, incluyendo la infusión de repeticiones, inyección de relleno y desviación contextual. MT-OSC a menudo mostró ganancias de rendimiento similares o superiores en datos con ruido en comparación con datos limpios, mitigando eficazmente el impacto de la información irrelevante.
• Latencia y Costo: Al reducir la longitud del prompt, MT-OSC disminuye el Tiempo al Primer Token (TTFT). Los autores estiman una reducción de latencia de aproximadamente 1.1–1.2 segundos para chats con 4,000 tokens, junto con ahorros operativos significativos.
• Estudios de Ablación:
  • Eliminar el Decider provocó caídas en el rendimiento en conjuntos de datos complejos, confirmando su papel en la salvaguarda de la información.
  • Reemplazar el Condenser con prompts de sumarización simple resultó en tasas de éxito más bajas, resaltando la necesidad del enfoque de pocos disparos (few-shot) curado para preservar instrucciones y contexto críticos.

Significado

El artículo posiciona a MT-OSC como una solución práctica y escalable para el cuello de botella del contexto multi-turno. Aborda el compromiso entre la retención de contexto y la eficiencia al permitir un contexto más rico dentro de espacios de entrada restringidos. A diferencia del trabajo previo que depende de arquitecturas complejas o intervención manual, MT-OSC ofrece una solución de implementación directa que equilibra el rendimiento, la latencia y el costo. Los autores afirman que permite aplicaciones más amplias de la IA conversacional en sistemas de chat al permitir que los modelos manejen diálogos extendidos y fragmentados sin la degradación del rendimiento típicamente asociada con contextos largos.

Limitaciones Notadas: El estudio se basa en conjuntos de datos con menos de 12 turnos y diálogos de tema único principalmente limpios. Los autores señalan que las conversaciones del mundo real a menudo involucran una mayor complejidad lingüística, diversidad de temas y uso de herramientas dirigido por agentes, lo que representa áreas para la exploración futura.