When the Database Fails: Prompting LLM Dialogue Agents for Safe Recovery in Task-Oriented Dialogue

Resumen Técnico: Cuando la base de datos falla: Prompteado de agentes de diálogo LLM para una recuperación segura en el diálogo orientado a tareas

Declaración del Problema

Los sistemas de diálogo orientados a tareas (TOD, por sus siglas en inglés), que asisten a los usuarios en la reserva de hoteles, búsqueda de restaurantes y organización de transporte, suelen depender de un flujo de trabajo donde los Modelos de Lenguaje de Gran Escala (LLM) extraen la intención, consultan una base de datos de backend y generan respuestas fundamentadas en los resultados. Este flujo es frágil en la frontera de la base de datos. En despliegues del mundo real, las fallas del backend —específicamente los resultados vacíos (sin registros coincidentes), los retornos de dominio incorrecto (datos de un dominio erróneo) y los errores de API (tiempos de espera o fallos del servidor)— a menudo causan que los agentes de LLM produzcan respuestas fluidas pero inseguras. En lugar de reconocer la falla, los agentes frecuentemente alucinan, inventando establecimientos, confirmaciones o detalles de reserva que no están respaldados por la base de datos. El trabajo previo se ha centrado principalmente en fallas generales de herramientas de agentes o estresores de comportamiento del usuario, careciendo de una evaluación controlada de las fallas de ejecución de la base de datos en tiempo de ejecución en sistemas TOD que aísle las estrategias de recuperación basadas únicamente en el prompting sin necesidad de reentrenamiento.

Metodología

Los autores proponen un marco de inyección de fallas controlado para evaluar las estrategias de recuperación a través de dos conjuntos de datos estructuralmente diferentes: MultiWOZ 2.2 (5 dominios) y SGD (20 dominios).

• Inyección de Fallas: Para cada diálogo de prueba, el sistema extrae el primer turno del usuario e inyecta sintéticamente una de cuatro condiciones de la base de datos:

  1. Limpio (Clean): Resultado válido (línea base de sanidad).
  2. Resultado Vacío (Empty Result): Cero coincidencias (acción correcta: reconocer la falla, ofrecer relajación de restricciones).
  3. Dominio Incorrecto (Wrong Domain): Resultados de un dominio incorrecto (acción correcta: detectar la discrepancia, confirmar con el usuario).
  4. Error de API (API Error): Tiempo de espera o error 503 (acción correcta: disculparse, pedir reintento).
     Nota: El uso del primer turno aísla el comportamiento de recuperación inmediato, evitando confusiones derivadas del seguimiento de estado de múltiples turnos.

• Estrategias de Recuperación: El estudio compara tres estrategias de prompting a través de seis familias de modelos de pesos abiertos (DeepSeek-R1, Gemma-2, Llama-3, Mistral, Phi-3, Qwen-2.5) utilizando una temperatura de decodificación fija (0.2):

  1. Ingenuo (Naive): Se pasa la respuesta bruta de la base de datos sin instrucciones especiales.
  2. Informar (Inform): Instrucción explícita de no alucinar y de reconocer las fallas honestamente.
  3. Reintento Guiado (Guided-Retry): Un procedimiento de decisión estructurado vinculado al campo de estado de la base de datos, que proporciona instrucciones explícitas por cada tipo de falla y una prohibición estricta de fabricar nombres de establecimientos, referencias de reserva o detalles de confirmación.

• Métricas:

  • Tasa de Alucinación (HR): Fracción de turnos no limpios donde el agente fabrica un resultado ausente en la respuesta de la BD.
  • Tasa de Acción Apropiada (AAR): Fracción que coincide con las acciones correctas de la verdad de referencia (ground-truth) por tipo de falla.
  • Tasa de Seguridad de Compromiso (CSR): Fracción de turnos no limpios libres de compromisos falsos explícitos (ej. referencias de reserva inventadas). Esta métrica fue validada por anotadores humanos (Fleiss' $\kappa = 0.7672$).
  • Puntuación de Fricción del Usuario (UFS): Una puntuación compuesta que penaliza las alucinaciones y las fallas silenciosas.

Resultados Clave

El estudio encuentra que, si bien el prompting estructurado mejora significamente la robustez, no elimina la alucinación.

• Desempeño General: La estrategia Guided-Retry supera consistentemente tanto a las líneas base Naive como a Inform en todos los seis modelos.

  • En MultiWOZ, Guided-Retry reduce la Tasa de Alucinación (HR) promedio del 30.5% (Naive) al 15.3% (una reducción del 50%) y mejora la Tasa de Acción Apropiada (AAR) al 83.0%.
  • En SGD, la HR se reduce del 20.9% al 12.2% (una reducción del 42%), con una AAR que alcanza el 83.9%.
  • Estas mejoras son estadísticamente significativas ($p < 0.001$) en todos los modelos.

• Varianza de los Modelos:

  • DeepSeek-R1 logró la HR más baja bajo Guided-Retry (5.8% en MultiWOZ).
  • Phi-3 fue una excepción notable; funcionó peor bajo Guided-Retry que bajo la estrategia Inform (HR 35.2% vs. 31.0%), lo que sugiere que no sigue de manera confiable las instrucciones de recuperación estructuradas.

• Análisis de Tipo de Falla:

  • La recuperación de dominio incorrecto resultó ser el caso de falla más difícil. Incluso con Guided-Retry, la alucinación residual siguió siendo alta (20.8% en MultiWOZ, 17.0% en SGD), indicando que los modelos a menudo adoptan el vocabulario del dominio incorrecto en lugar de detectar la discrepancia.
  • Los errores de API mostraron el beneficio más claro del prompting estructurado, con reducciones de HR de aproximadamente 25 puntos porcentuales en ambos conjuntos de datos.

• Alucinación Residual: A pesar de las mejoras, persiste una tasa de alucinación residual sustancial de entre el 6% y el 37% en todos los modelos y conjuntos de datos, lo que indica que el prompting de recuperación por sí solo es insuficiente para una robustez total.

Significancia y Contribuciones

El artículo realiza cuatro contribuciones principales:

1. Marco Controlado: Un marco de inyección de fallas para MultiWOZ y SGD que aísla las fallas de ejecución de la base de datos en tiempo de ejecución de los estresores de comportamiento del usuario.
2. Evaluación de Prompting: Una evaluación que demuestra que la adición de un único system-prompt estructurado puede reducir la alucinación entre un 42% y un 50% sin reentrenamiento, llamadas de inferencia adicionales o una ingeniería significativa.
3. Métricas: Un conjunto de métricas automáticas y validadas por humanos para la recuperación de fallas, incluyendo la Tasa de Seguridad de Compromiso (CSR).
4. Hallazgos Empíricos: El hallazgo de que, si bien el Guided-Retry reduce la alucinación, deja una tasa residual no trivial (6–37%), siendo las fallas de dominio incorrecto el desafío más persistente.

Los autores concluyen que, aunque el Guided-Retry ofrece el comportamiento más seguro en general y es una intervención práctica y de bajo costo para mejorar la robustez de los TOD, no es una solución completa. La persistencia de las alucinaciones residuales sugiere que la recuperación mediante prompting debe complementarse con otras medidas para un despliegue robusto en el mundo real.