When the Database Fails: Prompting LLM Dialogue Agents for Safe Recovery in Task-Oriented Dialogue

Resumo Técnico: Quando o Banco de Dados Falha: Prompting de Agentes de Diálogo LLM para Recuperação Segura em Diálogos Orientados a Tarefas

Declaração do Problema

Sistemas de diálogo orientados a tarefas (TOD), que auxiliam usuários na reserva de hotéis, busca de restaurantes e organização de transporte, geralmente dependem de um pipeline onde Modelos de Linguagem de Grande Escala (LLMs) extraem a intenção, consultam um banco de dados de backend e geram respostas fundamentadas nos resultados. Este pipeline é frágil na fronteira do banco de dados. Em implementações do mundo real, falhas de backend — especificamente resultados vazios (nenhum registro correspondente), retornos de domínio errado (dados de um domínio incorreto) e erros de API (timeouts ou falhas de servidor) — frequentemente fazem com que os agentes de LLM produzam respostas fluentes, porém inseguras. Em vez de reconhecer a falha, os agentes frequentemente alucinam, inventando locais, confirmações ou detalhes de reserva não suportados pelo banco de dados. Trabalhos anteriores focaram amplamente em falhas gerais de ferramentas de agentes ou estressores de comportamento do usuário, carecendo de uma avaliação controlada de falhas de execução de banco de dados em tempo de execução em sistemas TOD que isole estratégias de recuperação baseadas apenas em prompting sem retreinamento.

Metodologia

Os autores propõem um framework de injeção de falhas controlado para avaliar estratégias de recuperação em dois conjuntos de dados estruturalmente diferentes: MultiWOZ 2.2 (5 domínios) e SGD (20 domínios).

• Injeção de Falhas: Para cada diálogo de teste, o sistema extrai a primeira interação do usuário e injeta sinteticamente uma de quatro condições de banco de dados:

  1. Limpa (Clean): Resultado válido (baseline de sanidade).
  2. Resultado Vazio (Empty Result): Zero correspondências (ação correta: reconhecer a falha, oferecer relaxamento de restrições).
  3. Domínio Errado (Wrong Domain): Resultados de um domínio incorreto (ação correta: detectar incompatibilidade, confirmar com o usuário).
  4. Erro de API (API Error): Timeout ou erro 503 (ação correta: pedir desculpas, solicitar nova tentativa).
     Nota: O uso da primeira interação isola o comportamento de recuperação imediata, evitando confusões provenientes do rastreamento de estado de múltiplos turnos.

• Estratégias de Recuperação: O estudo compara três estratégias de prompting através de seis famílias de modelos de pesos abertos (DeepSeek-R1, Gemma-2, Llama-3, Mistral, Phi-3, Qwen-2.5) usando uma temperatura de decodificação fixa (0.2):

  1. Ingênua (Naive): Resposta bruta do banco de dados passada sem instrução especial.
  2. Informar (Inform): Instrução explícita para não alucinar e para reconhecer falhas honestamente.
  3. Retentativa Guiada (Guided-Retry): Um procedimento de decisão estruturado baseado no campo de status do banco de dados, fornecendo instruções explícitas por falha e uma proibição estrita de fabricar nomes de estabelecimentos, referências de reserva ou detalhes de confirmação.

• Métricas:

  • Taxa de Alucinação (HR): Fração de turnos não limpos onde o agente fabrica um resultado ausente da resposta do DB.
  • Taxa de Ação Apropriada (AAR): Fração que corresponde às ações corretas do ground-truth por tipo de falha.
  • Taxa de Segurança de Compromisso (CSR): Fração de turnos não limpos livres de compromissos falsos explícitos (ex: referências de reserva inventadas). Esta métrica foi validada por anotadores humanos (Fleiss' $\kappa = 0.7672$).
  • Pontuação de Atrito do Usuário (UFS): Uma pontuação composta que penaliza alucinações e falhas silenciosas.

Principais Resultados

O estudo descobre que, embora o prompting estruturado melhore significamente a robustez, ele não elimina a alucinação.

• Desempenho Geral: A estratégia Guided-Retry supera consistentemente as linhas de base Naive e Inform em todos os seis modelos.

  • No MultiWOZ, o Guided-ry de reduz a Taxa de Alucinação (HR) média de 30.5% (Naive) para 15.3% (uma redução de 50%) e melhora a Taxa de Ação Apropriada (AAR) para 83.0%.
  • No SGD, a HR é reduzida de 20.9% para 12.2% (uma redução de 42%), com a AAR atingindo 83.9%.
  • Essas melhorias são estatisticamente significativas ($p < 0.001$) em todos os modelos.

• Variância de Modelo:

  • DeepSeek-R1 alcançou a menor HR sob Guided-Retry (5.8% no MultiWOZ).
  • Phi-3 foi uma exceção notável; teve desempenho pior sob Guided-Retry do que sob a estratégia Inform (HR 35.2% vs. 31.0%), sugerindo que não segue de forma confiável instruções de recuperação estruturadas.

• Análise de Tipo de Falha:

  • A recuperação de domínio errado provou ser o caso de falha mais difícil. Mesmo com Guided-Retry, a alucinação residual permaneceu alta (20.8% no MultiWOZ, 17.0% no SGD), indicando que os modelos frequentemente adotam o vocabulário do domínio incorreto em vez de detectar a incompatibilidade.
  • Erros de API mostraram o benefício mais claro do prompting estruturado, com reduções de HR de aproximadamente 25 pontos percentuais em ambos os conjuntos de dados.

• Alucinação Residual: Apesar das melhorias, uma taxa de alucinação residual substancial de 6–37% permanece entre modelos e conjuntos de dados, indicando que a recuperação via nível de prompt sozinha é insuficiente para uma robustez total.

Significância e Contribuições

O artigo apresenta quatro contribuições principais:

1. Framework Controlado: Um framework de injeção de falhas para MultiWOZ e SGD que isola falhas de execução de banco de dados em tempo de execução de estressores de comportamento do usuário.
2. Avaliação de Prompting: Uma avaliação demonstrando que a adição de um único system-prompt estruturado pode reduzir a alucinação em 42–50% sem retreinamento, chamadas de inferência adicionais ou overhead significativo de engenharia.
3. Métricas: Um conjunto de métricas automáticas e validadas por humanos para recuperação de falhas, incluindo a Taxa de Segurança de Compromisso (CSR).
4. Descobertas Empíricas: A descoberta de que, embora o prompting estruturado reduza a alucinação, ele deixa uma taxa residual não trivial (6–37%), sendo as falhas de domínio errado o desafio mais persistente.

Os autores concluem que, embora o Guided-Retry proporcione o comportamento mais seguro no geral e seja uma intervenção prática e de baixo custo para melhorar a robustez de TOD, não é uma solução completa. A persistência de alucinações residuais sugere que a recuperação em nível de prompt deve ser complementada por outras medidas para uma implantação robusta no mundo real.