When the Database Fails: Prompting LLM Dialogue Agents for Safe Recovery in Task-Oriented Dialogue

Riepilogo Tecnico: Quando il Database Fallisce: Prompting di Agenti di Dialogo LLM per un Recupero Sicuro nel Dialogo Orientato ai Compiti

Definizione del Problema

I sistemi di dialogo orientati ai compiti (TOD), che assistono gli utenti nella prenotazione di hotel, nella ricerca di ristoranti e nell'organizzazione di trasporti, si affidano tipicamente a una pipeline in cui i Large Language Models (LLM) estraggono l'intento, interrogano un database backend e generano risposte basate sui risultati ottenuti. Questa pipeline è fragile al confine con il database. Nelle implementazioni reali, i fallimenti del backend — specificamente risultati vuoti (nessun record corrispondente), ritorni da domini errati (dati da un dominio errato) ed errori API (timeout o fallimenti del server) — spesso causano la produzione da parte degli agenti LLM di risposte fluide ma insicure. Invece di riconoscere il fallimento, gli agenti spesso allucinano, inventando luoghi, conferme o dettagli di prenotazione non supportati dal database. Il lavoro precedente si è concentrato ampiamente su fallimenti generali degli strumenti dell'agente o stress derivanti dal comportamento dell'utente, mancando di una valutazione controllata dei guasti di esecuzione del database a runtime nei sistemi TOD che isoli le strategie di recupero basate esclusivamente sul prompting senza il retraining.

Metodologia

Gli autori propongono un framework di iniezione controllata dei guasti per valutare le strategie di recupero su due dataset strutturalmente diversi: MultiWOZ 2.2 (5 domini) e SGD (20 domini).

• Iniezione dei Guasti: Per ogni dialogo di test, il sistema estrae il primo turno dell'utente e inietta sinteticamente una delle quattro condizioni del database:

  1. Pulito (Clean): Risultato valido (baseline di sanità).
  2. Risultato Vuoto (Empty Result): Zero corrispondenze (azione corretta: riconoscere il fallimento, offrire la rilassazione dei vincoli).
  3. Dominio Errato (Wrong Domain): Risultati da un dominio errato (azione corretta: rilevare il disallineamento, confermare con l'utente).
  4. Errore API (API Error): Timeout o errore 503 (azione corretta: scusarsi, chiedere di riprovare).
     Nota: L'uso del primo turno isola il comportamento di recupero immediato, evitando confondimenti derivanti dal tracciamento dello stato multi-turno.

• Strategie di Recupero: Lo studio confronta tre strategie di prompting su sei famiglie di modelli open-weight (DeepSeek-R1, Gemma-2, Llama-3, Mistral, Phi-3, Qwen-2.5) utilizzando una temperatura di decoding fissa (0.2):

  1. Naive: Risposta grezza del database passata senza istruzioni speciali.
  2. Inform: Istruzione esplicita di non allucinare e di riconoscere onestamente i fallimenti.
  3. Guided-Retry: Una procedura decisionale strutturata basata sul campo di stato del database, che fornisce istruzioni esplicite per ogni tipo di fallimento e un divieto rigoroso di fabbricare nomi di locali, riferimenti di prenotazione o dettagli di conferma.

• Metriche:

  • Tasso di Allucinazione (HR): Frazione di turni non "puliti" in cui l'agente fabbrica un risultato assente dalla risposta del DB.
  • Tasso di Azione Appropriata (AAR): Frazione che corrisponde alle azioni corrette della ground-truth per ogni tipo di fallimento.
  • Tasso di Sicurezza dell'Impegno (CSR): Frazione di turni non "puliti" privi di impegni espliciti falsi (es. riferimenti di prenotazione inventati). Questa metrica è stata validata da annotatori umani (Fleiss' $\kappa = 0.7672$).
  • Punteggio di Attrito dell'Utente (UFS): Un punteggio composito che penalizza le allucinazioni e i fallimenti silenziosi.

Risultati Chiave

Lo studio rileva che, sebbene il prompting strutturato migliori significativamente la robustezza, non elimina l'allucinazione.

• Prestazioni Complessive: La strategia Guided-Retry supera costantemente sia le basi Naive che Inform in tutti i sei modelli.

  • Su MultiWOZ, Guided-Retry riduce il Tasso di Allucinazione (HR) medio dal 30,5% (Naive) al 15,3% (una riduzione del 50%) e migliora il Tasso di Azione Appropriata (AAR) all'83,0%.
  • Su SGD, l'HR si riduce dal 20,9% al 12,2% (una riduzione del 42%), con l'AAR che raggiunge l'83,9%.
  • Questi miglioramenti sono statisticamente significativi ($p < 0.001$) in tutti i modelli.

• Varianza dei Modelli:

  • DeepSeek-R1 ha ottenuto l'HR più basso sotto Guided-Retry (5,8% su MultiWOZ).
  • Phi-3 è stata una nota eccezione; ha performato peggio sotto Guided-Retry rispetto alla strategia Inform (HR 35,2% vs 31,0%), suggerendo che non segue in modo affidabile le istruzioni di recupero strutturate.

• Analisi del Tipo di Fallimento:

  • Il recupero da dominio errato si è rivelato il caso di fallimento più difficile. Anche con Guided-Retry, l'allucinazione residua rimane alta (20,8% su MultiWOZ, 17,0% su SGD), indicando che i modelli spesso adottano il vocabolario del dominio errato invece di rilevare il disallineamento.
  • Gli errori API hanno mostrato il beneficio più chiaro dal prompting strutturato, con riduzioni dell'HR di circa 25 punti percentuali su entrambi i dataset.

• Allucinazione Residua: Nonostante i miglioramenti, un sostanziale tasso di allucinazione residua del 6–37% rimane tra i modelli e i dataset, indicando che il solo recupero tramite prompting è insufficiente per un deployment completamente robusto.

Significato e Contributi

Il documento apporta quattro contributi primari:

1. Framework Controllato: Un framework di iniezione dei guasti per MultiWOZ e SGD che isola i guasti di esecuzione del database a runtime dagli stressor del comportamento dell'utente.
2. Valutazione del Prompting: Una valutazione che dimostra come l'aggiunta di un singolo system-prompt strutturato possa ridurre l'allucinazione del 42–50% senza retraining, chiamate di inferenza aggiuntive o sforzi significativi di ingegneria.
3. Metriche: Un insieme di metriche automatiche e validate dall'uomo per il recupero dai fallimenti, incluso il Tasso di Sicurezza dell'Impegno (CSR).
4. Risultati Empirici: La scoperta che, sebbene il prompting strutturato riduca l'allucinazione, lascia un tasso residuo non trascurabile (6–37%), con i fallimenti da dominio errato che rappresentano la sfida più persistente.

Gli autori concludono che, sebbene Guided-Retry offra il comportamento più sicuro in assoluto ed sia un intervento pratico e a basso costo per migliorare la robustezza dei TOD, non è una soluzione completa. La persistenza delle allucinazioni residue suggerisce che il recupero tramite prompting debba essere integrato da altre misure per un deployment robusto nel mondo reale.