When the Database Fails: Prompting LLM Dialogue Agents for Safe Recovery in Task-Oriented Dialogue

Technische Samenvatting: Wanneer de database faalt: Prompting van LLM-dialoogagenten voor veilige herstel in taakgeoriënteerde dialoog

Probleemstelling

Taakgeoriënteerde dialoogsystemen (TOD), die gebruikers helpen bij het boeken van hotels, het vinden van restaurants en het regelen van transport, vertrouwen doorgaans op een pijplijn waarbij Large Language Models (LLM's) intenties extraheren, een backend-database bevragen en responsen genereren die gebaseerd zijn op de resultaten. Deze pijplijn is kwetsbaar bij de databasegrens. In real-world implementaties veroorzaken backend-fouten—specifiek lege resultaten (geen overeenkomende records), verkeerde domein-teruggaven (data uit een incorrect domein) en API-fouten (timeouts of serverfouten)—vaak dat LLM-agenten vloeiende maar onveilige reacties produceren. In plaats van de fout te erkennen, hallucineren agenten vaak door locaties, bevestigingen of boekingsdetails te verzinnen die niet door de database worden ondersteund. Voorgaand werk heeft zich grotendeels gericht op algemene fouten in tools of stressfactoren in gebruikersgedrag, en mist een gecontroleerde evaluatie van runtime database-executiefouten in TOD-systemen die uitsluitend prompting-gebaseerde herstelstrategieën isoleert zonder hertraining.

Methodologie

De auteurs stellen een gecontroleerd fault-injection framework voor om herstelstrategieën te evalueren over twee structureel verschillende datasets: MultiWOZ 2.2 (5 domeinen) en SGD (20 domeinen).

• Fault Injection: Voor elk testdialoog extraheert het systeem de eerste gebruikersbeurt en injecteert synthetisch één van vier databasecondities:

  1. Clean: Geldig resultaat (sanity baseline).
  2. Empty Result: Nul matches (correcte actie: de fout erkennen, beperkingen versoepelen aanbieden).
  3. Wrong Domain: Resultaten uit een incorrect domein (correcte actie: mismatch detecteren, bevestigen met de gebruiker).
  4. API Error: Timeout of 503-fout (correcte actie: verontschuldigen, vragen om opnieuw te proberen).
     Opmerking: Het gebruik van de eerste beurt isoleert direct herstelgedrag, waardoor verwarrende factoren uit multi-turn state tracking worden vermeden.

• Herstelstrategieën: De studie vergelijkt drie prompting-strategieën over zes open-weight modelfamilies (DeepSeek-R1, Gemma-2, Llama-3, Mistral, Phi-3, Qwen-2.5) met een vaste decoding temperatuur (0.2):

  1. Naive: Ruwe database-respons wordt doorgegeven zonder speciale instructie.
  2. Inform: Expliciete instructie om niet te hallucineren en om eerlijk fouten te erkennen.
  3. Guided-Retry: Een gestructureerde besluitprocedure gekoppeld aan het database statusveld, die expliciete instructies per fouttype biedt en een strikt verbod bevat op het fabriceren van locatienamen, boekingsreferenties of bevestigingsdetails.

• Metrieken:

  • Hallucination Rate (HR): Fractie van niet-clean beurten waarin de agent een resultaat fabriceert dat afwezig is in de DB-respons.
  • Appropriate Action Rate (AAR): Fractie die overeenkomt met de grondwaarheid (ground-truth) correcte acties per fouttype.
  • Commitment Safety Rate (CSR): Fractie van niet-clean beurten die vrij is van expliciete valse toezeggingen (bijv. uitgevonden boekingsreferenties). Deze metriek werd gevalideerd door menselijke annotatoren (Fleiss' $\kappa = 0.7672$).
  • User Friction Score (UFS): Een samengestelde score die hallucinaties en stille fouten bestraft.

Belangrijkste Resultaten

De studie stelt vast dat hoewel gestructureerde prompting de robuustheid aanzienlijk verbetert, het hallucinatie niet elimineert.

• Algemene Prestaties: De Guided-Retry strategie presteert consistent beter dan zowel de Naive als de Inform baselines over alle zes de modellen.

  • Op MultiWOZ vermindert Guided-Retry de gemiddelde Hallucination Rate (HR) van 30.5% (Naive) naar 15.3% (een reductie van 50%) en verbetert de Appropriate Action Rate (AAR) naar 83.0%.
  • Op SGD wordt HR verminderd van 20.9% naar 12.2% (een reductie van 42%), met een AAR van 83.9%.
  • Deze verbeteringen zijn statistisch significant ($p < 0.001$) over alle modellen.

• Model Variantie:

  • DeepSeek-R1 behaalde de laagste HR onder Guided-Retry (5.8% op MultiWOZ).
  • Phi-3 was een opvallende uitzondering; het presteerde slechter onder Guided-Retry dan onder de Inform strategie (HR 35.2% vs. 31.0%), wat suggereert dat het niet betrouwbaar gestructureerde herstelinstructies kan volgen.

• Analyse van Fouttypen:

  • Wrong-domain retrieval bleek de moeilijkste foutconditie. Zelfs met Guided-Retry bleef de residuele hallucinatie hoog (20.8% op MultiWOZ, 17.0% op SGD), wat aangeeft dat modellen vaak de vocabulaire van het incorrecte domein overnemen in plaats van de mismatch te detecteren.
  • API-fouten vertoonden het duidelijkste voordeel van gestructureerde prompting, met HR-reducties van ongeveer 25 procentpunten op beide datasets.

• Residuele Hallucinatie: Ondanks de verbeteringen blijft er een aanzienlijke residuele hallucinatievoet van 6–37% bestaan over modellen en datasets, wat aangeeft dat prompting-gebaseerd herstel alleen onvoldoende is voor volledig robuuste deployment.

Betekenis en Bijdragen

Het papier levert vier primaire bijdragen:

1. Gecontroleerd Framework: Een fault-injection framework voor MultiWOZ en SGD dat runtime database-executiefouten isoleert van gebruikersgedrag-stressoren.
2. Prompting Evaluatie: Een evaluatie die aantoont dat de toevoeging van een enkele gestructureerde systeem-prompt de hallucinatie met 42–50% kan verminderen zonder hertraining, extra inference calls of significante engineering overhead.
3. Metrieken: Een set automatische en door mensen gevalideerde metrieken voor herstel bij fouten, inclusche de Commitment Safety Rate (CSR).
4. Empirische Bevindingen: De bevinding dat hoewel gestructureerde prompting hallucinatie vermindert, het een niet-verwaarloosbare residuele rate van 6–37% achterlaat, waarbij wrong-domain fouten de meest hardnekkige uitdaging blijken te zijn.

De auteurs concluderen dat hoewel Guided-Retry over het algemeen het veiligste gedrag oplevert en een praktische, goedkope interventie is om de robuustheid van TOD te verbeteren, het geen volledige oplossing is. Het voortbestaan van residuele hallucinaties suggereert dat prompt-gebaseerd herstel aangevuld moet worden met andere maatregelen voor een robuuste real-world deployment.