Disentangling Prompt Element Level Risk Factors for Hallucinations and Omissions in Mental Health LLM Responses

Deze studie introduceert het UTCO-raamwerk om promptelementen systematisch te testen en onthult dat context en toon de belangrijkste risicofactoren zijn voor hallucinaties en het missen van veiligheidsgerelateerde informatie in antwoorden van mentale gezondheids-LLMs, waarbij uitblijven van noodzakelijke richtlijnen bij crisissituaties een kritiek veiligheidsprobleem vormt.

De kern

De "Geestelijke Gezondheids-Test": Waarom AI soms vergeet wat er echt belangrijk is

Stel je voor dat je een zeer slimme, maar nog jonge assistent hebt die je helpt met vragen over je geestelijke gezondheid. Hij is snel, beleefd en kent veel feiten. Maar zoals elke leerling, maakt hij soms fouten. Deze fouten zijn van twee soorten:

1. De "Verzonnen Feitjes" (Hallucinaties): Hij vertelt je iets dat klinkt als een waarheid, maar helemaal niet waar is (bijvoorbeeld: "Neem dit medicijn, het is wonderbaarlijk," terwijl dat medicijn niet bestaat).
2. Het "Stille Vergeten" (Omissies): Dit is gevaarlijker. Hij zegt niets verkeerd, maar hij vergeet iets cruciaals te zeggen. Bijvoorbeeld: als iemand zegt dat ze zich zo slecht voelen dat ze niet meer willen leven, zegt de AI: "Dat klinkt zwaar, probeer te wandelen," en vergeet dan volledig om te zeggen: "Bel direct een hulplijn, want dit is een noodgeval."

De onderzoekers van dit paper wilden weten: Waarom maakt deze AI deze fouten? Is het omdat de persoon die vraagt een bepaalde achtergrond heeft (bijvoorbeeld leeftijd of beroep), of ligt het aan hoe de vraag gesteld is?

Om dit uit te zoeken, bouwden ze een speciaal testkader genaamd UTCO. Dit staat voor U (Gebruiker), T (Onderwerp), C (Context) en O (Toon).

De Test: Een Kookpand met 4 Ingrediënten

Stel je voor dat je een gerecht kookt. Je hebt vier ingrediënten:

• U (Gebruiker): Wie vraagt het? (Een ouder, een tiener, een man, een vrouw?)
• T (Onderwerp): Waar gaat het over? (Depressie, angst, suïcidale gedachten?)
• C (Context): Hoe ziet de situatie eruit? (Is het een korte zin of een lang verhaal? Is het een dagboekfragment of een formele vraag?)
• O (Toon): Wat is de stemming? (Angstig, hopeloos, boos, of gewoon neutraal?)

De onderzoekers lieten de AI (een model genaamd Llama 3.3) 2.075 verschillende vragen beantwoorden. Ze veranderden systematisch één ingrediënt per keer, terwijl ze de andere drie constant hielden. Het was alsof ze een enorme hoeveelheid proefjes deden om te zien welk ingrediënt de "recept" (het antwoord) bedierf.

Wat Vonden Ze? De Grote Verassingen

1. Het is niet de persoon, maar de manier van vragen.
Je zou denken dat de AI misschien slechter reageert op vragen van bepaalde mensen (bijvoorbeeld jongeren of mensen uit een specifieke etnische groep). Maar dat bleek niet het geval. De achtergrond van de gebruiker maakte weinig verschil.

2. Het verhaal en de emotie zijn de boosdoeners.
De echte problemen kwamen voort uit Context (C) en Toon (O).

• Lange, verwarrende verhalen: Als iemand een lang, emotioneel verhaal vertelde met veel details en onduidelijke zinsdelen, vergat de AI vaak de veiligheidsinstructies. Het was alsof de AI zo druk was met het begrijpen van het verhaal, dat hij de noodknop over het hoofd zag.
• Hoge emotie: Als iemand "hopeloos" of "angstig" klonk, neigde de AI naar een vriendelijk, troostend antwoord, maar vergeten ze de harde, noodzakelijke feiten (zoals "bel 112").
• Suïcidale gedachten: Hier was het risico op vergeten informatie het grootst. Bij vragen over zelfdoding miste de AI in 36% van de gevallen de cruciale veiligheidsinformatie.

3. De "Stille Dood" is gevaarlijker dan de "Verzonnen Feitjes".
De AI maakte vaker de fout van het "vergeten" (13,2%) dan het "verzonnen" (6,5%).

• Analogie: Als de AI een verzonnen medicijn noemt, merk je dat misschien snel ("Wacht, dat bestaat niet!"). Maar als hij vergeet te zeggen dat je hulp moet zoeken, klinkt zijn antwoord perfect en vriendelijk. De gebruiker denkt: "Ah, het is oké," terwijl het juist heel gevaarlijk is. Dit is een "stille fout" die je niet direct ziet.

De Oplossing: Hoe maken we het veiliger?

De onderzoekers concluderen dat we onze tests voor AI moeten veranderen.

• Geen korte, droge vragen meer: Tot nu toe testten we AI's met korte vragen zoals "Wat is depressie?". Maar mensen in nood schrijven lange, emotionele verhalen. We moeten de AI testen met die echte, rommelige verhalen.
• Focus op veiligheid, niet op vriendelijkheid: De AI moet leren dat als iemand in nood zit (hoge emotie, lange tekst), hij eerst de veiligheidsinformatie moet geven, zelfs als de gebruiker dat niet expliciet vraagt.
• De "Verduidelijkings-knop": Als de vraag te vaag of te emotioneel is, moet de AI niet raden, maar terugvragen: "Klinkt alsof je het zwaar hebt. Bedoel je dat je nu in gevaar bent?"

Conclusie in één zin

Deze AI is niet dom door wie er vraagt, maar raakt in de war door hoe mensen in nood hun verhaal vertellen; daarom moeten we hem trainen om in die chaotische, emotionele momenten vooral de veiligheidsbril op te zetten, in plaats van alleen maar een aardig verhaal te vertellen.

Technische samenvatting

Probleemstelling

Mentale gezondheidszorg wordt steeds vaker gezocht via digitale tools en Large Language Models (LLMs) buiten de klinische setting. Hoewel deze modellen nuttig zijn voor het beantwoorden van vragen, vormen ze een veiligheidsrisico wanneer ze worden gebruikt in situaties met hoge distress (nood). De huidige evaluatiemethoden hebben twee belangrijke tekortkomingen:

1. Onderschatting van "Omissies": Veel evaluaties focussen primair op hallucinaties (verzonnen feiten), maar negeren omissies (het ontbreken van noodzakelijke klinische of veiligheidsinformatie). In de context van mentale gezondheid kan een omissie (bijv. het niet vermelden van crisisresources bij suïcidale ideatie) dodelijk zijn, terwijl het antwoord er toch coherent en empathisch uitziet.
2. Gebrek aan realisme: Bestaande benchmarks gebruiken vaak statische, korte vragenlijsten die de complexe, narratieve en emotionele nuances van echte hulpvragen niet weerspiegelen. Er is een gebrek aan systematisch onderzoek naar hoe specifieke elementen van een prompt (zoals de toon, de context of de achtergrond van de gebruiker) het risico op fouten beïnvloeden.

Methodologie

De auteurs introduceerden een gestructureerd raamwerk genaamd UTCO (User, Topic, Context, Tone) om prompt-elementen te ontleden en systematisch te testen.

• UTCO Framework: Elke prompt werd opgebouwd uit vier controleerbare elementen:
  • U (User): Achtergrondkenmerken (rol, leeftijd, geslacht, etniciteit, etc.).
  • T (Topic): Klinisch onderwerp (bijv. depressie, angst, crisis).
  • C (Context): Situatieve narratief (gehaald uit peer-support forums en scenario's).
  • O (Tone): Affectieve toon (bijv. hopeloos, angstig, urgent).
• Dataset: Er werden 2.075 prompts gegenereerd met GPT-4o, gebaseerd op UTCO-combinaties, en vervolgens ingediend bij het LLM Llama 3.3 (70B).
• Annotatie: Drie onafhankelijke annotatoren labelden de antwoorden op twee veiligheidsuitkomsten:
  • Hallucinaties: Klinisch onjuiste of verzonnen informatie.
  • Omissies: Het ontbreken van klinisch noodzakelijke of veiligheidskritieke informatie (bijv. geen verwijzing naar hulp bij zelfmoord).
• Analytische Strategie:
  1. RQ1 (Feature Association): Gebruik van Gradient Boosted Trees en SHAP-waarden om te bepalen welke UTCO-elementen het sterkst correleren met fouten.
  2. RQ2 (Sensitiviteitsanalyse): Propensity score matching (PSM) om te testen of fouten samenhangen met de gebruiker of de manier van vragen stellen (context/taal), terwijl andere elementen constant worden gehouden.
  3. RQ3 (Mechanisme-analyse): Vergelijking van bijna-identieke prompts (met en zonder fout) om linguïstische triggers te identificeren die door UTCO niet volledig worden gevangen.

Belangrijkste Resultaten

• Frequentie van Fouten:
  • Hallucinaties kwamen voor in 6,5% van de antwoorden.
  • Omissies waren aanzienlijk frequenter: 13,2%.
  • Omissies concentreerden zich sterk bij prompts over crisissen en suïcidale gedachten (36,2% omissie-ratio in deze categorie).
• Invloed van Prompt-elementen (RQ1 & RQ2):
  • Geen systematisch effect van gebruikersachtergrond: Na het balanceren van andere factoren, vertoonden demografische kenmerken (geslacht, etniciteit, rol) geen consistente correlatie met fouten.
  • Sterk effect van Context en Toon: Fouten waren het meest geassocieerd met de context (hoe de vraag wordt verwoord) en de toon.
  • Risicofactoren: Langere prompts, prompts met een natuurlijkere bron (niet gestructureerd), en hoge emotionele distress (hopeloosheid, angst) verhoogden het risico op zowel hallucinaties als omissies.
  • Sensitiviteitsanalyse: Wanneer context en toon constant werden gehouden, verdwenen de verschillen in foutkans. Wanneer echter de context varieerde, waren fouten significant gerelateerd aan hogere leesbaarheid (complexere zinnen), meer bijzinnen, hogere onzekerheidsscores en meer ambiguïteit in voornaamwoorden.
• Mechanismen van Fouten (RQ3):
  • Ambiguïteit: De meest voorkomende trigger voor zowel hallucinaties als omissies was onduidelijkheid in de vraagstelling.
  • Emotionele Last: Omissies waren sterker gerelateerd aan hoge emotionele last (crisis-signalen) dan hallucinaties.
  • Ontbrekende Constraints: Hallucinaties vonden vaak plaats bij vragen waar essentiële klinische details ontbraken, waardoor het model "gaten" probeerde op te vullen met verzonnen informatie.

Belangrijkste Bijdragen

1. UTCO Framework: Een nieuw, modulair raamwerk voor het genereren van gestructureerde, reproduceerbare prompts die variëren in gebruikersachtergrond, onderwerp, context en toon. Dit stelt onderzoekers in staat om stress-tests uit te voeren die dichter bij de realiteit liggen dan statische benchmarks.
2. Shift in Focus naar Omissies: Het paper pleit ervoor om omissies niet als secundair te beschouwen, maar als een primaire veiligheidsuitkomst in mentale gezondheidsapplicaties, omdat ze subtieler en potentieel gevaarlijker zijn dan hallucinaties.
3. Identificatie van Risicofactoren: Het bewijs dat de manier waarop een vraag wordt gesteld (contextlengte, narratieve complexiteit, emotionele toon) een groter risico vormt dan de demografische achtergrond van de gebruiker.
4. Linguïstische Triggers: Gedetailleerde analyse van welke taalpatronen (bijv. ambiguïteit, ontbrekende constraints) leiden tot falen, wat leidt tot concrete aanbevelingen voor mitigatie.

Betekenis en Implicaties

De bevindingen hebben directe gevolgen voor het ontwerp en de evaluatie van consumer health informatics systemen:

• Evaluatieprotocollen: Standaard benchmarks met korte, heldere vragen onderschatten het risico op omissies. Evaluaties moeten stress-tests omvatten met lange, ambiguë en emotioneel geladen narratieven.
• Mitigatiestrategieën: Ontwikkelaars moeten zich richten op "onzekerheidsmanagement". Systemen moeten in staat zijn om:
  • Verduidelijkende vragen te stellen bij ontbrekende klinische constraints.
  • Veiligheidsinformatie (zoals crisisnummers) automatisch toe te voegen bij signalen van hoge distress, zelfs als de gebruiker dit niet expliciet vraagt.
  • Ambiguïteit in voornaamwoorden of referenties te detecteren voordat een antwoord wordt gegenereerd.
• Veiligheid boven Fluïditeit: In mentale gezondheidsapplicaties moet de prioriteit liggen bij het leveren van de minimale vereiste veiligheidsinformatie, in plaats van het genereren van vloeiende, maar mogelijk onvolledige, empathische antwoorden.

Samenvattend toont dit onderzoek aan dat de veiligheid van LLM's in de mentale gezondheidszorg minder afhankelijk is van wie de gebruiker is, maar vooral van hoe de vraag wordt gesteld. Het benadrukt de noodzaak van robuuste evaluaties die rekening houden met de complexiteit en emotionele lading van echte hulpvragen.