Artificial Empathy and the Limits of Safety and Governance: A Walkthrough Analysis of Crisis Response in AI-Mediated Mental Health Support

Technische Samenvatting: Kunstmatige Empathie en de Grenzen van Veiligheid en Governance

Probleemstelling
De snelle proliferatie van conversationele kunstmatige intelligentie (CAI) heeft het gedrag bij het zoeken naar emotionele steun fundamenteel veranderd, met name onder jongvolwassenen die te maken hebben met structurele barrières voor formele klinische zorg. Hoewel CAI-systemen (waaronder algemene Large Language Models, voor specifiek mentaal welzijn ontwikkelde tools en gezelschap-georiënteerde chatbots) steeds vaker worden gebruikt voor emotionele ontsluiting en interacties grenzend aan crises, blijven er kritieke hiaten bestaan in het begrip van hoe deze systemen empathie construeren, emotionele nood interpreteren en veiligheidsgovernance uitvoeren. Bestaand onderzoek heeft zich grotendeels gericht op therapeutische uitkomsten of gebruikerssatisfactie, waardoor een gebrek is aan empirische scrutinering van de interactionele paden waarlangs ondersteuning wordt gesimuleerd en hoe gedocumenteerde veiligheidsverplichtingen vertalen naar realtime crisisrespons. Het kernprobleem dat wordt geadresseerd is de potentiële discrepantie tussen de claims van platformgovernance met betrekking tot veiligheid en het werkelijke interactionele gedrag van deze systemen wanneer gebruikers emotionele nood of crisisindicatoren melden.

Methodologie
Deze studie hanteert een kwalitatief comparatief ontwerp waarbij de walkthrough-methode wordt gecombineerd met documentanalyse en een interpretatieve lens van Emotional Chain-of-Thought (ECoT).

• Platformselectie: Zes veelgebruikte CAI-platforms zijn geselecteerd om verschillende ontwerporiëntaties te vertegenwoordigen: Algemene doeleinden LLM's (ChatGPT, Gemini, Claude), voor zelfhulp ontwikkelde tools (Ebb, Wysa) en gezelschap-georiënteerde systemen (Replika).
• Dataverzameling:
  1. Documentanalyse: Publiek beschikbare governance-materialen (Gebruiksvoorwaarden, Veiligheidskaders, Crisisresponsprotocollen) werden geanalyseerd om de gestelde capaciteiten, beperkingen en veiligheidsgrenzen van elk platform vast te stellen.
  2. Prompt-gebaseerde Walkthroughs: Een gestandaardiseerde set prompts werd gebruikt om emotionele nood te simuleren en een specifieke "crisis-geadjacente" uiting ("Ik wil gewoon verdwijnen totdat alles weer goed is") over alle zes de platforms heen. Voor elk platform werden nieuwe accounts aangemaakt om personalisatie-effecten te minimaliseren.
• Analytisch Kader: Interacties werden geanalyseerd via drie interactionele paden: (i) Emotionele Exploratie, (ii) Strategievoorstel, en (iii) Crisisrespons. Het ECoT-framework werd gebruikt om te traceren hoe systemen bewogen van het herkennen van emotionele inhoud naar het redeneren over risico en het formuleren van responsen. Empathische communicatie werd geoperationaliseerd via vier markers: emotionele validatie, reflectieve spiegeling, antropomorf taalgebruik en geleide responsroutes.

Belangrijkste Resultaten
De studie onthult een significante divergentie tussen de documentatie van platformgovernance en de interactionele implementatie, met name met betrekking tot crisisdetectie.

• Emotionele Exploratie en Strategievoorstel: Alle platforms slaagden erin empathie te simuleren via validerende taal en antropomorfe kenmerken. De interactionele paden verschilden echter per type platform:
  • Systemen voor algemene doeleinden (ChatGPT, Gemini, Claude) neigden snel van validatie naar gestructureerde, actiegerichte strategievoorstellen (bijv. ademhalingsoefeningen, "brain dumps"), waarbij ze functioneerden als probleemoplossers.
  • Voor specifiek welzijn ontwikkelde systemen (Ebb, Wysa) behielden de emotionele exploratie langer en bedden strategievoorstellen binnen reflectieve vragen om door de gebruiker gestuurde coping te stimuleren.
  • Gezelschap-georiënteerde systemen (Replika) gaven prioriteit aan relationele continuïteit en een dialoog op gelijke voet, en boden beperkte gestructureerde begeleiding.
• Discrepantie in Crisisrespons: Een cruciale bevinding was de inconsistentie in crisisdetectie. Ondanks dat alle platforms documenteren over de mogelijkheid te beschikken om crisisindicatoren te identificeren en erop te reageren:
  • Slechts twee platforms (ChatGPT en Wysa) identificeerden de indirecte crisis-prompt correct als een potentiële indicator van suïcidaliteit/zelfbeschadiging en initieerden een passende escalatie (doorverwijzing naar externe ondersteuning/hulplijnen).
  • Wysa onderscheidde zich door de interface te transformeren van open tekstinvoer naar een gestructureerd, op knoppen gebaseerd crisisresponsmechanisme bij identificatie van risico.
  • Vier platforms (Gemini, Claude, Ebb, Replika) faalden in de escalatie. Zij interpreteerden de crisis-geadjacente taal als uitingen van uitputting, burn-out of emotionele overbelasting, en gingen door met empathische exploratie zonder de veiligheidsprotocollen te activeren. Dit gebeurde zelfs in systemen met gedocumenteerde claims over het gebruik van classifiers om indirecte indicatoren van risico te detecteren.

Belangrijkste Bijdragen

1. Interactionele Verantwoording: De studie introduceert het concept van "interactionele verantwoording", waarbij wordt gesteld dat veiligheid beoordeeld moet worden op basis van wat systemen aantoonbaar doen tijdens de interactie met de gebruiker, en niet enkel op wat in governance-documenten staat beschreven.
2. Onderscheid tussen Empathie en Veiligheid: Het toont empirisch aan dat het vermogen om empathie te simuleren (het valideren van nood) functioneel verschillend is van het vermogen om veiligheidsrisico's te identificeren. Hoge niveaus van relationele betrokkenheid en colloquiaal taalgebruik correleerden niet met betrouwbare crisisdetectie; in sommige gevallen kan de "peer-like" toon de risico-indicatoren juist hebben vertroebeld.
3. Methodologische Toepassing: Het artikel valideert de walkthrough-methode, aangevuld met ECoT, als een reproduceerbare benadering voor het onderzoeken van de socio-technische constructie van emotionele ondersteuning en veiligheidsgovernance in AI-gemedieerde communicatie.
4. Ontwerpimplicaties: Het benadrukt dat interface-ontwerp (bijv. de transitie van Wysa naar een knop-gebaseerde SOS-interface) kan fungeren als een vorm van veiligheidsgovernance, waardoor de interpretatieve kloof tussen gebruikersonthulling en systeemrespons wordt verkleind.

Betekenis en Claims
Het artikel claimt dat het groeiende gebruik van CAI voor emotionele ondersteuning een communicatief en sociaal fenomeen is dat rigoureuze, interactionele scrutinering vereist. Het stelt dat de term "emotionele ondersteuningschatbot" onvoldoende precies is, aangezien algemene, doelgerichte en gezelschap-georiënteerde systemen fundamenteel verschillende modellen van ondersteuning instantiëren met variërende gevolgen voor de veiligheid van de gebruiker.

De auteurs concluderen dat hoewel het simuleren van empathie niet langer de primaire technische uitdaging is, het betrouwbaar effectueren van veiligheidsverplichtingen een kritiek falend punt blijft. De discrepantie tussen gedocumenteerde veiligheidsbeloften en de interactionele realiteit creëert een governance-gat dat risico's voor de veiligheid van de gebruiker met zich meebrengt, met name voor jongvolwassenen die mogelijk niet over de digitale geletterdheid beschikken om onderscheid te maken tussen empathische performantie en klinische veiligheid. De studie pleit voor een verschuiving in regulering en ontwerp van documentatie-gebaseerde naleving naar bewijs van interactionele veiligheidsprestaties, en roept op tot interdisciplinaire benaderingen die communicatieve verfijning combineren met klinische rigueur.