💻 computer science

"Are you an AI?" Analyzing Client Suspicion of AI Use in Crisis Counseling

Deze studie analyseert bijna 76.000 door mensen bemande crisiscounselinggesprekken in India om aan te tonen dat de achterdocht van cliënten over het gebruik van AI toeneemt, vaak getriggerd in een vroeg stadium van interacties en verergerd door expliciete ontkenningen, wat de noodzaak benadrukt voor zorgvuldige AI-integratie om de therapeutische relatie te behouden.

Oorspronkelijke auteurs: Shreya Shah, Akshay Swaminathan, Meghana Simhadri, Ivan Lopez, Sharang Phadke, Divyanjali Verma, Abhay John, Luke Zhao, Fiona Cai, Sharon Zhang, Gloria Ye, Ivy Pham, William Wang, Sebastian Garcia, Sa

Gepubliceerd 2026-06-19

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Shreya Shah, Akshay Swaminathan, Meghana Simhadri, Ivan Lopez, Sharang Phadke, Divyanjali Verma, Abhay John, Luke Zhao, Fiona Cai, Sharon Zhang, Gloria Ye, Ivy Pham, William Wang, Sebastian Garcia, Sarah Wornow, Angelina Wang, Nigam H. Shah

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een crisis-hulplijn voor als een digitale reddingsboot. Wanneer mensen in diepe emotionele nood zitten, springen ze in deze boot om met een getrainde menselijke bemanning te praten die hen helpt boven water te blijven.

Onlangs was er veel te doen over AI-robots die banen overnemen, inclusief het helpen van mensen met hun gevoelens. Dit heeft sommige passagiers op de reddingsboot achterdochtig gemaakt. Ze beginnen zich af te vragen: "Wacht even, is de persoon die mij helpt eigenlijk een mens, of is het een robot die zich voordoet als een mens?"

Dit artikel is een rapport van onderzoekers die naar 75.777 gesprekken keken op een echte WhatsApp-hulplijn in India om te zien hoe vaak deze achterdocht voorkomt, wat het uitlokt en hoe de menselijke hulpverleners hiermee omgaan.

Hier is de uitslag van hun bevindingen, met behulp van eenvoudige analogieën:

1. De "Robotradar" wordt sterker

Nu meer mensen AI-chatbots gebruiken in hun dagelijks leven, worden ze beter in het herkennen ervan. De onderzoekers zagen dat het aantal mensen dat vraagt: "Ben je een bot?" stijgt.

De trend: In juni 2024 vroeg slechts 0,8% van de mensen dit. In maart 2025 was dat aantal gestegen naar 2,6%.
Wie vraagt dit? Het zijn vooral jonge volwassenen (18–24 jaar) en mannen die vaker vermoeden dat ze met een machine praten.

2. Waarom werden ze achterdochtig? (Het "Uncanny Valley"-effect)

Stel je voor dat je met een vriend praat, maar hij herhaalt steeds dezelfde zin, doet er lang over om te antwoorden, of klinkt als een robot die een script voorleest. Je zou dan gaan denken: "Is dit eigenlijk wel mijn vriend?"

De studie vond dat cliënten een AI vermoedden wanneer het gedrag van de hulpverlener "vreemd" aanvoelde. De belangrijkste triggers waren:

De "Grammofoonplaat": De hulpverlener gaf repetitieve of formulierte antwoorden.
De "Geest": De hulpverlener beantwoordde een specifieke vraag van de cliënt niet.
De "Wachttijd": De hulpverlener deed er te lang over om te reageren.
De "Koude Schouder": De reactie voelde onpersoonlijk of miste emotie.

Opmerking: Soms waren deze "robotachtige" signalen er eigenlijk alleen maar omdat de hulpverlener tegelijkertijd veel chats afhandelde of standaard veiligheidsprotocollen gebruikte, en niet omdat ze daadwerkelijk AI gebruikten.

3. Wat wilden mensen?

De meeste mensen op de lijn wilden een mens.

21,5% zei expliciet: "Ik wil niet met AI praten; ik wil een echt persoon."
Zij vonden dat AI een gebrek had aan empathie (het vermogen om gevoelens echt te begrijpen), onbetrouwbaar was of gewoon niet behulpzaam.
Interessant genoeg was een piepklein deel (0,2%) juist wél geïnteresseerd in een bot, maar zij vormden de uitzondering.

4. Hoe reageerde de bemanning (Het spel van "Geruststelling" vs. "Negeren")

Wanneer een passagier vroeg: "Ben je een robot?", hadden de menselijke hulpverleners twee manieren om te reageren:

Strategie A: De "Geruststelling" (De meest voorkomende methode)
- Wat ze deden: Ze zeiden direct: "Ik verzeker u, ik ben een echt mens!"
- Het resultaat: Dit werkte goed. Ongeveer 55% van de achterdochtige cliënten geloofde hen en voelde zich beter. Een ander deel (28%) liet het onderwerp er simpelweg los op rusten en ging verder.
- Analogie: Het is also�s een piloot zegt: "Ik ben een echte piloot, geen computer," waarna de passagiers onmiddellijk ontspannen.
Strategie B: De "Vermijdende" (De "Laten we ons op jou richten"-aanpak)
- Wat ze deden: Ze negeerden de vraag en zeiden: "Ik begrijp uw bezorgdheid, maar laten we ons concentreren op uw probleem."
- Het resultaat: Dit was riskanter. Ongeveer 48% van de cliënten ging ermee door, maar 52% raakte gefrustreerd, bleef doorvragen of beëindigde zelfs de chat.
- Analogie: Het is alsof een piloot de vraag negeert en alleen zegt: "Kijk naar buiten," wat de passagiers alleen maar zenuwachtiger maakt.

5. De belangrijkste les

Het artikel concludeert dat vertrouwen kwetsbaar is. Zelfs als een AI daadwerkelijk behulpzaam is, voelen mensen zich minder veilig en minder begrepen als ze denken dat het AI is.

De les: Wanneer mensen in crisis zijn, is het gevoel van "echte verbinding" alles. Als een hulpverlener (mens of AI-ondersteund) robotachtig klinkt, zullen cliënten vermoeden dat ze met een machine praten.
De oplossing: De meest effectieve manier om deze achterdocht weg te nemen, is eerlijkheid en geruststelling. Wanneer hulpverleners expliciet bevestigen dat ze mens zijn, gaat de "robotradar" meestal uit en kan het gesprek weer gericht worden op het redden van de reddingsboot.

Kortom: Mensen maken zich zorgen dat ze met robots praten. Wanneer ze dat vragen, is het beste wat een hulpverlener kan doen simpelweg zeggen: "Nee, ik ben een echt persoon," en dat ook echt meenen. Als ze de vraag proberen te ontwijken, wordt de cliënt vaak alleen maar achterdochtiger.

Technische Samenvatting: "Ben je een AI?" Analyse van cliëntvermoeden over AI-gebruik in crisisbehandeling

Probleemstelling
Nu kunstmatige intelligentie (AI)-tools steeds vaker worden ingezet in de geestelijke gezondheidszorg, blijft het publieke vertrouwen in deze systemen onzeker. Hoewel AI schaalbaarheid kan bieden, is het onduidelijk hoe cliënten de betrokkenheid van AI bij counselinginteracties ervaren, met name tijdens crisismomenten waarin empathie en verbinding vereist zijn. Er is een kritiek gat in het begrip van de frequentie van cliëntvermoeden met betrekking tot AI-gebruik, de specifieke triggers die deze twijfels uitlokken, en hoe menselijke hulpverleners op dergelijke uitdagingen reageren. Zonder deze gegevens is het moeilijk om AI-systemen te ontwerpen die de therapeutische relatie behouden.

Methodologie
De studie analyseerde een dataset van 75.777 WhatsApp-gesprekken (bestaande uit 2.225.107 berichten) verzameld via de Vandrevala Foundation Emergency Helpline in India tussen 31 mei 2024 en 31 maart 2025. Alle interacties werden uitgevoerd door getrainde menselijke hulpverleners zonder AI-ondersteuning.

Om gevallen van AI-vermoeden te identificeren en te karakteriseren, gebruikten de auteurs een Large Language Model (LLM, GPT-4.1) om het corpus te verwerken. De LLM kreeg de taak om:

Detectie: Gesprekken te identificeren waarin cliënten expliciet vermoedden dat zij met een AI spraken.
Annotatie: Specifieke variabelen te extraheren, waaronder cliëntdemografie, de aard van de klachten, houding ten opzichte van AI, triggers voor vermoeden (bijv. vertraging in reactietijd, repetitieve formuleringen), timing van het vermoeden binnen het gesprek, reactiestrategieën van de hulpverlener en daaropvolgende cliëntreacties.

Het annotatieproces werd gevalideerd via een rigoureuze inter-rater betrouwbaarheidsstudie. Vijf menselijke beoordelaars annoteerden 100 gesprekken en bereikten een substantiële overeenstemming (Cohen's $\kappa \ge 0,61$ ) op single-label categorieën. De LLM werd vervolgens geëvalueerd tegen deze menselijke annotaties en toonde vergelijkbare of superieure overeenkomstmetrieken (bijv. $\kappa = 0,82$ voor Cliënthouding, $\kappa = 0,89$ voor Hulpverlenersstrategie), wat het gebruik als schaalbare annotator ondersteunt.

Belangrijkste Resultaten

Prevalentie en Demografie: De studie identificeerde 1.157 gesprekken (1,5%) waarin cliënten het gebruik van AI vermoedden. Het aandeel van dergelijke gesprekken nam toe van 0,8% in juni 2024 naar 2,6% in maart 2025. Cliënten die hun vermoeden uitten, waren statistisch gezien vaker man (38,9% vs. 28,9%) en in de leeftijdscategorie 18–24 jaar (61,3% vs. 53,0%) vergeleken met de algemene steekproef.
Cliënthoudingen en Overtuigingen: Onder de wantrouwige cliënten gaf 21,5% expliciet de voorkeur aan menselijk contact, terwijl slechts 0,2% een voorkeur voor AI uitdrukte. De meest voorkomende negatieve overtuigingen over AI waren dat het gebrek aan empathie toont (16,0%), onbetrouwbaar is (11,0%) of onnut is (10,6%).
Triggers voor Vermoeden: Vermoeden ontstond het meest frequent in het eerste (38,5%) of tweede (30,3%) kwart van het gesprek. Primaire triggers waren onder meer:
- Vragen die niet direct werden beantwoord (17,9%).
- Onpersoonlijke reacties (12,5%).
- Repetitieve reacties (14,6%).
- Langere reactietijden (8,5%).
- Opvallend genoeg was er in 46,6% van de gevallen "geen duidelijke trigger" geïdentificeerd in het gedrag van de hulpverlener.
Reacties van de Hulpverlener en Uitkomsten:
- Geruststelling: In 84,3% van de gevallen stelden hulpverleners de cliënt expliciet gerust dat zij menselijk waren (bijv. "Ik verzeker u; dit is geen AI!"). Deze strategie leidde ertoe dat 54,8% van de cliënten minder wantrouwig werd en 27,6% overging tot het bespreken van hun zorgen.
- Vermijden/Omleiden: In 15,7% van de gevallen stuurden hulpverleners het gesprek om naar de kern van de klacht van de cliënt zonder de verdenking expliciet te adresseren. Dit resulteerde erin dat 47,8% van de cliënten overging tot het onderwerp, maar bij 52,2% bleven ze doorvragen, beëindigden zij het gesprek of uitten zij frustratie.

Betekenis en Claims
Het artikel stelt dat naarmate de bekendheid van het publiek met AI groeit, het vermoeden van AI-gebruik in digitale zorgsettings waarschijnlijk zal toenemen, wat potentiële risico's vormt voor de therapeutische relatie. De auteurs wijzen op een paradox: terwijl blinde beoordelaars AI-ondersteunde berichten als menselijker en empathischer kunnen beoordelen dan puur menselijke berichten, beoordelen cliënten berichten minder gunstig wanneer zij een AI-betrokkenheid vermoeden, ongeacht of dit vermoeden correct is.

De studie concludeert dat transparantie niet altijd vertrouwen opbouwt. In plaats daarvan suggereren de bevindingen dat hulpverleners die cliënttwijfels erkennen en directe geruststelling bieden, merkbaar betere resultaten boeken dan zij die de kwestie vermijden. De auteurs betogen dat de integratie van AI-ondersteuning in de counseling een zorgvuldige balans vereist tussen transparantie en de waargenomen authenticiteit van de therapeutische interactie, waarbij zij opmerken dat het "menselijke" element een cruciaal onderdeel is van het vertrouwen van de cliënt in crisissituaties.

1. De "Robotradar" wordt sterker

2. Waarom werden ze achterdochtig? (Het "Uncanny Valley"-effect)

3. Wat wilden mensen?

4. Hoe reageerde de bemanning (Het spel van "Geruststelling" vs. "Negeren")

5. De belangrijkste les

Meer zoals dit