Scoping review of governance, privacy, and design in AI- supported conversational agents for perinatal mental health
Deze scoping review van 35 studies onthult dat, hoewel AI-ondersteunde conversationele agenten voor perinatale mentale gezondheid snel evolueren naar geavanceerde architecturen, zij lijden aan een kritieke "AI-perinatale paradox" die wordt gekenmerkt door ontoereikend bestuur, privacywaarborgen en inclusiviteit, wat aanleiding geeft tot het voorstel van acht minimale standaarden om veiligheid en gelijkwaardigheid in hun ontwikkeling te prioriteren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Mentale uitdagingen tijdens de zwangerschap en het eerste jaar na de geboorte komen veel voor en treffen een aanzienlijk deel van de ouders wereldwijd, maar velen worstelen met het vinden van tijdige hulp. In de afgelopen jaren heeft technologie een potentiële oplossing geboden via conversationele agenten: computerprogramma's die ontworpen zijn om met gebruikers te chatten via tekst of spraak, waarbij informatie, emotionele steun en begeleiding worden geboden. Deze digitale hulpmiddelen beloven op elk uur beschikbaar te zijn en bieden een private ruimte voor ouders om gevoelige angsten te bespreken over hun mentale staat of het welzijn van hun baby. Echter, omdat deze gesprekken zeer persoonlijke en soms gevaarlijke onderwerpen kunnen bevatten, zoals gedachten aan zelfbeschadiging of geweld, zijn de veiligheid en privacy van deze systemen cruciaal. De vraag is niet langer alleen of deze chatbots kunnen praten, maar of ze goed genoeg zijn gebouwd en beheerd om vertrouwd te worden met de meest kwetsbare momenten in het leven van een ouder.
Een team onderzoekers aan de James Cook University in Australië zette zich scharpe schijn om de huidige staat van deze kunstmatige intelligentie-instrumenten specifiek voor perinatale mentale gezondheid te onderzoeken. Ze voerden een uitgebreide review uit van wetenschappelijke studies gepubliceerd tussen 2015 en 2025, waarbij ze door duizenden records zochten naar rapporten over hoe deze chatbots zijn ontworpen, hoe ze met gebruikersgegevens omgaan en hoe ze worden getest. Het team analyseerde 35 studies die 30 unieke chatbot-systemen beschreven die werden gebruikt in 14 verschillende landen. Hun doel was om het landschap van deze instrumenten in kaart te brengen, waarbij ze verder keken dan alleen of ze werken, om te begrijpen wie ze bedienen, hoe ze worden beschermd en wat er gebeurt wanneer een gebruiker in crisis verkeert.
De onderzoekers vonden dat de technologie achter deze chatbots snel verandert. Lange tijd vertrouwden de meeste systemen op eenvoudige, op regels gebaseerde instructies, waarbij de computer een vastgesteld pakket aan "als dit, dan dat"-opdrachten volgde om reacties te genereren. Echter, in de afgelopen jaren zijn nieuwere systemen begonnen met het gebruik van grote taalmodellen (large language models), wat geavanceerde computerprogramma's zijn die getraind zijn op enorme hoeveelheden tekst om meer natuurlijke en flexibele gesprekken te genereren. Hoewel deze nieuwere tools menselijker kunnen klinken en beter kunnen aanpassen aan de specifieke situatie van een gebruiker, onthulde de review een verontrustende discrepantie. De systemen die de meest geavanceerde technologie gebruiken, bleken vaak de zwakste veiligheids- en privacybescherming te hebben.
Wanneer de onderzoekers keken naar hoe deze systemen met privé-informatie omgaan, was het beeld schrijnend. Geen van de studies rapporteerde het gebruik van geavanceerde methoden om gegevens te beveiligen, zoals het direct op de telefoon van de gebruiker verwerken van informatie zonder deze naar een centrale server te sturen, of het gebruik van wiskundige technieken om individuele details te verbergen terwijl de computer nog steeds kan leren. In plaats daarvan vertrouwde bijna de helft van de systemen op commerciële diensten die door externe bedrijven worden geleverd om de gesprekken te verwerken. Dit betekent dat gevoelige details over de mentale staat van een ouder vaak via het internet naar servers van derden werden gestuurd, met weinig transparantie over waar die gegevens heen gingen, wie ze kon zien of hoe lang ze werden bewaard. Bovendien legden de meeste studies niet duidelijk uit hoe zij toestemming van gebruikers verkregen om hun gegevens te gebruiken, en zeer weinig beschreven hoe zij het gedrag van het systeem zouden bijwerken nadat het gelanceerd was.
De review benadrukte ook een aanzienlijke kloof in voor wie deze tools zijn ontworpen. De overgrote meerderheid van de chatbots werd uitsluitend voor moeders gebouwd, waarbij vaders, partners van hetzelfde geslacht of niet-biologische ouders vaak werden genegeerd. Slechts een handvol systemen probeerde vaders te betrekken, en nog minder hielden rekening met de complexe relatie tussen partners. Daarnaast werkten de meeste tools alleen in het Engels en vereisten ze een sterke internetverbinding, waardoor ouders in afgelegen gebieden of die met beperkte toegang tot technologie buiten de boot vielen. Deze smalle focus betekent dat de voordelen van deze digitale hulpmiddelen de diverse gezinnen die ze het hardst nodig hebben, niet bereiken.
Misschien wel de meest kritieke bevinding betrof hoe deze systemen met noodsituaties omgaan. Wanneer een ouder gedachten uitspreekt over zelfmoord of schade aan de baby, is de reactie van de chatbot een kwestie van leven en veiligheid. De onderzoekers vonden dat hoewel sommige systemen deze crisissignalen automatisch kunnen detecten, bijna geen van de systemen een betrouwbaar plan had om de gebruiker in contact te brengen met een menselijke hulpverlener. In veel gevallen kan het systeem een crisis weliswaar signaleren, maar vervolgens niets doen, of het kan een generieke lijst met telefoonnummers verstrekken zonder te garanderen dat de gebruiker daadwerkelijk een persoon heeft bereikt. Slechts één studie beschreef een systeem dat garandeerde dat een mens de gebruiker binnen een specifieke tijd na de detectie van een crisis zou opvolgen. De anderen functioneerden zonder dit vangnet, waardoor gebruikers in gevaar verkeerden zonder een duidelijke weg naar professionele hulp.
De onderzoekers beschreven deze situatie als een paradox: naarmate de technologie geavanceerder wordt en in staat is tot complexe gesprekken, worden de waarborgen die het veilig maken voor gebruik steeds minder consistent. De oudere, eenvoudigere systemen hadden vaak duidelijkere regels voor privacy en menselijk toezicht, terwijl de nieuwere, flexibelere systemen vaak met minder aandacht voor deze cruciale beschermingen werden gebouwd. De review concludeerde dat de snelle ontwikkeling van deze tools de vestiging van verantwoorde standaarden heeft ingehaald. De auteurs stellen een reeks minimale veiligheidsregels voor de toekomst voor, waarbij zij suggereren dat ontwikkelaars, artsen en beleidsmakers veiligheid, privacy en inclusiviteit vanaf het begin van het ontwerpproces prioriteit moeten geven. Zij betogen dat voor deze tools werkelijk nuttig te zijn, ze bewezen veilig en effectief moeten zijn voor echte mensen in echte crises voordat ze breed vertrouwd kunnen worden, om ervoor te zorgen dat de belofte van digitale ondersteuning niet ten koste gaat van de veiligheid van ouders.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.