Scoping review of governance, privacy, and design in AI- supported conversational agents for perinatal mental health
Diese Übersichtsarbeit über 35 Studien zeigt auf, dass KI-gestützte konversationelle Agenten für die perinatale psychische Gesundheit zwar einer raschen Entwicklung hin zu fortschrittlichen Architekturen unterliegen, jedoch unter einem kritischen „KI-Perinatalitäts-Paradoxon“ leiden, das durch unzureichende Governance, Datenschutzvorkehrungen und Inklusivität gekennzeichnet ist, was die Vorschlag von acht Mindeststandards zur Priorisierung von Sicherheit und Gerechtigkeit in deren Entwicklung veranlasst.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Psychische Herausforderungen während der Schwangerschaft und im ersten Jahr nach der Geburt sind häufig und betreffen einen erheblichen Teil der Eltern weltweit, doch viele kämpfen darum, rechtzeitig Hilfe zu finden. In den letzten Jahren hat die Technologie durch konversationelle Agenten eine potenzielle Lösung geboten: Computerprogramme, die darauf ausgelegt sind, mit Nutzern per Text oder Sprache zu chatten und Informationen, emotionale Unterstützung sowie Orientierung zu bieten. Diese digitalen Werkzeuge versprechen, zu jeder Stunde verfügbar zu sein und einen privaten Raum zu schaffen, in dem Eltern über sensible Ängste bezüglich ihres psychischen Zustands oder des Wohlergehens ihres Babys sprechen können. Da diese Gespräche jedoch tief persönliche und manchmal gefährliche Themen beinhalten können, wie etwa Gedanken an Selbstverletzung oder Gewalt, sind die Sicherheit und Privatsphäre dieser Systeme entscheidend. Die Frage ist nicht mehr nur, ob diese Chatbots sprechen können, sondern ob sie gut genug gebaut und gesteuert werden, um den verletzlichsten Momenten im Leben eines Elternteils zu vertrauen.
Ein Forschungsteam der James Cook University in Australien setzte sich zum Ziel, den aktuellen Stand dieser KI-Werkzeuge speziell für die perinatale psychische Gesundheit zu untersuchen. Sie führten eine umfassende Überprüfung wissenschaftlicher Studien durch, die zwischen 2015 und 2025 veröffentlicht wurden, und durchsuchten tausende Datensätze, um Berichte darüber zu finden, wie diese Chatbots gestaltet sind, wie sie mit Nutzerdaten umgehen und wie sie getestet werden. Das Team analysierte 35 Studien, die 30 einzigartige Chatbot-Systeme in 14 verschiedenen Ländern beschrieben. Ihr Ziel war es, die Landschaft dieser Werkzeuge abzubilden und dabei über die bloße Frage, ob sie funktionieren, hinauszugehen, um zu verstehen, wem sie dienen, wie sie geschützt werden und was passiert, wenn ein Nutzer in einer Krise steckt.
Die Forscher fanden heraus, dass sich die Technologie hinter diesen Chatbots rasant verändert. Lange Zeit basierten die meisten Systeme auf einfachen, regelbasierten Anweisungen, bei denen der Computer einem festen Satz von „Wenn dies, dann das“-Befehlen folgte, um Antworten zu generieren. In den letzten Jahren haben jedoch neuere Systeme begonnen, große Sprachmodelle zu nutzen – fortgeschrittene Computerprogramme, die auf riesigen Mengen an Text trainiert wurden, um natürlichere und flexiblere Gespräche zu führen. Während diese neueren Werkzeuge zwar menschlicher klingen und besser auf die spezifische Situation eines Nutzers eingehen können, offenbarte die Überprüfung eine beunruhigende Diskrepanz. Die Systeme, die die fortschrittlichste Technologie nutzen, verfügten oft über die schwächsten Sicherheits- und Datenschutzvorkehrungen.
Als die Forscher untersuchten, wie diese Systeme mit privaten Informationen umgehen, war das Bild ernüchternd. Keine der Studien berichtete über den Einsatz fortgeschrittener Methoden zur Datensicherheit, wie etwa die Verarbeitung von Informationen direkt auf dem Telefon des Nutzers, ohne sie an einen zentralen Server zu senden, oder die Verwendung mathematischer Techniken, um individuelle Details zu verbergen, während der Computer dennoch lernen kann. Stattdessen verließ sich fast die Hälfte der Systeme auf kommerzielle Dienste externer Unternehmen, um die Gespräche zu verarbeiten. Dies bedeutet, dass sensible Details über den psychischen Zustand eines Elternteils oft über das Internet an Server von Drittanbietern gesendet wurden, wobei es kaum Transparenz darüber gab, wohin diese Daten flossen, wer sie sehen konnte oder wie lange sie aufbewahrt wurden. Darüber hinaus erklärten die meisten Studien nicht klar, wie sie die Erlaubnis der Nutzer zur Verwendung ihrer Daten einholten, und sehr wenige beschrieben, wie sie das Verhalten des Systems nach dessen Einführung aktualisieren würden.
Die Überprüfung hob auch eine erhebliche Lücke bei der Zielgruppe dieser Werkzeuge hervor. Die überwiegende Mehrheit der Chatbots wurde ausschließlich für Mütter entwickelt und ignorierte dabei oft Väter, gleichgeschlechtliche Partner oder nicht gebärende Elternteile. Nur eine Handvoll Systeme versuchte, Väter einzubeziehen, und noch weniger berücksichtigten die komplexe Beziehung zwischen den Partnern. Zudem operierten die meisten Werkzeuge nur auf Englisch und erforderten eine starke Internetverbindung, wodurch Eltern in abgelegenen Gebieten oder solche mit begrenztem Zugang zu Technologie außen vor blieben. Diese enge Fokussierung bedeutet, dass die Vorteile dieser digitalen Werkzeuge die vielfältigen Familien, die sie am dringendsten benötigen, nicht erreichen.
Besonders kritisch betraf die Untersuchung, wie diese Systeme mit Notfällen umgehen. Wenn ein Elternteil Gedanken an Suizid oder die Verletzung seines Babys äußert, ist die Reaktion des Chatbots eine Frage von Leben und Sicherheit. Die Forscher fanden heraus, dass zwar einige Systeme diese Krisensignale automatisch erkennen konnten, aber fast keine einen zuverlässigen Plan hatten, um den Nutzer mit einer menschlichen Hilfsperson zu verbinden. In vielen Fällen konnte das System eine Krise zwar registrieren, unternahm dann aber nichts weiter, oder es lieferte lediglich eine Liste mit generischen Telefonnummern, ohne sicherzustellen, dass der Nutzer tatsächlich eine Person erreichte. Nur eine Studie beschrieb ein System, das garantierte, dass nach der Erkennung einer Krise innerhalb eines bestimmten Zeitrahmens ein Mensch den Nutzer kontaktieren würde. Die anderen operierten ohne dieses Sicherheitsnetz und ließen die Nutzer ohne klaren Weg zu professioneller Hilfe in Gefahr.
Die Forscher bezeichneten diese Situation als ein Paradoxon: Während die Technologie anspruchsvoller wird und komplexere Gespräche führen kann, werden die Schutzmaßnahmen, die sie sicher machen, immer inkonsistenter. Die älteren, einfacheren Systeme hatten oft klarere Regeln für Privatsphäre und menschliche Aufsicht, während die neueren, flexibleren Systeme oft mit weniger Aufmerksamkeit für diese kritischen Schutzmechanismen entwickelt wurden. Die Überprüfung kam zu dem Schluss, dass die rasante Entwicklung dieser Werkzeuge die Etablierung verantwortungsvoller Standards überholt hat. Die Autoren schlagen eine Reihe von Mindestsicherheitsregeln für die Zukunft vor und betonen, dass Entwickler, Ärzte und politische Entscheidungsträger Sicherheit, Datenschutz und Inklusivität von Beginn des Designprozesses an priorisieren müssen. Sie argumenten, dass diese Werkzeuge erst dann wirklich hilfreich sein können, wenn bewiesen wurde, dass sie für echte Menschen in echten Krisen sicher und effektiv sind, um sicherzustellen, dass das Versprechen digitaler Unterstützung nicht auf Kosten der Sicherheit der Eltern geht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.