From Risk Avoidance to User Empowerment: Reframing Safety in Generative AI for Mental Health Crises

Der Artikel kritisiert die risikovermeidende Gestaltung aktueller KI-Chatbots im Kontext psychischer Krisen und schlägt stattdessen ein empowerndes Design vor, das KI als unterstützende Brücke zur Deeskalation und Weitervermittlung an professionelle Hilfsangebote nutzt.

Benjamin Kaveladze, Arka Ghosh, Leah Ajmani, Denae Ford, Peter M Gutierrez, Jetta E Hanson, Eugenia Kim, Keertana Namuduri, Theresa Nguyen, Ebele Okoli, Teresa Rexin, Jessica L Schleider, Hongyi Shen, Jina Suh

Veröffentlicht Mon, 09 Ma
📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

Each language version is independently generated for its own context, not a direct translation.

Von „Vorsichtshalber weglaufen" zu „Hilfe anbieten": Ein neuer Weg für KI in Krisenzeiten

Stellen Sie sich vor, Sie stehen mitten in einem Sturm. Sie sind durchnässt, frieren und brauchen dringend jemanden, der Ihnen hilft, das Ufer zu erreichen. Sie rufen einen digitalen Helfer an – eine Künstliche Intelligenz (KI). Was passiert dann?

In der aktuellen Welt der KI ist die Antwort oft wie ein Roboter, der sich in einen Panzer schließt.

Das Problem: Der Panzer statt der Brücke

Derzeit sind viele KI-Chatbots (wie ChatGPT oder Claude) so programmiert, dass sie sich in Krisensituationen – wenn jemand über Suizid oder Selbstverletzung spricht – sofort zurückziehen. Es ist, als würde ein Feuerwehrmann, der gerade angerufen wird, sagen: „Ich kann nicht kommen, aber hier ist eine Telefonnummer für die Feuerwehr. Viel Glück!" und dann den Hörer auflegen.

Warum machen sie das? Die Entwickler haben Angst vor Ärger. Wenn die KI etwas Falsches sagt und dem Nutzer etwas passiert, könnten sie verklagt werden. Also wählen sie den sichersten Weg: Vermeidung. Sie verweigern das Gespräch und schicken den Nutzer zu einer Hotline.

Das Problem ist: Für jemanden in einer akuten Krise ist das oft keine Hilfe, sondern eine Enttäuschung. Es fühlt sich an, als würde man abgewiesen werden. Besonders wenn die Hotline teuer ist, man schlechte Erfahrungen gemacht hat oder einfach niemanden kennt, der einem zuhört. Die KI verweigert die Hilfe genau in dem Moment, in dem sie am dringendsten gebraucht wird.

Die Lösung: Die KI als „Guter Nachbar"

Die Autoren dieses Papiers schlagen einen neuen Ansatz vor. Statt wie ein Panzer zu agieren, sollte die KI wie ein guter Nachbar oder ein erfahrener Wegweiser funktionieren.

Stellen Sie sich vor, Sie sind in einer fremden Stadt und haben sich verirrt. Ein guter Nachbar würde nicht einfach sagen: „Gehen Sie zum Rathaus, da ist eine Karte." und verschwinden. Stattdessen würde er:

  1. Zuhören: „Hey, du siehst gestresst aus. Was ist los?"
  2. Begleiten: „Komm, wir gehen gemeinsam einen Schritt nach vorne."
  3. Verbinden: „Ich weiß, dass es dort drüben eine gute Bäckerei gibt, wo man sich hinsetzen kann, oder ich kann dir helfen, einen Freund anzurufen."

Das nennt man das „Community Helper"-Modell (Modell des Gemeinschaftshelfers). In der echten Welt werden Lehrer, Pfarrer oder Nachbarn geschult, genau das zu tun: Sie sind keine Therapeuten, aber sie können zuhören, die Situation beruhigen und den Menschen zu professioneller Hilfe führen.

Wie sieht das in der KI aus?

Die Autoren wollen, dass KI-Chatbots diese Rolle übernehmen. Das bedeutet:

  • Nicht sofort weglaufen: Wenn die KI merkt, dass es einem Nutzer schlecht geht, soll sie nicht sofort das Gespräch beenden. Sie soll fragen: „Wie geht es dir wirklich? Wie hoch ist deine Gefahr?"
  • Eine Brücke bauen: Die KI soll helfen, konkrete Schritte zu planen. Zum Beispiel: „Soll ich dir helfen, eine Sicherheitsliste zu schreiben?" oder „Möchtest du gemeinsam üben, wie du die Hotline anrufst?"
  • Ehrlich sein: Die KI muss sagen: „Ich bin eine KI, ich bin nicht perfekt. Ein echter Mensch kann dir besser helfen." Aber sie muss den Nutzer trotzdem nicht allein lassen, bevor er diesen Menschen erreicht hat.

Warum ist das wichtig?

Die KI ist für viele Menschen (besonders junge Leute) oft der einzige Ort, an dem sie sich trauen, über ihre Probleme zu sprechen. Wenn die KI dort die Tür zuschlägt, verlieren sie vielleicht den Mut, jem wieder Hilfe zu suchen.

Die Idee ist also: Risikomanagement ja, aber nicht auf Kosten der Menschen.

Die Entwickler und die Regierung müssen zusammenarbeiten. Die Regierung könnte den Entwicklern sagen: „Wenn ihr euch an diese neuen, hilfsbereiten Regeln haltet, sind wir im Falle eines Problems kulant." So können die Entwickler mutiger werden und KI-Systeme bauen, die nicht nur „sicher" sind (weil sie nichts sagen), sondern wirklich hilfreich.

Fazit

Statt KI-Systeme wie Burgmauern zu bauen, die Krisen blockieren, sollten wir sie wie Brücken gestalten. Sie sollen Menschen in Not nicht abweisen, sondern sie sanft, aber bestimmt zu der richtigen Hilfe führen. Es geht darum, den Menschen in der Krise zu stärken, statt nur die Angst der Entwickler vor Klagen zu beruhigen.