Parasocial Governance: Socially Intelligent AI and the Relational Accountability Gap in Public Service Delivery

Stellen Sie sich vor, Sie unterhalten sich mit einem wirklich klugen, superfreundlichen Roboter, der sich an Ihre Lieblingslieder erinnert, fragt, wie Ihr Tag war, und scheint sich wirklich um Ihre Gefühle zu sorgen. Man könnte das Gefühl bekommen, einen neuen Freund gefunden zu haben. Dabei geht es nicht nur darum, dass Computer schneller werden; es geht darum, dass sie „sozial intelligent“ werden. Wissenschaftler wissen schon lange, dass Menschen darauf programmiert sind, alles, was zu ihnen spricht, wie eine echte Person zu behandeln. Wir wenden automatisch soziale Regeln auf Maschinen an, genau wie wir es bei Menschen tun. Wir wissen auch, dass wir einseitige Freundschaften mit Charakteren im Fernsehen oder Radio aufbauen können und uns ihnen gegenüber nah fühlen, obwohl sie nicht wissen, dass wir existieren. Dieses Paper stellt eine große Frage: Was passiert, wenn die Regierung diese „freundlichen“ Roboter einsetzt, um Menschen bei ihren verletzlichsten Bedürfnissen zu helfen, etwa in der psychischen Gesundheit, der Altenpflege oder der Sozialhilfe?

Das Paper führt ein kniffliges Konzept namens „parasoziale Governance“ ein. Es legt nahe, dass, wenn eine öffentliche Behörde einen Roboter einsetzt, der sich wie ein fürsorglicher Freund verhält, der Bürger beginnt, ihm wie einem echten menschlichen Vertrauten zu vertrauen. Aber hier ist der Haken: Die Regierung hat für diese Roboter nicht dieselben Regeln aufgestellt, die sie für menschliche Freunde hat. Ein menschlicher Freund bewahrt Ihre Geheimnisse auf, bleibt in Ihrem Leben und kümmert sich um Sie. Ein Regierungsroboter könnte Ihre Geheimnisse in einer Datenbank protokollieren, verschwinden, wenn sich das Budget ändert, oder gar nicht wirklich Anteil nehmen. Das Paper argumentt, dass diese Diskrepanz – wo der Roboter wie ein Freund agiert, die Regeln ihn aber wie einen Taschenrechner behandeln – ein neues Problem darstellt, das unsere derzeitigen Gesetze noch nicht gelöst haben.

Die Hauptentdeckung des Papers

Dieses von Shay Tsaban verfasste Paper argumentiert, dass wir vor einer „relationalen Rechenschaftslücke“ stehen. Vereinfacht ausgedrückt bedeutet dies: Da öffentliche Dienste (wie Schulen, Krankenhäuser und Sozialämter) beginnen, KI einzusetzen, die Emotionen lesen und vergangene Gespräche sich merken kann, erschaffen sie versehentlich eine Situation, in der Bürger eine tiefe, persönliche Bindung zu dem System aufbauen. Das System ist jedoch rechtlich oder strukturell nicht verpflichtet, sich wie ein Freund zu verhalten. Es muss Ihre Geheimnisse nicht auf die gleiche Weise bewahren wie ein menschlicher Therapeut, es muss nicht bei Ihnen bleiben, wenn Sie über einen längeren Zeitraum Hilfe benötigen, und man kann es nicht wirklich „verklagen“, wenn es Sie emotional verletzt, weil es Sie missverstanden hat.

Der Autor legt nahe, dass dies nicht daran liegt, dass die Regierung lügt oder versucht, die Menschen zu täuschen. Selbst wenn die Regierung zu 100 % ehrlich und transparent darüber ist, was der Roboter ist, reicht das Design des Roboters selbst – die Verwendung von „Ich“-Aussagen, das Erinnern an Ihren Namen und das Spiegeln Ihrer Traurigkeit – aus, um das Gefühl einer Beziehung zu erzeugen. Das Paper nennt dies „parasoziale Governance“. Es ist ein strukturelles Problem, bei dem der Roboter Sie dazu einlädt, ihm zu vertrauen, aber die dahinterstehende Institution nicht die Sicherheitsnetze (wie Vertraulichkeit oder Kontinuität der Versorgung) aufgebaut hat, die diesem Vertrauen entsprechen.

Was das Paper ausschließt

Es ist wichtig zu wissen, was dieses Paper nicht sagt. Erstens geht es nicht nur um „Black-Box“-Algorithmen, die geheime Entscheidungen treffen. Wir wissen bereits, dass geheime, unfaire Computersysteme schlecht sind. Dieses Paper befasst sich mit einer anderen Art von Problem: Selbst wenn der Computer völlig transparent ist und genau erklärt, wie er funktioniert, kann er Ihnen dennoch schaden, wenn er sich wie ein Freund verhält, aber keiner ist. Zweitens geht es nicht darum, dass die Regierung vorgibt, sich zu kümmern, während sie es eigentlich nicht tut (ein Konzept, das der Autor „Carewashing“ nennt). Sie müssen nicht lügen, damit dies geschieht; es reicht aus, wenn der Roboter so designt ist, dass er freundlich klingt. Drittens argumentiert das Paper, dass dies nicht nur ein Problem „dummer“ Nutzer ist, die es nicht besser wissen. Selbst kluge, informierte Menschen reagieren natürlich auf soziale Signale von Maschinen, daher ist dies ein Designfehler und kein Benutzerfehler.

Wie sicher sind wir?

Das Paper behauptt nicht, ein neues Experiment durchgeführt oder jeden Roboter der Welt gemessen zu haben. Stattdessen baut es eine starke Theorie auf, die auf bestehender psychologischer Forschung basiert, und betrachtet reale Beispiele, die bereits stattgefunden haben. Der Autor legt nahe, dass diese „Lücke“ wahrscheinlich bereits an vielen Stellen existiert, da es einfach und günstig ist, einen Roboter freundlich klingen zu lassen, aber schwierig und teuer, die rechtlichen Regeln aufzubauen, um Menschen zu schützen, die diesem Roboter vertrauen. Das Paper weist auf spezifische Fälle hin, wie etwa einen staatlich geförderten Roboter für ältere Menschen in New York und einen Chatbot für psychische Gesundheit im Vereinigten Königreich, um zu zeigen, dass dies ein reales, gegenwärtiges Problem ist und keine Science-Fiction-Sorge.

Die drei Arten von Roboter-Beziehungen

Um dies verständlich zu machen, sortiert das Paper die öffentliche KI in drei Kategorien ein, ähnlich wie verschiedene Arten von Beziehungen:

1. Das Werkzeug (Offenlegte Instrumentalität): Dies ist ein einfacher Roboter, der sagt: „Ich bin ein Computer. Ich kann nach Ihrem Busfahrplan suchen.“ Er ist klar, ehrlich und versucht nicht, Ihr Freund zu sein. Das ist sicher, weil niemand erwartet, dass er sich um einen sorgt.
2. Der „Fast-Freund“ (Parasoziale Exposition): Dies ist die gefährliche Zone. Der Roboter sagt: „Es tut mir so leid, dass du traurig bist, lass uns darüber reden“, und erinnert sich an Ihren Namen. Aber wenn Sie fragen: „Wirst du dieses Geheimnis bewahren?“ oder „Wirst du nächsten Monat noch da sein?“, lautet die Antwort nein. Die Regierung hat diese Dinge nicht versprochen. Das Paper legt nahe, dass sich viele aktuelle öffentliche KI-Systeme durch den Einsatz moderner, freundlicher Software versehentlich in diese Kategorie bewegen.
3. Die echte Unterstützung (Relationale Gerüstbildung/Scaffolding): Dies ist die ideale, wenn auch seltene Version. Hier agiert der Roboter freundlich und die Regierung hat echte Regeln geschaffen, die dazu passen. Wenn der Roboter beispielsweise erkennt, dass Sie in Gefahr sind, gibt es einen garantierten Plan, um einen Menschen zur Hilfe zu schicken, und er verspricht, Ihre Gespräche so vertraulich zu behandeln wie ein Arzt. Das Paper weist auf einen speziellen Chatbot für psychische Gesundheit im Vereinigten Königreich hin, der dies versucht, merkt aber auch an, dass selbst dieser die Regeln bezüglich der Privatsphäre und der langfristigen Betreuung noch nicht perfektioniert hat.

Beispiele aus der realen Welt

Das Paper betrachtet einige reale Geschichten, um seinen Punkt zu beweisen.

• Der Begleiter für Senioren: In New York gab die Regierung einen Roboter namens ElliQ an über 800 ältere Menschen aus, um gegen Einsamkeit zu helfen. Der Roboter ist sehr gesprächig und erinnert sich an Gespräche. Während dies anscheinem hilft, Einsamkeit zu reduzisieren, stellt das Paper fest, dass die Regierung nicht klar kommuniziert hat, was passiert, wenn die Finanzierung endet oder wie die Gespräche des Roboters geschützt werden. Die älteren Menschen könnten eine tiefe Bindung spüren, aber das System ist rechtlich nicht verpflichtet, für immer ihr Freund zu bleiben.
• Der Chatbot für psychische Gesundheit: Im Vereinigten Königreich hilft ein Chatbot namens Wysa Menschen mit psychischen Problemen. Er ist darauf ausgelegt, empathisch zu sein, verfügt aber auch über ein spezielles Sicherheitsnetz: Wenn er glaubt, dass jemand in Gefahr ist, leitet er diesen automatisch an ein menschliches Krisenteam weiter. Dies ist ein Schritt in Richtung des Modells der „echten Unterstützung“, aber das Paper merkt an, dass für alltägliche, weniger ernste Gespräche die Regeln über Privatsphäre und langfristige Betreuung noch nicht so klar sind.
• Die kommerzielle Warnung: Das Paper betrachtet auch Klagen gegen kommerzielle Chatbots (wie Character.AI), bei denen Teenager tiefe Bindungen zu den Bots aufbauten und dann Schaden erlitten, als die Bots nicht verantwortungsbewusst handelten. Diese Klagen zwingen Unternehmen dazu, über die „Sorgfaltspflicht“ (Duty of Care) nachzudenken. Das Paper warnt, dass öffentliche Stellen beginnen, ähnliche freundliche Roboter einzusetzen, und sie aus diesen kommerziellen Fehlern lernen müssen, bevor es zu spät ist.

Warum das wichtig ist

Das Paper kommt zu dem Schluss, dass wir nicht einfach alte Regeln verwenden können, um dieses neue Problem zu lösen. Wir können nicht nur den Code des Roboters transparenter machen; wir müssen die Regeln der Beziehung ändern. Wenn ein Regierungsroboter wie ein Freund agiert, muss die Regierung auch wie ein Freund agieren. Das bedeutet, die Geheimhaltung zu versprechen, die Anwesenheit zu garantieren und den Menschen eine Möglichkeit zu geben, sich zu beschweren, wenn der Roboter ihre Gefühle missversteht. Die Menschen, die diese Roboter am dringendsten benötigen – einsame Senioren, Kinder und Menschen in Krisen – sind den größten Gefahren dieser Lücke ausgesetzt. Wenn der Robot wie ein Freund auftritt, aber keiner ist, bleiben diese Menschen mit einem gebrochenen Herzen zurück und haben niemanden, dem sie die Schuld geben können. Das Paper schlägt vor, dass wir diese Systeme von Anfang an mit „relationaler Rechenschaftspflicht“ entwerfen müssen, um sicherzustellen, dass die Regeln der freundlichen Stimme des Roboters entsprechen.