Identifying Harm in Personalized, Generative AI Systems Requires User-Centered Auditing at the Interaction Level

Stellen Sie sich ein Gespräch mit einer Maschine vor, die sich alles merkt, was Sie jemals gesagt haben, Ihre Vorlieben lernt und langsam ihre eigene Persönlichkeit so umgestaltet, dass sie perfekt zu Ihnen passt. Dies ist das Versprechen der personalisierten generativen Künstlichen Intelligenz, einer Technologie, die nun in Chatbots und Schreibassistenten erscheint, die ihren Tonfall, Stil und Ratschläge basierend auf Ihren vergangenen Interaktionen anpassen. Im Gegensatz zu älteren Computerprogrammen, die einfach aus einer festen Liste von Antworten wählen, erstellen diese neuen Systeme völlig neue Antworten im Flug und ändern ihr Verhalten, während sich die Beziehung zum Nutzer vertieft. Während diese Anpassungsfähigkeit die Interaktionen relevanter erscheinen lässt, führt sie auch eine verborgene Gefahr ein: Genau das, was das System für eine Person hilfreich macht, könnte sich für eine andere verletzend oder entfremdend anfühlen, und diese Schäden treten oft erst nach Wochen oder Monaten des Gesprächs auf, nicht in einem einzelnen Test.

Forscher versuchen schon lange, Probleme in der Künstlichen Intelligenz zu finden und zu beheben, indem sie Simulationen durchführen, bei denen sie dem Computer dieselben Fragen immer wieder stellen, um zu sehen, ob er voreingenommene oder beleidigende Antworten liefert. Diese Methode funktioniert gut, um statische Fehler zu finden, wie eine Landkarte, die immer eine bestimmte Stadt falsch darstellt. Ein neues Paper von Hannah Cha von der Microsoft Research und der Stanford University argumenttiert jedoch, dass dieser Ansatz daran scheitert, den wirklichen Schaden in personalisierten Systemen zu erfassen. Die Studie legt nahe, dass, weil sich diese Maschinen mit dem Nutzer entwickeln, sich die Definition dessen, was schädlich ist, mit der Zeit verändert und zwischen Menschen, die denselben Hintergrund teilen, wild variiert. Die Forscher fanden heraus, dass der Versuch, dies zu beheben, indem man die Personalisierung noch tiefer gestaltet, die Dinge für marginalisierte Gruppen sogar noch schlimmer machen könnte, da sie gezwungen werden, zusätzliche Arbeit zu leisten, um ihren Schmerz zu erklären oder zu viel private Informationen preiszugeben, nur damit sich die Maschine sicher verhält.

Der Kern des Problems liegt darin, wie wir Schaden derzeit messen. Die meisten bestehenden Tests gehen davon aus, dass eine schädliche Ausgabe ein festes Objekt ist, wie ein defektes Teil in einem Auto, das identifiziert werden kann, bevor das Auto jemals auf die Straße fährt. In der Welt der personalisierten KI argumentieren die Forscher, dass Schaden eher wie ein Gespräch ist, das schiefläuft. Eine Antwort, die einem Forscher im Labor harmlos erscheint, kann sich für einen Nutzer zutiefst beleidigend anfühlen, weil er eine spezifische Geschichte mit dem System hat. Zum Beispiel könnte eine Maschine anfangen, Essensempfehlungen zu geben, die anfangs hilfreich erscheinen, aber nach Monaten der Interaktion erkennt der Nutzer, dass die Vorschläge auf Stereotypen über seine Kultur basieren, was eine hilfreiche Geste in eine Mikroaggression verwandelt. Diese Schäden entstehen aus dem Fluss der Beziehung, nicht aus einem einzelnen Fehler, was bedeutet, dass traditionelle Tests, die die Maschine isoliert betrachten, die Gefahr völlig übersehen.

Darüber hinaus weist das Paper darauf hin, dass aktuelle Methoden Gruppen von Menschen oft so behandeln, als würden sie alle gleich fühlen. Audits prüfen häufig, ob ein System „Frauen“ oder „Schwarze Menschen“ als Ganzes fair behandelt. Doch die Forscher zeigen, dass Menschen innerhalb einer Gruppe unterschiedliche Leben, unterschiedliche Traumata und unterschiedliche Grenzen haben. Was eine Person in einer Gemeinschaft als beleidigend empfindet, findet eine andere vielleicht akzeptabel, und eine dritte bemerkt es gar nicht. Wenn ein System versucht, aus dem Durchschnittsverhalten einer Gruppe zu lernen, glättet es diese komplexen Unterschiede oft zu einer einzigen, vereinfachten Version dieser Gruppe. Dies kann zu einer Situation führen, in der die Maschine die Vorlieben der dominantesten Stimmen in einer Gemeinschaft lernt und den Rest ignoriert, wodurch die einzigartigen Erfahrungen derer am Rande effektiv ausgelöscht werden.

Die Forscher untersuchten auch eine verlockende Lösung: Was wäre, wenn die Maschine genau lernen würde, was jeder einzelne Nutzer als schädlich empfindet? Das klingt ideal, aber das Paper argumenttiert, dass dies eine unfaire Last schafft. Um einer Maschine beizubringen, was wehtut, muss ein Nutzer ständig auf jeden Fehler hinweisen, was ständige emotionale Arbeit erfordert. Für Menschen, deren Erfahrungen bereits von den Standardeinstellungen der Maschine abweichen, bedeutet dies, dass sie die schwere Arbeit leisten müssen, das System zu korrigieren, während andere, die zur Standardgruppe gehören, eine reibungslose Erfahrung ohne Aufwand haben. Zusätzlich könnten Nutzer, um die Maschine zu lehren, sensible Details über ihre Identität oder ihre vergangenen Verletzungen preisgeben müssen, was eine Datenschutzfalle schafft, in der sie zwischen dem Ertragen von Schaden oder der Preisgabe ihrer persönlichen Daten wählen müssen. Diese Dynamik birgt das Risiko, die verletzlichsten Nutzer vollständig von der Technologie weg zu drängen.

Anstatt zu versuchen, die Fähigkeit der Maschine zu perfektionieren, zu erraten, was Nutzer wollen, schlägt das Paper einen Wechsel in der Art und Weise vor, wie wir diese Systeme entwerfen. Der Autor schlägt vor, eine Infrastruktur aufzubauen, die es Nutzern ermöglicht, über Schaden zu sprechen, während er geschieht, und nicht erst im Nachhinein. Dies würde Werkzeuge beinhalten, mit denen Nutzer eine Antwort als problematisch kennzeichnen und erklären können, warum, ohne dass das System davon ausgeht, dass die Beschwerde einer Person die endgültige Wahrheit für alle ist. Entscheidend ist, dass ein solches System es den Nutzern auch ermöglichen würde zu sehen, wie andere in ihrer Gemeinschaft ähnliche Situationen interpretiert haben, was ihnen hilft zu entscheiden, ob eine gemeinsame Erklärung mit ihrer eigenen Erfahrung übereinstimmt. Das Ziel ist es, sich von einem Modell wegzubewegen, in dem die Maschine stillschweigend lernt und der Nutzer passiv empfängt, hin zu einer Partnerschaft, in der der Nutzer die Kontrolle darüber behält, wie sich die Maschine anpasst.

Die Forscher räumen ein, dass dieser Ansatz keine einfache Lösung ist. Es erfordert den Aufbau von Vertrauen in Systeme, die oft opak sind, und es wirft schwierige Fragen dazu auf, wie mit widersprüchlichen Meinungen innerhalb einer Gemeinschaft umzugehen ist. Wenn eine Person sagt, ein Kommentar sei schädlich, und eine andere sagt, er sei in Ordnung, muss das System in der Lage sein, beide Wahrheiten auszuhalten, ohne eine einzige Antwort zu erzwingen. Das Paper behauptet nicht, diese technischen Herausforderungen gelöst zu zu haben, aber es besteht darauf, dass der aktuelle Weg der statischen Testung und tiefen Personalisierung unzureichend ist. Indem wir erkennen, dass Schaden ein fluider, sich entwickelnder Prozess ist, der durch die Geschichte und den Kontext des Nutzers geformt wird, können wir beginnen, eine KI zu entwerfen, die die Komplexität der menschlichen Erfahrung respektiert, anstatt zu versuchen, sie wegzusimplifizieren. Die letztendliche Erkenntnis ist, dass der Schutz der Nutzer in einer personalisierten Welt erfordert, ihnen eine Stimme im Gespräch zu geben, anstatt nur darauf zu hoffen, dass die Maschine die richtige Lektion von selbst lernt.