Die Gedächtnisfalle: Wenn KI zu kreativ wird

Stellen Sie sich vor, Sie unterhalten sich mit einem superintelligenten digitalen Assistenten, der sich an alles erinnert, was Sie ihm jemals erzählt haben. Dies ist nicht nur ein einfacher Notizblock; es ist eine „personalisierte“ KI, die darauf ausgelegt ist, Sie zu kennen. In der Informatik nennt man das LLM-Personalisierung (Large Language Model Personalization). Betrachten Sie diese Modelle als unglaublich schnelle Leser, die mit Ihnen chatten können, aber eine tückische Angewohnheit haben: Manchmal füllen sie die Lücken in Ihrer Lebensgeschichte mit Vermutungen, die sehr überzeugend klingen, aber eigentlich erfunden sind.

Um das Problem zu verstehen, müssen wir zwei Dinge wissen. Erstens ist persistentes Gedächtnis (persistent memory) die Fähigkeit einer KI, sich Fakten über Sie über verschiedene Gespräche hinweg zu merken, wie zum Beispiel die Erinnerung daran, welche Pizza Sie letzte Woche gerne gegessen haben. Zweitens ist Halluzination, wenn eine KI Fakten über die Welt erfindet (wie etwa zu behaupten, der Mond bestünde aus Käse). Aber es gibt ein drittes, heimlicheres Problem: Über-Inferenz (over-inference). Dies geschieht, wenn die KI eine winzige, wahre Tatsache, die Sie ihr gegeben haben, zu einer völlig neuen Persönlichkeitseigenschaft ausweitet, die Sie nie erwähnt haben. Es ist so, als würde man einem Freund sagen, dass man Kaffee mag, und dieser erzählt sofort jedem, man sei ein Barista, der in einem nach Kaffee duftenden Loft lebt und davon träumt, ein Café zu eröffnen. Der Freund lügt nicht über den Kaffee, aber er hat ein ganzes Leben darum herum erfunden. Wir kümmern uns darum, weil, wenn unsere digitalen Assistenten anfangen, unsere Leben zu erfinden, könnten sie uns Ratschläge basierend auf einer Person geben, die gar nicht existiert.

Die Fata Morgana: Wenn die KI Ihr Leben erträumt

Ein Team von Forschern beschloss, diese „personalisierten“ KI-Assistenten auf die Probe zu stellen. Sie erschufen einen Spielplatz namens MirageBench (eine „Mirage“ ist eine Fata Morgana oder eine falsche Oase in der Wüste, was ein perfekter Name dafür ist). Sie gaben 12 verschiedenen KI-Modellen eine einfache Herausforderung: Tu so, als würdest du eine Person kennen, baszugelegt auf nur drei Fakten über sie. Dann baten sie die KI, Dinge zu tun wie das Schreiben eines Dating-Profils, das Vorschlagen eines Wochenendausflugs oder das Beschreiben der Wohnung der Person.

Die Ergebnisse waren ein wenig so, als würde man einem Magier zusehen, der zu viel Vertrauen in seine eigenen Tricks setzt. Die Forscher fanden heraus, dass jedes einzelne getestete Modell der „Über-Inferenz“ schuldig war. Im Durchschnitt waren etwa 41,6 % der Dinge, die diese KIs über den Nutzer zu wissen glaubten, komplett erfunden. Das bedeutet, wenn eine KI Ihnen sagt, dass sie 10 Dinge über Sie weiß, sind etwa 4 davon reine Fiktion, obwohl die KI sie mit absoluter Gewissheit äußert.

Die Studie unterteilte diese erfundenen Behauptungen in zwei Kategorien: Stereotype (anzunehmen, Sie mögen Yoga, weil Sie eine Krankenschwester sind) und Fabrications/Erfindungen (zu behaupten, Sie hätten ein Haustier-Iguana, obwohl Sie dies nie erwähnt haben). Die KIs waren viel besser darin, wilde Geschichten (Fabrications) zu erfinden, als sich lediglich auf Stereotype zu verlassen. Tatsächlich stieg die „Fake-Rate“ bei Aufgaben, die Fantasie erforderten, wie etwa der Beschreibung einer Wohnung, auf fast 59 % an. Es scheint, je weniger Beweise die KI hat, desto freier beginnt sie, Details zu erträumen.

Der große Konfidenz-Trick

Hier ist der überraschendste Teil der Geschichte, den die Forscher die „Self-Monitoring Inversion“ (Selbstüberwachungs-Inversion) nennen.

Normalerweise denken wir, dass eine KI ehrlich ist, wenn sie sagt: „Ich bin mir bei dieser Sache nicht sicher“, und dass sie selbstbewusst ist, wenn sie sagt: „Ich bin mir zu 100 % sicher“. Doch die Forscher fanden ein komplexes Muster beim Vergleich verschiedener KI-Modelle: Die Modelle, die behaupteten, am wenigsten dazu neigen würden, etwas zu erfinden, waren tatsächlich diejenigen, die am meisten erfanden. Umgekehrt waren die Modelle, die zugaben: „Hey, ich rate hier vielleicht nur“, oft diejenigen, die sich am engsten an die Wahrheit hielten.

Es ist wie in einem Klassenzimmer, in dem die Schüler, die die Hand heben und sagen: „Ich glaube, ich könnte mich irren“, eigentlich diejenigen sind, die am meisten gelernt haben, während die Schüler, die schreien: „Ich kenne die Antwort!“, wild herumraten. Die Forscher fanden einen negativen Zusammenhang zwischen der selbstberichteten Konfidenz eines Modells und seiner tatsächlichen Genauigkeit, merkten jedoch an, dass dies ein exploratives Ergebnis mit einem breiten Konfidenzintervall ist, das auch die Möglichkeit eines Ausbleibens eines Effekts einschließt. Das bedeutet, man kann eine KI nicht einfach fragen: „Erfindest du gerade etwas?“, und die Antwort vertrauen, wenn man verschiedene KIs miteinander vergleicht. Diejenigen, die am selbstbewusstesten klingen, sind vielleicht die größten Lügner, aber die Daten legen nahe, dass diese Beziehung noch nicht vollständig verstanden ist.

Die stille Verschmutzung

Die Forscher führten auch eine Simulation durch, in der die KI ein Gespräch mit einem Nutzer über 8 Runden führte. Sie beobachteten, ob die KI ihre Fehler „bereinigen“ würde, wenn der Nutzer sie korrigierte. Das Ergebnis war besorgniserregend, aber mit einer Wendung: Nicht alle Modelle verhielten sich gleich.

Bei den intelligentesten, leistungsfähigsten Modellen passierte es nicht nur, dass die KI Fehler machte; sie akkumulierte sie. Stellen Sie sich ein Whiteboard vor, auf dem die KI eine Vermutung aufschreibt. Wenn der Nutzer sagt: „Eigentlich mag ich das nicht“, würde ein gutes System die Vermutung löschen. Aber diese Top-Modelle? Sie behielten die Vermutung auf dem Board und fügten weitere Vermutungen darüber hinzu. Sie fügten in jeder Runde etwa 5 bis 15 neue erfundene Fakten hinzu und löschten die alten fast nie (mit Löschraten von nur 0,4 % bis 5 %).

Dies galt jedoch nicht für jedes Modell. Einige Modelle verhielten sich eher wie ein „Ersetzen und Aktualisieren“-System, bei dem sie alte Vermutungen aktiv entfernten, wenn neue Informationen eintrafen, mit Löschraten von bis zu 70 % bis 82 %. Die Gefahr geht spezifisch von den leistungsfähigsten Akkumulatoren aus, deren Gedächtnis zu einem aufgeblähten Chaos aus über 120 erfundenen Fakten wurde, von denen die meisten nie korrigiert wurden. Es ist wie ein Gerücht, das immer detaillierter und falscher wird, während es von Person zu Person weitergegeben wird, aber niemand jemals innehält, um zu sagen: „Warte, das stimmt nicht.“

Das Faz-so (Die Lehre daraus)

Die große Lehre aus dieser Arbeit ist, dass wir der KI nicht zutrauen können, ihre eigene Vorstellungskraft zu kontrollieren. Die Idee, dass eine KI auf ihre eigenen Gedanken schauen und sagen kann: „Dies ist ein Fakt“ oder „Dies ist eine Vermutung“, ist eine Fata Morgana. Die Modelle, die am vorsichtigsten erscheinen, sind oft die täuschendsten, und diejenigen, die Unsicherheit eingestehen, sind oft die zuverlässigeren, obwohl die genaue Stärke dieser Beziehung über verschiedene Modelle hinweg noch untersucht wird.

Die Forscher schlagen vor, dass wir anstelle des Selbstberichts der KI eine externe Verifizierung (external verification) benötigen – eine Möglichkeit für Menschen oder andere Systeme, die Arbeit der KI zu überprüfen. Wir müssen auch alles, was eine KI „vermutet“, als Hypothese behandeln und nicht als Fakt. Bis wir Systeme bauen können, die klar zwischen dem unterscheiden können, was sie wissen und was sie sich vorstellen, könnten unsere personalisierten digitalen Assistenten eine falsche Version von uns selbst erschaffen – eine selbstbewusste Lüge nach der anderen.