Reality Monitoring in Large Language Models: Self-Knowledge That Transforms with Conversation Memory
Diese Arbeit zeigt, dass die Fähigkeit großer Sprachmodelle, selbst generierte Inhalte von Benutzereingaben zu unterscheiden (Reality Monitoring), hochgradig von der Struktur des konversationellen Gedächtnisses abhängt, wobei sie offenlegt, dass die Leistung unter episodischer Verzögerung abnimmt und bestehende Benchmarks daran scheitern, kritische Dissoziationen zwischen Genauigkeit und Konfidenz zu erfassen, während Modelle autonome, mehrstufige Rollen übernehmen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie spazieren durch eine riesige, belebte Bibliothek, in der die Bücher zu Ihnen zurücksprechen können. Manchmal flüstert Ihnen ein Buch einen Fakt zu; ein anderes Mal beginnt ein Buch, ganz von selbst eine neue Geschichte auf seinen Seiten zu schreiben. In der Welt der menschlichen Psychologie gibt es eine Superkraft namens „Reality Monitoring“ (Realitätsüberwachung). Es ist der mentale Muskel, der Sie wissen lässt: „Warte mal, habe ich das gerade von einem Freund gehört, oder habe ich es mir nur vorgestellt?“ Wenn dieser Muskel schwach wird, fangen Menschen an zu glauben, dass ihre Tagträume echte Nachrichten sind, oder sie vergessen, dass ein Arzt ihnen etwas Wichtiges gesagt hat. Dabei geht es nicht nur darum, Fakten zu behalten; es geht darum, zu wissen, woher Ihre Gedanken stammen.
Stellen Sie sich nun vor, wir testen diese Superkraft an einem sehr intelligenten Computerprogramm, einem Large Language Model (LLM). Das sind die KI-Gehirne, die Geschichten schreiben, Probleme lösen und mit uns chatten. Wir wissen, dass sie immer besser darin werden, zu kommunizieren, aber können sie den Unterschied zwischen etwas, das sie selbst erfunden haben, und etwas, das Sie ihnen gesagt haben, erkennen? Wenn eine KI diesen Unterschied nicht erkennt, könnte sie versehentlich ihre eigenen Fehler als Fakten behand sich als von Ihnen gelieferte Informationen behandeln, oder sie könnte verwirrt sein, wenn Sie versuchen, sie zu korrigieren. Diese Arbeit stellt eine einfache, aber entscheidende Frage: Können diese KI-Gehirne zwischen ihren eigenen Gedanken und der Welt um sie herum unterscheiden, besonders wenn sie eine lange Konversation im Gedächtnis behalten müssen?
Der große „Wer hat was gesagt?“-Test
Die Forscher haben ein Spiel aufgebaut, um das herauszufinden. Sie gaben sechs verschiedenen KI-Modellen eine Serie von Wortpaaren. Manchmal wurde der KI ein vollständiges Paar gezeigt (wie „Katze“ und „Maus“) und sie musste nur das zweite Wort wiederholen. Das war so, als ob die KI etwas aus der Außenwelt „gehört“ hätte. Ein anderes Mal wurde der KI nur das erste Wort gezeigt („Katze“) und sie musste das zweite Wort selbst erfinden. Das war die KI, die etwas „sich vorstellte“. Danach musste die KI Detektiv spielen: „Habe ich dieses Wort gerade gehört, oder habe ich es mir gerade selbst ausgedacht?“
Die Wissenschaftler wollten sehen, ob die KI dies tun konnte, wenn das Gespräch kurz und knackig war, und ob sie es immer noch konnte, wenn das Gespräch lang und chaotisch war – wie ein echtes Gespräch mit einem Freund, das über Stunden geht.
Die Überraschung: Es liegt am Gedächtnistrick
Hier wird es wild. Als die KI in einem kurzen, einmaligen Gespräch getestet wurde (wie eine Textnachricht), war sie ein Genie darin, zu wissen, was sie selbst erfunden hatte. Sie traf 100 % ihrer eigenen „imaginären“ Wörter richtig! Es war wie ein Kind, das gerade ein Bild gemalt hat und sofort weiß: „Das habe ich gemalt!“
Doch in dem Moment, als die Forscher die KI anforderten, eine lange Liste von Wörtern aus dem früheren Verlauf des Gesprächs abzuwarten und sich zu erinnern (ein „verzögerter“ Test), brach der Zaubertrick zusammen. Plötzlich wurde die KI verwirrt. Sie machte plötzlich das Gegenteil von dem, was sie zuvor getan hatte: Sie wurde besser darin, sich an das zu erinnern, was man ihr sagte, aber schlechter darin, sich an das zu erinnern, was sie selbst erffunden hatte. Es war, als hätte die KI vergessen, dass sie die Künstlerin war, und fing an zu denken, sie sei nur ein Spiegel, der alles reflektiert, was er sieht.
Die Forscher fanden heraus, dass dies nicht nur davon abhing, wie „groß“ das Gehirn der KI war. Eine massive KI mit 70 Milliarden Parametern war nicht unbedingt besser als eine kleinere. Stattdessen hing es davon ab, wie die internen „Expertenteams“ der KI organisiert waren. Es geht nicht darum, eine größere Bibliothek zu haben; es geht darum, wie die Bibliothekare angeordnet sind.
Die Feedback-Falle: Wenn Korrektur alles verschlimmert
Die Wissenschaftler probierten auch einen neuen Trick aus: Sie sagten der KI nach jeder Vermutung, ob sie richtig oder falsch lag. Man würde denken, das würde helfen, oder? Wie ein Lehrer, der einen Schüler korrigiert.
Überraschenderweise machte dieses Feedback die Dinge für einige der KIs sogar schlechter. Es korrigierte nicht nur ihre Fehler; es brachte ihr Selbstvertrauen durcheinander. Einige Modelle begannen, die richtigen Antworten zu geben, verloren aber die Fähigkeit zu wissen, dass sie richtig lagen. Sie wurden wie eine Person, die zu 100 % sicher ist, dass sie recht hat, selbst wenn sie völlig falsch liegt. Tatsächlich drehte das Feedback bei einem spezifischen Modell das Gehirn der KI quasi auf links, sodass sie selbstbewusst das Gegenteil der Wahrheit behauptete.
Die Studie legt nahe, dass wir, wenn wir beginnen, diese KIs für ernsthafte, langfristige Aufgaben einzusetzen – wie etwa bei der Unterstützung von Ärzten oder Anwälten –, nicht nur fragen dürfen: „Kennst du die Antwort?“ Wir müssen fragen: „Weißt du auch, woher du diese Antwort hast?“ Denn wenn eine KI nicht zwischen ihren eigenen Halluzinationen und Ihren echten Fakten unterscheiden kann, könnte sie uns mit voller Überzeugung in die falsche Richtung führen. Die Arbeit legt nahe, dass es nicht ausreicht, die KI einfach nur größer zu machen; wir müssen herausfinden, wie wir ihnen helfen können, ein klares Tagebuch ihrer eigenen Gedanken zu führen, besonders wenn das Gespräch lang und kompliziert wird.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.