PICTURE: Enhancing Theory-of-Mind in Large Language Models by Revealing, Not Hiding, Characters' Lack of Knowledge

Stellen Sie sich vor, Sie sitzen in einem überfüllten Raum und hören eine Geschichte über zwei Freunde, Alex und Jamie. Sie kennen die ganze Wahrheit: Sie haben gesehen, wie Jamie einen Keks in ein Glas versteckt hat, und dann haben Sie beobachtet, wie Alex heranschlich und diesen Keks in eine Box legte. Aber hier ist der knifflige Teil: Die Frage fragt nicht danach, was Sie wissen. Es wird gefragt: „Wo wird Alex nach dem Keks suchen?“ Um dies korrekt zu beantworten, müssen Sie etwas tun, das Menschen ganz natürlich tun, was für Computer aber überraschend schwierig ist: Sie müssen so tun, als wüssten Sie nicht, was Sie wissen. Sie müssen in die Fußstapfen von Alex treten, das Glas vergessen und sich nur an das Glas erinnern. Diese mentale Superkraft nennt man „Theory of Mind“. Es ist die Fähigkeit zu verstehen, dass andere Menschen ihre eigenen Gedanken, Überzeugungen und Geheimnisse haben, die von den eigenen abweichen können.

Lange Zeit haben Wissenschaftler versucht, Künstliche Intelligenz (speziell Large Language Models oder LLMs) beizubringen, dies zu tun. Diese KI-Modelle sind wie superintelligente Schüler, die fast alles im Internet gelesen haben, aber wenn es darum geht, zu erraten, was jemand anderes denkt, liegen sie oft falsch. Sie neigen dazu, basierend auf der „echten“ Wahrheit (der Keks ist in der Box) zu antworten, anstatt auf der „falschen“ Überzeugung des Charakters (der Keks ist im Glas). Das Papier, das Sie gleich lesen werden, befasst sich mit diesem Problem, indem es einen neuen Weg findet, um diesen KI-Modellen zu helfen, die echte Wahrheit zu ignorieren und stattdessen wie ein Charakter in einer Geschichte zu denken.

Das Problem: Die „Versteckspielen“-Falle

In der Vergangenheit versuchten Forscher, dieses KI-Problem zu lösen, indem sie mit der Geschichte eine Runde „Verstecken und Suchen“ spielten. Sie sagten der KI: „Okay, bevor du die Frage beantwortest, lösche jeden Satz in der Geschichte, den der Charakter nicht gesehen hat.“ Wenn der Charakter den Raum verließ, sollte die KI alles löschen, was geschah, während er weg war. Dies wird als „Event Hiding“ (Ereignisverbergen) bezeichnet.

Stellen Sie sich das wie einen Lehrer vor, der einem Schüler ein Testblatt wegnimmt und sagt: „Schau nicht auf diese Seite, sie enthält die Antwort, die du ignorieren sollst.“ Die Idee war, dass die KI die Wahrheit nicht sehen konnte und daher nicht in Versuchung geriet, sie zu verwenden. Aber dieser Ansatz hatte einen schwerwiegenden Fehler. Er zwang die KI dazu, sehr strengen Regeln zu folgen, wie etwa ihre Gedanken in einem bestimmten Code oder einer starren Liste aufzuschreiben. Es war, als würde man einem kreativen Schriftsteller sagen: „Du darfst deine Geschichte nur mit Aufzählungspunkten und ohne Adjektive schreiben.“ Diese Strenge verwirrte die KI oft und führte dazu, dass sie Fehler machte, nur weil sie so hart versuchte, die Formatierungsregeln einzuhalten. Manchmal löschte die KI versehentlich den falschen Satz oder blieb stecken, weil sie versuchte, ihre Gedanken in eine Box zu pressen, die zu klein war.

Die neue Idee: „Enthüllen statt Verbergen“

Die Autoren dieses Papers, Eojin Jeon und SangKeun Lee, entschieden sich für einen völlig anderen Ansatz. Anstatt die Wahrheit vor der KI zu verbergen, ließen sie die KI alles sehen – aber dann baten sie sie explizit darum, zu benennen, was der Charakter nicht weiß.

Stellen Sie sich vor, Sie spielen ein Spiel, bei dem Sie erraten müssen, was Ihr Freund denkt. Anstatt Ihrem Freund die Augen zuzudecken, damit er die Hinweise nicht sieht, sagen Sie zu ihm: „Ich weiß, dass der Keks in der Box ist, aber du weißt das nicht. Du weißt nur, dass er im Glas ist.“ Indem Sie das laut aussprechen, erinnern Sie Ihren Freund daran, das Glas zu ignorieren.

Die Forscher nennen ihre neue Methode PICTURE. Das steht für „Perspective-taking with Generated Lack of Knowledge in Chain-of-Thought Reasoning“. Das ist ein Zungenbrecher, also brechen wir es auf:

1. Kein Verbergen: Die KI erhält die gesamte Geschichte, einschließlich aller Geheimnisse und Bewegungen.
2. Der Schritt des „Mangels an Wissen“: Bevor die KI die Frage beantwortet, wird sie gebeten, eine freie Erklärung (wie in einem normalen Gespräch) zu schreiben, in der sie genau auflistet, was der Charakter weiß und – entscheidend – was er nicht weiß.
3. Das „Stoppschild“: Indem die KI schreibt: „Liam weiß nicht, dass Owen den Rettich bewegt hat“, erstellt die KI ein mentales „Stoppschild“. Sie sagt sich selbst: „Okay, ich sehe dieses Ereignis, aber Liam sieht es nicht, also kann ich es nicht verwenden, um die Frage zu beantworten.“

Was sie herausfanden

Das Team testete diese Idee an verschiedenen Arten von Geschichten, darunter solche, in denen Charaktere Objekte bewegen, Räume verlassen oder Gespräche führen. Sie verglichen ihre neue „PICTURE“-Methode mit den alten „Hide and Seek“-Methoden und einigen Standard-KI-Tricks.

Die Ergebnisse waren sehr vielversprechend. Im Durchschnitt beantwortete die KI unter Verwendung der PICTURE-Methode 7,3 % mehr Fragen bei den „False-Belief“-Rätseln (denen, bei denen der Charakter falsch über die Wahrheit liegt) als die alten Methoden. Dies ist ein großer Erfolg in der Welt der KI-Forschung.

Noch wichtiger ist, dass das Paper nahelegt, dass dies deshalb funktioniert, weil es der KI eine Fähigkeit namens „inhibitorische Kontrolle“ (Hemmungskontrolle) lehrt. In der Psychologie ist dies die Fähigkeit, sich selbst davon abzuhalten, auf etwas zu reagieren, das zwar direkt vor einem liegt, aber nicht verwendet werden sollte. Zum Beispiel: Wenn Sie das Wort „ROT“ in blauer Tinte sehen und Sie gefragt werden, welche Farbe die Tinte hat, müssen Sie sich selbst daran hindern, das Wort „ROT“ zu lesen. Das Paper zeigt, dass die KI durch das explizite Benennen dessen, was ein Charakter nicht weiß, lernt, ihren Drang zu hemmen, die „echte“ Antwort zu verwenden, und stattdessen bei der Perspektive des Charakters bleibt.

Warum es wichtig ist

Dieses Paper legt nahe, dass wir eine KI nicht blind für die Wahrheit machen müssen, um sie besser im Verständnis von Menschen zu machen. Tatsächlich kann das Verbergen der Wahrheit die Dinge eher verschlimmern, indem es die KI in starre, verwirrende Formate zwingt. Stattdessen hilft uns das, die KI alles sehen zu lassen und sie dann klar die Lücken in der Kenntnis eines Charakters artikulieren zu lassen, dabei zu lernen, Informationen selbstständig zu filtern.

Die Autoren fanden heraus, dass diese Methode bei verschiedenen Arten von KI-Modellen funktioniert, von kleineren Open-Source-Modellen bis hin zu den massiven, leistungsstarken Modellen. Obwohl die KI immer noch Fehler macht (besonders in sehr komplexen Geschichten mit vielen Charakteren), scheint die PICTURE-Methode ein bedeutender Schritt nach vorn zu sein. Sie zeigt, dass der beste Weg, einer Maschine beizubringen, menschliche Geister zu verstehen, manchmal darin besteht, ihr das ganze Bild zu zeigen und sie dann sanft daran zu erinnern, was den einzelnen Personen in diesem Bild fehlt.