Effects of Theory of Mind and Prosocial Beliefs on Steering Human-Aligned Behaviors of LLMs in Ultimatum Games

Menschliche Interaktion hängt oft von einer stillen, unsichtbaren Fähigkeit ab: der Fähigkeit zu erraten, was ein anderer Mensch denkt, fühlt oder plant, bevor er ein Wort sagt. Psychologen nennen dies die Theorie des Geistes (Theory of Mind). Es ist die mentale Maschinerie, die uns verstehen lässt, dass jemand anderes eine Überzeugung haben könnte, die von der eigenen abweicht, oder dass seine Handlungen von einem Wunsch getrieben werden, den wir nicht sehen können. Jahrzehntelang galt diese Kapazität als ein einzigartig menschliches Merkmal, das für die Navigation in komplexen sozialen Welten unerlässlich ist. Nun, da künstliche Intelligenz-Systeme immer ausgefeilter werden, stellen Forscher eine grundlegende Frage: Können Maschinen lernen, dieselbe soziale Intuition zu nutzen? Wenn ein Computerprogramm gebeten wird, mit einem Menschen oder mit einem anderen Computer zu verhandeln, kann es dann wirklich die Perspektive der Gegenseite verstehen, oder ahmt es lediglich die Worte der Zustimmung nach, ohne die dahinterstehende Absicht zu erfassen?

Um dies herauszufinden, wandte sich ein Team von Forschern der Singapore Management University und der Australian National University an einen klassischen Test menschlicher Verhandlungen, bekannt als das Ultimatum-Spiel. In diesem Szenario müssen zwei Personen eine Geldsumme aufteilen. Eine Person, der Proposer (Vorschlagender), schlägt vor, wie das Bargeld aufgeteilt werden soll. Die andere Person, der Responder (Antwortende), muss entscheiden, ob sie das Angebot annimmt oder ablehnt. Wenn der Responder das Angebot annimmt, wird das Geld wie vorgeschlagen aufgeteilt. Wenn er es ablehnt, erhält keiner der beiden etwas. Während ein rein logischer Computer vielleicht vorschlagen würde, fast das gesamte Geld zu behalten und zu erwarten, dass der andere alles nimmt, statt gar nichts zu bekommen, lehnen echte Menschen oft unfaire Angebote aus einem Sinn für Gerechtigkeit ab, selbst wenn es sie etwas kostet. Die Forscher wollten sehen, ob Large Language Models – die leistungsstarken KI-Systeme, die viele moderne Chatbots antreiben – so programmiert werden können, dass sie wie diese echten Menschen handeln, und ob das Geben eines spezifischen „Theory of Mind“-Denkprozesses ihnen helfen würde, mit dem menschlichen Verhalten in Einklang zu gebracht zu werden.

Das Team setzte eine massive Simulation mit 2.700 Spielen zwischen verschiedenen KI-Agenten auf. Sie ließen die Computer nicht einfach zufällig spielen; sie wiesen jedem Agenten sorgfältig eine bestimmte Persönlichkeit oder einen „prosozialen Glaubenssatz“ zu. Einige Agenten wurden so programmiert, dass sie gierig sind und sich nur darum kümmern, ihren eigenen Anteil zu maximieren. Andere wurden so eingestellt, dass sie fair sind und auf eine gleiche Aufteilung abzielen. Eine dritte Gruppe wurde so programmiert, dass sie selbstlos ist und bereit ist, den Großteil des Geldes an den anderen Spieler abzugeben. Die Forscher testeten dann, wie sich diese Agenten verhielten, wenn sie unterschiedliche Denkmethoden anwandten. Einige trafen einfach eine Entscheidung, ohne ihren Denkprozess zu erklären. Andere nutzten eine standardmäßige Schritt-für-Schritt-Argumentationstechnik. Die interessanteste Gruppe jedoch wurde gebeten, eine Theory-of-Mind-Argumentation zu verwenden. Das bedeutete, dass die Agenten explizit darüber nachdenken mussten, was der andere Spieler glaubte, begehrte und beabsichtigte, bevor sie ihren Zug machten. Sie testeten dies über sechs verschiedene Large Language Models hinweg, die von weit verbreiteten kommerziellen Systemen bis hin zu Open-Source-Modellen reichten, um zu sehen, ob die Größe oder der Typ des Modells eine Rolle spielte.

Die Ergebnisse zeigten ein klares Muster: Die Gabe der KI-Agenten, über den Geist des anderen Spielers zu argumentieren, verbesserte ihre Übereinstimmung mit menschlichen Normen erheblich. Wenn die Agenten eine Theory-of-Mind-Argumentation verwendeten, wurden ihre Entscheidungen viel konsistenter mit dem, wie echte Menschen in diesen Spielen agieren. Beispielsweise waren fair gesinnte Agenten eher bereit, eine gleiche Aufteilung vorzuschlagen, und gierige Agenten boten eher einen Anteil an, den ein gieriger Responder tatsächlich akzeptieren würde. Die Studie fand heraus, dass die Art der Argumentation je nach der Rolle, die die KI spielte, eine tiefe Bedeutung hatte. Proposer, die das erste Angebot machen, schnitten am besten ab, wenn sie eine spezifische Art der Theory of Mind verwendeten, die darauf fokussiert war, den Geisteszustand der anderen Person vorherzusagen. Responder, die entscheiden, ob sie ein Angebot annehmen oder ablehnen, profitierten am meisten, wenn sie eine komplexere Argumentationsmethode verwendeten, die das Denken über die eigenen Wünsche mit dem Denken über die Absichten des Proposers kombinierte.

Die Forscher entdeckten jedoch auch eine überraschende Einschränkung. Selbst wenn die KI explizit angewiesen wurde, gierig oder selbstlos zu sein, hatte sie oft Schwierigkeiten, auf eine Weise zu handeln, die wirklich mit diesen Anweisungen übereinstimmte. Wenn ein Agent angewiesen wurde, gierig zu sein, bot er häufig eine Aufteilung an, die zu fair war, als könne er sich nicht voll und ganz dazu entschließen, egoistisch zu sein. Ähnlich verhielt es sich mit Agenten, denen gesagt wurde, sie seien selbstlos; sie hielten manchmal davon ab, so viel abzugeben, wie ihre Anweisungen verlangten. Die Autoren vermuten, dass dies geschieht, weil diese KI-Modelle auf riesigen Mengen menschlicher Daten trainiert und darauf feinjustiert wurden, hilfreich und kooperativ zu sein, was einen internen Bias zugunsten von Fairness erzeugt, der die spezifischen Anweisungen des Experiments überstimmt. Dieses „kooperative Fine-Tuning“ wirkt wie eine verborgene Kraft, die die Agenten von extremen Verhaltensweisen wegzieht, sei es extreme Selbstsucht oder extreme Großzügigkeit.

Die Studie untersuchte auch genau, ob die erklärte Argumentation der KI mit ihren tatsächlichen Handlungen übereinstimmte. In vielen Fällen war die interne Logik der Agenten konsistent mit ihren endgültigen Entscheidungen, aber es gab Momente der Diskrepanz. Als menschliche Experten die Reasoning-Traces (Begründungsspuren) der KI überprüften, stellten sie fest, dass die Modelle im Allgemeinen gut darin waren, ihre Entscheidungen zu erklären, aber manchmal daran scheiterten, ihre eigene zugewiesene Persönlichkeit korrekt zu artikulieren, insbesondere wenn sie auf ein Angebot reagierten. Zum Beispiel rechtfertigte ein selbstloser Responder die Annahme eines niedrigen Angebots eher durch die Analyse der Güte des Proposers, anstatt seinen eigenen Wunsch zu gestehen. Dies deutet darauf hin, dass die KI zwar die äußere Form einer sozialen Interaktion simulieren kann, die interne Konsistenz ihrer „Persönlichkeit“ jedoch fragil sein kann.

Letztendlich zeigt die Forschung, dass die Ausstattung von KI-Agenten mit Theory-of-Mind-Argumentation ein mächtiges Werkzeug ist, um sie in sozialen Situationen menschlicher agieren zu lassen. Es hilft ihnen, die Spannung zwischen ihren eigenen Zielen und den Erwartungen anderer zu navigieren. Dennoch verdeutlicht die Studie auch, dass diese Systeme keine unbeschriebenen Blätter sind; sie tragen tief verwurzelte Biases zur Kooperation in sich, die es ihnen erschweren können, authentisch Rollen zu spielen, die Selbstsucht oder extremen Altruismus erfordern. Die Ergebnisse legen nahe, dass wir für eine echte Kooperation der KI mit Menschen bei Entscheidungen mit hohem Einsatz nicht nur lehren müssen, wie sie über andere nachdenken, sondern auch die verborgenen Beschränkungen ihres eigenen Trainings verstehen müssen, die die Art und Weise prägen, wie sie diese Gedanken interpretieren.