HEART-Bench: Do LLM Agents Exhibit Human-like Psychology?
Dieser Beitrag stellt HEART-Bench vor, einen neuartigen Benchmark, der entwickelt wurde, um zu evaluieren, ob LLM-Agenten eine kohärente, menschliche Psychologie simulieren können, indem ihre Fähigkeit getestet wird, auf der Grundlage der Big-Five-Persönlichkeitsmerkmale und umfangreicher autobiografischer Erinnerungen über 64 diverse Szenarien hinweg konsistente verhaltensbezogene Entscheidungen zu treffen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen Roboter gebaut, der Gedichte schreiben, Matheaufgaben lösen und einen Urlaubsreiseprogramm planen kann. Er ist unglaublich klug bei Aufgaben. Aber wenn Sie ihn fragen: „Wie würden Sie sich fühlen, wenn Ihr bester Freund Sie verraten würde?" oder „Was würden Sie tun, wenn Sie jemanden ungerecht behandelt sähen?", antwortet er dann wie ein Mensch mit Herz oder wie ein Taschenrechner, der die logischste Antwort ausspuckt?
Die Studie HEART-BENCH stellt genau diese Frage: Verfügen KI-Agenten tatsächlich über eine „Persönlichkeit", die sich echt anfühlt, oder geben sie nur vor?
Hier ist eine einfache Aufschlüsselung dessen, was die Forscher getan haben, unter Verwendung alltäglicher Analogien.
1. Das Problem: Der KI-Anzug ohne Inhalt
Derzeit prüfen die meisten KI-Tests, ob ein Roboter Fakten merken oder ein Gespräch führen kann. Das ist wie das Testen einer Schaufensterpuppe, um zu sehen, ob sie gerade stehen kann. Ein echter Mensch ist jedoch nicht nur eine Liste von Fakten; wir werden von unserer Vergangenheit, unseren Stimmungen und unseren grundlegenden Werten geformt.
Die Autoren argumentieren, dass die aktuelle KI wie ein Schauspieler ist, der ein Skript auswendig gelernt hat, aber das Leben der Figur nicht gelebt hat. Sie können die richtigen Worte sagen, aber sie fühlen nicht so, wie die Figur es fühlen sollte.
2. Die Lösung: Aufbau von „Digitalen Menschen" mit Biografien
Um dies zu testen, gaben die Forscher der KI nicht nur einen Namen und einen Beruf. Sie bauten 11 verschiedene „Digitale Menschen" (wie das Erschaffen von 11 verschiedenen Schauspielern für ein Theaterstück).
- Der Bauplan (Big Five): Jeder Charakter wurde auf einem strengen psychologischen Rahmenwerk namens „Big Five" (Offenheit, Gewissenhaftigkeit, Extraversion, Verträglichkeit, Neurotizismus) aufgebaut. Betrachten Sie dies als ihre DNA. Ein Charakter könnte extrem schüchtern und organisiert sein; ein anderer könnte chaotisch und sehr gesellig sein.
- Die Lebensgeschichte (1.000 Erinnerungen): Dies ist der magische Bestandteil. Anstatt nur einer Biografie erhielt jeder Charakter 1.000 detaillierte Erinnerungen von der Kindheit bis zum Alter von 50 Jahren.
- Analogie: Stellen Sie sich vor, Sie schreiben eine Biografie für einen Charakter. Sie sagen nicht nur „Er war traurig." Sie schreiben eine 2.000-Zeichen-Geschichte über den spezifischen Tag, an dem er sein Eis fallen ließ, den Geruch des Regens, den Klang der Stimme seiner Mutter und wie dieser Moment ihn jahrelang vor dem Scheitern ängstigte.
- Die KI wurde mit diesen 1.000 „Lebensmomenten" für jeden der 11 Charaktere gefüttert.
3. Der Test: Das „Was würden Sie tun?"-Spiel
Sobald die Charaktere aufgebaut waren, erstellten die Forscher 64 verschiedene Lebensszenarien (wie ein Buch, in dem Sie selbst entscheiden). Diese Szenarien deckten alles ab, von einem Streit am Arbeitsplatz über ein Familienessen bis hin zu einem moralischen Dilemma.
- Das Setup: Sie nahmen einen spezifischen Charakter (z. B. den schüchternen, organisierten) und setzten ihn in eine spezifische Situation (z. B. „Ihr Nachbar beschwert sich über Lärm, aber Sie wissen, dass er lügt").
- Die Frage: Die KI musste die beste Antwort aus vier Optionen auswählen.
- Option A: Auf sie schreien.
- Option B: Leise einen formellen Bericht allein einreichen.
- Option C: Versuchen, einen Witz zu machen, um die Spannung zu lösen.
- Option D: Sie völlig ignorieren.
Der Haken: Alle vier Optionen mögen wie „etwas tun" aussehen, aber nur eine passt zur spezifischen Persönlichkeit und Lebensgeschichte dieses Charakters. Der Test ging nicht darum, „richtig" zu sein; es ging darum, konsistent zu sein.
4. Die Ergebnisse: Das „Unheimliche Tal" der Persönlichkeit
Die Forscher testeten 12 der weltweit intelligentesten KI-Modelle (einschließlich GPT, Claude, Gemini und anderer) an diesem Spiel.
- Die Punktzahl: Selbst die beste KI (Gemini-3.1-Pro) erreichte nur etwa 63 % richtige Antworten. Die meisten anderen lagen unter 40 %.
- Was dies bedeutet: Die KI hat immer noch Schwierigkeiten, den Charakter zu „verstehen". Sie wählt oft die Antwort, die höflich oder logisch klingt, versagt aber darin, die Antwort zu wählen, die eine schüchterne, traumatisierte oder übermäßig ängstliche Person basierend auf ihren 1.000 Erinnerungen tatsächlich wählen würde.
- Das Speicherproblem: Interessanterweise half es nicht viel, der KI komplexere Speichersysteme zu geben. Der Engpass bestand nicht darin, dass die KI die Erinnerungen vergessen hat; es war, dass die KI nicht in der Lage war, mit ihnen zu schließen, um eine menschliche Entscheidung zu treffen. Es ist wie eine Bibliothek voller Bücher zu haben, aber nicht zu wissen, wie man eine Geschichte damit schreibt.
5. Das Fazit
HEART-BENCH ist ein neues Lineal zur Messung der „emotionalen Intelligenz" in der KI.
- Früher: Wir fragten: „Kann sich die KI daran erinnern, was ich vor 10 Minuten gesagt habe?"
- Jetzt: Wir fragen: „Erinnert sich die KI daran, wer sie ist, und verhält sie sich wie diese Person, wenn es schwierig wird?"
Die Studie kommt zu dem Schluss, dass die KI zwar besser im Reden wird, aber immer noch weit davon entfernt ist, eine konsistente, menschliche Seele zu haben. Es ist wie ein sehr guter Nachahmer, der noch nicht gelernt hat, wirklich jemand anderes zu sein.
Kurz gesagt: Wir haben 11 digitale Menschen mit vollständigen Lebensgeschichten erschaffen, sie in 64 schwierige Situationen geworfen und festgestellt, dass selbst die intelligentesten KIs immer noch größtenteils raten, wie diese Menschen reagieren würden, anstatt sie wirklich zu verstehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.