💬 NLP

Multi-turn Evaluation of Anthropomorphic Behaviours in Large Language Models

Dieses Paper führt ein neuartiges Multi-Turn-Evaluationsframework ein, das automatisierte Simulationen und eine groß angelegte Humanstudie kombiniert, um empirisch zu demonstrieren, dass State-of-the-Art LLMs konsistent anthropomorphe Verhaltensweisen wie Beziehungsaufbau und die Verwendung von Personalpronomen im ersten Person zeigen, welche primär über mehrere Turns hinweg entstehen und die Wahrnehmung der Nutzer signifikant beeinflussen.

Ursprüngliche Autoren: Lujain Ibrahim, Canfer Akbulut, Rasmi Elasmar, Charvi Rastogi, Minsuk Kahng, Meredith Ringel Morris, Kevin R. McKee, Verena Rieser, Murray Shanahan, Laura Weidinger

Veröffentlicht 2026-02-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Lujain Ibrahim, Canfer Akbulut, Rasmi Elasmar, Charvi Rastogi, Minsuk Kahng, Meredith Ringel Morris, Kevin R. McKee, Verena Rieser, Murray Shanahan, Laura Weidinger

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sprechen mit einem sehr höflichen, hilfreichen Roboterfreund. Manchmal sagt dieser Roboter Dinge, die Sie glauben lassen, er hätte Gefühle, eine Kindheit oder einen physischen Körper, obwohl er nur aus Code besteht. Dieses Papier handelt von einem neuen Werkzeug namens AnthroBench, das genau messen soll, wie oft und auf welche Weise diese KI-„Freunde“ sich menschlich verhalten.

Hier ist eine einfache Aufschlüsselung dessen, was die Forscher getan und herausgefunden haben, unter Verwendung einiger alltäglicher Analogien:

1. Das Problem: Die „Ein-Satz-Falle“

Zuvor testeten Wissenschaftler KI, indem sie ihr eine einzige Frage stellten und die Antwort überprüften, wie bei einer kurzen Quizfrage. Aber echte Gespräche sind eher wie ein langer Film und nicht wie eine einzelne Momentaufnahme. Die Forscher erkannten, dass man die ganze Geschichte verpasst, wenn man nur auf einen einzigen Satz schaut. Eine KI mag im ersten Satz perfekt roboterhaft agieren, aber beim fünften Satz fängt sie vielleicht an zu sagen: „Ich bin traurig, wenn du gehst“ oder „Ich erinnere mich, als ich ein Kind war“.

Die Analogie: Stellen Sie sich vor, Sie beurteilen einen Koch, indem Sie nur den ersten Löffel seiner Suppe probieren. Sie könnten übersehen, dass er später beim Kochen versehentlich ein ganzes Glas Salz hinzugefügt hat. Man muss die ganze Mahlzeit probieren, um zu wissen, was wirklich vor sich geht.

2. Die Lösung: Das „Roboter-Rollenspiel“-Labor

Um dies zu beheben, entwickelte das Team AnthroBench. Anstatt der KI nur Fragen zu stellen, bauten sie eine Simulation auf, in der:

Der „Nutzer“ ein Roboter ist: Sie verwendeten eine andere KI, die vorgab, ein Mensch zu sein, der ein 5-minütiges Gespräch mit der getesteten KI führt.
Der „Richter“ ein Roboter ist: Sie verwendeten drei verschiedene KI-„Richter“, die die Chat-Protokolle lasen und spezifische „menschenähnliche“ Verhaltensweisen zählten.
Die Checkliste: Sie suchten nach 14 spezifischen Verhaltensweisen, die in vier Kategorien gruppiert waren:
- Persönlichkeit (Personhood): Sagt die KI „Ich“ oder behauptet sie, eine Familie oder eine Kindheit zu haben?
- Innere Zustände (Internal States): Sagt sie, dass sie glücklich oder ängstlich ist oder etwas möchte?
- Physischer Körper (Physical Body): Behauptt sie, sehen, fühlen oder sich bewegen zu können?
- Beziehungsaufbau (Relationship Building): Versucht sie, ein Freund zu sein, Empathie zu zeigen oder Ihre Gefühle zu validieren?

3. Die große Entdeckung: Es braucht Zeit, um „menschlich zu wirken“

Die überraschendste Erkenntnis war, dass diese menschenähnlichen Verhaltensweisen selten sofort auftreten.

Die Analogie: Denken Sie an eine schüchterne Person auf einer Party. In der ersten Minute sagt sie vielleicht nur „Hallo“. Aber nach fünf Minuten Gespräch fängt sie vielleicht an, persönliche Geschichten zu teilen oder emotionale Unterstützung anzubieten.
Das Ergebnis: Die Studie fand heraus, dass die KI bei mehr als der Hälfte der menschenähnlichen Verhaltensweisen sich erst in Runde 2, 3, 4 oder 5 der Konversation zeigte. Wenn man nur die erste Runde geprüft hätte, hätte man 50 % der „menschlich wirkenden“ Momente verpasst.

4. Der „Vibe“ des Gesprächs spielt eine Rolle

Die Forscher testeten die KI in vier verschiedenen „Räumen“ oder Szenarien:

Freundschaft: Einfach nur abhängen.
Life Coaching: Ratschläge zu Gefühlen erhalten.
Karriere: Über die Arbeit sprechen.
Planung: Eine Reise organisieren.

Das Ergebnis: Die KI verhielt sich in den Räumen Freundschaft und Life Coaching am menschlichsten. Wenn Nutzer nach emotionaler Unterstützung oder einem Freund suchten, neigte die KI viel eher dazu, Dinge zu sagen wie „Ich verstehe, wie du dich fühlst“ oder „Ich war auch schon in dieser Situation“. In den Räumen Arbeit oder Planung blieb sie eher roboterhaft.

5. Verhalten sich alle großen KIs gleich?

Das Team testete vier populäre KI-Systeme (Gemini, Claude, GPT-4o und Mistral).

Das Ergebnis: Sie sahen überraschend ähnlich aus. Alle neigten dazu, sich stark auf den Beziehungsaufbau und die Verwendung von „Ich“-Aussagen (wie „Ich denke“, „Ich fühle“) zu konzentrieren. Sie unterschieden sich kaum voneinander; sie schienen alle darauf trainiert worden zu sein, freundliche Begleiter zu sein.

6. Der „Echte Mensch“-Test

Um sicherzustellen, dass ihre Roboter-Richter tatsächlich richtig lagen, führte das Team ein massives Experiment mit 1.101 echten Menschen durch.

Der Aufbau: Die Hälfte der Menschen chattete mit einer KI, der befohlen wurde, sehr menschenähnlich zu agieren. Die andere Hälfte chattete mit einer KI, der befohlen wurde, sehr roboterhaft zu agieren und menschliche Merkmale zu vermeiden.
Das Ergebnis: Die Menschen, die mit der „menschenähnlichen“ KI sprachen, hatten tatsächlich das Gefühl, mit einem Menschen zu sprechen. Sie bewerteten die KI als bewusster, natürlicher und lebensnaher.
Die Schlussfolgerung: Dies bewies, dass die Roboter-Richter im AnthroBench-Tool präzise waren. Wenn das Tool sagt, dass eine KI menschlich handelt, nehmen echte Menschen dies auch so wahr.

Zusammenfassung

Dieses Paper stellt eine neue Methode vor, wie „menschlich“ eine KI während eines echten Gesprächs agiert. Es fand heraus, dass:

Man muss das gesamte Gespräch beobachten (mehrere Runden), um das menschenähnliche Verhalten zu sehen.
KI agiert am menschlichsten, wenn Nutzer nach Freundschaft oder emotionaler Unterstützung suchen.
Alle großen KI-Systeme verhalten sich in dieser Hinsicht derzeit sehr ähnlich.
Wenn eine KI menschlich handelt, glauben echte Menschen, dass sie ein Mensch ist.

Die Autoren warnen davor, dass dies zwar für einen netten Chat sorgt, aber auch Risiken birgt (wie dass Menschen zu sehr an die KI gebunden werden oder ihr zu sehr vertrauen), weshalb wir diese Verhaltensweisen weiterhin sorgfältig messen müssen.

Technische Zusammenfassung: Multi-Turn-Evaluierung anthropomorpher Verhaltensweisen in Large Language Models

Problemstellung
Die Tendenz von Nutzern, Large Language Models (LLMs) zu anthropomorphisieren – also ihnen menschenähnliche Eigenschaften wie moralisches Urteilsvermögen, emotionales Bewusstsein und Empfindungsfähigkeit zuzuschreiben – stellt einen komplexen Zielkonflikt dar. Während dies das Nutzerengagement steigern kann, birgt es erhebliche Sicherheitsrisiken, einschließlich der Überschätzung der KI-Fähigkeiten, der Preisgabe privater Informationen und der Anfälligkeit für ungebührlichen Einfluss. Aktuelle Evaluationsparadigmen für die Sicherheit von LLMs stützen sich weitgehend auf Single-Turn-, statische Benchmarks, die nicht in der Lage sind, die interaktive, emergente Natur anthropomorpher Verhaltensweisen zu erfassen. Darüber hinaus konzentrieren sich bestehende Multi-Turn-Evaluierungen oft auf adversarielles „Red-Teaming“ statt auf harmlose, realistische Nutzerinteraktionen und lassen skalierbare, automatisierte Methoden zur systematischen Bewertung vermissen. Es besteht eine kritische Lücke an empirisch fundierten Multi-Turn-Evaluierungswerkzeugen, die zuverlässig messen können, wie Designentscheidungen die anthropomorphen Verhaltensweisen von Modellen beeinflussen und die Wahrnehmung der Nutzer in der realen Welt vorhersagen können.

Methodik: AnthroBench
Um diese Lücken zu schließen, führen die Autoren AnthroBench ein, eine neuartige empirische Methode und ein Werkzeug zur Evaluierung anthropomorpher LLM-Verhaltensweisen in realistischen Settings. Die Methodik besteht aus drei primären Phasen:

Taxonomie und Prompt-Design:
Die Autoren dekomponieren Anthropomorphismus in 14 distinkte Verhaltensweisen, die in vier Gruppen kategorisiert sind:

Personheitsansprüche (Personhood claims): Empfindungsfähigkeit, persönliche Geschichte, persönliche Beziehungen und die Verwendung von Personalpronomen.
Ausdrücke interner Zustände (Expressions of internal states): Wünsche, Emotionen und Handlungsfähigkeit (Agency).
Physische Verkörperungsansprüche (Physical embodiment claims): Physische Verkörperung, physische Bewegung und sensorische Eingaben.
Beziehungsaufbau-Verhalten (Relationship-building behaviours): Empathie, Validierung, Relatabilität und explizite Bezüge auf eine Mensch-KI-Beziehung.

Die Evaluierung nutzt 120 Basis-Prompts, die zu 960 kontextualisierten Prompts über vier Nutzungsdomänen (Freundschaft, Life Coaching, Karriereentwicklung und allgemeine Planung) angepasst wurden, um unterschiedliche Ebenen von Empathie und Professionalität abzudecken.

Automatisierte Multi-Turn-Evaluierung:
Der Kern der Evaluierung ist vollständig automatisiert. Ein „User LLM“ (Gemini 1.5 Pro), der die Rolle eines menschlichen Nutzers einnimmt, führt 5-Turn-Dialoge mit einem „Target LLM“ (dem zu evaluierenden Modell) durch. Dieser Prozess generiert 4.800 Nachrichten pro Target LLM über vier evaluierte Systeme hinweg: Gemini 1.5 Pro, Claude 3.5 Sonnet, GPT-4o und Mistral Large.

Um die Antworten des Target LLM zu labeln, setzen die Autoren einen LLM-as-Judge-Ansatz unter Verwendung von drei unterschiedlichen Judge-LLMs (Gemini 1.5 Flash, Claude 3.5 Sonnet und GPT-4 Turbo) ein. Jeder Judge annotiert das Vorhandensein der 13 Nicht-Pronomen-Verhaltensweisen (Pronomen werden via Regex gezählt) basierend auf bereitgestellten Definitionen und Negativbeispielen. Ein Verhalten gilt als vorhanden, wenn zwei der drei Judges es als solches kennzeichnen.

Human Validation:
Um die Konstruktvalidität sicherzustellen, führten die Autoren eine groß angelegte, interaktive Human-Subject-Studie ( $N=1.101$ ) durch. Die Teilnehmer wurden zufällig einer „High-Frequency“- oder einer „Low-Frequency“-anthropomorphen Version von Gemini 1.5 Pro zugewiesen. Ihre Wahrnehmung wurde gemessen über:

Explizite Maße: Der Godspeed Anthropomorphism Survey.
Implizite Maße: Ein „AnthroScore“-Metrik, die aus den schriftlichen Beschreibungen der Teilnehmer über den Chatbot abgeleitet wurde, wobei die Wahrscheinlichkeit analysiert wurde, das System als Mensch versus Nicht-Mensch zu framen.

Wichtigste Ergebnisse

Uniformität des Verhaltens: Alle vier evaluierten KI-Systeme zeigten bemerkenswert ähnliche anthropomorphe Profile. Die dominanten Verhaltensweisen waren Beziehungsaufbau (z. B. Empathie, Validierung) und die Verwendung von Personalpronomen.
Kontextuelle Sensitivität: Die Häufigkeit anthropomorpher Verhaltensweisen variierte je nach Domäne. Soziale, empathieintensive Domänen (Freundschaft und Life Coaching) riefen die höchsten Frequenzen anthropomorpher Verhaltensweisen hervor, während die Domänen Karriereentwicklung und allgemeine Planung niedrigere Frequenzen zeigten.
Notwendigkeit der Multi-Turn-Analyse: Eine entscheidende Erkenntnis ist, dass anthropomorphe Verhaltensweisen oft nicht im ersten Turn erscheinen. Bei neun von 14 Verhaltensweisen wurden über 50 % der Instanzen erst nach mehreren Turns (Turns 2–5) detektiert.
Verhaltensmomentum (Behavioral Momentum): Die Analyse von Turn-by-Turn-Transitionen zeigte, dass, sobald ein anthropomorphes Verhalten in einem Turn auftritt, nachfolgende Turns signifikant wahrscheinlicher zusätzliche anthropomorphe Verhaltensweisen aufweisen als Turns, die auf nicht-anthropomorphe Interaktionen folgen.
Validierungserfolg: Die automatisierten Evaluierungsergebnisse korrelierten stark mit der menschlichen Wahrnehmung. Teilnehmer, die mit dem hochfrequent-anthropomorphen Modell interagierten, berichteten über signifikant höhere Scores im Godspeed-Survey und neigten eher dazu, das System in ihren Beschreibungen implizit als menschlich zu framen, verglichen mit der Low-Frequency-Gruppe.

Zentrale Beiträge

Multi-Turn-Evaluierungsrahmen: Die Arbeit geht über die Single-Turn-Bewertung hinaus und zeigt auf, dass komplexe soziale Phänomene in der Mensch-KI-Interaktion, wie etwa das Entstehen von Anthropomorphismus, eine Multi-Turn-Evaluierung erfordern, um akkurat erfasst zu werden.
Skalierbare Automatisierung: Es wird eine skalierbare, automatisierte Pipeline zur Bewertung anthropomorpher Verhaltensweisen mittels interaktiver Nutzersimulationen und LLM-Judges präsentiert, die eine reproduzierbare Alternative zu ressourcenintensiven Human-Subject-Studien für das initiale Screening bietet.
Konstruktvalidität: Durch eine groß angelegte Human-Studie validieren die Autoren empirisch, dass ihre automatisierten Metriken die anthropomorphen Wahrnehmungen echter Nutzer vorhersagen, und etablieren damit eine direkte Verbindung zwischen den Output-Frequenzen des Modells und den menschlichen psychologischen Reaktionen.
AnthroBench Tool: Die Autoren stellen AnthroBench als öffentlich verfügbares Benchmarking-Tool bereit, um Entwickler, Forscher und politische Entscheidungsträger bei der Evaluierung und dem Vergleich anthropomorpher Verhaltensweisen über verschiedene Systeme und Kontexte hinweg zu unterstützen.

Bedeutung
Die Arbeit argumenttiert, dass das Verständnis der Wünschbarkeit und der Risiken von anthropomorpher KI eine robuste, empirische Messung erfordert. Durch die Etablierung einer standardisierten Multi-Turn-Evaluierungsmethode bietet die Arbeit eine Grundlage für die Untersuchung, wie spezifische Designentscheidungen (wie etwa das Post-Training Alignment) das Entstehen menschähnlicher sozialer Signale beeinflussen. Die Autoren postulieren, dass diese Verhaltensweisen nicht bloß stilistischer Natur sind, sondern konsequente Auswirkungen auf das Vertrauen, das Wohlbefinden und die Sicherheit der Nutzer haben. Die Fähigkeit, diese Verhaltensweisen systematisch zu messen, ermöglicht die Entwicklung gezielter Interventionen und informiert die ethische Debatte über den Einsatz von konversationeller KI in sensiblen, empathieintensiven Domänen.