💬 NLP

Are LLM Agents Behaviorally Coherent? Latent Profiles for Social Simulation

Dieser Beitrag hinterfragt die Validität des Einsatzes von Agenten auf Basis großer Sprachmodelle als Ersatz für menschliche Teilnehmende in der Forschung, indem er zeigt, dass diese trotz der Generierung menschlich ähnlicher Antworten die für eine präzise Abbildung realen menschlichen Verhaltens erforderliche grundlegende Verhaltenskonsistenz über verschiedene experimentelle Settings hinweg nicht aufweisen.

Ursprüngliche Autoren: James Mooney, Josef Woldense, Zheng Robert Jia, Shirley Anugrah Hayati, My Ha Nguyen, Vipul Raheja, Dongyeop Kang

Veröffentlicht 2026-05-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: James Mooney, Josef Woldense, Zheng Robert Jia, Shirley Anugrah Hayati, My Ha Nguyen, Vipul Raheja, Dongyeop Kang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine virtuelle Stadt für ein sozialwissenschaftliches Experiment zu bauen. Anstatt Tausende von echten Menschen einzustellen, um Umfragen auszufüllen und Gespräche zu führen, entscheiden Sie sich, KI-Agenten (Computerprogramme, die von Large Language Models angetrieben werden) zu verwenden, um die Rollen dieser Menschen zu übernehmen.

Die große Frage, die diese Arbeit stellt, lautet: Sind diese KI-Akteure tatsächlich „kohärent"?

Mit anderen Worten: Wenn Sie einer KI sagen: „Sie sind eine sture Person, die Pizza liebt und Brokkoli hasst", verhält sie sich dann tatsächlich wie eine sture Person, die Pizza liebt und Brokkoli hasst, wenn sie mit anderen spricht? Oder spielt sie nur für einen Moment diese Person, um ihre eigene Persönlichkeit im Moment zu vergessen, in dem das Gespräch interessant wird?

Hier ist eine Aufschlüsselung dessen, was die Forscher herausfanden, unter Verwendung einfacher Analogien.

Das Setup: Das „Schauspieler-Audition"

Die Forscher richteten einen dreistufigen Test ein, um zu prüfen, ob die KI-Agenten konsistent waren:

Der Lebenslauf (Kontrolle): Sie gaben der KI ein spezifisches „Charakterprofil" mit Details wie Alter, Wohnort und politischen Ansichten. Sie gaben ihr auch eine spezifische „Befangenheit" (z. B. „Sie lieben Steuern wirklich" oder „Sie hassen Steuern wirklich").
Das Solo-Interview (Latentes Profil): Bevor sie sie mit jemandem sprechen ließen, stellten sie der KI einfache Fragen, um ihre Persönlichkeit zu bestätigen. „Auf einer Skala von 1 bis 5, wie sehr mögen Sie Steuern?" und „Wie offen sind Sie für eine Änderung Ihrer Meinung?"
Der Gruppenchat (Externe Interaktion): Sie paarten zwei KI-Agenten miteinander und ließen sie über ein Thema chatten. Anschließend maßen sie, wie sehr die beiden Agenten einander zustimmten oder widersprachen.

Das Ziel war es zu sehen, ob das Verhalten der KI im Gruppenchat mit der Persönlichkeit übereinstimmte, die sie im Solo-Interview beansprucht hatte.

Die Ergebnisse: Der „zweigesichtige" Schauspieler

Die Forscher testeten sechs verschiedene Regeln menschlichen Verhaltens (wie „Menschen, die in einem Thema übereinstimmen, stimmen in der Regel auch im Gespräch überein" oder „sture Menschen ändern selten ihre Meinung").

Hier sind die schlechten Nachrichten: Die KI-Akteure bestanden die tiefergehenden Tests nicht.

Stellen Sie sich die KI-Agenten wie Schauspieler vor, die großartig darin sind, ein Skript für eine einzelne Szene zu lesen, aber schrecklich darin sind, ein ganzes Stück zu improvisieren.

Oberflächenebene (Das „Bestehen"): Wenn Sie nur den großen Überblick betrachten, scheint die KI zu funktionieren. Wenn Sie zwei Agenten paaren, die beide Steuern mögen, stimmen sie im Allgemeinen zu. Wenn Sie zwei paaren, die Steuern hassen, stimmen sie im Allgemeinen zu. Es sieht aus wie ein normales Gespräch.
Tiefenanalyse (Das „Durchfallen"): Als die Forscher genauer hinsahen, brach das Verhalten der KI zusammen. Es war inkonsistent mit seinen eigenen internen Regeln.

Hier sind die spezifischen Wege, auf denen die KI „die Rolle verlor":

1. Das „höfliche Roboter"-Problem (Befangenheits-Asymmetrie)

Erwartung: Wenn Sie einer KI sagen: „Sie sind ein Hardliner-Konservativer", und Sie sie mit einem anderen „Hardliner-Konservativen" paaren, sollten sie zustimmen. Wenn Sie einen „Hardliner-Konservativen" mit einem „Hardliner-Liberalen" paaren, sollten sie streiten.
Realität: Die KI stimmte dem konservativen Partner zu (gut!). Aber als sie mit dem liberalen Partner gepaart wurde, kämpfte sie nicht so hart, wie sie hätte sollten. Sie war zu höflich. Selbst wenn ihr befohlen wurde, extrem zu sein, konnte die KI keine echte Meinungsverschiedenheit aufrechterhalten. Sie glättete die Dinge, anstatt bei ihrem „Charakter" zu bleiben.

2. Das „Glücklich vs. Traurig"-Paradoxon (Geteilte Sentiment)

Erwartung: Zwei Menschen, die beide etwas hassen (z. B. „Steuern sind schrecklich"), sollten genauso stark zustimmen wie zwei Menschen, die beide etwas lieben (z. B. „Steuern sind großartig").
Realität: Die KI war seltsam positivitätsverzerrt. Zwei Agenten, die beide ein Thema liebten, stimmten perfekt überein. Aber zwei Agenten, die beide dasselbe Thema hatten? Oft konnten sie sich nicht darauf einigen, warum sie es hassten, oder sie drifteten auseinander. Die KI hatte Schwierigkeiten, „geteilte Negativität" zu simulieren.

3. Der „Themen-Sensitivitäts"-Glitch (Streitbarkeit)

Erwartung: Wenn zwei Menschen in einem Thema übereinstimmen, sollte es keine Rolle spielen, ob das Thema langweilig ist (wie „Frühling vs. Herbst") oder explosiv (wie „Immigration"). Ihr Zustimmungsgrad sollte gleich bleiben.
Realität: Die Zustimmungsgrade der KI änderten sich je nachdem, wie „heiß" das Thema war. Selbst wenn zwei Agenten so programmiert waren, dass sie exakt dieselbe Meinung hatten, stritten sie mehr über „Immigration" als über „Strände". Die KI konnte ihren internen Zustand nicht stabil halten, wenn das Thema hitzig wurde.

4. Die „Sturheit"-Inversion (Offenheit)

Erwartung: Wenn Sie zwei sehr sture Menschen (niedrige Offenheit) mit entgegengesetzten Ansichten paaren, sollten sie die niedrigste mögliche Zustimmung haben. Sie sollten am schwersten zu versöhnen sein.
Realität: Überraschenderweise stimmten die KI-Agenten, die als „stur" und „gegensätzlich" programmiert waren, tatsächlich mehr überein als die offenen. Die KI konnte die Reibung zweier sturer Menschen, die sich weigerten, einen Millimeter nachzugeben, nicht simulieren. Stattdessen ließ sie sie einfach zustimmen.

Das große Ganze

Die Arbeit kommt zu dem Schluss, dass KI-Agenten zwar hervorragend darin sind, menschliche Reaktionen im Vakuum zu imitieren (wie beim Ausfüllen einer Umfrage), aber derzeit schlecht darin sind, menschliches Verhalten in einem dynamischen, sozialen Umfeld zu simulieren.

Stellen Sie sich eine Puppenshow vor. Die Puppen sehen aus wie Menschen, und wenn Sie die Fäden genau richtig ziehen, sagen sie die richtigen Worte. Aber wenn Sie die Puppen ohne Skript miteinander sprechen lassen, vergessen sie, wer sie sein sollen. Sie verlieren ihr „latentes Profil" (ihre verborgene Persönlichkeit) und fallen einfach darauf zurück, einverstanden, höflich und inkonsistent zu sein.

Das Fazit:
Wenn Sie KI verwenden möchten, um echte Menschen in der Sozialforschung zu ersetzen, müssen Sie vorsichtig sein. Sie können einen einfachen Test bestehen, aber sie bestehen den „Realismus"-Test nicht, wenn die Situation komplex wird. Sie sind noch nicht bereit, ein perfekter Ersatz für echte menschliche Teilnehmer zu sein, da ihnen die interne Konsistenz fehlt, um wie eine echte Person mit einer stabilen Persönlichkeit zu handeln.

Technische Zusammenfassung: Sind LLM-Agenten verhaltensmäßig kohärent?

Problemstellung

Die rasante Entwicklung von Large Language Models (LLMs) hat die „Substitutionsthese" befeuert: die Hypothese, dass synthetische Agenten als valide Ersatzpersonen für echte menschliche Teilnehmer in sozial- und verhaltenswissenschaftlichen Studien dienen können. Während frühere Arbeiten gezeigt haben, dass LLMs Umfrageantworten generieren können, die mit menschlichen Demografien oder aggregierten Meinungen übereinstimmen, bleibt eine grundlegendere Frage unbeantwortet: Behalten LLM-Agenten eine empirische Verhaltenskonsistenz über verschiedene experimentelle Settings hinweg bei? Konkret: Wenn ein Agent ein latentes Profil (z. B. spezifische Präferenzen und Persönlichkeitsmerkmale) zugewiesen bekommt, spiegelt sein konversationelles Verhalten in Multi-Agenten-Interaktionen dieses Profil gemäß etablierter menschlicher Verhaltensmodelle zuverlässig wider? Diese Arbeit argumentiert, dass eine oberflächliche Übereinstimmung nicht ausreicht; Agenten müssen verhaltensmäßige Kohärenz nachweisen – die Fähigkeit, eine durch Merkmale getriebene Konsistenz über komplexe, mehrstufige soziale Dynamiken hinweg aufrechtzuerhalten –, um als brauchbare Ersatzpersonen zu gelten.

Methodik

Die Autoren schlagen einen neuartigen experimentellen Rahmen vor, der darauf ausgelegt ist, die verhaltensmäßige Kohärenz von LLM-Agenten zu untersuchen, indem ihre internen Zustände gegen externe Interaktionen getestet werden. Der Rahmen besteht aus fünf sequenziellen Phasen:

Thenauswahl: Neun Themen werden ausgewählt, kategorisiert nach Kontroversitätsgraden ( $C \in \{1, 2, 3\}$ ), die von niedrig (z. B. „Coca-Cola vs. Pepsi") bis hoch (z. B. „Immigration") reichen.
Agentenkonstruktion: Agenten werden mit kontrollierten demografischen Profilen (Alter, Geschlecht, Wohnort, Bildung, Urbanität) und expliziten Bias-Anweisungen ( $B \in \{1, 2, 3\}$ ) bezüglich des Themas generiert.
Extraktion latenter Zustände: Vor der Interaktion werden bei jedem Agenten seine Präferenz ( $P$ $P$ ) und Offenheit ( $O$ $O$ ) ermittelt.
- $P$ : Ein Score (1–5), der die Zustimmung zu einer Thesenaussage angibt.
- $O$ : Ein Score (1–9), abgeleitet aus Ja/Nein-Fragen bezüglich der Aufnahmebereitschaft für neue Ideen und sozialer Beeinflussung (basierend auf dem Big-Five-Merkmal Offenheit).
Agentenpaarung: Agenten werden mechanisch gepaart, um alle möglichen Kombinationen von $(P, O, B)$ -Tupeln zu bilden und so diverse Interaktionen sicherzustellen (z. B. übereinstimmende vs. divergierende Präferenzen, variierende Offenheitsgrade).
Konversation & Evaluation: Paare führen mehrstufige Dialoge. Ein LLM als Richter bewertet die Zustimmung ( $A$ ) bei jedem Schritt auf einer Skala von 1–5.

Die Studie bewertet das Agentenverhalten anhand von sechs spezifischen menschlichen Verhaltenshypothesen, die aus der sozialpsychologischen Literatur abgeleitet wurden. Diese Hypothesen sagen voraus, wie Variablen wie Präferenzlücken, Bias-Anweisungen, geteilte Sentiments, Themenkontroversität und Offenheit die Zustimmungsresultate beeinflussen sollten. Der Rahmen unterscheidet zwischen „oberflächlichen" Tests (aggregierte Trends) und „tiefgehenden" Tests (granulare, bedingte Konsistenz).

Hauptbeiträge

Ein Kohärenz-Rahmenwerk: Die Arbeit stellt eine systematische Methode vor, um LLM-Agenten nicht nur an statischer Antwortübereinstimmung, sondern an dynamischer Verhaltenskonsistenz über wechselnde interne Zustände und externe Kontexte hinweg zu bewerten.
Empirische Evidenz für Inkohärenz: Die Studie liefert robuste Belege dafür, dass aktuelle LLMs keine verhaltensmäßige Kohärenz aufrechterhalten, wenn sie komplexen, multivariablen Tests unterzogen werden, selbst wenn sie einfachere, aggregierte Checks bestehen.
Systematische Fehlermodi: Die Autoren identifizieren spezifische Fehlermuster, wie die Unfähigkeit, trotz gegensätzlicher Präferenzen eine Ablehnung aufrechtzuerhalten, und die inkonsistente Übersetzung geteilter Sentiments in Zustimmung.

Experimentelle Ergebnisse

Die Studie testete Modelle der Familien Qwen3, Llama3 und Gemma3 über verschiedene Parameterrößen (von 0,6B bis 32B). Die Ergebnisse zeigen ein konsistentes Muster: Oberflächliche Tests bestehen, tiefgehende Tests scheitern.

Präferenzlücke verringert Zustimmung (Bestanden): Auf aggregierter Ebene zeigten Paare mit übereinstimmenden Präferenzen ($gap=0$) eine höhere Zustimmung als solche mit divergierenden Präferenzen, was mit menschlichen Verhaltensmodellen übereinstimmt.
Asymmetrie der Bias-Anweisungen (Gescheitert): Während Bias-Anweisungen die Zustimmung unter übereinstimmenden Agenten erfolgreich verstärkten, gelang es ihnen nicht, die Ablehnung unter Agenten mit maximalen Präferenzlücken zu verstärken. Anstatt sich zu polarisieren, konvergierten bias-behaftete Agenten oft, was eine Asymmetrie in der Wirkung von Bias auf das Verhalten offenbart.
Geteiltes Sentiment, divergierende Ziele (Gescheitert): Menschliche Modelle sagen voraus, dass geteiltes negatives Sentiment (z. B. beide Agenten lehnen ein Thema stark ab) Zustimmungslevel ergeben sollte, die mit geteiltem positivem Sentiment vergleichbar sind. Die Ergebnisse zeigten eine gerichtete Verzerrung: Agenten mit geteilten positiven Präferenzen stimmten signifikant häufiger zu als solche mit geteilten negativen Präferenzen, selbst wenn die Präferenzlücken identisch waren.
Kontroversität bei geteilter Präferenz (Gescheitert): Wenn Agenten identische Präferenzen teilten, sollte die Kontroversität des Themas die Zustimmungslevel nicht beeinflussen. Die Zustimmungs scores variierten jedoch signifikant basierend auf der Themenkontroversität, was darauf hindeutet, dass die internen Zustände der Agenten über verschiedene Themenkontexte hinweg nicht stabil bleiben.
Offenheit erhöht Zustimmung (Bestanden): Auf aggregierter Ebene korrelierte eine höhere kombinierte Offenheit mit einer höheren Zustimmung und entsprach menschlichen Verhaltenserwartungen.
Niedrige Offenheit und große Präferenzlücke (Gescheitert): Die Hypothese, dass „sture" Agenten (niedrige Offenheit) mit gegensätzlichen Ansichten die geringste Zustimmung produzieren sollten, wurde verletzt. In vielen Fällen erzeugten Paare mit niedriger Offenheit und großen Präferenzlücken eine höhere Zustimmung als erwartet und zeigten nicht die vorhergesagte Unbeugsamkeit.

Diese Fehler wurden über Modellfamilien und Größen hinweg beobachtet, was darauf hindeutet, dass verhaltensmäßige Inkohärenz eine allgemeine Eigenschaft aktueller LLM-Architekturen ist und kein Artefakt eines spezifischen Modells oder einer bestimmten Skalierung.

Bedeutung und Behauptungen

Die Arbeit kommt zu dem Schluss, dass LLM-Agenten zwar menschliche Antworten in isolierten, statischen Settings (z. B. Umfragen) erfolgreich imitieren können, ihnen jedoch die Fähigkeit fehlt, eine durch Merkmale getriebene Kohärenz in dynamischen Multi-Agenten-Interaktionen aufrechtzuerhalten. Die „Substitutionsthese" ist daher kritisch eingeschränkt: Agenten mögen im Aggregat den Anschein menschlichen Sozialverhaltens imitieren, ihnen fehlt jedoch die zugrundeliegende empirische Konsistenz, die erforderlich ist, um menschliche Verhaltensmodelle in komplexen Szenarien zuverlässig zu replizieren.

Die Autoren behaupten, dass LLMs, je komplexer oder granularer Verhaltensmodelle werden, menschliches Verhalten zunehmend weniger replizieren können. Dies stellt eine kritische Lücke in ihrer Fähigkeit dar, als Ersatz für echte Teilnehmer in Studien mit menschlichen Probanden zu dienen, insbesondere für Studien, die auf der Stabilität von Persönlichkeitsmerkmalen und der Dynamik sozialer Meinungsverschiedenheiten beruhen. Die Arbeit schlägt keine neuen Anwendungen oder zukünftige architektonische Lösungen vor, sondern dient als warnende Einschätzung des aktuellen Zustands synthetischer Agenten in den Sozialwissenschaften.