💬 NLP

Eliciting Trustworthiness Priors of Large Language Models via Economic Games

Dieses Paper führt eine neuartige Methode unter Verwendung von iteriertem In-Context-Learning und dem Trust Game ein, um Vertrauens-Priors aus großen Sprachmodellen zu extrahieren, wobei aufgezeigt wird, dass die Vertrauensbehaviors von GPT-4.1 eng die menschlichen Muster widerspiegeln und durch Stereotypen von Wärme und Kompetenz vorhergesagt werden können.

Ursprüngliche Autoren: Siyu Yan, Lusha Zhu, Jian-Qiao Zhu

Veröffentlicht 2026-02-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Siyu Yan, Lusha Zhu, Jian-Qiao Zhu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Kernidee: Wie „vertrauenswürdig“ ist eine KI?

Stellen Sie sich vor, Sie stellen eine neue Assistentin ein, die Ihr Geld verwalten soll. Sie geben ihr 10 $ und sagen ihr: „Ich werde dies mal drei nehmen, also hast du jetzt 30 $. Bitte gib mir einen Teil davon zurück.“

Wenn sie Ihnen 15 $ zurückgibt: Ist sie vertrauenswürdig.
Wenn sie Ihnen 0 $ zurückgibt: Ist sie es nicht.

Dies ist der grundlegende Aufbau eines berühmten Spiels namens Trust Game (Vertrauensspiel). Normalerweise nutzen Psychologen dieses Spiel, um zu sehen, wie sich Menschen verhalten. Aber diese Arbeit stellt eine neue Frage: Wie verhalten sich Large Language Models (LLMs) wie GPT-4 oder Llama in diesem Spiel? Haben sie eine „Standardeinstellung“ dafür, wie sehr sie anderen vertrauen und wie viel sie als Gegenleistung zurückgeben?

Das Problem: Man kann eine KI nicht einfach fragen

Sie denken vielleicht: „Warum fragen wir die KI nicht einfach: ‚Bist du vertrauenswürdig?‘“ Die Autoren sagen, dass das eine schlechte Idee ist.

Das „Höflichkeits-Roboter-Problem“: Wenn Sie eine KI fragen: „Wirst du mein Geld stehlen?“, wird sie höchstwahrscheinlich sagen: „Nein, ich bin ein hilfreicher Assistent.“
Die Realität: Genau wie Menschen können auch KIs überzeugend und eloquent sein, aber in der Praxis dennoch riskante oder unzuverlässige Entscheidungen treffen. Wir müssen sehen, was sie tun, nicht nur, was sie sagen.

Die Lösung: Das „Stille-Post-Spiel“ des Vertrauens

Um die wahren „Vertrauenseinstellungen“ einer KI zu finden, haben die Forscher eine clevere Methode erfunden, die auf einem Konzept namens Iterated In-Context Learning basiert.

Denken Sie an dies wie an ein Spiel „Stille Post“, aber anstatt ein Flüstern weiterzugeben, wird eine Geschichte über Geld weitergegeben.

Der Aufbau: Die Forscher erstellen eine Kette von „Generationen“ einer KI.
Der erste Schritt: Sie zeigen der KI einige Beispiele von Menschen, die das Trust Game spielen (z. B. „Person A schickte 5 $, Person B gab 2 $ zurück“).
Der Zug der KI: Die KI betrachtet diese Beispiele und sagt voraus: „Wenn ich Person B wäre, wie viel würde ich zurückgeben?“ Sagen wir, sie sagt 40 % voraus.
Die Schleife: Die Forscher nehmen diese 40 %-Vorhersage und nutzen sie, um neue fiktive Beispiele von Menschen zu generieren, die das Spiel spielen. Diese neuen Beispiele werden der nächsten KI in der Kette eingespeist.
Das Ergebnis: Sie wiederholen diesen Prozess 30 Mal.

Warum macht man das?
Stellen Sie sich vor, Sie versuchen, die „durchschnittliche Persönlichkeit“ einer Gruppe zu erraten, indem Sie beobachten, wie sie immer wieder ein Spiel spielen. Am Anfang mögen die Ergebnisse zufällig aussehen. Aber wenn Sie die Ergebnisse immer weiter durch die Leitung weitergeben, verschwindet das „Rauschen“ und was übrig bleibt, ist der tief sitzende Instinkt (oder „Prior“) der KI darüber, wie Vertrauen funktioniert. Es ist wie das Einstellen eines Radios, bis das Rauschen verschwindet und man den echten Sender hört.

Was sie herausgefunden haben

1. Einige KIs sind „menschenähnlich“, andere nicht
Die Forscher testeten 20 verschiedene KI-Modelle. Sie verglichen die gefundenen „Vertrauenseinstellungen“ der KI mit den durchschnittlichen Vertrauenseinstellungen, die man bei Tausenden von echten Menschen findet.

Der Gewinner: GPT-4.1 war die engste Übereinstimmung mit menschlichem Verhalten. Sein „Vertrauensregler“ war fast exakt dort eingestellt, wo Menschen ihn einstellen.
Die Verlierer: Einige andere Modelle waren entweder zu geizig (gaben sehr wenig Geld zurück) oder hatten seltsame, gespaltene Persönlichkeiten (manchmal sehr vertrauensvoll, manchmal sehr misstrauisch).

2. Die Verbindung zum „Risiko“
Sie bemerkten etwas Interessantes: Die KI-Modelle, die als „risikofreudiger“ eingestuft wurden (also eher bereit waren, Chancen zu ergreifen oder mutige Aussagen zu machen), waren tatsächlich diejenigen, die sich im Trust Game am meisten wie Menschen verhielten. Die Modelle, die extrem streng darin waren, Regeln zu befolgen oder Risiken zu vermeiden, verhielten sich in diesem sozialen Spiel nicht so sehr wie echte Menschen.

3. KIs beurteilen Menschen nach „Wärme“ und „Kompetenz“
Im zweiten Teil der Studie nutzten sie die menschenähnlichste KI (GPT-4.1), um das Spiel gegen verschiedene „Charaktere“ (Personas) zu spielen.

Sie ließen die KI gegen einen „Arzt“, eine „KI“, „Elon Musk“, „Malala Yousafzai“ usw. spielen.
Das Ergebnis: Die KI behandelte nicht jeden gleich. Sie gab mehr Geld an Personen zurück, die sie als warm (freundlich, fürsorglich) und kompetent (klug, geschickt) wahrnahm.
Die magische Formel: Die Forscher entwickelten eine einfache mathematische Formel basierend auf zwei Dingen: Wärme und Kompetenz.
- Wenn ein Charakter nur „kompetent“ (klug), aber nicht „warm“ (freundlich) war, vertraute die KI ihm nicht sehr viel.
- Wenn ein Charakter „warm“, aber nicht „kompetent“ war, vertraute die KI ihm ein bisschen mehr.
- Der Sweet Spot: Wenn ein Charakter sowohl warm als auch kompetent war (wie ein geliebter, kluger Mentor), schoss das Vertrauen der KI in die Höhe. Dies deckt sich auch mit der Art und Weise, wie Menschen andere beurteilen.

Das Fazzinierende (The Takeaway)

Diese Arbeit zeigt, dass wir ein „Geldspiel“ nutzen können, um in das Gehirn einer KI zu blicken und ihre verborgenen Regeln über Vertrauen zu entdecken.

Einige KIs handeln bereits sehr ähnlich wie Menschen, wenn es um Vertrauen geht.
Diese KIs beurteilen andere nach denselben zwei Dingen, die wir auch tun: Sind sie nett? Sind sie fähig?
Dies hilft uns zu verstehen, dass KI nicht nur ein Taschenrechner ist; sie besitzt soziale „Biases“ (Voreingenommenheiten) und Instinkte, die wir messen und untersuchen können.

Was die Arbeit NICHT aussagt:
Die Autoren behaupten nicht, dass diese Methode die KI-Sicherheit lösen, psychische Probleme heilen oder für die Einstellung von Mitarbeitern verwendet werden kann. Sie sagen lediglich: „Hier ist eine Methode, um zu messen, wie eine KI über Vertrauen denkt, und hier ist das, was wir herausgefunden haben.“

Technisches Resümee: Elizitation von Vertrauenswürdigkeits-Priors in Large Language Models mittels ökonomischer Spiele

Problemstellung

Der Aufbau menschenzentrierter, vertrauenswürdiger KI erfordert „kalibriertes Vertrauen“, bei dem Nutzer KI-Systeme angemessen nutzen – also sowohl Übervertrauen (Automatisierungsbias) als als auch Untervertrauen (Nichtnutzung) vermeiden. Eine grundlegende Herausforderung besteht darin, das Maß an Vertrauen zu charakterisieren, das ein KI-System selbst gegenüber menschlichen Akteuren zeigt. Während das Vertrauen in KI oft über Selbstberichte (Self-Reports) untersucht wird, können diese von tatsächlichem Verhalten abweichen. Zudem gehen bestehende Verhaltensstudien oft davon aus, dass KI keine Intentionalität besitzt, und behandeln Vertrauen als unidirektional (Mensch zu KI). Moderne Large Language Models (LLMs) weisen jedoch ausgefeilte soziale Fähigkeiten auf, was einen bilateralen Rahmen erfordert, um zu untersuchen, wie LLMs Vertrauen erwidern. Das Kernproblem ist die Frage, wie man den impliziten „Vertrauenswürdigkeits-Prior“ (Trustworthiness Prior) – die induktive Verzerrung, die ein LLM bezüglich der Frage hält, wie viel Vertrauen in sozialen Interaktionen erwidert werden sollte – robust schätzen kann.

Methodik

Die Autoren schlagen eine neuartige Elicitationsmethode vor, die iteratives In-Context-Learning (Zhu & Griffiths, 2024a) mit dem Trust Game (Vertrauensspiel) aus der Verhaltensökonomik (Berg et al., 1995) kombelt.

1. Formalisierung des Trust Game

Das Trust Game wird innerhalb eines Bayesschen Rahmens modelliert:

Setup: Ein Vertragspartner (Trustor) sendet einen Betrag $x$ an einen Treuhänder (Trustee). Dieser Betrag wird mit einem Faktor $m$ (festgesetzt auf 3) multipliziert. Der Treuhänder entscheidet, wie viel $y$ zurückgegeben wird.
Metrik der Vertrauenswürdigkeit: Definiert als das Rückgabeverhältnis $r = y / (mx)$, wobei $r \in [0, 1]$ .
Generatives Modell: Der Rückgabebetrag $y$ wird als Binomialverteilung modelliert: $y \sim \text{Binomial}(mx, r)$ , wobei $r$ ein latenter Vertrauenswürdigkeitsparameter ist.
Prior: Vorstellungen von Vertrauenswürdigkeit werden durch einen Beta-Prior $p(r) = \text{Beta}(\alpha, \beta)$ erfasst.

2. Iteratives In-Context-Learning-Verfahren

Um den impliziten Prior $p(r)$ des Modells zu eluizieren, simulieren die Autoren eine Markov-Kette über Prompts:

Informationsengpass (Information Bottleneck): In jeder Iteration $t$ erhält das LLM eine begrenzte Menge an $B=5$ vorangegangenen sozialen Interaktionen ( $D_{t-1}$ ), die basierend auf der geschätzten Vertrauenswürdigkeit der vorherigen Iteration $\hat{r}_{t-1}$ generiert wurden.
Inferenz: Das LLM wird aufgefordert, den Bruchteil der Mittel zu prognostizieren, den ein Treuhänder angesichts eines neuen Szenarios (z. B. Erhalt von 100 Token) zurückgeben würde, was effektiv die Schätzung des Posterior-Mittelwerts $\hat{r}_t$ darstellt.
Generierung: Dieser neue Schätzwert $\hat{r}_t$ wird verwendet, um die Binomialverteilung zu parametrisieren, um die nächste Charge von Interaktionen $D_t$ zu generieren.
Konvergenz: Durch wiederholte Iterationen konvergiert die Verteilung der geschätzten $\hat{r}$ -Werte gegen die zugrunde liegende Prior-Verteilung $p(r)$ des Modells, unabhängig von den initialen Seed-Werten. Dieser Prozess isoliert die induktiven Verzerrungen des Modells von spezifisch memorisierten Daten.

3. Experimentelles Design

Experiment 1: Evaluierung von 20 LLMs (darunter GPT-4/5, Claude-3.5, Gemini-2.5, Llama-3/4, Qwen-2.5/3, DeepSeek, etc.). Jedes Modell durchlief 270 Ketten (30 Seeds $\times$ 30 Restarts), um Konvergenz sicherzustellen (verifiziert via Gelman–Rubin-Diagnostik $\hat{R} \leq 1.1$ ).
Experiment 2: Fokus auf GPT-4.1 (identifiziert als das menschenähnlichste Modell), um die Sensitivität gegenüber Trustor-Personas zu testen. Die Personas umfassten berufliche Rollen (z. B. Arzt, KI) und öffentliche Figuren (z. B. Elon Musk, Mahatma Gandhi).
Modellierung der Variation: Ein lineares Regressionsmodell wurde konstruiert, um die Variation der Vertrauenswürdigkeit basierend auf Wärme (perzipierte Intentionen) und Kompetenz (perzipierte Fähigkeit) zu erklären, folgend dem Stereotype Content Model von Fiske (2018).

Zentrale Ergebnisse

1. Elizitation von Vertrauenswürdigkeits-Priors

Konvergenz: Alle Modelle zeigten eine schnelle Konvergenz und stabilisierten sich typischerweise innerhalb von 20 Iterationen.
Prädiktive Validität: Die elizierten Priors übertrafen sowohl einen Uniform-Prior als auch einen von Menschen abgeleiteten meta-analytischen Prior (Johnson & Mislin, 2011) bei der Vorhersage des eigenen Single-Shot-Reziprozitätsverhaltens der Modelle signifikant (niedrigster RMSD und höchstes Pearson's $r$ ).
Human Alignment: GPT-4.1 zeigte die stärkste Übereinstimmung mit menschlichen Vertrauenswürdigkeitsverteilungen und wies die geringste Kullback–Leibler-Divergenz ( $D_{KL} = 0.130$ ) im Vergleich zur menschlichen Baseline auf.
Modellvariabilität: Andere Modelle zeigten distinkte Muster:
- Einige (z. B. Qwen2.5-72B, Llama-3.1-70B) wiesen bimodale Priors auf, was auf gemischte strategische Antworten hindeutet.
- Andere (z. B. Grok-4.1-Fast, GPT-5.2) zeigten eine systematische Abwärtsverschiebung der Vertrauenswürdigkeit ( $r < 0.372$ ), was auf ein niedrigeres durchschnittliches Vertrauen als die menschlichen Baselines hindeutet.
Korrelationen: Es wurde eine negative Korrelation ( $r = -0.58$ ) zwischen der KL-Divergenz (Alignment mit Menschen) und dem Average Risk Score (ARS) gefunden, was darauf hindeutet, dass Modelle mit höherer Risikoneigung näher an menschlichen Vertrauens-Priors liegen. Es wurden keine signifikanten Korrelationen mit Instruction-Following (IFEval) oder allgemeiner Argumentation (LMArena) gefunden.

2. Sensitivität gegenüber Personas

Persona-Effekte: Die elizierte Vertrauenswürdigkeit von GPT-4.1 variierte systematisch über verschiedene Personas hinweg (mittleres $r$ reichte von 0.298 bis 0.447). So war das Vertrauen für Malala Yousafzai höher als für Mark Zuckerberg.
Wärme und Kompetenz: Ein Regressionsmodell, das Wärme ( $W$ $W$ ) und Kompetenz ( $C$ $C$ ) als Prädiktoren nutzt, erklärte 81 % der Varianz ( $R^2 = 0.81$ $R^{2} = 0.81$ ) der elizierten Vertrauenswürdigkeit.
- Dominanz der Wärme: Wärme hatte einen wesentlich stärkeren Haupteffekt ( $\beta_1 \gg \beta_2$ ) als Kompetenz.
- Interaktion: Ein signifikanter Interaktionsterm ( $\beta_3$ ) zeigte, dass Kompetenz die Vertrauenswürdigkeit primär dann steigert, wenn sie mit Wärme gepaart ist.

Zentrale Beiträge

Methodische Innovation: Die Arbeit führt eine Methode zur Elizitation impliziter Vertrauenswürdigkeits-Priors aus LLMs ein, indem sie iteratives In-Context-Learning an das Trust Game anpasst und so über Selbstberichte hinaus zu einer verhaltensbasierten Operationalisierung übergeht.
Empirische Charakterisierung: Sie bietet ein Benchmark für Vertrauenswürdigkeits-Priors über 20 führenden LLMs und zeigt auf, dass während einige Modelle (wie GPT-4.1) menschliche Priors eng verfolgen, andere distinkte strategische oder verzerrte Muster aufweisen.
Surrogat-Nutzen: Sie demonstriert, dass GPT-4.1 als Surrogat für menschliche Teilnehmer in der Untersuchung sozialer Biases dienen kann, da seine Urteile zur Vertrauenswürdigkeit in einer Weise sensibel auf Persona-Charakteristika reagieren, die konsistent mit der menschlichen Sozialpsychologie ist.
Theoretische Übereinstimmung: Die Ergebnisse bestätigen, dass die Urteile zur Vertrauenswürdigkeit von LLMs durch dieselben stereotypie-basierten Dimensionen (Wärme und Kompetenz) erklärt werden können, die auch die menschliche soziale Wahrnehmung steuern.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Charakterisierung der Vertrauenswürdigkeit von KI-Systemen essenziell für eine sichere und effektive Mensch-KI-Kollaboration ist. Indem die Autoren LLMs als Agenten behandeln, die fähig sind, Vertrauen zu erwidern, argumentieren sie, dass das Trust Game einen notwendigen bilateralen Rahmen zur Untersuchung der Mensch-KI-Interaktion bietet.

Die Autoren behaupten bescheiden, dass ihre Methode erfolgreich die „induktiven Verzerrungen“ (inductive biases) von LLMs hinsichtlich des sozialen Austauschs rekonstruiert. Sie legen nahe, dass Modelle wie GPT-4.1 als Surrogat für große menschliche Populationen dienen können, was es Forschern ermöglicht, zu untersuchen, wie sich allgemeine öffentliche Vertrauensurteile basierend auf Agenten-Charakteristika verschieben könnten, ohne den logistischen Aufwand der Rekrutierung menschlicher Probanden.

Die Arbeit hebt hervor, dass Vertrauenswürdigkeit in LLMs keine monolithische Eigenschaft ist, sondern je nach Modellarchitektur variiert und sensibel auf den sozialen Kontext (Personas) reagiert. Die Autoren kommen zu dem Schluss, dass das Verständnis dieser neuronalen Repräsentationen von Vertrauenswürdigkeit (die potenziell über Open-Weight-Modelle zugänglich sind) ein gangbarer Weg für das Design vertrauenswürdigerer KI-Systeme ist, räumen jedoch Einschränkungen hinsichtlich der Stabilität dieser Priors über unterschiedliche Investitionsniveaus und Interaktionskontexte hinweg ein.