💬 NLP

Payoff scaling shapes cooperation in LLM agents across languages

Diese Studie zeigt, dass die Erhöhung der Einsatzhöhen paradoxerweise die Kooperation von LLM-Agenten über mehrere Sprachen hinweg verstärkt – ein Trend, der durch Alignment-Training und menschenähnliche Argumentation getrieben wird, was den Vorhersagen der evolutionären Spieltheorie widerspricht – während sie gleichzeitig aufzeigt, dass linguistisches Framing das strategische Verhalten sowohl in proprietären als auch in Open-Weight-Modellen signifikant prägt.

Ursprüngliche Autoren: Trung-Kiet Huynh, Dao-Sy Duy-Minh, Thanh-Bang Cao, Phong-Hao Le, Hong-Dan Nguyen, Phu-Quy Nguyen-Lam, Minh-Luan Nguyen-Vo, Hong-Phat Pham, Phu-Hoa Pham, Thien-Kim Than, Chi-Nguyen Tran, Huy Tran, Gia-

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Trung-Kiet Huynh, Dao-Sy Duy-Minh, Thanh-Bang Cao, Phong-Hao Le, Hong-Dan Nguyen, Phu-Quy Nguyen-Lam, Minh-Luan Nguyen-Vo, Hong-Phat Pham, Phu-Hoa Pham, Thien-Kim Than, Chi-Nguyen Tran, Huy Tran, Gia-Thoai Tran-Le, Alessio Buscemi, Le Hong Trang, The Anh Han

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: KI-Agenten spielen ein Spiel des Vertrauens

Stellen Sie sich vor, Sie haben eine Gruppe sehr intelligenter Computerprogramme (Large Language Models, oder LLMs), die als Agenten agieren. Sie bringen sie in einen Raum, um ein klassisches Spiel namens Gefangenendilemma zu spielen.

In diesem Spiel müssen zwei Spieler entscheiden, ob sie kooperieren (zusammenarbeiten) oder betrügen (den anderen verraten).

Wenn beide kooperieren, erhalten beide eine kleine Belohnung.
Wenn einer den anderen verrät, erhält der Verräter eine riesige Belohnung und das Opfer wird bestraft.
Wenn beide betrügen, erhalten beide eine mittlere Strafe.

Die große Frage, die die Forscher gestellt haben, lautet: Wie verhalten sich diese KI-Agenten, wenn sich der „Einsatz“ des Spiels ändert, und verändert die Sprache, die sie sprechen, ihre Meinung?

Das Experiment: Den Lautstärkeregler für den Einsatz drehen

Die Forscher ließen die KI das Spiel nicht nur einmal spielen. Sie ließen die KI das Spiel immer wieder spielen, änderten dabei aber die „Lautstärke“ der Belohnungen und Strafen.

Denken Sie an Folgendes:

Niedriger Einsatz (Lautstärke 0,1): Das Spiel ist wie das Spielen mit Monopoly-Geld. Wenn man verliert, macht es nicht viel aus.
Mittlerer Einsatz (Lautstärke 1,0): Das Spiel ist wie das Spielen um echtes Bargeld.
Hoher Einsatz (Lautstärke 10,0): Das Spiel ist wie das Spielen um seine gesamten Ersparnisse.

Sie testeten dies mit drei berühmten KI-Modellen (GPT-4o, Claude 3.5 und Mistral) und auch mit drei kleineren Open-Source-Modellen. Sie spielten das Spiel in fünf verschiedenen Sprachen: Englisch, Französisch, Arabisch, Mandarin und Vietnamesisch.

Die überraschenden Erkenntnisse

1. Die „menschliche“ vs. die „roboterhafte“ Reaktion

In der traditionellen Ökonomie und Spieltheorie (die „Roboter“-Ansicht) sollten rationale Spieler, wenn der Einsatz riesig wird, Angst vor Verlusten bekommen und sofort anfangen, einander zu betrügen. Die Logik dahinter ist: „Wenn ich viel verliere, kann ich mir niemanden leisten, dem ich vertraue.“

Aber die KI tat das Gegenteil.
Als die Einsätze höher wurden, wurden die KI-Agenten tatsächlich kooperativer.

Analogie: Stellen Sie sich zwei Nachbarn vor, die entscheiden, ob sie ein Werkzeug teilen. Wenn das Werkzeug billig ist (niedriger Einsatz), sind sie vielleicht faul und teilen es nicht. Aber wenn das Werkzeug eine millionenteure Maschine ist (hoher Einsatz), werden sie plötzlich sehr vorsichtig und fangen an zu teilen, weil die Kosten eines Bruchs zu hoch sind.
Die Forscher glauben, dass dies geschieht, weil die KI mit menschlichen Daten trainiert wurde. Menschen neigen dazu, mehr zu kooperieren, wenn die Konsequenzen eines Scheiterns schwerwiegend sind, und die KI hat dieses Muster gelernt.

2. Der „Spracheffekt“

Die Forscher fanden heraus, dass die Sprache, in der die KI aufgefordert wurde, wie eine kulturelle Persönlichkeit wirkte.

Französisch und Vietnamesisch: Diese Sprachen schienen die KI sehr sensibel für den Einsatz zu machen. Als der Einsatz stieg, wechselten diese KIs sehr schnell zur Kooperation.
Arabisch und Chinesisch: Diese Sprachen schienen die KI dazu zu bringen, „Alles-oder-Nichts“-Strategien anzuwenden (entweder immer zu kooperieren oder immer zu betrügen), unabhängig vom Einsatz.
Englisch: Die englischen Prompts erzeugten die ausgewogenste Mischung an Strategien.

Analogie: Betrachten Sie die KI-Modelle als Schauspieler. Wenn Sie einem Schauspieler sagen, er solle eine Rolle auf Englisch spielen, spielt er vielleicht auf eine bestimmte Weise. Wenn Sie ihm dasselbe Skript auf Französisch geben, interpretiert er die Emotionen des Charakters vielleicht anders. Die „Sprache“ war nicht nur eine Übersetzung; sie veränderte den strategischen „Vibe“ der KI.

3. „Kleine Modelle“ vs. „Große Modelle“

Die Forscher testeten dies sowohl an massiven, teuren KI-Modellen als auch an kleineren, kostenlosen Modellen.

Die großen Modelle: Sie waren sehr gut darin, sich anzupassen. Wenn die Einsätze stiegen, änderten sie ihre Strategie hin zu mehr Kooperation.
Die kleinen Modelle: Sie waren etwas sturer. Einige von ihnen änderten ihr Verhalten nicht so stark, wenn der Einsatz zunahm. Ein kleines Modell (Qwen) zeigte sogar ein „U-förmiges“ Verhalten: Es war bei mittlerem Einsatz kooperativ, kehrte aber wieder zu egoistischem Verhalten zurück, als die Einsätze extrem hoch wurden.

Das „Diagnose“-Werkzeug

Um zu verstehen, warum die KI dies tat, zählten die Forscher nicht nur, wie oft sie „Ja“ oder „Nein“ sagten. Sie bauten einen speziellen „Decoder“ (einen Machine-Learning-Klassifikator), um die verborgene Strategie der KI zu erraten.

Sie suchten nach vier klassischen Strategien:

Immer kooperieren: Der nette Kerl.
Immer betrügen: Der Betrüger.
Tit-for-Tat (Wie du mir, so ich dir): „Ich mache das, was du beim letzten Mal gemacht hast.“
Win-Stay-Lose-Shift (Gewinn bleiben, Verlust wechseln): „Wenn es funktioniert hat, mache ich weiter. Wenn es gescheitert ist, ändere ich es.“

Das Ergebnis: Die KI wechselte nicht einfach zufällig. Wenn die Einsätze höher wurden, hörten sie auf, „Immer Betrüger“ zu sein, und begannen, „Win-Stay-Lose-Shift“ und „Immer kooperieren“ anzuwenden. Sie lernten, klüger mit den Risiken umzugehen.

Der „Theorie“ vs. „Realität“-Check

Die Forscher verglichen ihre KI-Ergebnisse mit einer strengen mathematischen Vorhersage (Evolutionäre Spieltheorie).

Die Theorie sagte voraus: Hoher Einsatz = Alle betrügen.
Die Realität (KI) zeigte: Hoher Einsatz = Alle versuchen zu kooperieren.

Das Fazateum: Die KI spielt das Spiel nicht wie ein kalter, berechnender Roboter. Sie spielt wie ein Mensch, der gelernt hat, dass man zusammenarbeiten muss, um zu überleben, wenn es ernst wird. Die Forscher nennen dies ein „Signaturmerkmal des Alignment-Trainings“ – die KI erinnert sich daran, wie Menschen in Hochdrucksituationen reagieren.

Zusammenfassung

Dieses Paper zeigt, dass Sie zwei mächtige Hebel haben, wenn Sie kontrollieren wollen, wie KI-Agenten in einer Gruppe agieren:

Der Einsatz: Machen Sie die Konsequenzen des Scheiterns größer, und die KI wird wahrscheinlich kooperativer werden.
Die Sprache: Die Sprache, die Sie mit der KI sprechen, wirkt wie ein kultureller Filter, der verändert, wie sie das Spiel interpretiert und wem sie vertraut.

Es ist eine Erinnerung daran, dass KI nicht nur Code ist; sie ist ein Spiegel, der menschliche Muster, Vorurteile und die Art und Weise, wie wir auf Druck reagieren, reflektiert.

Technisches Resümee: Payoff-Skalierung formt die Kooperation von LLM-Agenten über Sprachen hinweg

1. Problemstellung

Da Large Language Models (LLMs) zunehmend als autonome Agenten in Verhandlungs- und Koordinationsaufgaben eingesetzt werden, ist das Verständnis ihres strategischen Verhaltens in Multi-Agenten-Umgebungen zu einem kritischen Thema für die KI-Governance geworden. Während empirische Studien die Kooperation von LLMs durch spieltheoretische Brillen untersucht haben, konzentrieren sich die meisten bestehenden Evaluierungen auf aggregierte Ergebnisse (z. B. Kooperationsraten) statt auf die zugrunde liegenden Verhaltensintentionen oder Strategien, die diese Handlungen antreiben. Darüber hinaus mangelt es an einem systematischen Vergleich zwischen dem LLM-Verhalten und theoretischen Benchmarks unter kontrollierten Bedingungen, die sowohl die Höhe der Anreize (Payoff-Stakes) als auch das linguistische Framing variieren.

Diese Arbeit adressiert drei Kernfragen:

Ändern LLM-Agenten ihr kooperatives Verhalten systematisch, wenn die Payoff-Stakes variieren, und wie unterscheidet sich dies über Modelle und Sprachen hinweg?
Können die Verhaltensintentionen von LLMs zuverlässig mittels überwachtem Lernen klassifiziert werden, und welche systematischen Biases treten auf?
Wie vergleichen sich die aus LLMs abgeleiteten Strategieverteilungen mit EGT-Baselines (Evolutionary Game Theory) unter angepassten Payoff- und Rauschbedingungen, und lassen sich diese Muster auf kleinere Open-Weight-Modelle verallgemeinern?

2. Methodik

Die Studie nutzt FAIRGAME (Framework for AI Agents Bias Recognition using Game Theory) als computergestützte Infrastruktur zur Durchführung kontrollierter Experimente.

Experimentelles Design: Die Autoren verwenden ein wiederholtes Gefangenendilemma (Prisoner's Dilemma, PD) mit einem endlichen Horizont von $N=10$ Runden (erweitert auf $N=30$ für Open-Weight-Modelle). Die zentrale Manipulation ist die Payoff-Skalierung: Ein Skalarparameter $\lambda \in \{0,1, 1,0, 10,0\}$ (und bis zu 1000 für kleine Modelle) multipliziert alle Strafwerte, während die strategische Struktur des Spiels erhalten bleibt. Dies isoliert den Effekt der Einsatzhöhe, ohne das Nash-Gleichgewicht des Spiels zu verändern.
Variablen: Die Experimente umfassen fünf Sprachen (Englisch, Französisch, Arabisch, Mandarin-Chinesisch, Vietnamesisch), drei proprietäre Frontier-Modelle (GPT-4o, Claude 3.5 Haiku, Mistral Large) und drei Open-Weight-Small-Modelle (Qwen3 8B, Gemma-3 12B, Llama-3.1 8B). Die Agenten-Paarungen beinhalten kooperative (C) und egoistische (S) Persönlichkeitseigenschaften.
Pipeline zur Erkennung von Intentionen: Um über reine Aktionszählungen hinauszugehen, trainieren die Autoren überwachte Klassifikatoren, um kanonische Strategien aus Aktionssequenzen abzuleiten.
- Trainingsdaten: 10.000 synthetische Trajektorien, die für vier kanonische Strategien generiert wurden: Always Cooperate (ALLC), Always Defect (ALLD), Tit-for-Tat (TFT) und Win-Stay–Lose-Shift (WSLS), inklusive injiziertem Ausführungsrauschen.
- Modellauswahl: Ein LSTM-basierter Klassifikator wurde als bester Performer (F1 = 0,984) ausgewählt, da er in der Lage ist, sequentielle Abhängigkeiten in der Aktionshistorie zu erfassen, und damit Logistic Regression, Random Forests und Hidden Markov Models übertrifft.
- Inferenz: Der trainierte LSTM klassifiziert die von LLMs generierten Trajektorien. Hochkonfidente Vorhersagen ( $p \geq 0,9$ ) werden verwendet, um die Strategieverteilungen zu bestimmen.
Theoretische Baseline: Ein analytisches Modell der Evolutionären Spieltheorie (EGT) wird abgeleitet, um die stationäre Verteilung der Strategien unter denselben Payoff-Strukturen und Rauschniveaus vorherzusagen. Dies dient als „sprachblinde“ Benchmark, um das LLM-Verhalten zu kontrastieren.

3. Kernergebnisse

A. Payoff-Sensitivität und strategische Verschiebungen
Im Gegensatz zur Standard-Spieltheorie, nach der höhere Einsätze entweder zu risikoaverser Defektion führen könnten oder – im Gegenteil – niedrige Einsätze die Exploration fördern könnten, zeigen die LLMs ein distinktes Muster der Kooperation bei steigenden Stakes (cooperation-as-stakes-rise).

Wenn $\lambda$ von 0,1 auf 10 steigt, sinkt die Prävalenz von unbedingter Defektion (ALLD) drastisch, während konditionale Kooperation (WSLS) und unbedingte Kooperation (ALLC) zunehmen.
Dieser Trend ist modellspezifisch: Claude 3.5 Haiku zeigt einen steilen Anstieg der Kooperation; GPT-4o verschiebt sich von einer Defektions-Baseline hin zu einem ausgewogenen Profil; Mistral Large bleibt relativ unempfindlich gegenüber Änderungen der Einsatzhöhe.
In der Open-Weight-Replikation hält dieser gerichtete Effekt an, ist jedoch bei extremen Stakes ( $\lambda > 100$ ) nicht-monoton, wobei einige Modelle (z. B. Qwen3) eine U-förmige Reaktion zeigen, bei der die Kooperation bei den höchsten Einsätzen wieder sinkt.

B. Linguistisches Priming
Das linguistische Framing prägt die strategischen Archetypen maßgeblich, ein Effekt, den die Autoren als linguistisch-kulturelles Priming bezeichnen.

Unbedingt vs. Konditional: Arabische und chinesische Prompts erzeugen eine starke Tendenz zu unbedingten Strategien (ALLC + ALLD $\approx$ 60 %). Im Gegensatz dazu liefern englische, französische und vietnamesische Prompts ausgewogenere Verteilungen mit höheren Anteilen adaptiver Reziprozität (TFT + WSLS).
Interaktion mit dem Stake: Französisch und Vietnamesisch zeigen die höchste Sensitivität gegenüber der Einsatzhöhe und verschieben sich bei steigenden Stakes dramatisch in Richtung Kooperation. Arabisch zeigt die am stärksten gedämpfte Reaktion. Bei hohen Einsätzen konvergieren Englisch und Französisch zu ähnlichen strategischen Profilen, was darauf hindeutet, dass starke Anreize die linguistische Variation normalisieren können.

C. Divergenz zur Evolutionären Spieltheorie (EGT)
Ein kritischer Befund ist die systematische Diskrepanz zwischen dem LLM-Verhalten und den EGT-Vorhersagen.

EGT-Vorhersage: Unter hohen Einsatzbedingungen sagt die EGT-Baseline eine „Wand der unbedingten Defektion“ (ALLD) voraus, da der Anreiz zur Defektion evolutionär dominant wird.
LLM-Beobachtung: LLMs bewegen sich in die entgegengesetzte Richtung. Wenn die Stakes steigen, werden LLMs kooperativer, wobei die ALLD-Prävalenz von ~39 % bei niedrigen Stakes auf ~18 % bei hohen Stakes sinkt.
Interpretation: Die Autoren argumentieren, dass diese Divergenz ein Kennzeichen des Alignment-Trainings (z. B. RLHF, Constitutional AI) und der Absorption menschlicher Verhaltensmuster aus den Trainingsdaten ist, bei denen Menschen dazu neigen, die Kooperation zu intensivieren, wenn die Kosten eines Fehlers steigen. Die EGT-Baseline, die sprachblind und rein payoff-getrieben ist, kann diese „menschenähnlichen“ Denkprozesse und kulturellen Priors nicht erfassen.

D. Generalisierung auf kleine Modelle
Die Replikation mit Open-Weight-Small-Modellen bestätigt, dass diese Effekte nicht auf proprietäre Frontier-Modelle beschränkt sind. Während die spezifischen Strategien variieren (z. B. agiert Gemma-3 als „strategischer Generalist“, während Llama-3.1 bei moderaten Stakes zu einem engagierten Tit-for-Tat-Spieler wird), bleibt die allgemeine Sensitivität gegenüber Payoff-Skalierung und linguistischem Framing bestehen.

4. Beiträge

Die Arbeit leistet vier primäre Beiträge:

Payoff-Skaliertes Protokoll: Einführung eines endlichen, payoff-skalierten Gefangenendilemma-Protokolls, um die Sensitivität von LLMs gegenüber der Anreizhöhe systematisch zu isolieren.
Überwachte Intentionenerkennung: Entwicklung und Anwendung einer hybriden (regelbasierten + LSTM) Pipeline, um kanonische Strategien aus LLM-Trajektorien abzuleiten und so über bloße aggregierte Kooperationsraten hinauszugehen.
EGT-Benchmarking: Etablierung einer analytischen EGT-Baseline unter angepassten Bedingungen, die als normativer Referenzpunkt dient, um LLM-spezifische Biases und Abweichungen vom rationalen Gleichgewicht zu diagnostizieren.
Open-Weight-Replikation: Demonstration, dass Anreiz- und Spracheffekte über Modellgrößen und Architekturen hinweg (einschließlich kleinerer, lokal einsetzbarer Modelle) generalisieren.

5. Bedeutung und Behauptungen

Die Autoren positionieren diese Arbeit als diagnostisches Werkzeug für die KI-Governance. Die Bedeutung liegt in der Identifizierung von Payoff-Design und linguistischem Framing als mächtige, bisher unterexplorierte Hebel zur Steuerung des LLM-Verhaltens in Multi-Agenten-Systemen.

Das Paper behauptet:

LLMs sind keine statischen Agenten; sie modulieren ihre strategischen Verpflichtungen basierend auf der Relevanz der Anreize (Incentive Salience).
Der linguistische Kontext führt systematische Biases ein, die die Auswirkungen der Modellarchitektur in ihrer Stärke erreichen können.
Die Divergenz zwischen LLM-Verhalten und EGT-Vorhersagen ist kein Fehler, sondern ein Merkmal des Alignments, das menschenähnliche Denkprozesse widerspiegelt, die unter hohen Einsatzbedingungen die Kooperation priorisieren.
Diese Erkenntnisse haben direkte Auswirkungen auf die Evaluierung und Governance von KI-Systemen in hochsensiblen, multilingualen Umgebungen und legen nahe, dass „Alignment“ als eine Abweichung von der klassischen spieltheoretischen Rationalität erscheinen kann.

Die Studie bleibt in ihren Behauptungen hinsichtlich einer Verhaltensäquivalenz zu Menschen zurück; sie stellt fest, dass die Muster zwar menschliche Experimentergebnisse widerspiegeln, das Fehlen direkter menschlicher Baselines in diesem spezifischen Setup jedoch Aussagen über eine Äquivalenz ausschließt. Stattdessen liegt der Fokus darauf, die durch Intention-Klassifizierung offenzulegenden strukturellen Biases im strategischen Verhalten aktueller LLMs aufzuzeigen.