Modeling the dynamics of social exchange in groups with reinforcement learning and Theory of Mind

Die Studie zeigt, dass ein Verstärkungslernmodell mit Theory of Mind die Dynamik des Ressourcenteilens in Gruppen am besten erklärt, indem es aufzeigt, dass Teilnehmer durch strategisches Wechseln zwischen Partnern und nicht durch Fairnessbestrebungen handeln, um soziale Bindungen zu pflegen.

Das Wesentliche

Titel: Wie wir Freunde finden und Geschenke verteilen – Eine Reise durch den Kopf von Gruppen

Stellen Sie sich vor, Sie sitzen mit zwei Freunden an einem runden Tisch. Jeder von Ihnen hat eine kleine Kiste mit 90 goldenen Münzen. Das Spiel ist einfach: In jeder Runde darf einer von Ihnen eine Münze an einen der beiden anderen verschenken. Aber hier ist der Haken: Niemand weiß genau, was die anderen tun werden.

Was passiert dann? Geben Sie immer demselben Freund die Münze, weil er nett war? Oder wechseln Sie ständig, um beide Freunde zu behalten? Und denken Sie dabei: „Wenn ich ihm jetzt eine Münze gebe, wird er das nächste Mal auch eine für mich haben"?

Genau das haben die Forscher in dieser Studie untersucht. Sie wollten herausfinden, wie unser Gehirn Entscheidungen in Gruppen trifft, wenn es um das Teilen von Ressourcen geht.

Das Experiment: Ein Tanz um die Münzen

Die Forscher haben drei verschiedene Szenarien (Experimente) mit vielen Menschen durchgeführt.

1. Der einfache Tanz (Experiment 1): Die Leute spielten das Münz-Spiel. Das Ergebnis war überraschend: Die Menschen gaben nicht einfach nur dem, der ihnen am meisten gab. Stattdessen wechselten sie ständig. Wenn sie gerade Person A eine Münze gegeben hatten, gaben sie im nächsten Zug eher Person B.

   • Die Metapher: Stellen Sie sich vor, Sie tanzen mit zwei Partnern. Wenn Sie eine Runde mit Partner A getanzt haben, wechseln Sie sofort zu Partner B, damit beide nicht eifersüchtig werden und Sie beide im Spiel bleiben. Es ist ein strategischer Wechsel, keine reine Fairness.

2. Der böse Zufall (Experiment 2): Hier fügten die Forscher ein Element des Chaos hinzu. Nach jedem Geschenk wurde zufällig einem der Empfänger eine Münze weggenommen (als ob der Wind sie wehbläst).

   • Die Erkenntnis: Wenn es nur um Gerechtigkeit ginge, hätten die Leute demjenigen mehr geben müssen, dem gerade eine Münze weggenommen wurde. Aber das taten sie nicht! Sie gaben eher demjenigen, dem weniger weggenommen wurde. Das zeigt: Es ging ihnen nicht darum, den „Verlierer" zu trösten, sondern darum, ihre eigenen Beziehungen strategisch zu pflegen.

3. Die Gedankenleser-Runde (Experiment 3): Dies war der Clou. Während einer Person erlaubt war, eine Münze zu verschenken, mussten die anderen beiden raten: „Wem wird er/sie die Münze geben?"

   • Das Ergebnis: Die Leute waren überraschend gut im Raten! Sie konnten die Absichten der anderen fast wie Gedankenleser vorhersagen. Und noch wichtiger: Die Leute, die selbst oft den Partner wechselten, dachten auch, dass die anderen das tun würden. Sie projizierten ihr eigenes Verhalten auf die anderen.

Die Geheimwaffe: Der „Gedanken-Simulator" im Kopf

Die Forscher haben nun Computermodelle gebaut, um zu verstehen, was in den Köpfen der Spieler vorgeht. Sie verglichen verschiedene Theorien:

• Der einfache Roboter: „Ich gebe dem, der mir am meisten gegeben hat." (Reine Gegenseitigkeit).
• Der Wechsel-König: „Ich gebe immer dem, der noch nichts bekommen hat." (Reine Abwechslung).
• Der Gedanken-Simulator (Theory of Mind): Dieser Modell-Typ ist besonders clever. Er sagt: „Ich weiß nicht nur, was du getan hast. Ich stelle mir vor, wie du denkst. Ich simuliere in meinem Kopf: ‚Wenn ich ihm jetzt eine Münze gebe, denkt er: ‚Ah, er mag mich! Und da er gerne wechselt, wird er mich beim nächsten Mal vielleicht nicht wählen, um jemand anderen zu testen.' Also muss ich meine Strategie anpassen.'"

Das Ergebnis war eindeutig: Der Gedanken-Simulator passte sich am besten an das menschliche Verhalten an.

Was bedeutet das für uns?

Diese Studie sagt uns etwas Wundervolles über die menschliche Natur:

1. Wir sind keine einfachen Tauschhändler: Wir geben nicht nur zurück, was wir bekommen haben. Wir balancieren ständig aus: „Wie halte ich meine Beziehung zu Person A stabil, ohne Person B zu vernachlässigen?"
2. Wir sind mentale Architekten: Um in einer Gruppe erfolgreich zu sein, müssen wir nicht nur beobachten, sondern uns in die Köpfe der anderen versetzen. Wir müssen verstehen, dass auch die anderen über uns nachdenken.
3. Vertrauen ist ein Tanz: Das ständige Wechseln zwischen Partnern ist kein Zeichen von Unsicherheit, sondern eine kluge Strategie, um ein starkes Netzwerk aus vielen Beziehungen aufzubauen, statt sich auf nur eine zu verlassen.

Zusammenfassend: Wenn wir in einer Gruppe Ressourcen teilen, nutzen wir nicht nur unseren Bauchgefühl oder einfache Regeln. Wir nutzen einen hochentwickelten „Gedanken-Simulator" in unserem Kopf, um die Pläne der anderen vorherzusagen und unsere eigenen Schritte so zu planen, dass wir am Ende alle (oder zumindest wir selbst) gut dastehen. Wir sind alle kleine Strategen im großen Tanz des Lebens.

Technische Zusammenfassung

Titel: Modellierung der Dynamik des sozialen Austauschs in Gruppen mittels Verstärkungslernen und Theory of Mind

1. Problemstellung und Hintergrund

Der Austausch von Ressourcen ist ein fundamentaler Mechanismus zur Bildung und Aufrechterhaltung sozialer Bindungen. Während die Reziprozität (die Tendenz, erhaltene Ressourcen zurückzugeben) als zentraler Mechanismus in dyadischen Interaktionen gut dokumentiert ist, bleiben die dynamischen Prozesse der Ressourcenallokation in Gruppenkontexten (mehr als zwei Akteure) unzureichend verstanden.

Die zentrale Forschungsfrage lautet: Wie balancieren Individuen den Zielkonflikt zwischen der Aufrechterhaltung stabiler, reziproker Partnerschaften und der Exploration alternativer Partner in einer Gruppe? Traditionelle Theorien des sozialen Austauschs vernachlässigen oft die kognitive Komplexität, die für das Vorhersagen des Verhaltens anderer in solchen dynamischen Umgebungen notwendig ist. Insbesondere die Rolle höherer Ebenen der Theory of Mind (ToM) – also die Fähigkeit, die Absichten und Verhaltensmuster anderer mental zu simulieren – wurde in diesem Kontext bisher kaum computergestützt modelliert.

2. Methodik

Die Studie kombinierte computergestützte Modellierung mit Verhaltensdaten aus drei Experimenten, die auf einem modifizierten „Giving Game" basierten.

• Experimentelles Design:

  • Teilnehmer: Drei Kohorten (Exp. 1 & 2: $N=93$ bzw. $90$ in 31/30 Triaden; Exp. 3: $N=96$ in 32 Triaden).
  • Aufgabe: In jedem Durchgang wurde zufällig ein „Akteur" (Actor) ausgewählt, der einen Token an einen von zwei anderen Spielern („Empfänger") senden musste. Dies geschah über 90 Runden.
  • Experiment 1: Basis-Setup zur Erfassung von Verteilungsmustern und Reziprozität.
  • Experiment 2: Einführung einer zufälligen Abzug-Mechanik (ein Token wird zufällig von einem Empfänger abgezogen), um zu testen, ob das Wechselverhalten durch Fairness-Sorgen (Ausgleich von Verlusten) oder strategische Überlegungen getrieben wird.
  • Experiment 3: Einführung einer Glaubens-Task (Guessing Task). Die Empfänger mussten vorhersagen, wem der Akteur den Token geben würde. Dies ermöglichte die direkte Messung der mentalen Repräsentation des Verhaltens anderer, ohne die Auszahlung zu beeinflussen.

• Computational Modeling:
  Es wurden vier konkurrierende Modelle verglichen, die mit einem Maximum-Likelihood-Verfahren angepasst und mittels des Akaike Information Criterion (AIC) bewertet wurden:

  1. Alternating Model: Der Akteur wechselt systematisch den Empfänger, um eine faire Verteilung zu gewährleisten (basierend auf der eigenen Sendehistorie).
  2. Reciprocity Model: Der Akteur sendet an den Empfänger, der ihm in der Vergangenheit am meisten gegeben hat.
  3. Alternating Reciprocity Model: Eine Kombination aus beiden Heuristiken.
  4. Mental Inference (Mental Infer) Model: Ein Modell mit h-ToM (higher-order Theory of Mind). Es nimmt an, dass Akteure nicht nur das Verhalten anderer tracken, sondern eine mentale Repräsentation davon besitzen, dass andere ebenfalls das „Alternating Reciprocity"-Modell befolgen. Dies erlaubt eine Simulation der Reaktion anderer auf die eigene Handlung (z. B. „Wenn ich A gebe, wird A in Zukunft weniger an mich geben, weil A wechselt").

3. Wichtige Ergebnisse

• Verhaltensmuster:

  • Teilnehmer zeigten eine signifikant über dem Zufall liegende Wechselwahrscheinlichkeit (Switch Probability): Sie tendierten dazu, den Empfänger zu wechseln, anstatt demselben wiederholt zu geben (ca. 60–67 % in den Experimenten).
  • Reziprozität war ebenfalls vorhanden: Wenn ein Empfänger reziprozierte, verringerte sich die Wahrscheinlichkeit, dass der Akteur im nächsten Zug wechselte.
  • Experiment 2 (Fairness-Check): Die Wechselwahrscheinlichkeit korrelierte positiv mit dem relativen Verlust des zuvor belohnten Empfängers. Das bedeutet, Teilnehmer wechselten eher, wenn der Empfänger weniger verloren hatte. Dies widerlegt die Hypothese, dass das Wechseln primär durch Fairness-Bedenken (Ausgleich von Ungleichheit) getrieben wird; es ist vielmehr strategisch.

• Modellvergleich:

  • Das Mental Inference (Mental Infer) Modell erzielte in allen drei Experimenten den besten AIC-Wert und übertraf alle anderen Modelle.
  • Während das „Alternating Reciprocity"-Modell viele Verhaltensmuster (Wechseln, Reziprozität) nachbilden konnte, scheiterten die einfachen Modelle (insbesondere die reinen RL-Modelle ohne ToM) daran, die Glaubens-Genauigkeit in Experiment 3 vorherzusagen.
  • Nur das Mental Infer-Modell konnte erklären, warum Teilnehmer die Entscheidungen anderer über dem Zufallsniveau vorhersagen konnten. Die Teilnehmer projizierten ihre eigenen Präferenzen (Wechseln) auf andere und nutzten diese mentale Simulation, um deren Verhalten zu antizipieren.

• Dynamik:

  • In Experiment 2 (mit Risiko/Abzug) nahm die Wechselwahrscheinlichkeit über die Zeit ab, was auf die Bildung stabiler dyadischer Bindungen in risikoreichen Umgebungen hindeutet.
  • Die Genauigkeit der Vorhersagen (Glauben) verbesserte sich über die Zeit, was auf einen Lernprozess hindeutet, bei dem die mentalen Modelle verfeinert werden.

4. Hauptbeiträge und Signifikanz

1. Entkopplung von Fairness und Strategie: Die Studie zeigt, dass das scheinbar „faire" Verhalten des gleichmäßigen Verteilens in Gruppen nicht primär aus intrinsischen Fairness-Sorgen resultiert, sondern aus einer strategischen Balance zwischen Stabilität und Exploration.
2. Rolle der Theory of Mind (ToM): Die Arbeit liefert starke computergestützte Belege dafür, dass h-ToM (die Fähigkeit, die kognitiven Prozesse anderer zu modellieren) für effektiven sozialen Austausch in Gruppen unerlässlich ist. Einfaches Verstärkungslernen (Tracking von Belohnungen) reicht nicht aus, um das komplexe Verhalten in Gruppen vollständig zu erklären.
3. Methodischer Fortschritt: Durch die Einführung der „Guessing"-Bedingung in Experiment 3 konnte die Studie erstmals direkt zwischen rein reaktiven Lernmodellen und Modellen mit mentaler Simulation unterscheiden. Dies unterstreicht die Notwendigkeit, nicht nur das Ergebnis des sozialen Austauschs, sondern auch die kognitiven Prozesse dahinter zu modellieren.
4. Theoretische Implikation: Die Ergebnisse erweitern die Theorie des sozialen Austauschs, indem sie zeigen, dass Individuen in Gruppen nicht nur Kosten-Nutzen-Rechnungen anstellen, sondern komplexe mentale Modelle anderer nutzen, um langfristige soziale Bindungen zu optimieren.

Fazit: Die Studie demonstriert, dass die Modellierung des sozialen Austauschs in Gruppen die Integration von Verstärkungslernen mit einer höheren Ebene der Theory of Mind erfordert. Das „Mental Infer"-Modell bietet den robustesten Rahmen, um zu verstehen, wie Menschen in dynamischen Gruppenumgebungen Ressourcen verteilen und soziale Bindungen aufbauen.