Evolution of cooperation with Q-learning: the impact of information perception

Diese Studie verwendet Q-Learning in einem Gefangenendilemma-Rahmen, um zu demonstrieren, dass variierende Informationswahrnehmestrukturen, insbesondere asymmetrische Information, die komplexen evolutionären Dynamiken und das Entstehen von Kooperation entscheidend prägen und damit neue Einblicke in das menschliche Kooperationsverhalten bieten.

Das Wesentliche

Stellen Sie sich vor, Sie und ein Freund spielen ein Spiel, bei dem Sie beide entscheiden müssen, ob Sie nett sind (Kooperieren) oder nur auf sich selbst achten und auf Kosten des anderen schauen (Defektieren/Verraten). Wenn Sie beide nett sind, gewinnen Sie beide ein wenig. Wenn Sie beide nur auf sich selbst achten, verlieren Sie beide ein bisschen. Aber wenn der eine nett ist und der andere nicht, wird der „nette“ Teilgenossen regelrecht zerquetscht, und der „egoistische“ Teil erhält eine riesige Belohnung.

Normalerweise gehen Wissenschaftler, die dieses Spiel untersuchen, davon aus, dass beide Spieler die Welt exakt gleich sehen. Beide wissen, was der andere beim letzten Mal getan hat, oder beide wissen nur, was sie selbst getan haben.

Diese Arbeit stellt eine andere Frage: Was passiert, wenn die zwei Spieler die Welt unterschiedlich sehen? Was, wenn ein Spieler die Züge seines Freundes beobachtet, während der andere Spieler nur seine eigenen beobachtet?

Die Forscher verwendeten einen Computer-Algorithmus namens „Q-Learning“ (denken Sie an einen digitalen Schüler, der durch Versuch und Irrtum lernt und eine mentale Punktetabelle führt, um zu sehen, was funktioniert und was nicht), um dies zu simulieren. Sie testeten drei verschiedene „Sichtweisen“-Aufbauten:

1. Das „Du und Du“-Team (Beobachten des Anderen): Beide Spieler beobachten nur, was der andere tut.
2. Das „Ich und Ich“-Team (Beobachten des Selbst): Beide Spieler beobachten nur, was sie selbst tun.
3. Das „Du und Ich“-Team (Asymmetrisch): Ein Spieler beobachtet den anderen, während der andere Spieler nur sich selbst beobachtet.

Hier ist, was sie herausgefunden haben, einfach erklärt:

1. Das „Du und Du“-Team (Den Anderen beobachten)

Wenn beide Spieler nur darauf fokussiert sind, was der andere tut, ist das Spiel ein Chaos. Es ist wie zwei Menschen, die versuchen zu tanzen, während sie nur auf die Füße des jeweils anderen starren; sie finden keinen Rhythmus. Sie wechseln ständig zwischen Nettsein und Gemeinsein, aber sie finden nie zu einem stabilen Muster der Kooperation. Schließlich geben sie meistens auf und schauen nur noch auf sich selbst.

2. Das „Ich und Ich“-Team (Sich selbst beobachten)

Wenn beide Spieler sich nur auf ihr eigenes vergangenes Handeln konzentrieren, ist das Ganze stabiler, aber sie bleiben leicht stecken.

• Das Gute: Wenn die Versuchung, gemein zu sein, gering ist, können sie in einer „Glücksspirale“ stecken bleiben, in der sie beide für immer nett sind.
• Das Schlechte: Wenn die Versuchung, gemein zu sein, hoch ist, können sie in einer „Traurigkeitsschleife“ stecken bleiben, in der sie beide für immer gemein sind.
• Der Haken: Sobald sie sich für eine Schleife entschieden haben (Glück oder Traurigkeit), ist es sehr schwer, den Kurs zu ändern. Es ist wie ein Zug, der bereits aus dem Bahnhof fährt; er fährt entweder zum Ziel „Freundschaft“ oder „Verrat“, und es ist sehr schwer, einmal die Gleise zu wechseln.

3. Das „Du und Ich“-Team (Die gemischte Sichtweise)

Hier geschieht die Magie. Wenn ein Spieler den anderen beobachtet und der andere sich selbst beobachtet, wird das Spiel dynamisch und überraschend effektiv.

Die Forscher entdeckten eine komplexe, dreiteilige Geschichte, die sich im Laufe der Zeit abspielt:

• Phase 1: Die Flitterwochen. Die beiden Spieler merken, dass es funktioniert, nett zu sein. Sie beginnen zu kooperieren.
• Phase 2: Die Trennung. Ein Spieler (derjenige, der den anderen beobachtet) wird gierig. Er erkennt, dass er eine größere Belohnung bekommt, wenn er gemein ist, während der andere noch nett ist. Er nutzt seinen Partner aus. Der nette Partner, verwirrt, aber bemüht, gut zu sein, bleibt eine Zeit lang noch nett (Toleranz), wird aber schließlich verletzt.
• Phase 3: Der Wiederaufbau. Der nette Partner platzt schließlich heraus. Er beschließt, ebenfalls gemein zu sein, nur um dem gierigen Partner eine Lektion zu erteilen. Diese „Bestrafung“ schadet dem gierigen Spieler, der dann realisiert: „Hey, gemein zu sein funktioniert nicht mehr.“ Der gierige Spieler wechselt zurück zum Nettsein. Der Zyklus setzt sich zurück, und sie bauen eine stärkere, widerstandsfähigere Kooperation auf als zuvor.

Das große Fazit

Die überraschendste Erkenntnis ist, dass dieser gemischte Sichtweisen-Aufbau (Asymmetrisch) tatsächlich zu einer schnelleren und stärkeren Kooperation führt als die Aufbauten, bei denen alle die Welt gleich sehen.

Denken Sie an eine Beziehung:

• Wenn Sie und Ihr Partner beide nur auf Ihre eigenen Gefühle schauen, könnten Sie in einer Routine feststecken.
• Wenn Sie beide nur einander anstarren, könnten Sie ängstlich und instabil werden.
• Aber wenn einer von Ihnen auf die Beziehung fokussiert ist (den Anderen beobachtet) und der andere auf das eigene Wachstum (sich selbst beobachtet), erschaffen Sie ein dynamisches Umfeld, in dem man Fehler verzeihen, aus ihnen lernen und eine stärkere Bindung aufbauen kann.

Die Arbeit kommt zu dem Schluss, dass wie wir Informationen wahrnehmen, wichtiger ist, als wir dachten. Die Struktur dessen, was wir wissen – und wer was weiß – entscheidet darüber, ob wir in einem Zyklus des Verrats oder in einem stabilen Zyklus der Kooperation enden. Die „gemischte Sichtweise“ schafft einen natürlichen Rhythmus aus Vertrauen, Verrat, Bestrafung und Vergebung, der das reale menschliche Verhalten widerspiegelt und es ermöglicht, dass Kooperation selbst dann überlebt, wenn es schwierig wird.

Technische Zusammenfassung

Technische Zusammenfassung: Die Evolution der Kooperation mit Q-Learning: Der Einfluss der Informationswahrnehmung

Problemstellung
Das Entstehen und die Stabilität von Kooperation in sozialen Dilemmata, insbesondere dem Gefangenendilemma (PD), bleiben zentrale Herausforderungen in der evolutionären Spieltheorie. Während Reinforcement Learning (RL) als ein leistungsstarkes Paradigma zur Untersuchung sozialen Verhaltens hervorgetreten ist, geht die bestehende Literatur weitgehend von einer symmetrischen Informationswahrnehmung aus – das heißt, alle Agenten greifen auf identische Arten von Informationen zu (z. B. nur die eigenen Handlungen, nur die Handlungen der Nachbarn oder beides), wenn sie Entscheidungen treffen. Diese Annahme steht im Gegensatz zu realen Beobachtungen, bei denen die Informationswahrnehmung oft asymmetrisch ist und durch Faktoren wie Alter, Erfahrung, Kultur und sozialen Status geprägt wird. Diese Studie adressiert die Lücke im Verständnis darüber, wie asymmetrische Informationswahrnehmung die Evolution der Kooperation innerhalb eines Zwei-Spieler-RL-Frameworks beeinflusst.

Methodik
Die Autoren verwenden den Q-Learning-Algorithmus, um die Evolution der Kooperation in einem iterierten Zwei-Spieler-Gefangenendilemma zu modellieren. Die Studie definiert drei verschiedene Informationswahrnehmungs-Schemata, um den Einfluss der Informationsstruktur zu testen:

1. Schema I (Symmetrisch „Du + Du“): Beide Spieler basieren ihre Zustandsperzeption auf der Aktion des Gegners.
2. Schema II (Symmetrisch „Ich + Ich“): Beide Spieler basieren ihre Zustandsperzeption auf ihrer eigenen Aktion.
3. Schema III (Asymmetrisch „Du + Ich“): Ein Spieler nimmt die Aktion des Gegners wahr, während der andere seine eigene Aktion wahrnimmt.

Die Agenten nutzen eine Q-Tabelle, um Aktionen ($C$ oder $D$) innerhalb spezifischer Zustände zu bewerten. Das System entwickelt sich durch synchrone Updates, die aus Exploration (mit Wahrscheinlichkeit $\epsilon$) und Exploitation basierend auf den Q-Werten bestehen. Die Auszahlungsmatrix folgt der starken PD-Version ($T > R > P > S$ und $T+S < 2R$), wobei die Stärke des Dilemmas durch den Parameter $b$ gesteuert wird. Die Studie analysiert zeitgemittelte Kooperationspräferenzen, Wahrscheinlichkeitsdichtefunktionen (PDFs) von Kooperationsniveaus sowie die zeitliche Entwicklung der Q-Werte, um die zugrunde liegenden Mechanismen aufzudecken.

Kernergebnisse
Die Studie zeigt, dass die Informationsstruktur die evolutionäre Dynamik der Kooperation grundlegend verändert:

• Schema I (Gegner-fokussiert): Kooperation ist hochgradig instabil. Selbst bei geringer Dilemma-Stärke tendiert das System zur gegenseitigen Defektion. Die PDF der Kooperationspräferenz zeigt eine trimodale Verteilung, was auf einen Mangel an stabilen kooperativen Zuständen hindeutet.
• Schema II (Selbst-fokussiert): Das System weist Bistabilität und einen Übergang erster Ordnung auf. Je nach Anfangsbedingungen konvergiert das System entweder zu gegenseitiger Kooperation oder zu gegenseitiger Defektion. Sobald ein stabiler Zustand erreicht ist, bleibt dieser im Allgemeinen erhalten, wobei sich der Bereich der Kooperation verkleinert, wenn die Dilemma-Stärke zunimmt.
• Schema III (Asymmetrisch): Dieses Szenario liefert die komplexesten und robustesten Dynamiken. Es weist zwar ebenfalls Bistabilität auf, ist aber durch ein einzigartiges „Hüpfen“ zwischen voller Kooperation und voller Defektion gekennzeichnet. Bemerkenswerterweise erreicht Schema III die höchste Kooperationspräferenz in der kürzesten Konvergenzzeit im Vergleich zu den anderen Schemata, insbesondere bei moderater Dilemma-Stärke ($b \approx 0,3$).

Mechanistische Analyse
Durch eine detaillierte Analyse der Q-Wert-Entwicklung im asymmetrischen Szenario (Schema III) identifizieren die Autoren einen zyklischen Prozess, der aus drei Phasen besteht:

1. Entstehung: Kooperation entsteht durch einen Zyklus von Exploitation und Toleranz. Ein Spieler (der „Ich“-Agent) toleriert anfangs die Defektion des anderen, was durch positive Rückkopplung zur Bildung gegenseitiger Kooperation führt.
2. Zusammenbruch: Die Toleranz wird schließlich durch wiederholte Exploitation untergraben. Der „Ich“-Agent wechselt zur Defektion als Bestrafungsstrategie, was zu einem Kollaps in die gegenseitige Defektion führt.
3. Rekonstruktion: Nach dem Kollaps ermöglicht gleichzeitige kooperative Exploration dem System, der gegenseitigen Defektion zu entkommen. Die Rollen von Ausbeuter und Tolerierender kehren sich um, und durch einen ähnlichen Zyklus von Bestrafung und Toleranz wird die gegenseitige Kooperation wiederhergestellt.

Diese Dynamik spiegelt psychologische Verschiebungen im menschlichen Verhalten wider, bei denen Kooperation kein statischer Zustand ist, sondern ein Prozess von Entstehung, Zusammenbruch und Rekonstruktion.

Bedeutung und Ansprüche
Die Arbeit behauptet, dass die Informationsstruktur ein entscheidender Faktor für die Förderung von Kooperation ist. Insbesondere zeigt sie auf, dass eine asymmetrische Informationswahrnehmung die Entstehung von Kooperation schneller und robuster katalysieren kann als symmetrische Strukturen. Die Ergebnisse unterstreichen, dass:

• Informationsstruktur entscheidend ist: Die Art und Weise, wie Agenten Informationen wahrnehmen (Aktion vs. Eigenaktion), bestimmt die Stabilität und Geschwindigkeit der kooperativen Evolution.
• Komplexität in der Asymmetrie: Asymmetrische Szenarien führen zu reichhaltigen dynamischen Verhaltensweisen, einschließlich echter Bistabilität und oszillierender Übergänge zwischen Kooperation und Defektion, die in symmetrischen Modellen fehlen.
• Realismus: Die beobachteten Dynamiken von Entstehung, Zusammenbruch und Rekonstruktion im asymmetrischen Modell stimmen enger mit der Komplexität menschlicher Entscheidungsfindung und realer sozialer Interaktionen überein als bisherige symmetrische Modelle.

Die Autoren kommen zu dem Schluss, dass diese Arbeit zwar auf vereinfachten Zwei-Spieler-Szenarien basiert, jedoch einen grundlegenden Schritt zum Verständnis darstellt, wie diverse Informationswahrnehmungen kooperative Beziehungen prägen. Sie legen nahe, dass zukünftige Forschung komplexere soziale Netzwerke untersuchen und moralische Präferenzen in RL-Frameworks integrieren sollte.