🧬 biology

Decoding fairness: a reinforcement learning perspective

Ursprüngliche Autoren: Guozhong Zheng, Jiqiang Zhang, Xin Ou, Shengfeng Deng, Li Chen

Veröffentlicht 2026-02-04

📖 5 Min. Lesezeit🧠 Tiefgang

Ursprüngliche Autoren: Guozhong Zheng, Jiqiang Zhang, Xin Ou, Shengfeng Deng, Li Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen

Die große Frage: Warum sind wir fair?

Stellen Sie sich vor, Sie und ein Freund teilen eine Pizza auf. In der alten „Ökonomie“-Ansicht sind Sie beide Roboter, denen es nur darum geht, das größte Stück zu bekommen. Sie (der Anbieter) würden Ihrem Freund nur einen winzigen Krümel anbieten, und dieser (der Antwortende) würde ihn essen, weil „ein Krümel besser ist als gar nichts“.

Aber im echten Leben passiert das nicht. Wenn Sie nur einen winzigen Krümel anbieten, wird Ihr Freund wütend und wirft die ganze Pizza weg. Ihr beide geht hungrig nach Hause. Doch in echten Experimenten bieten Menschen meistens eine faire Aufteilung an (wie 50-50), und zu geringe Angebote werden abgelehnt.

Das Rätsel: Warum handeln Menschen so? Liegt es daran, dass man uns beigebracht hat, gut zu sein (externe Faktoren), oder gibt es etwas in unserem Gehirn, das uns natürlich zur Fairness drängt?

Der neue Ansatz: Das „Videospiel“-Gehirn

Die meisten früheren Studien untersuchten, wie Menschen ihre Nachbarn kopieren (wie ein Schüler, der einen klugen Klassenkameraden nachahmt). Diese Arbeit verfolgt einen anderen Ansatz. Sie behandelt Menschen wie Spieler in einem Videospiel, die versuchen, ihren Gesamtpunktestand über die Zeit zu maximieren.

Sie verwendeten eine Computermethode namens Q-Learning. Stellen Sie sich das wie ein Gehirn vor, das für jede mögliche Situation eine „Punktekarte“ (eine Q-Tabelle) führt.

Die Punktekarte des Anbieters: „Wenn ich ein faires Stück anbiete, wie viel bekomme ich langfristig?“
Die Punktekarte des Antwortenden: „Wenn ich ein kleines Stück akzeptiere, wie viel bekomme ich langfristig?“

Die Spieler schauen nicht nur auf das Pizzastück, das sie jetzt gerade bekommen. Sie schauen auf ihre Vergangenheit und ihre Zukunft.

Die zwei entscheidenden Zutaten für Fairness

Die Studie fand heraus, dass Fairness nur dann entsteht, wenn die „Spieler“ zwei spezifische Eigenschaften besitzen:

Sie erinnern sich an die Vergangenheit (Geringes „Vergesslichkeit“): Sie löschen ihre Punktekarte nicht nach jedem Spiel komplett. Sie lernen aus dem, was zuvor geschah.
Sie haben eine langfristige Vision (Hoher „Zukunftswert“): Sie kümmern sich um den Gesamtpunktestand, den sie über 1.000 Spiele hinweg erreichen werden, nicht nur um das eine Spiel, das gerade läuft.

Die Analogie:
Stellen Sie sich vor, Sie spielen ein Spiel, bei dem Sie entweder heute eine Münze stehlen und das Spiel für morgen ruinieren können, oder heute fair teilen, um das Spiel am Laufen zu halten.

Wenn Sie kurzsichtig sind (nur auf das Heute fixiert) oder vergesslich (nicht daran denken, dass Stehlen letztes Mal das Spiel ruiniert hat), werden Sie wie ein gieriger Roboter handeln. Sie werden einen winzigen Krümel anbieten, und das Geschäft wird oft scheitern, sodass am Ende alle mit leeren Händen dastehen.
Wenn Sie weise sind (sich an die Vergangenheit erinnern und an die Zukunft denken), erkennen Sie: „Hey, wenn ich ein faires Stück anbiete, wird mein Freund annehmen, und wir können das Spiel ewig weiterspielen und Münzen verdienen.“

Wie Fairness entsteht (Die zweiphasige Reise)

Die Arbeit beschreibt einen zweistufigen Prozess, wie die Spieler dies herausfinden:

Phase 1: Das „Versuch und Irrtum“-Aufräumen
Am Anfang raten alle nur. Einige bieten riesige Stücke an (zu großzügig), andere nur winzige Krümel.

Die „zu großzügigen“ Angebote scheitern, weil der Anbieter zu viel Geld verliert.
Die „winzigen Krümel“-Angebote scheitern, weil der Antwortende sie ablehnt.
Ergebnis: Das System filtert die schlechten Strategien von selbst heraus. Nur diejenigen, die tatsächlich zu einem Deal führen, überleben.

Phase 2: Die „Stabilisierung“
Nun sind die Spieler zwischen zwei Hauptstrategien gefangen:

Die faire Strategie: 50 % anbieten, 50 % akzeptieren.
Die rationale (gierige) Strategie: Das Minimum anbieten, das Minimum akzeptieren.

Die Studie fand heraus, dass Spieler, die die Zukunft wertschätzen, fast immer zur fairen Strategie tendieren. Warum? Weil die „rationale Strategie“ riskant ist. Wenn man versucht, zu gierig zu sein, könnte die andere Person einen ablehnen, und man bekommt Null. Die faire Strategie ist die sicherste Methode, um die „Geldmaschine“ reibungslos am Laufen zu halten.

Was passiert, wenn Fairness scheitert?

Die Arbeit testete auch, was passiert, wenn die „Spieler“ ihre Weisheit verlieren:

Wenn sie vergesslich sind: Können sie nicht aus ihren Fehlern lernen. Sie versuchen immer wieder, gierig zu sein, und scheitern immer wieder.
Wenn sie kurzsichtig sind: Kümmern sie sich nur um das sofortige Stück. Sie akzeptieren winzige Krümel, nur um etwas zu bekommen, was den Anbieter dazu ermutigt, noch gieriger zu sein.
Ergebnis: In diesen Fällen kollabiert das System in Chaos oder reinen Egoismus. Die Fairness verschwindet.

Das Fazremen (Bottom Line)

Diese Arbeit argumenttiert, dass wir nicht von der Gesellschaft, der Religion oder Gesetzen (externen Faktoren) „gelehrt“ werden müssen, fair zu sein. Stattdessen ist Fairness ein natürliches Ergebnis klugen, eigennützigen Lernens.

Wenn man ein rationales Wesen ist, das sich an die Vergangenheit erinnert und an die Zukunft denkt, wird man ganz natürlich feststellen, dass Fairness der beste Weg ist, um das Spiel langfristig zu gewinnen. Es geht nicht darum, „gut“ zu sein; es geht darum, „klug“ zu sein.

Technische Zusammenfassung: Dekodierung von Fairness: Eine Perspektive des Reinforcement Learning

Problemstellung
Das Ultimatum-Spiel (UG) dient als primäres Modell zum Verständnis der Entstehung von Fairness. Während die orthodoxe Ökonomie, die auf der Annahme des Homo economicus basiert, vorhersagt, dass rationale, eigennützige Akteure das minimal mögliche Angebot unterbreiten und jedes Angebot über Null akzeptieren werden (was zu extremer Ungleichheit führt), zeigen Verhaltensexperimente konsistent, dass Menschen faire Teilungen (typischerweise 40–50 %) bevorzugen und niedrige Angebote ablehnen. Bestehende theoretische Erklärungen für diese Diskrepanz stützen sich weitgehend auf den Imitationslern-Rahmen (Imitation Learning), der Fairness auf exogene Faktoren wie Populationsstruktur, Reputation, Groll oder Empathie zurückführt. Diese Arbeit untersucht, ob Fairness allein durch endogene Faktoren innerhalb eines Reinforcement Learning (RL) Paradigmas entstehen kann, bei dem Akteure ihre Strategien durch Selbstreflexion und Interaktion mit ihrer Umgebung optimieren, anstatt erfolgreiche Peers zu imitieren.

Methodik
Die Autoren modellieren ein Zwei-Spieler-UG-Szenario mittels Q-Learning, einem Standard-RL-Algorithmus.

Agenten-Architektur: Jedem Spieler wird eine von zwei unterschiedlichen Q-Tabellen zugewiesen: eine für die Rolle des Anbieters (Proposer) und eine für die Rolle des Empfängers (Responder).
Zustands- und Aktionsraum:
- Aktionen: Anbieter wählen aus drei Angeboten ( $p_l < 0,5$ , $p_m = 0,5$ , $p_h > 0,5$ ); Empfänger wählen aus drei Akzeptanzschwellenwerten ( $q_l, q_m, q_h$ ).
- Zustände: Der Zustandsraum besteht aus neun Kombinationen ( $S = \{s_1, ..., s_9\}$ ), welche die Aktionspaare der vorangegangenen Runde repräsentieren.
Lernmechanismen:
- Die Agenten aktualisieren ihre Q-Werte mittels der Bellman-Gleichung: $Q_{s,a}(t+1) = (1-\alpha)Q_{s,a}(t) + \alpha(\pi(t) + \gamma \max_{a'} Q_{s',a'}(t))$ .
- $\alpha$ (Lernrate): Steuert das Gewicht der aktuellen Erfahrung; ein hohes $\alpha$ impliziert „Vergesslichkeit“, während ein niedriges $\alpha$ das Behalten historischer Erfahrungen bedeutet.
- $\gamma$ (Diskontierungsfaktor): Steuert das Gewicht zukünftiger Belohnungen; ein hohes $\gamma$ impliziert eine „langfristige Vision“, während ein niedriges $\gamma$ „kurzsichtige“ Planung bedeutet.
- Exploration: Agenten explorieren zufällige Aktionen mit der Wahrscheinlichkeit $\epsilon$ und nutzen andernfalls den höchsten Q-Wert aus (Exploitation).
Metriken: Die Studie verfolgt die stationären Anteile von Angeboten und Akzeptanzschwellenwerten und überwacht dabei insbesondere die Prävalenz der fairen Option ( $p_m, q_m$ ) gegenüber der rationalen Option ( $p_l, q_l$ ).

Kernergebnisse

Entstehung von Fairness durch endogene Faktoren: Fairness tritt prominent hervor, wenn Agenten sowohl über niedrige Lernraten ( $\alpha$ , Wertschätzung historischer Erfahrungen) als auch über hohe Diskontierungsfaktoren ( $\gamma$ , Wertschätzung zukünftiger Belohnungen) verfügen. In diesem Parameterregime stabilisiert sich das System mit einer hohen Wahrscheinlichkeit für faire Angebote ( $p_m$ ) und faire Akzeptanzschwellenwerte ( $q_m$ ).
Zwei-Phasen-Evolutionsmechanismus:
- Phase I (Abschluss von Deals): Ausgehend von zufälligen Konfigurationen werden Strategien, die zu gescheiterten Deals führen (z. B. hohe Angebote $p_h$ oder hohe Schwellenwerte $q_h$ ), aufgrund niedriger Auszahlungen eliminiert. Das System konvergiert zu drei überlebenden Strategien: $(p_m, q_m)$ , $(p_l, q_l)$ und $(p_m, q_l)$ .
- Phase II (Verzweigungsprozess): Es tritt eine Übergangsdynamik auf, bei der die gemischte Strategie $(p_m, q_l)$ instabil ist. Das System verzweigt sich in zwei stabile Zustände: die faire Strategie $(p_m, q_m)$ oder die rationale Strategie $(p_l, q_l)$ . Der Übergangspfad wird als $(p_m, q_l) \to (p_l, q_l) \to (p_m, q_m)$ identifiziert.
Übereinstimmung mit Verhaltensexperimenten: Das Modell reproduziert zentrale experimentelle Beobachtungen:
- Die Wahrscheinlichkeit erfolgreicher Deals steigt mit höheren Angeboten.
- Angebote unter 20 % werden häufig abgelehnt (ca. 80 % Ablehnungsrate im Modell), während Angebote zwischen 45–50 % hochgradig akzeptiert werden.
Parametersensitivität:
- $\alpha$ und $\gamma$ : Agenten mit hohem $\alpha$ (vergesslich) oder niedrigem $\gamma$ (kurzsichtig) fallen auf die rationale, unfaire Strategie zurück.
- Spielparameter ( $l, h$ ): Die Untergrenze der Angebote ( $l$ ) beeinflusst das Gleichgewicht signifikant; wenn $l$ steigt, erhöht sich der Anteil der rationalen Strategien. Die Obergrenze ( $h$ ) hat einen marginalen Einfluss.
Robustheit: Die Entstehung von Fairness bleibt bestehen, wenn die Rollenzuweisung von rotierend auf zufällig oder fixiert geändert wird und wenn das Szenario auf eine Population mit Gitterstruktur erweitert wird.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass endogene Motivation innerhalb des Reinforcement-Learning-Paradigmas ausreicht, um die Entstehung von Fairness zu erklären, wodurch exogene Faktoren (wie Reputation oder soziale Normen) für dieses spezifische Ergebnis unnötig werden. Durch den Nachweis, dass Agenten, die „vergangene Erfahrungen schätzen“ und „zukünftige Belohnungen planen“, natürlich zu fairen Strategien evolvieren, bietet die Studie eine frische Perspektive, die sich vom Imitationslern-Rahmen unterscheidet. Die Ergebnisse legen nahe, dass menschliche Fairness das Resultat adaptiver Lernprozesse sein kann, die darauf abzielen, kumulierte Auszahlungen über die Zeit zu maximieren, anstatt ein rein soziales oder kulturelles Konstrukt zu sein. Die Arbeit kommt zu dem Schluss, dass die selbstreflexive Natur von RL eine fundamentale Erklärung dafür bietet, warum Menschen in der Ultimatum-Spiel-Vorhersage vom Homo economicus abweichen.