Adaptive Noise in Human Game Play: An Information-Theoretic Signature that Separates Learning Models on Matching-Pennies Data

In der Untersuchung darüber, wie Menschen lernen, Entscheidungen zu treffen, betrachten Wissenschaftler oft Spiele, in denen zwei Spieler gegeneinander antreten und versuchen, einander zu überlisten. Ein klassisches Beispiel ist ein einfaches Spiel des „Matching Pennies“, bei dem ein Spieler gewinnt, wenn die Münzen übereinstimmen, und der andere, wenn sie nicht übereinstimmen. Um erfolgreich zu sein, muss ein Spieler unvorhersehbar sein; wenn er in ein Muster verfällt, wird sein Gegner dies bemerken und ausnutzen. Gleichzeitig muss ein Spieler darauf achten, was sein Gegner tut, um seine eigene Strategie anzupassen. Dies erzeugt ein empfindliches Gleichgewicht: Ein Spieler muss zufällig genug sein, um nicht berechenbar zu werden, aber klug genug, um auf die andere Person zu reagieren. Jahrzehntelang hatten die Standard-Computermodelle, die verwendet werden, um menschliches Lernen zu simulieren, Schwierigkeiten mit diesem Gleichgewicht. Diese Modelle beginnen typischerweise mit viel zufälligem Raten, werden aber im Laufe des Lernens immer sicherer und deterministischer, bis sie sich schließlich in einer starren, vorhersehbaren Routine einpendeln. Dieses Verhalten entspricht jedoch nicht dem, was echte Menschen im Labor tun.

Eine neue Studie von Pratyush Mahadevaiah untersucht diese Diskrepanz, indem sie Daten von Hunderten von Menschen analysiert, die diese Spiele über lange Sitzungen hinweg spielen. Anstatt zu versuchen, eine komplexe mathematische Formel an die Ergebnisse anzupassen, nutzte der Forscher eine Methode aus der Informationstheorie, um zwei spezifische Qualitäten des Verhaltens der Spieler im Zeitverlauf zu messen. Die erste Qualität ist das Ausmaß der Zufälligkeit, oder des „Rauschens“, in den Entscheidungen eines Spielers. Die zweite ist ein Maß dafür, wie sehr der nächste Zug eines Spielers durch den letzten Zug seines Gegners beeinflusst wird. Durch die Verfolgung dieser beiden Faktoren über 108 verschiedene Gruppen von Spielern hinweg zeigt die Studie ein deutliches Muster im menschlichen Verhalten, das Standard-Computermodelle nicht replizieren können. Die Forschung zeigt, dass Menschen während des gesamten Spiels ein stetiges Maß an Unvorhersehbarkeit beibehalten und gleichzeitig hochgradig reaktionsfähig auf die Handlungen ihres Gegners bleiben. Im Gegensatz dazu werden die am häufigsten verwendeten Lernmodelle der Wissenschaft mit der Zeit zu vorhersehbar und hören auf, auf ihre Gegner zu reagieren.

Die Daten stammen aus einem großen Satz von Experimenten, bei denen Gruppen von acht Personen eine Serie von Matching-Pennies-Spielen über jeweils 200 Runden spielten. Die Forscher zeichneten jeden einzelnen Zug, den jeder Spieler machte, auf und erstellten so einen detaillierten Zeitstrahl der Entscheidungen. Sie wandten dann ein spezifisches Maß an, um zu sehen, wie viel Information der aktuelle Zug eines Spielers über den vorherigen Zug seines Gegners enthielt. Diese Messung, bekannt als Transferentropie, fungiert wie ein Detektor für Reaktionsfähigkeit. Wenn ein Spieler wirklich aufmerksam ist und seine Strategie basierend auf dem anpasst, was die andere Person gerade getan hat, wird dieser Wert hoch sein. Wenn der Spieler nur nach seiner eigenen internen Logik handelt, ohne Rücksicht auf den Gegner, wird der Wert niedrig sein. Als die Forscher die menschlichen Daten untersuchten, stellten sie fest, dass die Spieler ein hohes Maß an Zufälligkeit beibehielten, wobei ein durchschnittliches Maß an Unvorhersehbarkeit während des gesamten Spiels bei etwa 0,64 Bits lag.ت Wichtiger noch, sie zeigten ein starkes Signal der Reaktionsfähigkeit, da ihre Entscheidungen eindeutig durch den letzten Zug ihres Gegners beeinflusst wurden.

Als dieselbe Analyse auf ein Standard-Computermodell namens Q-Learning angewendet wurde, waren die Ergebnisse drastisch anders. Dieses Modell, das weit verbreitet ist, um zu simulieren, wie Agenten aus Belohnungen lernen, begann mit etwas Zufälligkeit, verlor diese aber schnell. Innerhalb von etwa dreißig Runden wurde das Verhalten des Modells fast vollständig vorhersehbar, wobei sein Maß an Zufälligkeit auf nahezu Null sank. Da es so vorhersehbar wurde, hörte es auch auf, auf seinen Gegner zu reagieren; das Maß der Reaktionsfähigkeit fiel auf fast nichts. Die Forscher testeten, ob man das Problem lösen könnte, indem man einfach die Einstellungen dieses Computermodells änderte. Sie versuchten, das Modell durch Anpassung seiner internen „Temperatur“-Einstellungen zufälliger zu machen, aber dies erzeugte lediglich einen Zielkonflikt. Wenn das Modell zufälliger gemacht wurde, wurde es weniger reaktionsfähig auf den Gegner. Wenn es reaktionsfähiger gemacht wurde, wurde es weniger zufällig. Keine einzelne Einstellung erlaubte es dem Modell, gleichzeitig unvorhersehbar und aufmerksam zu sein – eine Kombination, die Menschen auf natürliche Weise erreichten.

Die Studie testete dann vier weitere gängige Lernmodelle, um zu sehen, ob keines von ihnen das menschliche Muster reproduzieren konnte. Die meisten dieser Modelle scheiterten auf ähnliche Weise: Einige wurden zu starr und vorhersehbar, während andere zwar zufällig blieben, aber versäumten, auf den Gegner zu achten. Eines speziellen Modell, bekannt als „Self-Tuning Experience-Weighted Attraction“, gelang jedoch dort, wo die anderen scheiterten. Dieses Modell, das seine Strategie sowohl auf Basis vergangener Belohnungen als auch durch einen Mechanismus aktualisiert, der Veränderungen im Spiel erkennt, vermochte es, sowohl zufällig als auch reaktionsfähig zu bleiben. Sein Verhalten entsprach eng dem der menschlichen Daten und besetzte denselben Bereich auf der Grafik, in dem die menschlichen Spieler gefunden wurden. Obwohl dieses Modell die menschlichen Zahlen nicht perfekt traf, war es das einzige, das in der Lage war, die duale Natur des menschlichen Spiels annähernd zu erfassen.

Die Ergebnisse legen nahe, dass die Art und Weise, wie Menschen in kompetitiven Situationen lernen, strukturell anders ist als die Arbeitsweise von Standard-Reinforcement-Learning-Modellen. Menschen werden nicht einfach nur selbstbewusster und weniger zufällig, während sie an Erfahrung gewinnen; stattdessen behalten sie ein stetiges Maß an adaptivem Rauschen bei, das es ihnen ermöglicht, unvorhersehbar zu bleiben, während sie gleichzeitig den Gegner verfolgen. Die Studie behauptet nicht, bewiesen zu haben, dass genau dieses Computermodell exakt so funktioniert wie das menschliche Gehirn, aber sie identifiziert ein entscheidendes Merkmal, das jedes erfolgreiche Modell des menschlichen Lernens besitzen muss. Um zu beschreiben, wie Menschen diese Spiele spielen, muss ein Modell in der Lage sein, gleichzeitig verrauscht und aufmerksam zu sein. Diese Erkenntnis hilft dabei, die Suche nach besseren Theorien des menschlichen Verhaltens einzugrenzen, indem sie über die bloße Vorhersage dessen hinausgeht, was Menschen als Nächstes tun werden, hin zum Verständnis der dynamischen Qualitäten, wie sie lernen und sich anpassen.