Adaptive Noise in Human Game Play: An Information-Theoretic Signature that Separates Learning Models on Matching-Pennies Data

In de studie naar hoe mensen leren beslissingen te nemen, kijken wetenschappers vaak naar spellen waarbij twee spelers met elkaar concurreren, waarbij ze proberen elkaar te slim af te zijn. Een klassiek voorbeeld is een eenvoudig spel van 'matching pennies', waarbij één speler wint als de munten overeenkomen en de andere wint als ze dat niet doen. Om succesvol te zijn, moet een speler onvoorspelbaar zijn; als ze in een patroon vervallen, zal hun tegenstander dit opmerken en uitbuiten. Tegelijkertijd moet een speler aandacht besteden aan wat zijn tegenstander doet om de eigen strategie aan te passen. Dit creëert een delicaat evenwicht: een speler moet willekeurig genoeg zijn om niet voorspelbaar te worden, maar slim genoeg om op de ander te reageren. Decennialang hebben de standaard computermodellen die gebruikt worden om menselijk leren te simuleren, moeite gehad met dit evenwicht. Deze modellen beginnen doorgaans met veel willekeurig gokken, maar worden geleidelijk zelfverzekerder en deterministischer naarmate ze leren, om uiteindelijk te verzanden in een rigide, voorspelbare routine. Dit gedrag komt echter niet overeen met wat echte mensen daadwerkelijk doen in het laboratorium.

Een nieuwe studie door Pratyush Mahadevaiah onderzoekt deze discrepantie door data van honderden mensen te analyseren die deze spellen over lange sessies spelen. In plaats van te proberen een complexe wiskundige formule op de resultaten toe te passen, gebruikte de onderzoeker een methode uit de informatietheorie om twee specifieke kwaliteiten van het gedrag van de spelers over de tijd te meten. De eerste kwaliteit is de mate van willekeur, of "ruis", in de keuzes van een speler. De tweede is een maatstaf voor hoeveel de volgende zet van een speler wordt beïnvloed door de laatste zet van zijn tegenstander. Door deze twee factoren over 108 verschillende groepen spelers te volgen, onthult de studie een duidelijk patroon in menselijk gedrag dat standaard computermodellen niet kunnen repliceren. Het onderzoek laat zien dat mensen een constant niveau van onvoorspelbaarheid behouden gedurende het hele spel, terwijl ze tegelijkertijd zeer responsief blijven op de acties van hun tegenstander. In contrast hiermee worden de meest voorkomende leermodellen die wetenschappers gebruiken te voorspelbaar en stoppen ze met reageren op hun tegenstanders naarmate het spel vordert.

De data komt uit een grote set experimenten waarbij groepen van acht mensen een reeks matching-pennies spellen van elk 200 rondes speelden. De onderzoekers registreerden elke enkele zet die elke speler maakte, waardoor ze een gedetailleerde tijdlijn van beslissingen creëerden. Ze pasten vervolgens een specifieke meting toe om te zien hoeveel informatie de huidige zet van een speler bevatte over de vorige zet van zijn tegenstander. Deze meting, bekend als transfer entropy, werkt als een detector voor responsiviteit. Als een speler echt oplet en zijn strategie aanpast op basis van wat de ander net deed, zal dit getal hoog zijn. Als de speler simpelweg handelt op basis van zijn eigen interne logica zonder rekening te houden met de tegenstander, zal het getal laag zijn. Wanneer de onderzoekers naar de menselijke data keken, zagen ze dat spelers een hoog niveau van willekeur behielden, waarbij een gemiddelde maatstaf van onvoorspelbaarheid rond de 0,64 bits bleef tijdens het hele spel. Belangrijker nog, ze toonden een sterk signaal van responsiviteit, waarbij hun keuzes duidelijk werden beïnvloed door de laatste zet van hun tegenstander.

Toen dezelfde analyse werd toegepast op een standaard computermodel genaamd Q-learning, waren de resultaten scherp verschillend. Dit model, dat breed wordt gebruikt om te simuleren hoe agenten leren van beloningen, begon met enige willekeur maar verloor deze snel. Binnen ongeveer dertig rondes werd het gedrag van het model bijna volledig voorspelbaar, waarbij de maatstaf voor willekeur naar bijna nul daalde. Omdat het zo voorspelbaar werd, stopte het ook met reageren op zijn tegenstander; de maatstaf voor responsiviteit daalde tot bijna niets. De onderzoekers testten of het simpelweg aanpassen van de instellingen van dit computermodel het probleem kon oplossen. Ze probeerden het model willekeuriger te maken door de interne "temperatuur"-instellingen aan te passen, maar dit creëerde slechts een afruil. Wanneer het model willekeuriger werd gemaakt, werd het minder responsief naar de tegenstander. Wanneer het model responsiever werd gemaakt, werd het minder willekeurig. Geen enkele instelling liet het model toe om zowel onvo麟predictbaar als attent te zijn op hetzelfde moment, een combinatie die mensen van nature bereikten.

De studie testte vervolgens vier andere veelvoorkomende leermodellen om te zien of zij het menselijke patroon konden reproduceren. De meeste van deze modellen faalden op vergelijkbare manieren: sommige werden te rigide en voorspelbaar, terwijl anderen willekeurig bleven maar er niet voor kozen om aandacht te besteden aan de tegenstander. Echter, één specifiek model, bekend als self-tuning experience-weighted attraction, slaagde waar de anderen faalden. Dit model, dat zijn strategie bijwerkt op basis van zowel het verleden van beloningen als een mechanisme dat veranderingen in het spel detecteert, slaagde erin zowel willekeurig als responsief te blijven. Het gedrag ervan kwam nauw overeen met de menselijke data en bezette dezelfde ruimte op de grafiek waar de menselijke spelers werden gevonden. Hoewel dit model de menselijke cijfers niet perfect mat, was het het enige dat in de buurt kwam van het vastleggen van de dubbele aard van het menselijke spel.

De bevindingen suggereren dat de manier waarop mensen leren in competitieve situaties structureel verschilt van hoe standaard reinforcement learning-modellen werken. Mensen worden niet simpelweg zelfverzekerder en minder willekeurig naarmate ze meer ervaring opdoen; in plaats daarvan behouden ze een constant niveau van adaptieve ruis die hen in staat stelt onvoorspelbaar te blijven terwijl ze toch hun tegenstander volgen. De studie beweert niet te bewijzen dat dit specifieke computermodel exact is hoe het menselijk brein werkt, maar het identificeert wel een cruciale eigenschap die elk succesvol model van menselijk leren moet bezitten. Om de manier waarop mensen deze spellen spelen accuraat te beschrijven, moet een model in staat zijn om tegelijkertijd ruisachtig en attent te zijn. Dit inzicht helpt bij het verfijnen van de zoektocht naar betere theorieën over menselijk gedrag, waarbij de focus verschuift van eenvoudige voorspellingen van wat mensen zullen doen naar het begrijpen van de dynamische kwaliteiten van hoe zij leren en zich aanpassen over de tijd.