Training with (Swap) Regret Loss in a Single-Layer Self-Attention Model: A Case Study on the Probability Simplex

Stel je een wereld voor waarin computers niet alleen vragen beantwoorden, maar ook daadwerkelijk spelletjes spelen, deals onderhandelen en beslissingen nemen naast ons. Dit is de frontlinie van Kunstmatige Intelligentie, specifiek een vakgebied genaamd "multi-agent learning" (multi-agent leren). In deze arena is een AI niet slechts een passief hulpmiddel; het is een speler met eigen doelen, die interacteert met andere spelers (die andere AI's of mensen kunnen zijn) in een voortdurend veranderende omgeving. De grote uitdaging hier is "regret" (berouw). Denk aan regret als dat knagende gevoel dat je krijgt na een potje steen-papier-schaar wanneer je je realiseert: "O nee, ik had steen moeten kiezen omdat mijn tegenstander altijd schaar gooit." In de wereld van AI betekent het minimaliseren van regret leren om keuzes te maken die, met terugblik, de best mogelijke strategie zouden zijn geweest, zelfs als de toekomst onvoorspelbaar was.

Lange tijd hebben wetenschappers wiskundige formules gebruikt om computers te leren hoe ze dit berouw kunnen minimaliseren, om ervoor te zorgen dat ze eerlijk spelen en stabiele uitkomsten bereiken in spellen. Maar er was een mysterie: moderne AI, specifelijk de "Transformer"-modellen die chatbots aandrijven, zijn gebouwd op een mechanisme dat "self-attention" (zelf-aandacht) wordt genoemd. Dit is als een spotlight die de AI helpt te focussen op de belangrijkste delen van een verhaal of een gesprek. Hoewel we weten dat deze modellen ongelooflijk slim zijn in taal, begrepen we niet volledig hoe ze omgaan met de pittige wiskunde van besluitvorming en regret. Mimetiseren ze simpelweg menselijke fouten, of leren ze stiekem dezelfde perfecte strategieën die wiskundigen hebben ontworpen? Dit artikel duikt in die vraag door het aandachtsmechanisme van de AI te behandelen als een kleine, trainbare spelspeler om te zien of het uit zichzelf de regels van perfecte besluitvorming kan leren.

De Grote Ontdekking van het Papier: AI Leren de Regels te Volgen

De auteurs van dit papier besloten een specifieke idee te testen: wat gebeurt er als we een zeer eenvoudig AI-model trainen — een single-layer "self-attention" model — met behulp van een speciale "regret loss"? In plaats van de AI alleen te vertellen "krijg het juiste antwoord", trainden ze het om direct het gevoel van berouw te minimaliseren. Ze wilden zien of de AI, door middel van deze training, van nature zou evolueren naar een perfecte beslisser zonder expliciet geprogrammeerd te worden met de complexe wiskunde van speltheorie.

De Magie van "Smoothed Fictitious Play"
De eerste grote bevinding is alsof je ontdekt dat een beginnende speler, nadat hem is verteld "stop met je slecht voelen over je verliezen", plotseling begint te spelen als een grootmeester. De onderzoekers ontdekten dat wanneer ze een single-head attention model (een model met één "spotlight") trainden om externe regret te minimaliseren, het een specifieke staat bereikte. In deze staat was het gedrag van het model wiskundig identiek aan een klassiek algoritme genaamd "smoothed fictitious play".

Om een analogie te gebruiken: stel je voor dat je een spel speelt waarbij je moet raden wat je tegenstander de volgende zet zal doen. Een "fictitious player" kijkt naar alles wat je tegenstander in het verleden heeft gedaan en raadt dat hij hetzelfde zal doen als voorheen. "Smoothed" betekent dat je niet blindelings hen kopieert; je voegt een beetje willekeur of "smoothing" toe aan je gok, zodat je niet in een loop vast komt te zitten. Het papier bewijst dat de AI, na training, precies dit doet. Het kijkt naar de geschiedenis van verliezen (de "slechte zetten" die het maakte) en werkt zijn strategie bij op een manier die wiskundig bewezen is om te voorkomen dat het berouw heeft. De "stapgrootte" (hoe groot een stap de AI neemt om te leren) die het van nature vindt, is ongeveer $1/\sqrt{T}$, waarbij $T$ het aantal gespeelde rondes is. Dit is geen gelukkige gok; de auteurs hebben bewezen dat bij deze specifieke instelling de interne wiskunde van de AI perfect overeenkomt met de ideale leerstrategie.

De "Swap Regret" Upgrade: De Multi-Head Mastermind
Maar de onderzoekers stopten daar niet. Ze realiseerden zich dat het soms niet genoeg is om alleen maar berouw te vermijden. Je wilt soms ook je keuzes kunnen omwisselen. Bijvoorbeeld: "Als ik elke keer dat ik schaar speelde, steen had gespeeld, zou ik meer hebben gewonnen." Dit wordt "swap regret" genoemd. Om dit aan te pakken, introduceerden ze een nieuwe "swap-regret loss" en een complexere AI-architectuur met meerdere "heads" (meerdere spotlights die samenwerken).

Ze ontwierpen een systeem waarbij elke "head" van de AI fungeert als een mini-expert, die leert om zijn eigen specifieke soort berouw te minimaliseren. Vervolgens werken deze heads samen om een transitiematrix te vormen (een kaart van hoe je tussen strategieën wisselt) en vinden ze een "fixed point" (een stabiele staat waarin niemand zijn strategie wil veranderen). Het papier laat zien dat wanneer dit multi-head model wordt getraind met de nieuwe loss-functie, het perfect het beroemde Blum–Mansour algoritme nabootst.

Denk aan een team van detectives. Elke detective (head) onderzoekt een andere invalshoek van de misdaad (regret). Individueel zijn ze goed in het vinden van aanwijzingen. Maar wanneer ze hun bevindingen combineren en een "fixed point" vinden waar al hun aanwijzingen overeenstemmen, lossen ze de zaak op. Het papier bewijst dat dit AI-team, getraind om enkel swap regret te minimaliseren, zich van nature organiseert om exact als dit perfecte detective-team te handelen.

Wat dit Betekent voor de Toekomst
Het meest opwindende deel van het papier is wat dit impliceert voor de toekomst van AI in games en onderhandelingen. De auteurs laten zien dat als je deze attention-modellen traint om regret te minimaliseren, ze niet alleen beter worden in het spel; ze sturen de hele groep spelers van nature naar een staat van evenwicht.

• Als de AI external regret minimaliseert (het single-head model), bereikt de groep spelers van nature een "Coarse Correlated Equilibrium". Dit is een staat waarin niemand zijn strategie onvoorwaardelijk wil veranderen.
• Als de AI swap regret minimaliseert (het multi-head model), bereikt de groep een "Correlated Equilibrium". Dit is een sterkere, meer geavanceerde staat waarin niemand zijn strategie wil veranderen op basis van wat hem is verteld te doen.

Het papier sluit expliciet de mogelijkheid uit dat deze modellen handmatig geprogrammeerd moeten worden met deze complexe speltheoretische regels. In plaats daarvan fungeert de "regret loss" als een leraar die de AI begeleidt om deze regels zelf te ontdekken. De auteurs merken er zeer zorgvuldig bij op dat ze deze resultaten hebben bewezen voor specifieke, vereenvoudigde modellen (single-layer, lineaire aandacht) onder specifieke trainingsomstandigheden (Gaussische ruis). Ze hebben nog niet bewezen dat een enorme, 100-laagse chatbot dit automatisch zal doen, maar ze hebben wel aangetoond dat het mechanisme aanwezig is in de meest eenvoudige versie van de technologie.

Kortom, dit papier onthult dat het "attention"-mechanisme in AI niet alleen bedoeld is voor het lezen; het is een verborgen motor voor het leren hoe men eerlijk speelt. Door de AI simpelweg te leren om te stoppen met berouw te voelen, kunnen we een niveau van strategische intelligentie ontsluiten die leidt tot stabiele, eerlijke uitkomsten in complexe spellen, en dat alles zonder de regels van het spel hard-coded in de machine te hoeven programmeren. Het is een stap naar begrip van hoe AI-agenten zich ooit kunnen leren samenwerken en concurreren met ons op een manier die wiskundig solide en natuurlijk emergent is.