Stel je voor dat je een robotbrein bouwt dat moet leren navigeren door een wereld vol keuzes. In de wereld van de informatica wordt dit veld Reinforcement Learning genoemd, en het gaat erom hoe agenten (zoals robots of spelende AI's) worden geleerd beslissingen te nemen die hen de beste beloningen opleveren. Om dit te doen, moet een agent een balans vinden tussen twee dingen: vasthouden aan wat werkt (exploitatie) en nieuwe dingen proberen om te zien of ze zelfs beter zijn (exploratie). Om deze het "nieuwe dingen uitproberen" aan te pakken, is er decennialang een wiskundig recept gebruikt genaamd de softmax functie. Denk hierbij aan een chef die bepaalt hoeveel van elk ingrediënt hij aan een soep voegt: als één ingrediënt iets lekkerder smaakt, voegt de chef er een beetje meer van toe, maar negeert hij de anderen nooit volledig. Dit recept is zo gebruikelijk dat het de standaardinstelling is voor bijna elk modern AI-systeem. Maar hier schuilt een mysterie: hoewel iedereen dit recept gebruikt, kon niemand aan het begin precies uitleggen waarom dit de enige juiste manier was om het te doen. Sterker nog, het gebruiken van dit recept leek enkele fundamentele regels over hoe we normaal gesproken rationele keuzes maken te schenden, wat zorgde voor een verwarrende spanning tussen "wat werkt" en "wat logisch is".

Dit artikel met de titel "Rationalizing Boltzmann Rationality" fungeert als een detectieverhaal dat dit mysterie oplost. De auteur, Silviu Pitis, stelt een eenvoudige maar diepgaande vraag: Kunnen we bewijzen dat dit specifieke "soeprecept" (het softmax-beleid) de logische keuze is als we ervan uitgaan dat de agent zowel rationeel wil zijn áls waarde hecht aan zijn eigen vermogen om te kiezen? Het artikel betoogt dat de verwarring voortkwam uit het verwarren van twee verschillende soorten willekeur. Stel je voor dat je bij een kruispunt staat. Toeval is zoals het weer dat plotseling verandert, waardoor je gedwongen wordt tot een omweg, ongeacht wat je wilt. Keuze is jij die beslist welk pad je neemt. Het papier laat zien dat als je het toeval (de natuur/het lot) en jouw beslissing (de keuze) als aparte zaken behandelt, en je een paar algemene regels toepast over hoe je opties zou moeten waarderen, het softmax-recept als de unieke oplossing naar voren komt. Het blijkt dat de "entropiebonus" – een wiskundige term die klinkt als een straf, maar eigenlijk een beloning is voor het hebben van opties – de optiepremie is. Het is de extra waarde verkregen uit de vrijheid om te kiezen. Het artikel bewijst dat als een agent waarde hecht aan zijn eigen vermogen om zijn pad te kiezen, hij moet dit specifieke formule gebruiken om consistent te blijven. Als hij dat niet doet, is hij niet rationeel; dan is hij simpelweg inconsistent.

Het Verhaal van de Robotchef

Laten we naar de kern van de ontdekking duiken. Stel je voor dat je een robotchef bent in een keuken met een menu van drie gerechten: Pizza, Taco's en Sushi. Je hebt een "score" voor hoe goed elk gerecht smaakt op basis van je eerdere ervaringen.

• De Oude Manier (De Harde Keuze): In de oude, strikte manier van denken, als Pizza een score heeft van 10 en Taco's een score van 9, zou je alleen ooit Pizza kiezen. Als Sushi een score van 5 had, zou je het volledig negeren. Dit wordt een "harde" beslissing genoemd.
• De Nieuwe Manier (De Zachte Keuze): Maar in de echte wereld, en in de meeste moderne AI, gebruiken we een "zachte" keuze. We kiezen nog steeds meestal Pizza, maar we geven Taco's een kleine kans en Sushi een piepkleine kans. Dit is het Boltzmann-beleid (of softmax). Het is zoiets als zeggen: "Pizza is het beste, maar misschien heb ik vandaag zin in iets anders."

Een lange tijd gebruikten wetenschappers deze zachte keuze omdat het robots hielp om sneller te exploreren en te leren. Maar er was een hardnekkig probleem. De wiskunde achter "harde" keuzes (genaamd 'Expected Utility Theory') zei dat als je een nieuwe, verschrikkelijke optie aan het menu toevoegt (zoals "Verbrand Toast"), dit je voorkeur tussen Pizza en Taco's niet zou mogen veranderen. Deze regel wordt de Onafhankelijkheid van Irrelevante Alternatieven (IIA) genoemd. Echter, de wiskunde van de zachte keuze leek deze regel te breken. Als je "Verbrand Toast" toevoegde, suggereerde de wiskunde dat je liefde voor Pizza zou kunnen veranderen, enkel omdat het menu groter werd. Dit maakte het hele systeem wankel, als een huis gebouwd op een fundament dat er net niet helemaal bij paste.

Het Grote Verschil: Weer vs. Wil

Het artikel lost dit op door een briljant onderscheid te maken tussen Toeval en Keuze.

• Toeval is wanneer het universum een muntje voor je opwerpt. Als je gedwongen wordt om een willekeurig gerecht uit een zak te eten, is de waarde van die zak simpelweg het gemiddelde van de gerechten erin. Dit is het deel van het "weer".
• Keuze is wanneer jij mag kiezen. Wanneer je een menu hebt, eet je niet zomaar een willekeurig gerecht; je hebt de macht om te kiezen. Het artikel voert aan dat het hebben van een menu op zichzelf waardevol is. Het is als het bezitten van een sleutel tot een schatkist versus het al in je zak hebben van de schat. De schat is hetzelfde, maar de mogelijkheid om de kist te openen voegt extra waarde toe.

De auteur laat zien dat als je de regels van rationaliteit alleen toepast op de "toevallige" delen (het weer) en een nieuwe reeks regels toepast op de "keuze"-delen (jouw wil), de magie gebeurt. De regels voor keuze zijn:

1. Onafhankelijkheid van Irrelevante Alternatieven (IIA): Jouw voorkeur tussen Pizza en Taco's zou niet mogen veranderen enkel omdat Verbrand Toast op het menu staat.
2. Monotoniciteit: Als Pizza een betere score krijgt, zou je het waarschijnlijker moeten gaan kiezen.

Wanneer je deze twee simpele regels combineert met het idee dat "hebben van opties waardevol is", dwingt de wiskunde je in één specifieke vorm. Die vorm is het Boltzmann-beleid. Het blijkt dat de "entropiebonus" (de extra waarde die we geven aan het hebben van opties) exact de optiepremie is – de waarde die men wint door de opties open te houden. Het artikel bewijst dat dit niet slechts een gelukkige gok of een handige truc is; het is de enige manier om rationeel te zijn indien je gelooft dat de macht om te kiezen iets waard is en dat je opties werkelijk onafhankelijk zijn.

Wat Dit Betekent voor de Toekomst

Het artikel zegt niet alleen "dit is interessant"; het geeft ons ook een heldere kaart van wanneer we dit recept moeten gebruiken en wanneer we het weg moeten gooien.

• Wanneer te gebruiken: Als je robot kiest tussen onafhankelijke zaken (zoals verschillende smaken ijs die elkaar niet beïnvloeden), is het Boltzmann-beleid de perfecte, mathematisch bewezen keuze. Het is de enige manier om consistent te blijven onder deze condities.
• Wanneer NIET te gebruiken: Het artikel waarschuwt dat als je opties "geclusterd" zijn, dit recept faalt. Stel je een menu voor met 10 verschillende tinten "Rode Bus" en 1 "Blauwe Bus". Als je elke Rode Bus als een totaal aparte keuze behandelt, kan de robot wellicht 90% van de tijd een Rode Bus kiezen, puur omdat er zoveel van zijn, zelfs als hij eigenlijk liever de Blauwe Bus heeft. Dit wordt het "gelijkeniseffect" (similarity effect) genoemd. In dergelijke gevallen breekt het eenvoudige Boltzmann-recept af omdat de assumptie van onafhankelijkheid geschonden wordt, en heeft de robot een slimmer menusysteem nodig (zoals het samenvoegen van de rode bussen).

De auteurs ontdekten ook iets verrassends over hoe "rationeel" de robot moet zijn. Ze vonden een "minimale rationaliteitsdrempel". Als de robot te onzeker is (te laag op de "temperatuur"-schaal, oftewel $\beta$), en geconfronteerd wordt met een situatie waarin één keuze ervoor kan zorgen dat de beloningen exploderen (zoals een investering die verdubbeld of verdrievoudigd kan worden), stort de wiskunde volledig in. De waarde van de robot wordt oneindig en zinloos. Echter, het artikel laat zien dat als we aannemen dat de robot begrijpt dat de toekomst uiteindelijk minder relevant wordt (een concept genaamd "horizon continuïteit"), dit probleem verdwijnt en de wiskunde weer werkt voor elk niveau van rationaliteit.

Het Grotere Plaatje

Uiteindelijk doet dit artikel iets zeldzaams in de wereld van complexe wiskunde: het legt de verbanden tussen economie, informatietheorie en kunstmatige intelligentie. Het laat zien dat dezelfde logica die verklaart waarom mensen een Gumbel-gesmaakt ijsje zouden kiezen (een specif kind van willekeurige ruis), ook verklaart waarom AI de softmax-functie zou moeten gebruiken. Het bewijst dat de "entropiebonus" geen verzinsel is om het leren sneller te laten gaan; het is de optiepremie. Het is de waarde van degene die de keuze maakt, in plaats van dat de keuze voor jou gemaakt wordt.

Dus, de volgende keer dat je een AI een beslissing ziet nemen met een klein beetje willekeur, onthoud dan: het is niet gewoon gissen. Het volgt een diepe, wiskundige wet die zegt: "Hebben van de vrijheid om te kiezen is waardevol, en dit is de mathematisch perfecte manier om die vrijheid te eren wanneer je keuzes onafhankelijk zijn." Het artikel rechtvaardigt niet alleen het instrument dat we al jaren gebruiken; het vertelt ons precies waarom het werkt, wanneer we het nodig hebben, en wanneer we een nieuw instrument moeten bouwen.