Exploiting Expertise of Non-Expert and Diverse Agents in Social Bandit Learning: A Free Energy Approach

Dit paper introduceert een op vrije-energie gebaseerd algoritme voor sociaal bandietleren dat een agent in staat stelt om de expertise van andere agenten te schatten en hun gedrag effectief te benutten voor verbeterd individueel leren, zelfs in afwezigheid van beloningsinformatie of in aanwezigheid van niet-expert agenten, terwijl het logarithmische regret behoudt.

De kern

Hier is een uitleg van het paper in eenvoudig Nederlands, met behulp van creatieve vergelijkingen om het concept begrijpelijk te maken.

De "Slimme Nieuwkomer" in een Drukte van Mensen

Stel je voor dat je in een groot, onbekend restaurant zit. Er zijn honderden gerechten op het menu, maar je weet niet welke lekker zijn. Je hebt alleen één ding: je eigen smaakpapillen. Als je alleen zou eten, zou je moeten proeven van alles om te ontdekken wat goed is. Dat kost veel tijd en geld (je "regret" of spijt).

Nu, in dit restaurant, zitten er ook honderden andere mensen aan tafels. Je ziet wat ze bestellen, maar je weet niet of ze genieten van hun eten of dat ze het vreselijk vinden. Misschien is de persoon naast je een fijnproever, misschien is de persoon aan de overkant gewoon willekeurig aan het bestellen, en misschien is iemand anders juist gek op dingen die jij niet lekker vindt.

Dit is precies het probleem dat deze wetenschappers oplossen. Ze hebben een slimme methode bedacht voor een AI-agent (de "Social Agent") om te leren van anderen, zonder te weten of die anderen slim of dom zijn, of zelfs of ze hetzelfde doel hebben.

---

Het Probleem: Niet iedereen is een expert

In de wereld van kunstmatige intelligentie (AI) leren computers meestal alleen door zelf te proberen en fouten te maken. Dit is traag. Mensen en dieren leren daarentegen vaak door naar elkaar te kijken (sociaal leren).

Maar hier zit een addertje onder het gras:

1. Je weet niet wie de "meesterkok" is en wie de "leerling".
2. Je weet niet of de ander hetzelfde doel heeft (misschien eet die persoon vegetarisch, terwijl jij vlees wilt).
3. Soms zijn er mensen die expres het slechtste eten kiezen (de "tegenstander").

De meeste bestaande AI-methodes gaan er ten onrechte van uit dat iedereen hetzelfde eet of dat er een duidelijke meester is. Als dat niet zo is, raken ze in de war en maken ze veel fouten.

---

De Oplossing: De "Vrije Energie" Methode

De auteurs van dit paper hebben een nieuwe manier bedacht, gebaseerd op een concept uit de natuurkunde genaamd "Vrije Energie".

Laten we dit vergelijken met een kompas en een weegschaal.

De AI-agent (ons restaurantbezoekje) moet een keuze maken. Om te beslissen wie het beste te volgen is, gebruikt hij een speciale formule die drie dingen afweegt:

1. Mijn eigen gevoel (De Referentie):
   De AI kijkt eerst naar wat hij zelf denkt dat lekker is, gebaseerd op wat hij al geproefd heeft. Dit is zijn "Thompson Sampling" beleid. Het is zijn eigen kompas.

   • Vergelijking: "Ik heb zelf al een paar keer geprobeerd, en dit gerecht lijkt me goed."

2. Hoe slim is die ander? (De Vergelijking):
   De AI kijkt naar wat een ander doet. Maar hij vraagt zich af: "Lijkt wat die ander doet op wat ik zelf zou doen als ik slim was?"

   • Vergelijking: "Die persoon bestelt steeds dezelfde pizza. Ik denk dat hij daar dol op is. Maar past dat bij mijn eigen smaak? Als mijn eigen kompas zegt 'nee', dan is die pizza misschien niet voor mij."

3. Hoe zeker is hij? (De Chaos-meting):
   Dit is het slimste deel. De AI meet de "onzekerheid" of "chaos" in het gedrag van de ander. Als iemand heel willekeurig bestelt (chaos), is dat niet nuttig. Als iemand heel consequent is (geen chaos), is dat nuttig.

   • Vergelijking: "Die persoon bestelt elke dag willekeurig iets anders. Dat is te chaotisch om van te leren. Maar die persoon daar bestelt elke dag hetzelfde, en dat lijkt een bewuste keuze."

De "Vrije Energie" Formule is eigenlijk een manier om te zeggen: "Ik wil het beste eten (beloning), maar ik wil niet te veel energie verbruiken door te proberen dingen die totaal niet bij mij passen of die te chaotisch zijn."

De AI zoekt dus de persoon (of zijn eigen strategie) die de minste "energie" kost om te volgen. Dat betekent: de beste balans tussen wat ik al weet en wat ik van anderen kan leren, zonder onnodig gedoe.

---

Waarom is dit zo cool?

Stel je voor dat je in een groepje zit met:

• Een echte chef-kok (Expert).
• Een leerling die het nog niet helemaal snapt (Niet-expert, maar relevant).
• Iemand die willekeurig kiest (Random).
• Iemand die expres het slechtste kiest (Tegenstander).

De oude methodes zouden vaak de chef-kok proberen na te bootsen, maar als de chef-kok niet aanwezig is, of als de chef-kok iets anders eet dan jij, dan raken ze in de war en maken ze veel fouten.

Deze nieuwe methode (SBL-FE) doet iets anders:

• Als er een chef-kok is die hetzelfde eet als jij, volgt hij die chef-kok direct.
• Als er geen chef-kok is, maar wel een leerling die iets vergelijkbaars eet, kijkt hij naar die leerling. Hij leert van de "niet-perfecte" expert.
• Als er alleen maar gekken of tegenstanders zijn, negeert hij ze allemaal en vertrouwt hij op zijn eigen proeven.

Het is alsof de AI een slimme filter heeft die automatisch weet: "Oké, deze persoon is nuttig voor mij, die persoon niet, en die ander is gewoon gek."

De Resultaten

In hun tests hebben ze laten zien dat deze AI-agent:

1. Snel leert: Hij maakt veel minder fouten dan AI's die alleen op zichzelf vertrouwen.
2. Slim selecteert: Zelfs als er 90% "domme" of "verkeerde" mensen in de groep zitten, vindt hij de 10% die wel nuttig is.
3. Robuust is: Het maakt niet uit of de andere mensen hun acties soms per ongeluk verkeerd doorgeven (ruis), de AI blijft goed presteren.

Conclusie

Dit paper is een beetje als het vinden van de perfecte manier om te leren in een drukke wereld. In plaats van blindelings te vertrouwen op "experts" (die misschien niet bestaan) of alles zelf te moeten uitvinden, leert deze AI om intelligent te kijken naar de chaos om hem heen.

Hij gebruikt een wiskundige balans (Vrije Energie) om te beslissen: "Wie van deze mensen is het meest vergelijkbaar met mij, en wie kan mij helpen om sneller de beste keuze te maken?"

Het is een stap in de richting van AI's die zich net zo natuurlijk gedragen als mensen in een menigte: ze kijken om zich heen, filteren de nuttige informatie en negeren de ruis, zodat ze sneller en slimmer worden.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Exploiting Expertise of Non-Expert and Diverse Agents in Social Bandit Learning: A Free Energy Approach", vertaald en samengevat in het Nederlands.

Titel: Het benutten van de expertise van niet-experts en diverse agenten in sociaal banditleer: Een Free Energy-benadering

1. Probleemstelling

Het paper adresseert een fundamentele beperking in traditionele Reinforcement Learning (RL) algoritmen: de focus op individueel leren zonder gebruik te maken van sociale leercapaciteiten die kenmerkend zijn voor mensen en dieren. In veel real-world scenario's, zoals gepersonaliseerde AI-assistenten of educatieve systemen, opereren agenten in een gemeenschappelijke omgeving maar hebben ze geen toegang tot de beloningen (rewards) of privé-informatie van elkaar.

De specifieke uitdagingen zijn:

• Sociale Bandit Learning (SBL): Een sociale agent (SA) observeert de acties van andere agenten (Individuele Agenten of IAs), maar kent hun beloningen niet.
• Heterogeniteit en Onzekerheid: De IAs kunnen experts zijn, maar ook niet-experts, willekeurige agenten, of zelfs tegenstanders met verschillende doelen en nuttelfuncties. Er is geen "oracle" of sociale norm die aangeeft wie betrouwbaar is.
• Vroege Leerfasen: In de beginfase heeft de SA onvoldoende ervaring om zelf te beoordelen welke agenten relevant zijn. Bestaande methoden falen vaak hierdoor of vertonen hoge "regret" (spijt) omdat ze ofwel blindelings volgen ofwel sociale informatie negeren.
• Privacy: Agenten delen geen beloningen of gradiënten, wat veel bestaande multi-agent RL-methoden onbruikbaar maakt.

2. Methodologie: SBL-FE

De auteurs stellen een nieuw algoritme voor, genaamd SBL-FE (Social Bandit Learning based on Free Energy), dat sociale en individuele informatie integreert in de policy-ruimte (ruimte van gedragsstrategieën) in plaats van in de beloningsruimte.

Kerncomponenten:

• Free Energy Minimering: Het algoritme baseert zich op het Free Energy-principe uit de statistische fysica, dat een afweging maakt tussen het maximaliseren van verwachte nut (utility) en de kosten van informatieverwerking (informatie-entropie).
• Policy Space Evaluatie: Omdat de SA de beloningen van anderen niet kent, evalueert het de geschiktheid van andere agenten door hun geschatte gedragsbeleid ($\hat{\pi}$) te vergelijken met het eigen beleid.
• De Free Energy Functie: Voor een gegeven beleid $\pi$ en agent $i$ wordt de free energy $F(i, \pi)$ berekend als:
  $$F(i, \pi) = c \cdot D_{KL}(\pi \parallel \pi^{TS}) + H(\pi) + D_{KL}(\pi \parallel \hat{\pi}^{agi})$$
  Waarbij:
  1. $c \cdot D_{KL}(\pi \parallel \pi^{TS})$: Een relatieve maat voor zelfreferentie. Dit straalt af op hoe dicht het kandidaat-beleid $\pi$ bij het eigen Thompson Sampling-beleid ($\pi^{TS}$) van de SA ligt. Dit zorgt ervoor dat de eigen ervaring centraal blijft.
  2. $H(\pi)$: De entropie van het beleid. Dit is een absolute maat; een lagere entropie (meer deterministisch/greedy) wordt geprefereerd, wat overeenkomt met een efficiënter beleid.
  3. $D_{KL}(\pi \parallel \hat{\pi}^{agi})$: Een maat voor overeenstemming met de geschatte policy van de waargenomen agent $i$. Dit encodeert de observatie van de ander.

Werkingsprincipe:

1. De SA schat de beleidsstrategieën van alle andere agenten af op basis van hun waargenomen acties (via Exponential Moving Average).
2. De SA berekent voor elke agent (inclusief zichzelf) de free energy van een kandidaat-beleid.
3. De agent met de minimale free energy wordt geselecteerd als de te volgen strategie.
   • Als de SA zelf de laagste free energy heeft, gebruikt het zijn eigen Thompson Sampling (individueel leren).
   • Als een andere agent de laagste free energy heeft, imiteert de SA dat agent (sociaal leren).
4. Dit mechanisme zorgt voor een dynamische balans: in de vroege fase, wanneer de SA onzeker is over anderen, blijft het dicht bij zijn eigen onzekere beleid. Naarmate de SA meer zekerheid krijgt en een agent een goed, deterministisch beleid toont dat overeenkomt met de eigen doelstellingen, schakelt de SA over naar dat agent.

3. Belangrijkste Bijdragen

• Onafhankelijkheid van Expertise: Het algoritme vereist geen vooraf bekende experts en werkt ook effectief in samenlevingen met alleen niet-experts of gemengde populaties.
• Geen Delen van Beloningen: Het werkt strikt op basis van geobserveerde acties, wat privacy respecteert en toepasbaar is in competitieve of gescheiden systemen.
• Robuustheid tegen Irrelevante Agenten: Het algoritme kan willekeurige, tegenwerkende of irrelevante agenten effectief negeren, zelfs als deze in de meerderheid zijn.
• Theoretische Convergentie: De auteurs bewijzen dat het algoritme convergeert naar het optimale beleid (of een beleid dat equivalent is aan dat van een expert) onder bepaalde voorwaarden.
• Logaritmische Regret: Het algoritme behoudt een logaritmische regret-grens, wat betekent dat het leerefficiënt is op de lange termijn.

4. Experimentele Resultaten

De auteurs hebben het algoritme getest in diverse scenario's met Bernoulli-bandieten (10-armig en 2-armig) en vergeleken met state-of-the-art methoden zoals OUCB, TUCB, en individuele methoden (TS, UCB, $\epsilon$-greedy).

• Leren van Niet-Lerenden: In samenlevingen met willekeurige of tegenwerkende agenten, presteert SBL-FE aanzienlijk beter dan TUCB en OUCB. TUCB faalt vaak omdat het te optimistisch is over de acties van anderen, terwijl SBL-FE deze agenten snel identificeert als onbruikbaar en terugvalt op eigen leren.
• Leren van Diverse Lerenden: Zelfs wanneer de andere agenten sub-optimale individuele leeralgoritmen gebruiken (bijv. UCB of $\epsilon$-greedy), verbetert SBL-FE de prestaties van de SA. Het kan de "beste" beschikbare agent in de groep selecteren.
• Grootte van de Samenleving: Het algoritme blijft robuust in grote groepen met veel irrelevante agenten (opponenten en random agents). Het selecteert consistent de juiste agent en negeert de rest.
• Ruis: Het algoritme toont hoge robustheid tegen waarnemingsruis (waarbij acties van anderen willekeurig worden gewijzigd).
• Verschillende Actie-sets: Het werkt ook wanneer agenten verschillende subsets van acties hebben, zolang de relevante acties voor de SA maar waarneembaar zijn.

5. Betekenis en Conclusie

Dit onderzoek markeert een belangrijke stap in het integreren van sociale en individuele leermechanismen in RL. De belangrijkste implicaties zijn:

• Praktische Toepasbaarheid: De methode is zeer geschikt voor real-world toepassingen zoals gepersonaliseerde aanbevelingssystemen, onderwijsplatforms en mens-AI interactie, waar privacy en heterogeniteit cruciaal zijn.
• Efficiëntie: Door slimme selectie van bronnen voor sociaal leren, wordt de exploratie-kosten drastisch verlaagd, wat leidt tot snellere adaptatie en minder spijt (regret).
• Flexibiliteit: Het vermogen om zowel experts als niet-experts te benutten, en om te schakelen tussen sociaal en individueel leren afhankelijk van de context, maakt het een krachtig kader voor complexe multi-agent systemen.

De auteurs concluderen dat hun Free Energy-benadering een geünificeerde manier biedt om sociale cues te verwerken zonder de noodzaak van gedeelde beloningen of vooraf gedefinieerde expertrollen, waardoor het een robuuste oplossing biedt voor de uitdagingen van sociaal banditleer.