Stel je een wereld voor waarin leren niet alleen gaat over het zitten in een klaslokaal en luisteren naar een leraar, maar over een enorme, gedecentraliseerde game waarbij miljoenen spelers tegelijkertijd puzzels proberen op te lossen. Dit is het domein van Reinforcement Learning (RL), een type kunstmatige intelligentie waarbij computeragenten leren door middel van trial-and-error, waarbij ze proberen de hoogst mogelijke score te behalen door interactie met hun omgeving. Denk aan een videogamekarakter dat leert om over kuilen te springen, niet omdat iemand dat tegen hen heeft gezegd, maar omdat ze het geprobeerd hebben, erin zijn gevallen en beseften: "Au, dat doe ik de volgende keer niet meer."

Stel je nu voor dat deze spelers hun gameschermen of hun save-bestanden niet met elkaar kunnen delen vanwege strikte privacyregels. Ze moeten op hun eigen apparaten leren. Dit is Federated Learning, een methode die veel computers in staat stelt om een gedeeld model te trainen zonder ooit hun privédata uit te wisselen. Wanneer we "Personalisatie" aan de mix toevoegen, krijgen we Personalized Federated Reinforcement Learning (PFRL). Dit is als een studiegroep waarbij iedereen leert van de algemene wijsheid van de groep, maar elke student ook de lessen afstemt op hun eigen specifieke behoeften en eigenaardigheden. De grote uitdaging in dit veld is exploratie: hoe leer je een agent om nieuwe, riskante dingen te proberen wanneer de beloningen (zoals punten of prijzen) zeldzaam, vertraagd of moeilijk te vinden zijn? Als de agent te voorzichtig is, ontdekt hij nooit de beste zetten.

De Nieuwsgierige Reizigers: Een Nieuwe Manier om Samen te Verkennen

Maak kennis met het EDPFRL-IM-framework, een slim nieuw systeem voorgesteld door Md Rafid Islam en zijn team. Zie dit systeem als een groep nieuwsgierige ontdekkingsreizigers verspreid over een uitgestrekt, mistig archipel. Elke ontdekkingsreiziger (of "client") zit vast op zijn eigen eiland en probeert de schat te vinden die in het landschap verborgen ligt. De eilanden zijn verschillend—sommigen hebben een zware zwaartekracht, anderen een gladde ondergrond, en de schat ligt voor iedereen op een andere plek begraven. Het nadeel? Ze kunnen elkaars kaarten of hun ruwe ervaringen niet laten zien vanwege privacyregels. Ze kunnen alleen kleine, versleutelde ansichtkaarten versturen.

In het verleden probeerden deze ontdekkingsreizigers te leren door simpelweg de weinige aanwijzingen (beloningen) te volgen die ze vonden, of door willekeurig rond te dwalen. Maar wanneer de schat moeilijk te vinden was (sparse rewards) of lang duurde voordat deze verscheen (delayed rewards), kwamen ze vaak vast te zitten of gaven ze het op. Ze waren als wandelaars in een dicht bos die alleen bewegen wanneer ze een wegwijzer zien; als er geen borden staan, blijven ze gewoon stilstaan.

Het Grote Idee: Nieuwsgierigheid als Kompas
De auteurs realiseerden zich dat om de schat te vinden, de ontdekkingsreizigers een ingebouwd gevoel van nieuwsgierigheid nodig hadden. Ze introduceerden een concept genaamd Intrinsic Motivation, specifiek gebruikmakend van een hulpmiddel genaamd Random Network Distillation (RND). Stel je voor dat je elke ontdekkingsreiziger een "nieuwigheid-detector" geeft. Deze detector is een paar magische brillen: één lens is een vast, willekeurig patroon, en de andere is een trainbare lens die probeert het patroon te raden. Wanneer de ontdekkingsreiziger iets nieuws en vreemds ziet, komen de twee lenzen niet overeen, wat een "voorspellingsfout" creëert. Deze fout werkt als een vonk van opwinding—een bonusbeloning, puur voor het zien van iets nieuws.

Dus zelfs als de echte schat (de extrinsieke beloning) ver weg is, krijgen de ontdekkingsreizigers een kleine "nieuwsgierigheidsbonus" voor het bezoeken van nieuwe, onverkende delen van hun eiland. Dit houdt hen in beweging en laat hen onderzoeken, zelfs wanneer het pad donker is.

Het Geheime Ansichtkaarten Systeem
Hier blinkt de magie van het paper echt uit. Als elke ontdekkingsreiziger alleen zijn eigen nieuwsgierigheid zou volgen, zouden ze misschien allemaal in dezelfde saaie bosjes terechtkomen, of erger nog, ze zouden de beste plekken volledig kunnen missen omdat ze te geïsoleerd zijn. De auteurs creëerden een manier voor hen om te coördineren zonder de privacy te schenden.

Af en toe stuurt elke ontdekkingsreiziger een kleine, gecomprimeerde "samenvatting" naar een centrale server. Deze samenvatting is geen kaart of een foto; het is slechts een lijst van "coole, nieuwe dingen die ik heb gezien" (zoals een hash van een unieke staat of een aantal bezoeken). De server verzamelt deze kleine samenvattingen van alle 10 de ontdekkingsreizigers (in hun simulatie) en creëert een Global Novelty Prior. Denk aan dit als een enorme, gedeelde "Hotspot Kaart" die de gebieden in het archipel markeert die momenteel onder-verkend worden door de groep als geheel.

De server stuurt deze kaart vervolgens terug naar de ontdekkingsreizigers. Nu, wanneer een ontdekkingsreiziger beslist waar hij naartoe gaat, volgt hij niet alleen zijn eigen nieuwsgierigheid; hij controleert ook de Globale Kaart. Als de kaart zegt: "Hé, de noordelijke kliffen zijn op dit moment erg leeg," is de ontdekkingsreiziger eerder geneigd daarheen te gaan. Dit is gecoördineerde exploratie: iedereen blijft privé, maar ze zorgen er collectief voor dat geen enkel interessant hoekje van de wereld onbezocht blijft.

Wat Ze Vonden
Het team testte dit idee in twee klassieke, videogame-achtige omgevingen: MountainCar-v0 (waar een auto een heuvel op moet rijden, maar niet genoeg kracht heeft om recht omhoog te rijden) en CartPole-sparse (waar je een staaf moet balanceren, maar alleen punten krijgt als je hem een lange tijd in balans houdt). Dit zijn lastige spellen waarbij beloningen zeldzaam en moeilijk te verkrijgen zijn.

In hun simulaties zetten ze 10 clients (ontdekkingsreizigers) op met licht verschillende versies van deze spellen—sommigen hadden een zwaardere zwaartekracht, anderen een andere wrijving. Ze voerden de training uit over 100 communicatierondes, waarbij elke client 10 lokale updates per ronde uitvoerde.

De resultaten waren veelbelovend. Het EDPFRL-IM-systeem presteerde consequent beter dan andere methoden, inclusief standaard Federated Learning (waarbij iedereen zijn kennis middelt) en zelfs methoden die wel nieuwsgierigheid gebruikten maar niet coördineerden (FedRL+RND).

• In de MountainCar-game bereikte de nieuwe methode een gemiddeld rendement van 0,76, terwijl de op één na beste methode (FedRL+RND) slechts 0,48 haalde.
• In de CartPole-game scoorde EDPFRL-IM 0,74, waarmee het de 0,52 van de runner-up versloeg.

Het paper suggereert dat dit systeem bijzonder goed is in het helpen van "cold-start" clients—nieuwe ontdekkingsreizigers die later bij de groep aansluiten. Omdat zij onmiddellijk kunnen putten uit de "Global Novelty Prior" die door de anderen is gecreëerd, passen zij zich veel sneller aan dan wanneer ze vanaf nul zouden moeten beginnen.

Wat Het Niet Is
Het is belangrijk om op te merken wat dit paper niet beweert. De auteurs argumenteren expliciet tegen het idee dat standaard exploratiemethoden (zoals het simpelweg kiezen van willekeurige zetten of het gebruiken van eenvoudige entropieregels) voldoende zijn voor deze moeilijke omgevingen met zeldzame beloningen. Ze laten ook zien dat het simpelweg toevoegen van nieuwsgierigheid (RND) zonder de coördinatiestap niet de volledige oplossing is; de "Global Novelty Prior" is het geheime ingrediënt dat het verschil maakt.

Bovendien zijn deze resultaten gebaseerd op simulaties in gecontroleerde omgevingen. Het paper beweert niet dat dit al getest is op echte robots of in live medische settings, hoewel de auteurs gezondheidsmonitoring en robotica noemen als potentiële toekomstige toepassingen. De verstrekte cijfers (zoals het gewicht van 0,1 voor de intrinsieke beloning en 0,5 voor de nieuwsgierigheidsbias) zijn specifiek voor hun experimentele opstelling.

De Kernboodschap
In eenvoudige woorden laat dit paper zien dat als je wilt dat een groep AI-agenten effectief leert zonder hun privédata te delen, je hen niet alleen alleen moet laten ronddwalen. Geef ze in plaats daarvan een gevoel van nieuwsgierigheid om hen in beweging te houden, en laat hen kleine, anonieme hints delen over waar de "onbekende" plekken zich bevinden. Door individuele nieuwsgierigheid te combineren met een gedeeld gevoel van richting, kan de groep efficiënter verkennen, sneller leren en betere oplossingen vinden dan wanneer zij in isolatie zouden werken. Het is een beetje als een groep vrienden die een mysterie oplost: als zij allemaal hun "aanwijzingen" delen zonder hun geheimen te onthullen, kunnen ze de zaak veel sneller oplossen dan ieder van hen alleen zou kunnen.