In de wereld van robotica is leren vaak een eenzame onderneming. Een robot leert lopen of een object grijpen door middel van trial-and-error binnen zijn eigen specifieke omgeving, waarbij het gegevens verzamelt die uniek zijn voor zijn sensoren, zijn motoren en de vloer onder zijn voeten. Dit werkt goed voor een enkele machine, maar het wordt een knelpunt wanneer we willen dat een vloot robots samen leert. Als elke robot geïsoleerd blijft, kunnen ze niet profiteren van de successen of mislukkingen van hun soortgenoten. De oplossing ligt in een collaboratieve aanpak waarbij machines delen wat ze hebben geleerd zonder hun ruwe, privédata naar een centrale server te sturen. Dit is de belofte van federated learning: een manier voor gedistribueerde agenten om een gedeelde intelligentie op te bouwen terwijl ze hun lokale ervaringen privé houden. Er blijft echter een grote hindernis bestaan. Wanneer robots in verschillende omgevingen opereren—misschien de één op een gladde fabrieksvloer en een ander op een rotsachtige bouwplaats—zijn hun ervaringen fundamenteel ongelijk. Het simpelweg middelen van hun geleerde gedragingen resulteert vaak in een verwarde, ineffectieve strategie die geen van beide omgevingen goed aan kan. De uitdaging is om een manier te vinden om deze diverse ervaringen te combineren zonder ze in één enkele, gecompromitteerde vorm te dwingen.

Onderzoekers aan de Carnegie Mellon University hebben dit probleem aangepakt met een nieuw framework genaamd FedGuide, ontworpen specifiek voor situaties waarin robots te maken krijgen met verschillende fysieke realiteiten. Het kernidee is om te stoppen met het proberen te middelen van de uiteindelijke besluitvormingsregels van de robots, wat vaak leidt tot een verlies van belangrijke details. In plaats daarvan richten de onderzoekers zich op de onderliggende patronen van beweging en actie die elke robot heeft ontdekt. Ze gebruiken een type kunstmatige intelligentie-model dat bekend staat als een diffusiemodel, dat fungeert als een geavanceerd geheugen van alle acties die een robot in het verleden succesvol heeft uitgevoerd. In plaats van het uiteindelijke beleid (policy) van de robot te delen, deelt het systeem deze "gedragsgeheugens". Op een centrale server worden deze geheugens van verschillende robots zorgvuldig samengevoegd met behulp van een wiskundige techniek die de unieke modi van gedrag respecteert die elke robot heeft ontwikkeld. Dit proces zorgt ervoor dat een robot die leert lopen op ijs zijn specifieke voorzichtigheid behoudt, terwijl een robot op droog asfalt zijn zelfvertrouwen behoudt, zelfs terwijl ze van elkaar leren.

Om deze samenwerking nog effectiever te maken, voegden de onderzoekers een tweede laag van begeleiding toe. Hoewel de gedeelde geheugens de robots vertellen welke acties mogelijk zijn, zeggen ze niet noodzakelijkerwijs welke acties het meest belonend zijn. Om dit op te lossen, introduceerde het team een waarde-estimator die fungeert als een lokale kompas. Dit hulpmiddel helpt elke robot te begrijpen hoe goed een specifieke actie is binnen zijn eigen unieke omgeving, wat een stabiel signaal biedt dat voorkomt dat het leerproces grillig wordt. Door deze gedeelde gedragsgeheugens te combineren met lokale, beloningsbewuste begeleiding, stelt het systeem elke robot in staat om zijn eigen prestaties te verbeteren zonder naar beneden getrokken te worden door de verschillen in de omgevingen van zijn soortgenoten.

De onderzoekers testten deze aanpak in een verscheidenheid aan gesimuleerde werelden, variërend van eenvoudige taken zoals het reiken naar een doelwit tot complexe locomotie-uitdagingen waarbij springen, lopen en rennen betrokken zijn. In deze tests vergeleken ze hun nieuwe methode met standaardtechnieken die simpelweg de beleid van de robots middelen. De resultaten toonden een duidelijk voordeel voor het nieuwe framework. In omgevingen waar de robots te maken hadden met aanzienlijke verschillen in hun taken of fysieke opstellingen, hadden de standaardmethoden vaak moeite, waarbij ze soms niets nuttigs leerden of instortten in een enkele, slechte strategie. In contrast hiermee behield de nieuwe aanpak een hoge prestatie bij alle cliënten. Het behaalde niet alleen hogere eindscores, maar demonstreerde ook een grotere stabiliteit, waarbij de wilde schommelingen in prestaties die collaboratief leren vaak teisteren, werden vermeden. Zelfs in de moeilijkste scenario's, waar de verschillen tussen robots extreem waren, slaagde het systeem erin elke robot op een pad naar verbetering te houden.

Een belangrijke bevinding uit de studie is het belang van het onderscheidend houden van de specifieke gedragingen van de robots, terwijl ze nog steeds samen kunnen leren. Wanneer de onderzoekers het leerproces visualiseerden, zagen ze dat standaardmethoden de neiging hadden om alle robots in één enkel, gemiddeld gedragspatroon te dwingen, waardoor de unieke oplossingen die elke robot had gevonden, effectief werden uitgewist. De nieuwe methode behield echter deze diverse patronen. Het stelde het systeem in staat om te herkennen dat er meerdere geldige manieren zijn om een probleem op te lossen, afhankelijk van de context. Dit behoud van diversiteit was cruciaal voor robuustheid. Het systeem presteerde niet alleen beter gemiddeld; het was betrouwbaarder in de worst-case scenario's, waardoor werd gewaarborgd dat geen enkele robot werd achtergelaten of gedwongen werd een strategie te adopteren die niet paste bij zijn realiteit.

De studie benadrukte ook de specifieke rollen die de twee hoofdcomponenten van het systeem spelen. De gedeelde gedragsgeheugens waren essentieel voor het bieden van een fundament van veilige, op gegevens gebaseerde acties, wat voorkomt dat de robots in gevaarlijke of onmogelijke bewegingen vervallen. De lokale waarde-estimator was even belangrijk; het fungeerde als een stabilisator die de ruis in het leerproces verminderde. Wanneer de onderzoekers een van deze componenten verwijderden, daalde de prestatie van het systeem, wat bevestigde dat zowel het gedeelde geheugen van diverse gedragingen als de lokale begeleiding over wat waardevol is, noodzakelijk zijn voor succes. De resultaten suggereren dat voor robots om effectief te leren in een gedistribueerde wereld, ze een manier nodig hebben om hun ervaringen te delen die hun verschillen eert in plaats van ze weg te strijken.

Dit werk vormt een belangrijke stap voorwaarts in het praktisch maken van collaboratief robotleren voor real-world toepassingen. Door af te stappen van het idee van een enkel, universeel beleid en te bewegen naar een systeem dat diverse lokale ervaringen respecteert en integreert, hebben de onderzoekers aangetoond dat machines samen kunnen leren zonder hun individuele effectiviteit te verliezen. Het framework biedt een blauwdruk voor hoe toekomstige vloten van robots, van magazijnmedewerkers tot autonome voertuigen, van elkaar kunnen leren op een manier die zowel efficiënt als robuust is. Hoewel de huidige tests in simulatie werden uitgevoerd, bieden de gedemonstreerde principes een duidelijk pad naar het oplossen van het fundamentele probleem van hoe machines te leren samenwerken wanneer ze in verschillende werelden leven. Het succes van deze aanpak ligt niet in het afdwingen van uniformiteit, maar in het vinden van een manier om diverse perspectieven te verenigen in een coherente, collectieve intelligentie.