Where Entropy Is Measured Matters: Policy Geometry in Bounded Continuous-Control PPO

In de wereld van kunstmatige intelligentie is er een tak gewijd aan het leren van machines hoe ze zich in de fysieke wereld kunnen bewegen en ermee kunnen interageren. Dit veld, bekend als continue controle, vraagt computers om te leren hoe ze kunnen lopen, rennen of rechtop staan door middel van vallen en opstaan, net zoals een kind dat leert om evenwicht te bewaren. Om dit te doen, gebruikt de computer een wiskundige gids genaamd een beleid (policy), die suggereert welke actie als volgende genomen moet worden op basis van wat de computer ziet. Decennialang is het standaardinstrument voor deze gids een klokvormige curve geweest, een statistische vorm die een meest waarschijnlijke actie suggereert terwijl er enige willekeurige variatie wordt toegestaan. De echte wereld heeft echter grenzen. De been van een robot kan niet verder naar achteren buigen dan een bepa certain punt, en een spier kan niet met oneindige kracht samentrekken. Wanneer de vloeiende, onbegrensde suggesties van de computer deze harde muren raken, worden ze gedwongen afgekapt of samengedrukt om erin te passen. Een lange tijd gingen onderzoekers ervan uit dat als de robot goed presteerde, de details van hoe hij met deze limieten omging er niet toe deden. Ze gaven alleen om de eindscore: liep de robot snel? Bleef hij rechtop staan?

Een nieuwe studie daagt deze aanname uit door nauwkeurig te kijken naar wat er gebeurt in de geest van de computer wanneer deze leert lopen op een gesimuleerd been met tachtig spieren. De onderzoekers ontdekten dat de manier waarop de computer zijn eigen onzekerheid meet, de vorm van het pad dat het leert te volgen, verandert. Ze ontdekten dat wanneer de computer onzeker mag zijn op een manier die de fysieke limieten van de robot negeert, het leert om zijn acties direct tegen de wanden van zijn toegestane bereik aan te duwen. Het is alsof de robot voortdurend zijn handen tegen de randen van een doos drukt, zelfs wanneer hij gemakkelijk in het midden zou kunnen staan. Dit gedrag wordt niet veroorzaakt door de spieren van de robot die traag zijn of door de limieten die te krap zijn. In plaats daarvan is het een direct gevolg van hoe het leeralgoritme zijn eigen "nieuwsgierigheid" of willekeur berekent. De studie laat zien dat als je de plek verandert waar deze nieuwsgierigheid wordt gemeten — van de interne, onbegrensde gedachten van de computer naar de werkelijke, fysieke acties die de robot onderneemt — de robot een compleet andere geometrie leert. Hij stopt met het drukken tegen de wanden en leert in het midden te blijven staan, terwijl hij een vergelijkbare of zelfs betere prestatie levert.

Het onderzoek begon met een complexe simulatie van een mensachtig been, uitgerust met tachtig verschillende spieren, met de taak om te lopen. De onderzoekers trainden een kunstmatige intelligentie met behulp van een populaire leermethode om dit been te laten bewegen. Ze observeerden een vreemd fenomeen: de computer leerde succesvol te lopen, maar deed dit door commando's te sturen die bijna altijd aan de uiterste rand van wat de spieren konden doen lagen. Ongeveer achtenentwentig procent van de tijd lagen de spiercommando's binnen vijf procent van hun maximale of minimale limieten. Het was alsof de wandelaar voortdurend tegen zijn eigen beperkingen aan het duwen was. Het team vermoedde eerst dat dit een fysiek probleem was, misschien veroorzaakt door de manier waarop spieren van nature activeren en deactiveren, of door de specifieke manier waarop de simulatie de signalen filterde. Ze testten deze ideeën door de fysica van de simulatie te veranderen, waarbij ze de activatietijden symmetrisch maakten en filters verwijderden. Geen van deze wijzigingen loste het probleem op. De robot drukte nog steeds tegen de wanden aan. Dit sloot de fysieke wereld uit als de boosdoener en wees met de vinger naar het leeralgoritme zelf.

Om te begrijpen waarom de robot zich zo gedroeg, braken de onderzoekers het probleem af in twee delen: de gemiddelde richting die de robot wilde opgaan, en de hoeveelheid willekeur of variatie die zij aan die richting toevoegde. Ze stelden een eenvoudige vraag: is de robot dicht bij de muur omdat hij wild gokt, of omdat hij doelbewust op de muur mikt? Door een contrafactische test uit te voeren op exact dezelfde momenten in de tijd, ontdekten ze dat zelfs als ze alle willekeur zouden verwijderen en de robot zouden dwingen zijn gemiddelde plan perfect te volgen, hij nog steeds in de buurt van de muur wilde zijn. Sterker nog, het gemiddelde plan zelf wees vaak buiten het mogelijke bewegingsbereik, waardoor de computer de actie naar de dichtstbijzijnde limiet moest afknippen. De "geest" van de robot was geëxtrudeerd, waarbij de beoogde acties buiten de grenzen werden geduwd, en de fysieke limieten vingen deze slechts op. Dit betekende dat het simpelweg vertellen van de robot om minder willekuring te zijn, het probleem niet zou oplossen; de robot moest in de eerste plaats leren om op het centrum te mikken.

De sleutel tot het oplossen hiervan lag in hoe de computer zijn eigen onzekerheid mat. In de standaardopstelling berekent de computer zijn willekeur op basis van zijn interne, onbegrensde gedachten voordat deze worden vertaald naar fysieke acties. In deze interne ruimte behandelt de wiskunde het centrum en de randen als identiek, waardoor er geen reden is om weg te blijven van de wanden. De onderzoekers realiseerden zich echter dat als de computer zijn onzekerheid zou meten nadat de acties naar de fysieke wereld waren vertaald, de wiskunde zou veranderen. Omdat de fysieke wereld harde limieten heeft, zien de randen van de ruimte er anders uit dan het centrum. Wanneer de computer zijn onzekerheid in deze fysieke ruimte berekent, creëert de wiskunde van nature een kracht die de gemiddelde actie weg van de wanden en naar het midden trekt. Het is een subtiele verschuiving in perspectief: het meten van de ruis waar het ertoe doet, in plaats van waar het wordt gegenereerd.

Om dit te testen, draaiden de onderzoekers drie verschillende versies van het leeralgoritme op dezelfde looptaak. In de eerste versie mat de computer de onzekerheid in zijn interne gedachten. In de tweede versie mat het geen onzekerheid. In de derde versie mat het de onzekerheid in de fysieke acties. De resultaten waren opmerkelijk. De versie die de onzekerheid in de interne gedachten mat, leerde zeer willekeurig te zijn en hield zijn acties tegen de wanden aan. De versie zonder onzekerheid leerde zeer precies te zijn, maar mikte nog steeds nabij de wanden. Alleen de versie die de onzekerheid in de fysieke acties mat, leerde om de gemiddelde acties comfortabel in het midden van het toegestane bereik te houden. Deze versie had de meest "interne" geometrie, wat betekende dat de robot niet tegen zijn grenzen aan het duwen was.

Het team herhaalde het experiment vervolgens op een volledig andere taak: het leren aan een gesimuleerde hond om op te staan. Deze taak omvatte dertig-acht verschillende gewrichten en maakte gebruik van een andere softwarecodebase om te garanderen dat de resultaten geen toevalstreffer waren van de eerste simulatie. Hetzelfde patroon kwam naar voren. De versie die de onzekerheid in de fysieke acties mat, leerde de bewegingen gecentreerd te houden, terwijl de andere versies naar de randen dreven. Dit bevestigde dat de bevinding niet specifiek was voor het lopende been of de eerste software. De onderzoekers testten ook of het simpelweg vertellen van de computer om naar het midden te mikken met een directe straf zou werken. Ze ontdekten dat hoewel een directe straf de robot ook naar het midden kon duwen, het een ander soort gedrag creëerde wat betreft willekeur en algehele prestaties. Dit toonde aan dat het meten van onzekerheid in de fysieke ruimte een effectieve manier was om het probleem op te lossen, maar niet de enige; het koppelt het doel en de variatie van de robot op natuurlijke wijze, maar de resulterende balans tussen willekeur en prestatie kan aanzienlijk verschillen van andere methoden die hetzelfde doel van centrering bereiken.

De studie concludeert dat voor robots die leren bewegen in de echte wereld, de keuze van waar de onzekerheid wordt gemeten een cruciale ontwerpbeslissing is. Het is niet genoeg om simpelweg een hoge score op een taak te halen; de manier waarop de robot leert te bewegen is belangrijk voor zijn stabiliteit en veiligheid. Als de robot leert om voortdurend tegen zijn limieten aan te duwen, kan hij kwetsbaar zijn of bij kleine veranderingen in de omgeving falen. Door de onzekerheid in de fysieke ruimte te meten, leert de robot een geometrie die hem veilig en gecentreerd houdt. Dit inzicht suggereert dat de standaardmanier om robots te leren bewegen, mogelijk moet worden bijgewerkt. In plaats van de fysieke limieten tijdens het leerproces te negeren, zou het algoritme er rekening mee moeten houden, zodat de robot leert te bewegen met een natuurlijke, gecentreerde gratie in plaats van een constante, zwoegende druk tegen de wanden.