Decoupling Policy Extraction for Offline Reinforcement Learning

Stel je een student voor die probeert te leren autorijden, maar in plaats van achter het stuur te zitten en de weg te voelen, wordt hij gedwongen om alleen een enkele, statische video van een perfecte bestuurder te bestuderen. Hij kan geen fouten maken, hij kan geen nieuwe bochten proberen en hij kan geen feedback ontvangen uit de echte wereld. Dit is de uitdaging van offline reinforcement learning, een vakgebied waar kunstmatige intelligentie leert beslissingen te nemen met behulp van een vaste collectie gegevens uit het verleden. In deze setting moet de computer uitzoeken hoe hij beter kan handelen dan de voorbeelden die hij heeft gezien, zonder ooit in staat te zijn om die nieuwe ideeën in de werkelijkheid te testen. De traditionele manier om deze systemen te onderwijzen omvat twee onderdelen die in een nauwe lus samenwerken: één deel leert welke acties goed zijn, en het andere deel leert hoe ze uit te voeren. Het eerste deel stuurt het tweede voortdurend aan door het te vertellen dat het acties moet proberen die waardevol lijken. Maar omdat de gegevens bevroren zijn in de tijd, kan deze begeleiding gevaarlijk worden. Als het deel dat bepaalt "wat goed is" een fout maakt en een risicovolle zet overschat, zal het deel dat "hoe te presteren" leert, proberen dit uit te voeren, waardoor de fout wordt versterkt en men verder afdrijft van veilig, bewezen gedrag.

Een team onderzoekers van Simplexity Robotics en Rensselaer Polytechnic Institute heeft een andere manier voorgesteld om dit probleem op te lossen, waarbij zij suggereren dat deze twee onderdelen tijdens de leerfase met elkaar moeten stoppen met praten. In hun nieuwe aanpak scheiden ze de taak van het leren van de data volledig van de taak van het kiezen van de beste actie. Eerst trainen ze een model dat uitsluitend bedoeld is om het gedrag in de dataset na te bootsen, optredend als een perfecte kopiist die nooit probeert te verbeteren of nieuwe strategieën te raden. Dit model genereert een lijst van verschillende mogheden voor acties die bekend staan als veilig en ondersteund door de data. Vervolgens kijkt een apart systeem, dat onafhankelijk is getraind om waarde te beoordelen, naar deze lijst en kiest de beste optie uit om uit te voeren. Door de feedbackloop die deze twee normaal gesproken verbindt te verbreken, ontdekten de onderzoekers dat ze de valstrik van het versterken van fouten konden vermijden. Hun experimenten over dertig verschillende complexe taken, variërend van het navigeren door virtuele doolhoven tot het manipuleren van robotarmen, toonden aan dat deze gescheiden methode consequent beter presteerde dan de traditionele, nauw gekoppelde benaderingen. In sommige gevallen steeg het succespercentage van minder dan de helft naar bijna zeventig procent, wat bewijst dat de beste manier om te verbeteren soms is om te stoppen met het verbeteren van de leerling terwijl deze nog aan het studeren is.

De kern van het probleem dat de onderzoekers identificeerden, ligt in de manier waarop standaard kunstmatige intelligentiesystemen leren van vaste data. In een typische opstelling heeft het systeem een "critic" (criticus) die de waarde van acties inschat en een "actor" (acteur) die leert hoe deze uit te voeren. De criticus vertelt de acteur welke bewegingen goed zijn, en de acteur probeert deze te doen. In een scenario in de echte wereld waarin de robot kan blijven interageren met de omgeving, werkt dit goed omdat als de criticus een fout maakt, de nieuwe pogingen van de acteur verse data genereren die de fout corrigeren. Maar bij offline leren is de dataset vergrendeld. Als de criticus ten onrechte gelooft dat een gevaarlijke actie waardevol is, zal de acteur proberen deze uit te voeren, en omdat er geen nieuwe data arriveert om de criticus te corrigeren, wordt de fout erger. De acteur drijft af naar regio's van de actieruimte die de data nooit heeft gedekt, een fenomeen dat de onderzoekers een "out-of-distribution amplification loop" noemen. Om dit te voorkomen, proberen bestaande methoden vaak de acteur te dwingen dicht bij de originele data te blijven, maar dit creëert een moeilijke afweging: als je de acteur te veel beperkt, kan hij zelfs binnen de veilige data niet de beste zetten vinden; als je hem te ver laat gaan, valt hij in de foutenlus.

Om dit op te lossen, ontkoppelden de onderzoekers het proces. Ze trainden de actor om slechts één ding te doen: de distributie van acties in de dataset modelleren. Ze lieten de criticus de training van de actor helemaal niet beïnvloeden. Zodra dit "proposer"-model (voorsteller) was getraind, werd het bevroren, wat betekende dat het nooit meer zou veranderen. Op het moment dat de robot een beslissing moest nemen, genereerde de proposer een kleine set kandidaat-acties, die allemaal geworteld waren in de veilige, geobserveerde data. Een aparte criticus, die onafhankelijk was getraind om waarde te beoordelen, keek vervolgens naar deze specifieke lijst en koos de optie met de hoogste score. Dit verschoof de taak van verbetering van de trainingsfase naar het moment van de beslissing. In plaats van te proberen het brein van de actor aan te passen om beter te worden, genereerde het systeem simpelweg een paar veilige opties en liet het een rechter de winnaar kiezen. Deze aanpak betekende dat de criticus zich er niet langer zorgen over hoefde te maken dat de actor naar gevaarlijk gebied zou afdrijven, omdat de actor simpelweg nooit mocht afdrijven. De criticus hoefde alleen de veilige opties te rangschikken die de bevroren proposer aanbood.

De resultaten van dit experiment waren opmerkelijk. De onderzoekers testten hun methode op dertig verschillende taken die betrokken waren bij doelgerichte gedragingen, zoals het laten navigeren van een robotmier door een grote doolhof of een humanoïde robot door een complexe omgeving. Ze vergeleken hun ontkoppelde methode met standaardtechnieken die de actor en de criticus verbonden hielden. In een navigatietaak genaamd AntMaze-Large bereikte de traditionele methode, gebruikmakend van een specifiek type waarde-leerder, een succespercentage van ongeveer eenendertig procent. Wanneer de onderzoekers hun ontkoppelde aanpak toepasten met dezelfde waarde-leerder, steeg het succespercentage naar veertien procent. In een manipulatietaak met een kubus was de verbetering nog dramatischer, waarbij de ontkoppelde methode een succespercentage van zevenentwintig procent bereikte tegenover eenentwintig procent voor de traditionele aanpak. Misschien wel het meest verrassend was dat de onderzoekers ontdekten dat zelfs een zeer eenvoudige, basis waarde-leersystem, dat normaal gesproken worstelt in offline settings, zeer effectief werd wanneer het werd gekoppeld aan dit ontkoppelde selectieproces. In een puzzeloplossende taak behaalde een eenvoudige waarde-leerder gecombineerd met hun methode een succespercentage van honderd procent, waarmee het complexe, standaard systemen ver overtrof.

De studie onthulde ook waarom deze scheiding zo goed werkt door te onderzoeken wat er gebeurt als het systeem wordt toegestaan om naar meer opties te kijken. De onderzoekers ontdekten dat het hebben van de proposer om een paar kandidaten te genereren, in plaats van slechts één, het systeem in staat stelde om de veilige regio van de data grondiger te verkennen. Er was echter een limiet. Als het systeem te veel kandidaten genereerde, nam de kans toe dat een risicovolle, "out-of-distribution" actie werd opgenomen, en de waarde-beoordelende system zou deze mogelijk onterecht kiezen. Het optimale evenwicht werd gevonden door het aantal kandidaten af te stemmen, een enkele instelling die kon worden aangepast zonder het hele systeem opnieuw te trainen. Deze flexibiliteit is een aanzienlijk voordeel ten opzichte van traditionele methoden, die vaak tijdrovende hertraining vereisen om de balans tussen veiligheid en prestaties te herstellen. De onderzoekers merkten op dat deze aanpak bijzonder veelbelovend is voor grootschalige robotica, waarbij het opnieuw trainen van een massaal model computationeel duur is. Door het hoofdmodel bevroren te houden en alleen een lichtgewicht waarde-systeem te gebruiken om de uiteindelijke keuze te maken, biedt de methode een computationeel efficiënt pad naar betere prestaties.

De onderzoekers erkennen dat deze methode een grens heeft: het systeem kan alleen kiezen uit acties die de bevroren proposer kan genereren. Als de best mogelijke actie nooit in de originele data is gezien, kan het systeem deze niet uitvinden. Echter, binnen de grenzen van wat mogelijk is, vond de ontkoppelde aanpak consequent betere oplossingen dan de traditionele, gekoppelde methoden. Het werk suggereert dat de langgevestigde overtuiging dat leren en verbetering gelijktijdig in één enkele lus moeten plaatsvinden, niet noodzakelijk, of zelfs niet wenselijk is, wanneer er geleerd wordt van statische data. Door de generatie van veilige opties te scheiden van de selectie van de beste optie, hebben de onderzoekers een duidelijkere, stabielere weg geboden voor kunstmatige intelligentie om te leren van het verleden zonder gevangen te raken in de eigen fouten. De bevindingen wijzen erop dat voor offline leren de meest effectieve strategie kan zijn om de actor tijdens de training niet te proberen slim te maken, maar hem simpelweg het verleden te laten onthouden, en de taak van verbetering over te laten aan een apart, kritisch oog op het moment van handelen.