A Generative Adversarial Network for Goal Oriented Subgoal Training Exploration and Rewards

In de wereld van kunstmatige intelligentie bestaat een hardnekkig raadsel dat bekend staat als het exploratieprobleem. Stel je voor dat je een robot leert om door een kamer te lopen. Als de robot simpelweg willekeurige bewegingen probeert, kan het zijn dat hij uiteindelijk wel de juiste manier vindt om zijn benen te bewegen, maar het kan miljoenen pogingen kosten, of hij komt er misschien nooit uit. Dit is vooral het geval wanneer de robot pas een beloning krijgt nadat hij de hele kamer succesvol heeft overgestoken, in plaats van een kleine hint voor elke stap die hij correct zet. Deze vertraging maakt het extreem moeilijk voor de machine om te begrijpen welke specifieke acties tot het succes hebben geleid. Jarenlang hebben onderzoekers geprobeerd dit op te lossen door grote taken op te delen in kleinere, tussenliggende doelen, een strategie die hiërarchisch leren wordt genoemd. Deze methoden vereisen echter vaak dat mensen handmatig definiëren wat die kleinere doelen moeten zijn, wat de mate waarin de robot zich kan aanpassen aan nieuwe of complexe situaties beperkt.

Een team onderzoekers aan de Binghamton University heeft een nieuwe manier voorgesteld om dit probleem aan te pakken, een manier die de machine in staat stelt om zijn eigen tussenliggende doelen te ontdekken zonder menselijke instructie. Ze ontwikkelden een systeem genaamd GANGSTER, wat staat voor Generative Adversarial Network for Goal Oriented Subgoal Training, Exploration, and Rewards. Het kernidee is om een type kunstmatige intelligentie te gebruiken dat leert door tegen zichzelf te strijden om nuttige "waypoints" (tussenpunten) te genereren waar de robot op moet mikken. In plaats van willekeurig te gokken, leert het systeem specifieke toestanden voor te stellen—zoals een bepaalde positie van de benen van de robot—die waarschijnlijk tot een hoge score zullen leiden, fysiek bereikbaar zijn vanaf de huidige positie van de robot, en verschillend genoeg zijn van eerdere pogingen om het leerproces fris te houden. De onderzoekers testten dit systeem in complexe gesimuleerde omgevingen met virtuele wezens zoals cheetahs, mieren en loopmachines, waarbij ze ontdekten dat het de machines hielp sneller en betrouwbaarder te leren, vooral in de meest moeilijke taken.

De onderzoekers bouwden hun systeem zo dat het kan samenwerken met bestaande, krachtige leeralgoritmen zonder de manier waarop die algoritmen fundamenteel werken te veranderen. Denk aan het leeralgoritme als een student die een moeilijke wiskundevraag probeert op te lossen, en het nieuwe systeem als een tutor die een behulpzame tussenstap suggereert. De student doet nog steeds het werk en leert de regels, maar de tutor wijst een veelbelovend pad aan. In dit geval is de "tutor" een generatief model dat getraind is om kandidaat-subdoelen te creëren. Wanneer de robot een nieuwe poging start, genereert het model een lijst met potentiële doelen. Vervolgens scoort het deze doelen op basis van drie criteria: hoe goed de uitkomst zou zijn als de robot deze bereikt, hoe gemakkelijk het voor de robot is om daar vanaf de huidige positie te komen, en hoe verschillend het doel is van andere doelen om te zorgen dat de robot nieuw gebied verkent. Het systeem kiest het beste doel en geeft de robot een kleine, onmiddellijke beloning voor het dichter bij dat doel komen, waardoor een lange, verwarrende reis effectief wordt omgezet in een reeks beheersbare stappen.

Om te zien of deze aanpak daadwerkelijk werkte, voerde het team uitgebreide experimenten uit met een suite van standaard robotische simulaties die bekend staan als MuJoCo. Deze omgevingen variëren van eenvoudige taken, zoals het balanceren van een pendel, tot zeer complexe taken, zoals het besturen van een virtuele mier met acht poten die zijn bewegingen moet coördineren om vooruit te rennen. De onderzoekers vergeleken deze GANGSTER-verbeterde robots met standaard robots die leerden zonder deze extra begeleiding. De resultaten toonden een duidelijk patroon: hoe complexer de omgeving, hoe meer het nieuwe systeem hielp. In de eenvoudigste taken presteerden de standaard robots prima, en bood het nieuwe systeem weinig voordeel. Echter, in de omgevingen met een hoge complexiteit was het verschil dramatisch. In de Ant-v5 omgeving verminderde het GANGSTER-systeem bijvoorbeeld de tijd die nodig was om de taak op te lossen met ongeveer 31 procent en verhoogde het de uiteindelijke prestaties met 53 procent vergeleken met de standaardmethode. In een andere test met een virtuele cheetah verbeterde het systeem de consistentie van de oplossing tot boven de 99 procent, wat betekent dat de robot zelden faalde zodra hij de taak had geleerd.

De studie onthulde ook dat het succes van het systeem sterk afhing van hoe de tussenliggende doelen werden gekozen. De onderzoekers testten verschillende manieren om de drie criteria te wegen—goedheid, bereikbaarheid en variëteit—en ontdekten dat het prioriteren van de "goedheid" van het doel de meest kritieke factor was. Doelen die een hoge toekomstige beloning beloofden, waren het meest effectief bij het begeleiden van de robot. De andere twee factoren waren echter essentieel voor stabiliteit; zonder te controleren of een doel bereikbaar was, zou de robot naar onmogelijke doelen mikken, en zonder variëteit te waarborgen, zou de robot vast komen te zitten in het herhalen van hetzelfde proces. Het systeem bewees flexibel te zijn, goed werkend met twee verschillende soorten leeralgoritmen, en de voordelen schaalden op naarmate de taken moeilijker werden. Dit suggereert dat, naarmate kunstmatige intelligentie geconfronteerd wordt met steeds complexere uitdagingen in de echte wereld, het hebben van een mechanisme om automatisch nuttige tussenliggende doelen te genereren en te prioriteren, een sleutel kan zijn tot het ontsluiten van efficiënter en betrouwbaarder leren.

Hoewel het systeem veelbelovend was in simulaties, merkten de onderzoekers voorzichtig op dat het ook beperkingen heeft. Het proces van het genereren en evalueren van deze extra doelen vereist extra rekenkracht, waardoor het trainingsproces langzamer is dan bij standaardmethoden. In eenvoudige omgevingen waar de robot snel op eigen kracht kan leren, is deze extra kostprijs de moeite niet waard. Bovendien werden de huidige tests allemaal uitgevoerd in een gesimuleerde digitale wereld. De onderzoekers erkennen dat het toepassen hiervan op echte robots problemen vereist zoals sensornoise (ruis door sensoren) en veiligheidsbeperkingen die niet in een computersimulatie bestaan. Ondanks deze kanttekeningenen vormt het werk een significante stap voorwaarts in het leren aan machines hoe ze complexe omgevingen op eigen kracht kunnen verkennen. Door een gestructureerde manier te bieden om moeilijke problemen op te splitsen in haalbare stappen, biedt het GANGSTER-framework een praktisch pad naar meer capabele systemen van kunstmatige intelligentie die de rommelige, langdurige uitdagingen van de echte wereld kunnen navigeren.