Robots die leren door te doen, worden een realiteit, maar ze vereisen vaak een uitputtend aantal oefeningen om zelfs eenvoudige taken te beheersen. Om een kopje van een tafel naar een plank te verplaatsen, moet een robot de beweging misschien duizenden keren proberen, waarbij hij herhaaldelijk faalt voordat hij eindelijk slaagt. Dit proces van vallen en opstaan vormt de kern van een vakgebied genaamd reinforcement learning (versterkingsleren), waarbij een agent leert door te interageren met zijn omgeving en feedback te ontvangen op zijn acties. Hoewel recente vooruitgang dit leerproces sneller heeft gemaakt, vereien de meest complexe taken, zoals het assembleren van een gereedschap of het navigeren door een rommelige kamer, nog steeds enorme hoeveelheden data. Onderzoekers zoeken voortdurend naar manieren om deze robots efficiënter te maken, in de hoop de tijd en energie die nodig is om hen te trainen te verminderen. Een veelbelovend idee is om robots een "wereldmodel" te geven, een mentale simulatie die hen in staat stelt zich voor te stellen wat er zou gebeuren als ze een bepaalde actie ondernemen, in plaats van alleen maar blind te gokken. Het gebruik van deze mentale simulaties om de robot direct te trainen is echter historisch gezien riskant geweest; als de verbeelding van de robot er iets naast zit, kunnen die fouten zich opstapelen, wat ertoe leidt dat de robot een vertekende versie van de werkelijkheid leert die in de echte wereld faalt.

Een team van onderzoekers van de Stanford University en Peking University heeft een nieuwe aanpak ontwikkeld die dit gevaar omzeilt door te veranderen wanneer de robot zijn verbeelding gebruikt. In plaats van de wereldmodel te gebruiken om de robot te leren hoe hij moet bewegen, gebruiken ze het alleen op het moment van de beslissing. Hun methode, genaamd QWM, stelt een robot in staat om zijn kernvaardigheden te leren van interacties met de echte wereld, waardoor het begrip van fysica en oorzaak-gevolg stevig geworteld blijft in de realiteit. Maar wanneer de robot voor een nieuwe situatie staat en moet kiezen wat hij vervolgens gaat doen, pauzeert hij om een snelle mentale simulatie uit te voeren. Hij stelt zich verschillende mogelijke toekomsten voor bij elke potentiële actie, voorspelt hoe de wereld zou veranderen, en kiest vervolgens de actie die tot het beste resultaat leidt. Dit proces is vergelijkbaar met hoe een schaker enkele zetten vooruit kijkt voordat hij een zet doet, maar hier kijkt de robot vooruit om te zien welke fysieke actie de hoogste beloning zal opleveren.

De onderzoekers testten dit systeem op uitdagende robotische manipulatietaken, zoals het tillen van objecten, het plaatsen van blikjes en het assembleren van gereedschap. Ze vergeleken hun methode met andere top-presterende algoritmen die ofwel leren zonder een mentaal model, of volledig binnen een gesimuleerde wereld leren. De resultaten lieten zien dat QWM deze andere methoden aanzienlijk overtrof. Het leerde sneller, vereiste minder pogingen in de echte wereld om een hoog niveau van succes te bereiken, en presteerde betrouwbaarder over verschillende taken heen. Cruciaal was dat het systeem de veelvoorkomende valkuil vermeed waarbij het interne model van een robot zo gebrekkig wordt dat het de robot slechte gewoonten aanleert. Door het leerproces gekoppeld te houden aan echte data en de verbeelding alleen te gebruiken om keuzes op het allerlaatste moment te verfijnen, kreeg de robot het beste van twee werelden: de veiligheid van leren in de echte wereld en het vooruitziende vermogen van een voorspellend model.

Het succes van deze aanpak hangt af van hoe de robot zijn mentale zoektocht construeert. Wanneer de robot moet handelen, kiest hij niet zomaar één willekeurige gok of vertrouwt hij op een enkele voorspelling. In plaats daarvan genereert hij een boom van mogelijkheden. Vanuit zijn huidige positie overweegt hij verschillende verschillende acties. Voor elke actie gebruikt hij zijn wereldmodel om de volgende staat van de wereld te voorspellen. Vervolgens herhaalt hij dit proces door zich voor te stellen wat er zou gebeuren als hij vanuit die nieuwe staat een andere actie zou ondernemen, enzovoort, waardoor een vertakkend pad van potentiële toekomsten ontstaat. De robot evalueert deze paden niet alleen door naar het onmiddellijke resultaat te kijken, maar door de waarde van de gehele geïmageerde sequentie te aggregeren. Hij combineert zijn directe kennis van wat een actie waard is met de voorspelde beloningen van de toekomstige stappen die hij zich heeft voorgesteld. Dit stelt de robot in staat om verder te kijken dan het huidige moment en acties te kiezen die op dit moment moeilijk lijken, maar later tot een veel beter resultaat leiden.

Een van de belangrijkste bevindingen is dat deze methode werkt, zelfs wanneer de robot de wereld bekijkt via een camera en te maken heeft met hoogdimensionele visuele informatie in plaats van eenvoudige getallen. In deze pixel-gebaseerde omgevingen is het leren van een perfect wereldmodel ontzettend moeilijk, maar de onderzoekers ontdekten dat zelfs een enigszins imperfect model een enorme boost in prestaties kan geven wanneer het wordt gebruikt voor dit soort "test-time search". De robot hoefde geen perfecte voorspeller te zijn om ervan te profiteren; hij hoefde alleen maar goed genoeg te zijn om een goede actie van een slechte actie te onderscheiden. De studie onderzocht ook hoe diep de robot in de toekomst moest kijken. Te ver vooruit kijken introduceerde te veel onzekerheid omdat de voorspellingen minder betrouwbaar werden, terwijl te oppervlakkig kijken er niet in slaagde de langetermijngevolgen van een actie te vatten. De onderzoekers vonden een "sweet spot" waarbij de robot een paar stappen vooruit keek, genoeg om effectief te plannen zonder verloren te raken in de ruis van voorspellingsfouten.

De onderzoekers vergeleken hun methode ook met andere manieren om wereldmodellen te gebruiken, zoals het trainen van de robot volledig binnen de simulatie. Ze ontdekten dat die methoden vaak moeite hadden, vooral in taken met schaarse beloningen waarbij de robot pas een signaal krijgt wanneer hij aan het einde slaagt. In die gevallen stapelden de fouten in de simulatie zich snel op, waardoor het voor de robot moeilijk werd om iets nuttigs te leren. Daartegenover bleef de QWM-aanpak stevig geworteld in de realiteit. Het kernbeleid van de robot en zijn begrip van waarde werden alleen bijgewerkt met data uit de echte wereld. Het wereldmodel was slechts een instrument voor selectie, een manier om de besluitvorming van de robot te verscherpen zonder het fundamentele leren te corrumperen. Dit onderscheid bleek essentieel, waardoor het systeem kon opschalen naar complexe, real-world robotica-problemen waar eerdere model-gebaseerde methoden hadden gefaald.

Uiteindelijk laat het werk zien dat de kracht van een wereldmodel er niet noodzakelijkerwijs in ligt het vervangen van de echte wereld, maar in het verbeteren van ons vermogen om erdoorheen te navigeren. Door de verbeelding te gebruiken als een filter voor keuze in plaats van als een vervanging voor ervaring, hebben de onderzoekers een systeem gecreëerd dat zowel efficiënt in het gebruik van samples als robuust is. De robot leert van de harde lessen van de realiteit, maar gebruikt zijn geest om te voorkomen dat hij fouten herhaalt voordat ze gebeuren. Deze aanpak biedt een praktisch pad voor het inzetten van robots in ongestructureerde omgevingen, waar het vermogen om te plannen en aan te passen net zo belangrijk is als het vermogen om te leren. De bevindingen suggereren dat de toekomst van robotisch leren niet gaat over het bouwen van perfecte simulaties, maar over het bouwen van robots die weten wanneer ze hun ervaring moeten vertrouwen en wanneer ze hun verbeelding moeten vertrouwen.