Grounding LTL Tasks in Sub-Symbolic RL Environments for Zero-Shot Generalization
Dit artikel stelt een methode voor die gezamenlijk een multi-task reinforcement learning-beleid en een symbool-grounder traint met behulp van Neural Reward Machines om agenten in staat te stellen instructies in Linear Temporal Logic op te volgen in sub-symbolische omgevingen zonder voorafgaande kennis van de symbool-naar-observatie-mapping, waarbij een zero-shot generalisatie wordt bereikt die bestaande benaderingen overtreft.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een robot voor die een kamer binnenkomt die hij nog nooit eerder heeft gezien. Hij ziet een koffiezetapparaat, een bureau en een brievenbus, maar voor de robot zijn dit slechts vormen en kleuren op een scherm. Hij weet niet dat het apparaat bedoeld is voor koffie of dat de gleuf voor de post is. Stel je nu voor dat een mens een complexe instructie geeft aan de robot: "Ga naar de brievenbus, ga dan naar het koffiezetapparaat en ga tot slot naar het bureau, maar stap onderweg niet op de rode vloertegels." Voor een mens is dit makkelijk omdat wij de betekenis van de woorden en de objecten begrijpen. Voor een robot is dit een enorme puzzel. De robot moet eerst uitzoeken welk object wat is, terwijl hij ook de volgorde van gebeurtenissen moet onthouden en tegelijkertijd moet leren hoe hij moet bewegen zonder de rode tegels te raken. Dit is de uitdaging om kunstmatige intelligentie te leren instructies op te volgen in de echte wereld, waar het niet zomaar een kant-en-klaar woordenboek kan krijgen van wat dingen heten.
Decennialang hebben onderzoekers geprobeerd dit op te lossen door robots een perfecte kaart van hun wereld te geven, waarbij ze precies vertellen welk pixel overeenkomt met "koffie" of "post". Dit werkt in gecontroleerde laboratoria, maar faalt in de rommelige, onvoorspelbare echte wereld. Een nieuwe benadering, beschreven in recent onderzoek, probeert de robot te leren deze betekenissen zelfstandig te leren terwijl hij leert bewegen. De wetenschappers concentreerden zich op een specifiek type instructie dat tijd en sequentie bevat, bekend als temporele logica. Zie dit als een manier om regels te schrijven die zeggen "doe A, dan B, maar doe nooit C", in plaats van alleen "ga naar punt X". Het doel was om te zien of een robot deze complexe, tijdsgebonden regels kon leren volgen in een wereld waar hij begint zonder enige idee van wat de objecten zijn, waarbij hij alleen een camerabeeld en een simpel signaal krijgt wanneer hij slaagt of faalt.
De onderzoekers bouwden een systeem waarbij de robot twee dingen tegelijkertijd leert. Eerst leert hij een beleid (policy), wat simpelweg de strategie is om te beslissen welke actie hij nu moet ondernemen. Ten tweede, en nog belangrijker, leert hij een "grounder". Dit is een component die fungeert als een vertaler, die probeert te begrijpen wat de ruwe beelden van de camera betekenen in termen van de instructie. Als de robot een rood vierkant ziet en de instructie zegt "vermijd rood", moet de grounder uiteindelijk leren om dat rode vierkant te labelen als "lava" of "gevaar". De moeilijkheid is dat de robot geen leraar krijgt die hem corrigeert. Hij krijgt alleen een ijle beloning (sparse reward): een klein signaal wanneer hij de taak correct voltooit, een negatief signaal als hij faalt, en niets daartussenin. Dit is also[t] een nieuwe taal leren door alleen maar "ja" of "nee" te horen aan het einde van een gesprek, zonder feedback over de individuele woorden die tussendoor werden gesproken.
Om dit op te lossen, gebruikten het team een slimme truc waarbij gebruik wordt gemaakt van de structuur van de instructies zelf. Ze behandelden de instructie als een machine die van staat verandert terwijl de robot beweegt. Als de robot de post oppakt, gaat de machine naar een nieuwe staat die zegt: "post is gedaan, nu koffie zoeken". De onderzoekers trainden de vertaler van de robot om de beloningen te voorspellen die deze machine zou geven. Door te kijken naar hoe de robot beweegt en te zien wanneer de machine "succes" of "falen" aangeeft, leert de vertaler langzaam de beelden die hij ziet te koppelen aan de juiste woorden in de instructie. Het is een proces van vallen en opstaan, waarbij de robot de logica van de taak gebruikt om zichzelf te leren wat de symbolen betekenen. De onderzoekers testten dit in twee zeer verschillende werelden. De ene was een rasteromgeving die eruitzag als een vereenvoudigd computerspel, waarin de robot door een doolhof van objecten moest navigeren. De andere was een gladde, continue ruimte waarin de robot bewoog als een auto op een vlak terrein, waarbij hij zones met specifieke kleuren in een bepaalde volgorde moest bezoeken.
De resultaten lieten zien dat deze methode opmerkelijk goed werkt. In de rasterwereld leerde de robot de instructies bijna even perfect op te volgen als wanneer hij vanaf het begin een correct woordenboek had gekregen. Hij leerde de objecten te identificeren en de volgorde van gebeurtenissen te volgen, zelfs wanneer de instructies langer en complexer werden. In de continue wereld leerde de robot de zones ook met een hoge nauwkeurigheid te identificeren, hoewel hij iets meer moeite had met de meest complexe vermijdingsopdrachten. Cruciaal was dat de robot deze betekenissen leerde terwijl hij leerde bewegen, zonder een aparte trainingsfase. Het systeem bewees dat een agent symbolen kan grondleggen (grounding)—het verbinden van ruwe beelden aan abstracte concepten—door simpelweg de taak op te lossen en de structuur van de regels te gebruiken om het leerproces te sturen.
De studie vergeleek deze nieuwe methode ook met een eerdere poging om hetzelfde probleem op te lossen. De oudere methode, die probeerde de hersenen van de robot stukje bij beetje op te bouwen op basis van de grammatica van de instructies, faalde wanneer de instructies langer werden. Het kon de complexiteit van de nieuwe taken niet aan. De nieuwe benadering daarentegen schaalde effectief op, wat aantoont dat het leren van de betekenis van objecten en de strategie voor het bewegen diep met elkaar verbonden zijn en samen geleerd moeten worden. De onderzoekers ontdekten dat het vermogen van de robot om objecten te identificeren snel verbeterde, vaak een hoog niveau van nauwkeurigheid te bereiken binnen enkele miljoenen stappen van training. Dit suggereelt dat de indirecte feedback van de taakstructuur voldoende is om de robot te leren wat dingen zijn, zelfs zonder dat een mens ze aanwijst.
Hoewel het systeem niet perfect is, met name in de meest uitdagende continue omgevingen waar het vermijden van gevaar gedurende de gehele duur van een taak moeilijk bleek voor alle methoden, is de kernbevinding duidelijk. Het is mogelijk om een kunstmatige agent te trainen om complexe, tijdsgebonden instructies te begrijpen in een wereld die hij niet kent, door hem de betekenis van de kenmerken van de wereld te laten leren terwijl hij probeert de klus te klaren. Dit brengt ons dichter bij het creëren van machines die een nieuwe omgeving kunnen betreden, een reeks regels kunnen horen en kunnen uitzoeken wat ze moeten doen zonder dat ze een vooraf geprogrammeerde kaart van elk object nodig hebben dat ze tegenkomen. Het werk laat zien dat door de logica van de taak te combineren met het leren van de omgeving, robots kunnen beginnen met het overbruggen van de kloof tussen ruwe gegevens en betekenisvolle actie.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.