Distributionally Robust and Safe Imitation Learning

Stel je voor dat je een robot leert een complexe taak uit te voeren, zoals het vliegen van een drone door een bos of het besturen van een auto door het stadsverkeer. Je wilt niet duizenden regels code schrijven die de robot precies vertellen wat hij op elk seconde moet doen; in plaats daarvan wil je dat de robot leert door te kijken naar een menselijke expert. Dit is de wereld van Imitation Learning (imitatie-leren). Denk aan een student die een meesterkok volgt: de student kijkt hoe de meester groenten snijdt en pannenkoeken bakt, en probeert vervolgens de bewegingen te kopiëren.

Echter, er is een lastig probleem. Als de student een kleine fout maakt aan het begin — zeg, het snijden van een wortel die iets te dik is — kan hij later in de war raken, wat leidt tot een cascade van fouten die de hele maaltijd verpest. In de robotwereld wordt dit distribution shift genoemd: de robot belandt in situaties die de expert nooit heeft gezien, en omdat de robot alleen heeft geleerd om de expert te kopiëren onder perfecte omstandigheden, raakt hij in paniek. Bovendien is de echte wereld rommelig. De wind kan waaien, de grond kan glad zijn, of sensoren kunnen haperen. Dit zijn onzekerheden. Als een robot alleen leert in een kalme, zonnige simulatie, kan hij crashen zodra hij te maken krijgt met een windvlaag. Dit is waarom onderzoekers wanhopig op zoek zijn naar manieren om robots te bouwen die niet alleen experts kopiëren, maar dit ook veilig en robuust doen, zelfs als er dingen misgaan.

---

Het Grote Idee van het Papier: De "Super-Student" Drone

In dit papier stellen Ahmed Aboudonia en Naira Hovakimyan een nieuwe manier voor om robots te leren die werkt als een "super-student" die niet alleen leert om te kopiëren, maar ook het waarom en de wat-als achter de bewegingen begrijpt. Ze noemen hun methode een Distributionally Robust and Safe Imitation Learning framework.

Om te begrijpen wat ze hebben gedaan, stel je voor dat je leert fietsen.

1. Standaard Leren (Behavioral Cloning): Je kijkt naar een professionele rijder en probeert diens exacte lichaamsbewegingen te kopiëren. Als je een beetje wiebelt, kun je vallen omdat je niet hebt geleerd hoe je de wankeling moet corrigeren.
2. De Eerste Truc van het Papier (TaSIL): De auteurs gebruiken een techniek genaamd Taylor Series Imitation Learning (TaSIL). In plaats van alleen de positie van de fietser te kopiëren, leert de robot de afgeleiden van de fietser te kopiëren. In gewone taal: het leert niet alleen waar de fietser is, maar ook hoe snel hij draait, hoe snel hij versnelt, en hoe die veranderingen weer veranderen. Het is alsof je de "flow" van de beweging leert, niet alleen de snapshot. Dit helpt de robot op koers te blijven, zelfs als hij iets uit koers raakt.
3. De Tweede Truc van het Papier (L1-DRAC): Maar wat als er plotseling een windvlaag komt? De robot heeft een vangnet nodig. De auteurs voegen een laag toe die L1-Distributionally Robust Adaptive Control (L1-DRAC) wordt genoemd. Denk aan dit als een super snelle, onzichtbare co-piloot. Als de wind de drone wegduwt, berekent deze co-piloot direct de benodigde correctie om de drone op zijn beoogde pad te houden, waardoor de wind effectief wordt "gecompenseerd" voordat de drone zelfs maar merkt dat hij er is.

De Nieuwe Twist: Leren met een Veiligheidsnet

De echte innovatie in dit papier is hoe ze deze twee ideeën hebben gecombineerd om tegelijkertijd met onzekerheid en veiligheid om te gaan.

Meestal, wanneer een robot leert van een expert, probeert hij het pad van de expert exact te matchen. Maar wat als het pad van de expert vlak langs een klif gaat, en de wind waait? Een slimme robot zou de expert niet blindelings de klif in moeten kopiëren. De auteurs realiseerden zich dat standaard leermethoden geen rekening houden met het feit dat de "echte wereld" iets anders kan zijn dan de "trainingswereld".

Ze creëerden een nieuw trainingsspel voor de robot:

• De "Worst-Case" Bal: In plaats van alleen te leren van het exacte pad dat de expert nam, stelt de robot zich een "bal" van mogelijke paden rond het pad van de expert voor. Deze bal vertegenwoordigt alle mogelijke manieren waarop de wind of sensorfouten de robot van koers kunnen duwen.
• De Veiligheidsbeperking: De robot wordt vervolgens getraind om goed te presteren, zelfs in het ergste scenario binnen die bal. Het is also wordt een piloot die traint voor een storm, en niet alleen voor een zonnige dag.
• De Veiligheidsstraf: Ze voegden een speciale "veiligheidsterm" toe aan het huiswerk van de robot. Als het plan van de robot hem te dicht bij een gevarenzone brengt (zoals een verboden vlieggebied), krijgt hij een grote straf. Dit dwingt de robot om te leren: "Ik kan de expert volgen, maar als de wind me richting de gevarenzone duwt, moet ik wegsturen om veilig te blijven."

Wat Ze Vonden (De Simulatie)

De auteurs testten hun idee op een Unmanned Aerial Vehicle (UAV) — in feite een drone. Ze zetten een simulatie op waarbij de drone in een cirkel moest vliegen terwijl hij een specifiek "onveilige gebied" (een zone waar hij niet in mag komen) moest vermijden. Ze introduceerden epistemic uncertainty (zoals willekeurige, onvoorspelbare krachten die op de drone inwerken) en aleatoric uncertainty (willekeurige ruis, zoals sensorfouten).

Dit is wat er gebeurde in hun simulaties:

• De Standaard Robot: Wanneer ze een standaard imitation learning robot gebruikten in een perfecte wereld, vloog deze de cirkel perfect. Maar zodra ze wind en ruis toevoegden, begon de robot te wiebelen en crashte hij uiteindelijk in de onveilige zone. Hij was te rigide.
• De Robot met de Co-piloot (L1-DRAC): Toen ze de "onzichtbare co-piloot" aan de standaard robot toevoegden, ging deze veel beter om met de wind en bleef deze dichter bij de cirkel. Het wist echter nog steeds niet hoe het de onveilige zone moest vermijden als de wind het daarheen zou duwen. Het was robuust tegen wind, maar niet "veilig" in strikte zin.
• De "Super-Student" (Het Nieuwe Framework): De robot die getraind werd met de nieuwe Distributionally Robust and Safe methode was de winnaar. In de simulaties vloog de robot de cirkel net zo goed als de expert. Maar toen de wind de robot richting de onveilige zone duwde, raakte hij niet in paniek. In plaats daarvan week hij bewust af van het exacte pad van de expert om gevaar te vermijden, en keerde daarna soepel terug naar de cirkel zodra het gevaar voorbij was.

Het papier laat zien dat door de robot te leren de worst-case scenario binnen een bepaalde reeks onzekerheid te verwachten, en door het expliciet te straffen voor het te dicht bij gevaar komen, je een systeem kunt creëren dat zowel zeer bekwaam als ongelooflijk veilig is.

De Kernboodschap

Dit papier beweert niet dat het alle problemen van robotleren voor altijd heeft opgelost. In plaats daarvan laten de auteurs via uitgebreide simulaties zien dat hun framework werkt. Ze hebben aangetoond dat door een methode te combineren die de "flow" van beweging leert (TaSIL) met een methode die actief tegen onzekerheid vecht (L1-DRAC), en door een veiligheidsregel toe te voegen die de robot dwingt vooruit te denken, je een drone kunt bouwen die zelfverzekerd vliegt, zelfs wanneer de wereld rommelig en onvoorspelbaar is. Het is een stap naar robots die niet alleen ons kopiëren, maar leren om net zo slim en voorzichtig te zijn als wij hopen dat ze zullen zijn.