Technische Samenvatting: Representatieve Uitlijning van Leraar-Leerling voor door Versterkende Leer gedreven Imitatieleren

Probleemstelling

Imitatieleren (IL) wordt vaak ingezet om de steekproefcomplexiteit en de "vloek van de dimensionaliteit" die gepaard gaan met Versterkende Leer (RL) in hoogdimensionale observatieruimtes, zoals die in de robotica, te overwinnen. Een veelvoorkomend paradigma omvat het trainen van een op RL gebaseerde "leraar" op laagdimensionale, analytische toestandsrepresentaties en het vervolgens distilleren van dit gedrag in een "leerling"-beleid dat werkt met hoogdimensionale observaties (bijvoorbeeld afbeeldingen).

Echter, een aanzienlijke uitdaging ontstaat wanneer leraar en leerling geïsoleerd worden getraind. De leraar vertrouwt vaak op "bevoorrechte informatie" (toestandsvariabelen die beschikbaar zijn voor de leraar maar niet afleidbaar zijn uit de observaties van de leerling, zoals exacte doelcoördinaten of verborgen objectlocaties). Dit creëert een onoplosbare imitatiekloof: de leraar leert een beleid dat optimaal is voor zijn bevoorrechte perspectief, maar onmogelijk te imiteren is voor de leerling omdat de benodigde informatie ontbreekt in de input van de leerling.

Traditioneel wordt deze kloof aangepakt door een RL-finetuningfase aan de leerling toe te voegen na IL. Dit introduceert echter opnieuw de hoge steekproefcomplexiteit en trainingsinstabiliteit van RL. Alternatief passen sommige methoden de beloningsfunctie of de actieruimte van de leraar aan om imiteerbaarheid af te dwingen, maar deze benaderingen vereisen vaak zware feature-engineering, introduceren moeilijk af te stellen hyperparameters, of verslechteren de taakprestaties van de leraar.

Methodologie

De auteurs stellen een nieuw, taak-agnostisch algoritme voor dat een gedeelde inbeddingsruimte leert om de imitatiekloof bij constructie te overbruggen. In plaats van beloningen te modificeren of de leerling achteraf te finetunen, zorgt de methode ervoor dat de leraar een beleid leert dat inherent imiteerbaar is door de leerling.

Kernarchitectuur

De aanpak maakt gebruik van een multi-view representatieleren-kader waarbij de leraar en de leerling dezelfde onderliggende toestandsomgeving $s_t$ observeren via verschillende modaliteiten ($o_T$ en $o_S$). Deze observaties worden gemodelleerd als bevattende:

1. Gemeenschappelijke componenten ($c_t$): Informatie die door beide agenten wordt gedeeld (bijvoorbeeld relatieve obstakelposities).
2. Privécomponenten ($p_T, p_S$): Agent-specifieke informatie (bijvoorbeeld exacte doelcoördinaten voor de leraar).

Het doel is het leren van een encoder die zowel $o_T$ als $o_S$ afbeeldt op een latente ruimte die uitsluitend $c_t$ bevat, waardoor privé-informatie effectief wordt verborgen voor de leraar tijdens diens RL-training.

Trainingsfasen

Het systeem werkt in afwisselende fasen die twee modules omvatten:

1. Contrastief Representatieleren (Inbeddingsmodule):

   • Doel: Het leren van een mapping van leraar- en leerlingobservaties naar een gemeenschappelijke latente ruimte.
   • Mechanisme: Gebruik van InfoNCE contrastieve verliesfunctie. Gekoppelde observaties $(o_T, o_S)$ uit hetzelfde tijdstip worden behandeld als positieve paren, terwijl ongepaarde observaties in de batch dienen als negatieven.
   • Uitlijningsverlies ($L_{alignment}$): maximaliseert expliciet de gelijkenis tussen gekoppelde inbeddingen om ervoor te zorgen dat het beleidsnetwerk consistente representaties ziet voor beide agenten.
   • Stabiliteitsverlies ($L_{stability}$): voorkomt grote afwijkingen in de latente ruimte tijdens het trainen door verschuivingen in de ruwe logits van het beleidsnetwerk ten opzichte van eerdere toestanden te bestraffen. Dit is cruciaal omdat RL-beleiden gevoelig zijn voor kleine verschuivingen in inbeddingen.
   • Gradiëntisolatie: Cruciaal: gradiënten van het RL-beleid (Fase 2) worden niet teruggepropageerd door de encoder-netwerken. Dit voorkomt dat het beleid "valstrikken" door privé-informatie uit de ruwe observaties van de leraar te extraheren om beloningen te maximaliseren.

2. Versterkende Leer (Beleidsmodule):

   • Het leraar-beleid ($\pi_T$) wordt getraind met Proximal Policy Optimization (PPO) om de taakbeloning te maximaliseren.
   • Het beleid werkt echter uitsluitend op de geleerde latente inbeddingen, niet op de ruwe observaties.
   • Omdat de inbeddingen privé-informatie missen, wordt de leraar gedwongen de beloning te maximaliseren door uitsluitend de gedeelde informatie te exploiteren die ook voor de leerling beschikbaar is.

Belangrijkste Onderscheidende Kenmerken ten opzichte van Eerder Werk

• In tegenstelling tot SITT [8], dat de leraar bestraft voor het bezoeken van niet-imitabele toestanden via een KL-divergentie-term in de beloning, wijzigt deze methode de beloningsfunctie niet en introduceert geen afwegingscoëfficiënten ($\alpha$).
• In tegenstelling tot methoden die domeinkennis vereisen om contrastieve paren te selecteren, is deze aanpak volledig taak-agnostisch en vertrouwt op de temporele uitlijning van leraar-leerling-trajecten.

Experimentele Resultaten

De methode werd geëvalueerd in twee simulatieomgevingen die zijn ontworpen om de imitatiekloof te benadrukken:

1. CollectHealth: Een 3D-navigatietask waarbij de leraar exacte dooslocaties kent, terwijl de leerling een beperkt gezichtsveld (FOV) heeft en zich moet heroriënteren om doelen te vinden.
2. TunnelVision: Een grid-world navigatietask waarbij de leraar alle omliggende cellen ziet, terwijl de leerling slechts drie cellen in zijn voorwaartse richting ziet.

Prestatiemetrics

De studie vergeleek de voorgestelde methode met:

• Behavior Cloning (BC): Standaard IL met een leraar die geïsoleerd is getraind.
• SITT: De state-of-the-art baseline die niet-imitabel leraargedrag bestraft.

Belangrijkste Bevindingen:

• Vermindering van de Imitatiekloof: De voorgestelde methode bereikte een bijna-nul imitatiekloof ($\Delta \approx 0.00$ tot $0.01$) in beide omgevingen, wat significant beter presteerde dan BC (kloof $\approx 0.53-0.81$) en SITT (kloof $\approx 0.19-0.43$).
• Leerlingprestaties: De gedistilleerde leerling-beleiden behaalden successpercentages van 1.00 (TunnelVision) en 0.98 (CollectHealth), wat gelijkstaat aan of beter is dan de prestaties van de leraar, zonder dat RL-finetuning nodig was.
• Leraarprestaties: In tegenstelling tot SITT, dat een daling in leraarprestaties vertoonde door beloningsmodificatie, behield de voorgestelde methode hoge leraarprestaties (1.00 en 0.99) omdat de oorspronkelijke beloningsfunctie onaangetast bleef.
• Ablatiestudies:
  • Het verwijderen van het uitlijningsverlies veroorzaakte een merkbare daling in leerlingprestaties, met name in CollectHealth, wat de noodzaak bevestigt van expliciete inbeddingsgelijkenis.
  • Het verwijderen van het stabiliteitsverlies veroorzaakte een aanzienlijke daling in TunnelVision (een omgeving met hoge gevoeligheid), wat aantoont dat stabiele inbeddingen cruciaal zijn om beleidsinstorting in gevoelige settings te voorkomen.

Betekenis en Bijdragen

De auteurs claimen de volgende bijdragen:

1. Nieuwe Taak-Agnostische Methode: Het introduceert een plug-and-play-aanpak om de imitatiekloof te overbruggen door het leren van een gedeelde latente representatie, waardoor de noodzaak voor modificaties van beloningsfuncties of complexe feature-engineering wordt geëlimineerd.
2. Constructie van Imiteerbaarheid: Door de leraar te beperken tot het werken op een gedeelde inbeddingsruimte via contrastief leren, zorgt de methode ervoor dat de leraar gedrag leert dat inherent reproduceerbaar is door de leerling, waardoor de onoplosbare kloof veroorzaakt door bevoorrechte informatie wordt vermeden.
3. Superieure Empirische Prestaties: De aanpak presteert consequent beter dan sterke baselines (BC en SITT) in termen van leerling-successpercentages en vermindering van de imitatiekloof, terwijl de optimale taakprestaties van de leraar worden behouden.
4. Stabiliteitsmechanismen: De introductie van expliciete uitlijnings- en stabiliteitsverliezen adresseert de gevoeligheid van RL-beleiden voor representatieverschuivingen, wat robuust trainen mogelijk maakt zonder achteraf finetunen.

De auteurs concluderen dat deze methode een robuuste oplossing biedt voor het distilleren van hoogdimensionale beleiden van bevoorrechte leraars, waardoor het geschikt is voor integratie in bestaande IL-kaders zonder de fundamentele beloningsstructuur van de taak te wijzigen.