Technische Samenvatting: Traject Eerst: Een Curriculum voor het Ontdekken van Diverse Strategieën

Probleemstelling

Versterkende leermethodes (RL) gaan vaak uit van unimodale actie-distributies, wat resulteert in een enkele strategie die kwetsbaar kan zijn voor omgevingsverstoringen en vatbaar is om vast te lopen in lokale optima. Hoewel het ontdekken van een set diverse strategieën de robuustheid maximaliseert, falen bestaande methoden voor geconstrueerde diversiteitsoptimalisatie vaak in complexe, contactrijke taken zoals robotmanipulatie.

De kernuitdaging die is geïdentificeerd, is onderverkenning. In domeinen zoals robotmanipulatie worden objecttoestanden bemiddeld door intermitterende contacten, wat niet-gladde afbeeldingen creëert tussen acties en toestanden die worden gedomineerd door contactdiscontinuïteiten. Bijgevolg collapse diversiteitszoekende doelfuncties vaak tot enkele modi, omdat alternatieve strategieën te zelden worden ontdekt om versterkt te worden. Standaard lokale verkenningsmethodes (bijvoorbeeld Gaussisch ruis in de strategieruimte) zijn ontoereikend om onverbonden hoog-belonende variëteiten in deze omgevingen te overbruggen.

Methodologie: Een Tweestaps Curriculum

De auteurs stellen "Traject Eerst" voor, een curriculum dat is ontworpen om verkenningsknelpunten te overwinnen door globale trajectverkenning te ontkoppelen van reactief strategie-leren. De aanpak bestaat uit twee distincte fasen:

Fase 1: Geconstrueerde Nieuwheidzoek (CNS) in Trajectruimte

In plaats van de parameters van neurale netwerken direct te optimaliseren, verkent de eerste fase de ruimte van open-loop trajecten met behulp van een Evolutionaire Strategie (ES).

• Op Spline Gebaseerde Parametrisatie: Trajecten $\tau$ worden geparametriseerd als B-splines gedefinieerd door controlepunten $\omega$. Dit biedt een gladde inductieve bias en verlaagt de dimensionaliteit van de zoekruimte in vergelijking met ruwe actiesequenties.
• Optimalisatiedoel: Het doel is een set trajectparameters $\Omega_n$ te vinden die de diversiteit maximaliseert, onderworpen aan een bijna-optimale constrentie ($v_{\omega_i} \geq \alpha v^*$).
• Geconstrueerde Nieuwheidzoek: De auteurs introduceren een Lagrangiaanse doelfunctie die een intrinsieke nieuwheidsbeloning (gebaseerd op de entropie van de trajectset, geschat via k-NN-afstand) en de extrinsieke taakbeloning in evenwicht brengt.
• Optimalisatie-algoritme: De controlepunten $\omega$ worden geoptimaliseerd met CMA-ES, wat zeer efficiënt is voor de matig grote parameter ruimte van B-splines. Dit stelt het algoritme in staat om tussen modi te "springen" en diverse, hoog-belonende ankers te ontdekken die lokale zoektochten in de strategieruimte zouden missen.

Fase 2: Distillatie naar Reactieve Strategieën

De in Fase 1 ontdekte diverse trajecten worden gedistilleerd in een set van $n$ reactieve, vaardigheidsgeconditioneerde strategieën $\Pi_n$ met behulp van geconstrueerd off-policy leren.

• Kader: De auteurs adopteren het Domino-kader, waarbij de gradiënt van de diversiteitsdoelfunctie wordt behandeld als een intrinsieke beloning.
• Stabilisatietechnieken: Om stabiele distillatie van offline trajectdata naar online reactieve strategieën in contactrijke taken te garanderen, worden drie kritieke modificaties geïntroduceerd:
  1. Symmetrische Sampling: Trainingsbatches bestaan voor 50% uit online data en voor 50% uit gefilterde CNS-trajecten (geselecteerd uit de top 25% van de opbrengsten). Dit voorkomt diversiteitscollapse tijdens de overgang naar online RL.
  2. De $v_{max}$-truc: In plaats van te vertrouwen op een enkele expert-strategie om de optimale waarde $v^*$ te schatten, updaten de auteurs $v^*$ als de maximale prestatie die is behaald over alle vaardigheden en de volledige trainingsgeschiedenis ($v^* \leftarrow \max\{v^*, \max_i v_i\}$). Dit biedt een monotoon toenemende, stabiele doelwaarde voor de suboptimaliteitsconstrentie, waardoor wordt voorkomen dat de diversiteitsdoelfunctie wordt verstikt door voortijdige optimaliteitsdruk.
  3. Hoge Strategie Update-ten-Data (UTD): In tegenstelling tot standaard offline-naar-online RL, waarbij de criticus vaak wordt bijgewerkt en de strategie zelden, verhoogt deze methode de frequentie van strategie-updates (bijvoorbeeld 4 updates per omgevingsstap). Dit is noodzakelijk omdat de intrinsieke beloning afhangt van de toestandsbezettingsgraad van de huidige strategiemengeling; frequente strategie-updates stellen de agent in staat gelijke tred te houden met het verschuivende intrinsieke landschap.

Belangrijkste Bijdragen

1. Empirische Identificatie van Verkenningsknelpunten: Het werk toont aan dat bestaande methoden voor geconstrueerde diversiteitsoptimalisatie (zoals Domino) falen bij het ontdekken van diverse strategieën in robotmanipulatie-taken vanwege het onvermogen van lokale verkenning om onverbonden hoog-belonende gebieden te overbruggen.
2. Traject-Eerst Curriculum: Een nieuwe tweestapsaanpak die evolutionaire zoektocht over op spline gebaseerde trajecten gebruikt om diverse hoog-belonende ankers te genereren, die vervolgens worden gedistilleerd in reactieve strategieën.
3. Stabilisatie-Recipe: Een reeks technieken (Symmetrische Sampling, $v_{max}$-truc, Hoge Strategie UTD) die stabiel offline-naar-online leren voor diversiteitsdoelen mogelijk maken, en die de niet-stationariteit van intrinsieke beloningen in geconstrueerde settings aanpakken.

Experimentele Resultaten

De methode werd geëvalueerd op vier robottaken: Maze Navigatie, Kubus Duwen, Knop Drukken en Kubus Omdraaien.

• Diversiteit versus Prestatie: Het voorgestelde curriculum bereikte een 1,5x toename in gedragsdiversiteit in vergelijking met de sterkste baseline (Domino), terwijl het vergelijkbare taakprestaties behield.
• Taak-specifieke Bevindingen:
  • Bij Maze Navigatie ontdekte de methode het grootste aantal distincte paden, terwijl baselines de neiging hadden te clustern rond veilige, botsingsvrije routes.
  • Bij Knop Drukken collapse baselines vaak tot het gebruik van dezelfde robotlink voor alle vaardigheden. De voorgestelde methode slaagde erin whole-body manipulatiestrategieën te ontdekken met behulp van verschillende robotlinks.
  • Bij Kubus Omdraaien vond de methode diverse contactmodi en krachtprofielen, terwijl op ruis gebaseerde verkenning baselines faalden door frequente botsingen en negatieve beloningen.
• Robuustheid: De methode bleef robuust onder adversariële beloningspecificaties (bijvoorbeeld hoge botsingsstraffen) waarbij baselines volledig faalden om met objecten te interageren, aangezien de CNS-fase een warmstart bood binnen hoog-belonende gebieden.

Betekenis en Claims

Het artikel stelt dat de primaire bottleneck in geconstrueerde diversiteitsoptimalisatie voor robotica niet de leerdoelfunctie zelf is, maar de afhankelijkheid van lokale verkenning. Door een inductieve bias in te voeren via op spline gebaseerde traject-priors, stellen de auteurs het ontdekken van diverse contactmodi mogelijk die anders ontoegankelijk zijn voor standaard zoektochten in de strategieruimte.

De auteurs positioneren dit werk als een oplossing voor de afweging tussen "verkenning-exploitatie" in diversiteitsoptimalisatie. Zij betogen dat, terwijl eerdere werken ervan uitgaan dat diverse hoog-belonende gedragingen gemakkelijk bereikbaar zijn onder online strategie-optimalisatie, deze aanname faalt in complexe manipulatie-taken. Het voorgestelde curriculum overbrugt globale traject-niveau verkenning en reactieve controle, en biedt een praktische recipe voor het trainen van robuuste, diverse agenten. De auteurs merken bescheiden beperkingen op, zoals de afhankelijkheid van handmatig gedefinieerde toestandskenmerken voor diversiteitsmeting en de vaste overgang tussen fasen, en suggereren dat toekomstig werk adaptief schakelen en representatieleren uit ruwe observaties zou kunnen verkennen.