Technische Samenvatting: GPU-Parallel Multi-Task Reinforcement Learning met Demonstration Guided Policy Optimization

Probleemstelling

Hoewel grootschalige GPU-parallel reinforcement learning (RL) de robotische simulatie heeft getransformeerd tot een hoogdoorvoerende trainingssubstraat, optimaliseren huidige systemen voornamelijk "specialistische" policies—één doelstelling, één policy, één trainingsrun tegelijk. Deze aanpak faalt in het benutten van het potentieel voor een enkele policy om een breed scala aan gestructureerde manipulatievaardigheden te verwerven. De overgang naar Multi-Task Reinforcement Learning (MTRL) in massaal parallelle settings introduceert nieuwe algoritmische uitdagingen die verder gaan dan alleen monstercollectie (sample collection), specifiek met betrekking tot de stabiliteit van de waarde (value stability), taakimbalans en het effectieve gebruik van eerdere demonstratiegegevens. Bovendien ontbreken bestaande benchmarks zoals LIBERO, hoewel ze rijk zijn aan gestructureerde taakvariaties (object, ruimtelijk, doel en lange horizon), de heterogene, GPU-parallel uitgevoerde uitvoering die nodig is om een enkele generalistische policy over diverse taakfamilies te trainen.

Methodologie

Het artikel stelt een tweeledige oplossing voor: een benchmark-constructiemethodologie (MT-Libero) en een nieuw optimalisatiealgoritme (DGPO).

1. MT-Libero: Een GPU-Parallel Benchmark Constructie

MT-Libero is een instantiatie van een schaalbare constructiemethodologie met behulp van Isaac Lab en LIBERO assets. Het overbrugt de kloof tussen gestructureerde taakdefinities en GPU-parallelle uitvoering door:

• Semantiek te scheiden van uitvoering: Taakbeschrijvingen, herbruikbare assets (geconverteerd naar USD), resetregels, succespredicaten en beloningsinterfaces worden gecompileerd in één enkele gevectoriseerde trainingslus.
• Heterogene parallellisme: In plaats van onafhankelijke simulators per taak te lanceren, voert MT-Libero heterogene taakgroepen (Doel, Object, Ruimtelijk, Lang) uit binnen één gevectoriseerde omgeving. Dit maakt het mogelijk dat een gedeelde simulator, renderer, rollout buffer en policy update stack 40 verschillende taken simultaan afhandelt.
• Input Flexibiliteit: Het framework ondersteunt zowel state-input policies (met gebruik van taak-embeddings en proprioceptieve data) als visual-input policies (met gebruik van bevroren ViT-encoders voor third-person en polscamera-beelden).
• Curriculum en Randomisatie: Het bevat fysieke randomisatie en een gripper-curriculum dat aanvankelijk demonstratiecommando's volgt voordat het overgaat naar geleerde controle.

2. DGPO: Demonstration-Guided Policy Optimization

Om de schaarse succes-signalen en beperkte eerdere data aan te pakken, introduceren de auteurs DGPO, een on-policy methode die PPO combineert met adaptieve behavior cloning. In tegen tegenstelling tot methoden die demonstraties behandelen als vaste imitatie-doelen of offline replay-data, gebruikt DGPO deze als taakbewuste begeleiding terwijl online verbetering behouden blijft.

• Importance-Weighted PPO (IW-PPO): Om taakimbalans te beheren, heralloceert DGPO het PPO-gradiëntbudget op basis van de succesratio per taak. Het gebruikt een Exponential Moving Average (EMA) van succesratio's om gewichten ($w_t$) toe te wijzen. Taken die onder het multi-task gemiddelde presteren, ontvangen hogere gewichten, terwijl makkelijkere taken lagere gewichten krijgen. Dit voorkomt de valkuilen van loss-gebaseerde weging (bijv. FAMO), die verward kunnen worden door beloningsschalen of critic-fit in on-policy RL.
• Adaptive Behavior Cloning (ABC): DGPO voegt een regularisatieterm toe aan de actor die afwijking van gematchte demonstratie-acties ($a^\star_t$) voor de huidige rollout-staat ($o_t$) bestraft. Cruciaal is dat de sterkte van deze imitatie ($\beta_k$) adaptief is:
  • Deze wordt bepaald door de huidige succesratio van de taak ($\tau_k$).
  • "Zwakke" studenten (lage succesratio) ontvangen sterke demonstratie-druk ($\beta \approx \beta_{max}$).
  • "Meester"-taken (hoge succesratio) ontvangen minimale druk ($\beta \approx \beta_{min}$).
  • Dit stelt de policy in staat om te specialiseren met behulp van demonstraties waar dat nuttig is, maar door te optimaliseren via online RL naarmate de competentie groeit.
• Verenigde Doelstelling: De totale loss combineert de gewogen PPO-doelstelling (policy, value en entropie) met de adaptieve BC-term, waardoor de policy on-policy blijft terwijl deze door demonstraties wordt begeleid.

Belangrijkste Bijdragen

1. MT-Libero Benchmark: De auteurs stellen een GPU-parallelle constructiemethodologie voor en instantiëren deze voor gestructureerde multi-task robot RL. Het maakt het mogelijk om generalistische policies te trainen op heterogene taaksuites (40 taken) in één enkele lus, met ondersteuning voor zowel state- als visuele inputs, variërende beloningen en curricula.
2. DGPO Algoritme: Ze introduceren een demonstratie-geleide PPO-methode die cross-taak importantie-weging combineert met adaptieve behavior cloning. Deze aanpak stelt de policy in staat om eerdere data te gebruiken voor begeleiding zonder de stabiliteit en de voordelen van online verbetering van on-policy PPO op te offeren.
3. Empirische Validatie: Het artikel demonstreert dat DGPO superieur is aan prior-free RL en bestaande demonstratie-gebaseerde baselines (inclusief MT-RLPD, MT-RFCL, MT-DAPG en MT-DeepMimic) in zowel state- als visuele settings, waarbij een hogere gemiddelde succesratio en een betere taakdistributie-dekking wordt bereikt.

Experimentele Resultaten

De experimenten evalueren het constructierecept, de effectiviteit van DGPO en de trade-offs van demonstratie-druk.

• Benchmark Prestaties: MT-Libero bereikt 3.825 stappen per seconde (SPS) op een enkele L20 GPU met 1.600 parallelle omgevingen, wat de MuJoCo CPU-baseline (2.274 SPS) aanzienlijk overtreft terwijl het veel minder geheugen gebruikt (8,2 GB VRAM vs. 2,3 TB RAM). End-to-end PPO training schaalt naar ~26.800 SPS op 8 GPU's.
• Methode Vergelijking:
  • State-Input: DGPO bereikt een gemiddelde succesratio van 85,2% over alle suites, wat de eerstvolgende beste baseline (MT-PPO met 42,5%) aanzienlijk overtreft. Het voordeel is bijzonder uitgesproken in de "Long" (lange horizon) suite (59,1% vs. 19,8%).
  • Visual-Input: DGPO bereikt een gemiddelde succesratio van 69,8%, wat ook alle baselines overtreft. Opvallend genoeg faalden off-policy baselines (MT-RLPD, MT-RFCL) om te convergeren in de visuele setting onder dezelfde geheugenbeperkingen vanwege de beperkingen van de replay buffer.
• Ablatie Studies:
  • Het verwijderen van IW-PPO verslechtert de prestaties op moeilijke "tail" taken aanzienlijk (de 20e percentiel succesratio daalt van 4,3% naar 1,9%), wat de rol ervan bij het balanceren van gradiëntallocatie bevestigt.
  • Het verwijderen van Adaptive BC veroorzaakt een catastrofale ineenstorting van het leren (gemiddelde succesratio daalt naar 5,1%), wat de noodzaak van demonstratie-begeleiding voor initiële convergentie benadrukt.
• Generalisatie: DGPO vertoont een kleine trade-off in generalisatie binnen het demonstratiebereik vergeleken met minder gespecialiseerde policies, maar dit wordt overtroffen door de winst in nominale taaksucces.

Betekenis en Claims

Het artikel claimt dat compacte RL-policies al een VLA-achtige (Vision-Language-Action) multi-task breedte kunnen bereiken wanneer ze worden getraind met menselijke demonstraties met behulp van de voorgestelde infrastructuur en algoritme.

• Infrastructuur: Het werk demonstreert dat gestructureerde manipulatie-distributies kunnen worden gecompileerd naar heterogene GPU-parallelle substraten, waarmee men verder gaat dan geïsoleerde taakruns naar gezamenlijke multi-task learning.
• Algoritmische Efficiëntie: DGPO bewijst dat demonstraties effectief kunnen worden gebruikt, niet alleen als vaste doelen of offline data, maar als adaptieve, taakafhankelijke begeleiding die de stabiliteit van on-policy leren behoudt.
• Toekomstperspectief: De auteurs suggereren dat dezelfde trainingsinterface (MT-Libero + DGPO) kan worden uitgebreid naar grotere modellen, specifelijk voor VLA+RL post-training, waarbij de benchmark wordt gebruikt voor grootschalige interactiegegevens en de GPU-parallelle infrastructuur voor efficiënte multi-task fine-tuning.

Het artikel blijft bescheiden over beperkingen en erkent dat MT-Libero momenteel beperkt is tot gesimuleerde tabletop manipulatie met vaste morfologieën en dat sim2sim transfer voor contact-rijke taken nog imperfect is. Desalniettemin vormt het een fundamentele stap richting schaalbare, generalistische robotica.