MoRI: Mixture of RL and IL Experts for Long-Horizon Manipulation Tasks

Probleemstelling

Robuuste robotmanipulatie, vooral voor langdurige taken (long-horizon tasks) die zowel grove bewegingen als contactrijke precisievereisen combineren, blijft een uitdaging. Bestaande leerparadigma's hebben elk specifieke tekortkomingen:

• Imitatie-Leren (IL): Biedt efficiënte beleidsafleiding via expertdemonstraties, maar lijdt aan cumulatieve fouten (compounding errors) en distributieverplaatsing (distribution shift). Het kan moeilijk omgaan met de strenge eisen van hoge precisie buiten de trainingsdata.
• Versterkend Leren (RL): Staat autonome exploratie toe en is robuust in contactrijke situaties, maar heeft een lage sample-efficiëntie en vereist vaak veel trial-and-error, wat leidt tot hoge kosten en langzame convergentie.
• Huidige Hybride Methoden: Bestaande combinaties van IL en RL struggle vaak met complexe taken, vereisen veel menselijke interventie, of hebben een te hoge rekentijd voor praktische implementatie.

Er is behoefte aan een framework dat de efficiëntie van IL combineert met de aanpassingsvermogen van RL, terwijl het convergentie versnelt, menselijke interventie minimaliseert en veiligheid garandeert.

Methodologie: MoRI Framework

Het paper introduceert MoRI (Mixture of RL and IL Experts), een framework gebaseerd op de Mixture-of-Experts (MoE) architectuur. Het systeem dynamisch schakelt tussen een IL-expert en een RL-expert op basis van de variantie van hun acties.

Kerncomponenten:

1. Architectuur:

   • IL-expert (BC): Verantwoordelijk voor grove, deterministische bewegingen (bijv. een lade openen).
   • RL-expert (SAC): Verantwoordelijk voor fijne, contactrijke manipulaties met hoge onzekerheid.
   • Gating Network: Een netwerk dat de gewichten ($w_{bc}$ en $w_{rl}$) toewijst aan de experts. De beslissing om te schakelen is gebaseerd op de variantie van de acties van de experts. Een lage variantie duidt op zekerheid (IL), terwijl hoge variantie onzekerheid aangeeft (RL).

2. Twee-fasen Training Pipeline:

   • Fase 1: Offline Pre-training:
     • Gebruikt een kleine dataset van 20 demonstraties.
     • De BC-expert wordt gefinetuned met een MSE-verlies.
     • De RL-expert wordt geïnitieerd via Advantage-Weighted Actor-Critic (AWAC) om de policy te aligneren met menselijke strategieën zonder blind te exploreren.
     • Een discrete BC-expert (DBC) wordt toegevoegd voor de grijpercontrole (open/hold/sluiten) om convergentie te versnellen ten opzichte van DQN.
   • Fase 2: Online Fine-tuning:
     • Het systeem gebruikt drie buffers: Demonstratiebuffer ($D_{demo}$), Succesbuffer ($D_{success}$) en Replay-buffer ($D_{replay}$).
     • Regulering: De RL-expert wordt geregulariseerd door de actie-distributie van de BC-expert. Dit beperkt de exploratie tot veilige gebieden en voorkomt dat de RL-expert de basisvaardigheden vergeet.
     • Hard Selection: Op elk tijdstip wordt de actie gekozen van de expert met het hoogste gewicht ($w_{bc} > w_{rl}$ of andersom), wat zorgt voor duidelijke specialisatie.

3. Verliesfuncties:

   • Het MoE-gating netwerk wordt geoptimaliseerd met een multi-component verliesfunctie die gewogen variantie-minimalisatie, specialisatie, load balancing en entropie-regulering combineert.

Belangrijkste Bijdragen

1. Dynamische Scheduling: Een nieuw mechanisme binnen de MoE-architectuur dat experts toewijst op basis van actievariantie, waardoor grove bewegingen door IL en fijne manipulaties door RL worden afgehandeld.
2. Geïntegreerde Pipeline: Een combinatie van offline pre-training en online fine-tuning met een kleine set demonstraties, wat de co-training-efficiëntie en convergentiesnelheid aanzienlijk verbetert.
3. Veiligheid en Sample-Efficiëntie: Het introduceren van IL-gebaseerde regulering voor de RL-component, wat de exploratie veilig houdt en de noodzaak voor menselijke interventie tijdens training drastisch verlaagt.

Resultaten

De methode is geëvalueerd op vier complexe real-world taken (bijv. blok in lade plaatsen, handdoek vouwen, stekkers invoegen).

• Prestaties: MoRI bereikte een gemiddelde successrate van 97,5% binnen 2 tot 5 uur fine-tuning.
• Vergelijking met Baselines (ConRFT):
  • Convergentie: 21% sneller dan de baseline.
  • Menselijke Interventie: Verminderd met 85,8% (van ~49% naar ~7% van de dataset).
  • Autonome Succesratio: Toename van 37,0% naar 78,3% (een stijging van 111,7%).
• Vergelijking met Individuele Experts: MoRI (97,5% successrate) presteerde aanzienlijk beter dan alleen BC (37,5%) of alleen RL (77,5%).
• Ablatie Studies:
  • Zonder BC-regulering steeg de menselijke interventie naar 45,4% en daalde de successrate naar 70%.
  • Het gebruik van DBC (Discrete BC) voor de grijper was superieur aan DQN, vooral bij langdurige taken met veel grijper-switches.

Significantie

MoRI biedt een praktische oplossing voor het balanceren van efficiëntie en robuustheid in robotmanipulatie. Het framework overbrugt de kloof tussen statische datasets en dynamische real-world omgevingen door de sterke punten van imitatie (veiligheid, snelheid) en versterkend leren (aanpassingsvermogen, precisie) te combineren.

De resultaten tonen aan dat het mogelijk is om complexe, langdurige taken te leren met minimale menselijke tussenkomst en korte trainingstijden, wat een belangrijke stap is naar de bredere inzetbaarheid van autonome robots in onvoorspelbare omgevingen. Toekomstig werk richt zich op het uitbreiden naar hiërarchische systemen met Vision-Language Models en het gebruik van World Models om fysieke trials te vervangen door simulatie.