Towards Human-Like Manipulation through RL-Augmented Teleoperation and Mixture-of-Dexterous-Experts VLA

Deze paper introduceert een geïntegreerd framework dat RL-getrainde teleoperatiehulp (IMCopilot) en een Mixture-of-Dexterous-Experts VLA-architectuur (MoDE-VLA) combineert om mensachtige, contactrijke bimanuele manipulatie mogelijk te maken door kracht- en tactiele sensoren naadloos te integreren.

De kern

Stel je voor dat je een robot wilt leren om een appel te schillen. Dat klinkt simpel, maar voor een robot is het net zo moeilijk als voor een mens om te leren fietsen terwijl je tegelijkertijd een evenwichtsoefening doet op een slingerende boot. Robots zijn geweldig in het oppakken en neerzetten van dingen (zoals een blikje), maar ze worstelen met het bewegen van dingen in hun hand, zoals het draaien van een appel terwijl je schilt.

Deze paper beschrijft een slimme oplossing om robots menselijker en handiger te maken. Ze gebruiken een combinatie van drie magische ingrediënten. Laten we het uitleggen alsof we een superkrachtig team bouwen:

1. De "IMCopilot": De Slimme Handhulp

Stel je voor dat je een robot bestuurt via een exoskelet (een soort robotpak). Normaal gesproken moet je met je eigen handen elke kleine beweging van de robot-fingers regelen. Dat is als proberen een viool te bespelen terwijl je blind bent; het is bijna onmogelijk om de juiste druk en draaiing te voelen.

De auteurs hebben een IMCopilot (In-hand Manipulation Copilot) bedacht. Dit is een kleine, slimme robot in de robot's hoofd die gespecialiseerd is in één ding: dingen in de hand draaien.

• Tijdens het leren: Als de menselijke operator een appel moet draaien, hoeft hij/zij niet zelf die moeilijke draaiing te regelen. Ze drukken op een pedaal (zoals een versnelling in een auto) en de IMCopilot doet het perfecte draaiwerk. De mens regelt alleen de grote bewegingen (zoals de arm naar de appel brengen).
• Tijdens het werken: Later, als de robot alleen werkt, kan de hoofdbestuurder (de AI) zeggen: "Draai de appel nu!" en de IMCopilot voert die taak direct en perfect uit. Het is alsof je een ervaren sous-chef hebt die de moeilijke snijtechnieken doet, terwijl jij het menu bepaalt.

2. De "MoDE-VLA": De Meesterkok met Gevoel

De meeste robot-hersenen (AI-modellen) zijn getraind op simpele taken en zien alleen wat er gebeurt. Ze hebben geen gevoel voor kracht of aanraking. Als je ze een taak geeft waarbij je moet voelen of iets vastzit, raken ze in de war.

De auteurs hebben een nieuw brein gebouwd genaamd MoDE-VLA.

• Het probleem: Als je een robot een appel laat schillen, moet hij voelen: "Is het mes te diep?" of "Glijdt de appel?" Normale AI's zien dit niet.
• De oplossing: Ze hebben een speciaal kanaal toegevoegd voor kracht en aanraking. Stel je voor dat de robot een nieuwe zintuiglijke zenuw heeft gekregen.
• De "Mix van Experts": In plaats van één grote hersenstam die alles probeert te doen, hebben ze een "team van experts" gemaakt.
  • Als de robot een schroef in een gat moet draaien, schakelt hij de "Kracht-expert" in.
  • Als hij moet voelen of een voorwerp vastzit, schakelt hij de "Aanraking-expert" in.
  • Ze werken samen, maar zonder elkaar te verwarren. Het is alsof je een orkest hebt waar de violist (kracht) en de fluitist (aanraking) perfect op elkaar inspelen, zonder dat de dirigent (de basis-AI) in de war raakt.

3. De "Teleoperatie met Feedback": De VR-bril met Trillingen

Om deze robot te leren, hebben ze mensen nodig om het te doen. Maar hoe leer je iemand een robot te besturen die 63 gewrichten heeft?

• Ze gebruiken een VR-bril en een exoskelet.
• Het slimme stukje: De robot geeft terugkoppeling. Als de robot tegen een object duwt, voelt de mens in zijn VR-bril een trilling of ziet hij een visuele hint.
• Dit is alsof je een video-game speelt, maar dan met je hele lichaam. Als je tegen een muur duwt, voel je de weerstand. Hierdoor kunnen mensen veel sneller en beter data verzamelen voor de robot om van te leren.

Wat hebben ze bereikt?

Ze hebben dit getest op vier moeilijke taken:

1. Een appel schillen: De robot houdt de appel vast, draait hem en schilt hem in één lange, ononderbroken ring. Dit was nog nooit eerder autonoom gelukt met twee handen!
2. Een lader steken: Een stekker precies in een stopcontact duwen.
3. Tandwielen monteren: Kleine onderdelen in elkaar klikken.
4. Reageerbuisjes verplaatsen: Voorzichtig glazen buisjes van de ene naar de andere hand overdragen.

Het resultaat?
Zonder hun nieuwe systeem lukte het maar in 15% van de gevallen. Met hun systeem (IMCopilot + MoDE-VLA) lukte het in 34% van de gevallen. Voor de appel-schil-taak was het succes zelfs enorm: de robot slaagde erin om 73% van de appel perfect schoon te maken, terwijl andere robots vaak de appel lieten vallen of niet goed konden draaien.

Kortom:
Ze hebben een robot gemaakt die niet alleen "kijkt" wat hij moet doen, maar ook "voelt" wat hij doet, en die een slimme assistent heeft die de moeilijke vingertoppen-taken overneemt. Hierdoor kunnen robots eindelijk taken doen die lijken op wat wij mensen doen: niet alleen pakken, maar ook manipuleren.

Technische samenvatting

Hier is een gedetailleerd technisch overzicht van het paper "Towards Human-Like Manipulation through RL-Augmented Teleoperation and Mixture-of-Dexterous-Experts VLA", samengevat in het Nederlands.

1. Probleemstelling

Hoewel Vision-Language-Action (VLA) modellen succesvol zijn gebleken bij robotmanipulatie, zijn ze tot nu toe beperkt tot eenvoudige "pick-and-place" taken met eind-effectoren met een laag aantal vrijheidsgraden (DoF), zoals parallelle grijpers. Het uitbreiden van deze modellen naar mensachtige, bimanuele dexteriteit (zoals het schillen van een appel of het assembleren van tandwielen) stuit op drie kritieke uitdagingen:

1. Data-acquisitie bottleneck: Het teleopereren van een systeem met 63 vrijheidsgraden (twee armen met complexe handen) is extreem moeilijk. Zelfs experts vinden het lastig om hoge-kwaliteits demonstraties te leveren voor precieze, contactrijke taken zoals het draaien van een object in de hand.
2. Multi-skill leerprobleem: Taken zoals appelschillen vereisen een hiërarchie van vaardigheden: grove bewegingen (visueel geleid), fijne bewegingen (krachtgeleid) en in-hand manipulatie (tactiel geleid). Een enkel beleid (policy) heeft moeite om deze kwalitatief verschillende fasen te beheersen in een hoge-dimensionale actieruimte.
3. Heterogeniteit van modaliteiten: Het simpelweg samenvoegen van kracht- en tastsignalen met visuele en taaldata in een bestaand VLA-model werkt niet goed. Deze modaliteiten hebben verschillende fysieke betekenissen en tijdsdynamieken, wat vaak leidt tot een verslechtering van de prestaties in plaats van een verbetering.

2. Methodologie

Het paper introduceert een geïntegreerd raamwerk bestaande uit twee synergetische componenten: IMCopilot en MoDE-VLA.

A. IMCopilot (In-hand Manipulation Copilot)

Dit is een suite van door Reinforcement Learning (RL) getrainde atomaire vaardigheden voor manipulatie in de hand. Het speelt een dubbele rol:

• Tijdens data-acquisitie: Het fungeert als een "shared-autonomy" assistent. De operator voert grove bewegingen uit via een exoskelet, maar kan via voetpedalen complexe in-hand taken (zoals het draaien van een appel) delegeren aan IMCopilot. Dit verlaagt de cognitieve last en zorgt voor hoogwaardige demonstraties.
• Tijdens autonome uitvoering: IMCopilot fungeert als een aanroepbare laag-niveau vaardigheid. Het VLA-model kan IMCopilot activeren wanneer specifieke in-hand manipulatie nodig is, terwijl het zelf de planning en grove bewegingen blijft regelen.

De vaardigheden (zoals stabiele grip en rotatie) worden getraind met PPO (Proximal Policy Optimization) in simulatie (IsaacLab) met asymmetrische actor-critic architectuur en teacher-student distillatie voor sim-to-real transfer.

B. MoDE-VLA (Mixture-of-Dexterous-Experts VLA)

Dit is een nieuwe architectuur die kracht- en tastmodaliteiten naadloos integreert in een voorgeprente VLA-backbone (gebaseerd op OpenPI-0/π0).

• Specifieke paden: Kracht (arm-torque) en tast (vingertop-sensoren) worden verwerkt via een dedicated pad, gescheiden van de visuele en taal tokens.
• Sparse Mixture-of-Experts (MoE): Een router selecteert dynamisch welke "experts" (MLP's) actief zijn op basis van de manipulatiefase (bijv. vrije ruimte vs. contact vs. rotatie). Dit zorgt voor gespecialiseerde verwerking zonder de rekenlast per token te verhogen.
• Residuale Injectie: De output van de experts wordt niet als nieuwe actie gebruikt, maar als residuele correctie op de voorspelling van de basis-VLA. Dit zorgt ervoor dat het model contactbewust wordt zonder de bestaande, robuuste kennis van de voorgeprente backbone te vernietigen.
• Token Constructie: Kracht- en tastdata worden geprojecteerd naar de embedding-ruimte en gerepliceerd over de actie-horizon, zodat de router kan beslissen welke expert op welk tijdstip actief moet zijn.

3. Belangrijkste Bijdragen

1. IMCopilot: Een uniek systeem dat de kloof overbrugt tussen teleoperatie en autonome uitvoering, waardoor data-acquisitie voor complexe taken mogelijk wordt en het systeem hiërarchisch kan opereren.
2. MoDE-VLA: Een innovatieve VLA-architectuur die kracht en tast integreert via dedicated attention-mechanismen, sparse routing en residuale injectie, waardoor contactbewuste actiegeneratie mogelijk is zonder de pre-training te degraderen.
3. Eerste autonome dubbel-handige appelschil: Het paper presenteert de eerste autonome robot die een appel kan schillen, een taak die de volledige synergie van alle voorgestelde componenten vereist.

4. Resultaten

Het systeem werd getest op vier taken met toenemende complexiteit: tandwielassemblage, oplader inpluggen, testbuisjes herschikken en appelschillen.

• Data-acquisitie: Met IMCopilot en kracht/tast-feedback steeg het succespercentage bij het verzamelen van data voor in-hand manipulatie van 34% naar 89%. Voor kleine objecten (pingpongballen) was de verbetering zelfs van 10% naar 83%.
• Prestaties VLA: MoDE-VLA behaalde een gemiddeld succespercentage van 34% over alle taken, wat 19% hoger is dan de baseline (π0).
  • Bij eenarmige taken (tandwielen, oplader) was de verbetering het grootst (tot +20%), dankzij de krachtgeleide experts die contactdetectie en compliantie regelen.
  • Bij appelschillen bereikte het systeem een 30% succesrate en een 73% schilvoltooiingsratio (PCR). Baselines faalden vaak door het object te laten vallen of niet te kunnen draaien.
• Ablatiestudies:
  • Het verwijderen van krachtdata leidde tot de grootste daling (-11% gemiddeld), wat aantoont dat kracht essentieel is voor contactdetectie.
  • Het verwijderen van tastdata leidde tot een daling van 8%, voornamelijk door slippen tijdens grijp-taken.
  • Het verwijderen van IMCopilot bij appelschillen liet de succesrate van 30% naar 0% (of zeer laag) zakken, wat aantoont dat directe VLA-besturing van de vingers voor rotatie niet voldoende is.

5. Betekenis

Dit werk is een doorbraak in de richting van mensachtige robotica. Het lost het fundamentele probleem op dat VLA-modellen vaak "blind" zijn voor fysieke interactie en dat het verzamelen van data voor complexe handvaardigheden te moeilijk is voor mensen. Door RL-versterkte teleoperatie te combineren met een modaal gespecialiseerde VLA-architectuur, maken de auteurs het mogelijk voor robots om contactrijke, bimanuele taken uit te voeren die eerder alleen voor mensen haalbaar waren. Dit opent de deur voor robots in complexe omgevingen waar fijne motoriek en krachtregulatie cruciaal zijn.