Technische Samenvatting: Abstractie van Robot Manipulatievaardigheden via Mixture-of-Experts Diffusion Policies

Probleemstelling

Diffusion-gebaseerde policies hebben opmerkelijk succes getoond in single-task robotmanipulatie door actiegeneratie te modelleren als een denoising-proces. Het uitbreiden van deze policies naar multi-task scenario's brengt echter aanzienlijke uitdagingen met zich mee. Huidige strategieën vertrouwen vaak op het opschalen van de modelgrootte en demonstratiedatasets om generalisatie te bereiken. Deze aanpak brengt prohibitieve kosten met zich mee: overgedimensioneerde modellen lijden onder trage inferentiesnelheden die ongeschikt zijn voor real-time controle, en de vereiste demonstratiedata groeit exponentieel met de diversiteit van de taken. Bovendien falen bestaande Mixture-of-Experts (MoE) toepassingen in robotica vaak in het expliciet ontwarren van herbruikbare manipulatievaardigheden, wat leidt tot verstrengelde gedragingen en een gebrekkige interpreteerbaarheid. De kernuitdaging is het mogelijk maken van effectieve multi-task generalisatie onder gematigde modelgroottes en lage sampling-latentie, terwijl wordt gewaarborgd dat vaardigheden herbruikbaar en overdraagbaar zijn.

Methodologie: Skill Mixture-of-Experts Policy (SMP)

De auteurs stellen de Skill Mixture-of-Experts Policy (SMP) voor, een diffusion-gebaseerd framework dat een compacte, orthogonale skill-basis leert en acties samenstelt uit een ijle subset van experts.

1. State-Adaptive Orthogonale Skill-Basis

In plaats van een vaste actie-basis gebruikt SMP een state-afhankelijke orthonormale basis $B(s) \in \mathbb{R}^{d \times K}$ (waarbij $K \ll d$).

• Constructie: Een lichtgewicht neuraal netwerk genereert een onbeperkte matrix $W(s)$, die wordt geprojecteerd op de Stiefel-variëteit met behulp van een differentieerbare thin-QR retractie met tekenstabilisatie. Dit zorgt ervoor dat de basisvectoren orthonormaal blijven en continu evolueren met de robotstatus (bijv. armpositie, contact), waardoor lokale ontwarring behouden blijft.
• Actie-decompositie: Acties worden gedecodeerd als $a_t = B(s_t)(g_t \odot z_t)$, waarbij $g_t$ de gating-gewichten zijn en $z_t$ de skill-coëfficiënten. Deze orthogonale decompositie zorgt ervoor dat elke expert bijdraagt aan een afzonderlijke, niet-overlappende richting in de actieruimte.

2. Sticky Routing en Globale Gebruik

Om het probleem van snelle, instabiele wisselingen tussen experts (chatter) aan te pakken, gebruikt SMP sticky Dirichlet-Markov dynamiek voor het gating-mechanisme.

• Temporele Consistentie: De gate $g_t$ wordt gemodelleerd als een Markov-proces waarbij de huidige staat afhankelijk is van de vorige gate $g_{t-1}$ en een globale gebruiksvector $\vartheta$. Dit stimuleert stuksgewijs constante skill-activaties, wat aansluit bij de quasi-stationaire fasen van manipulatietaken (bijv. grijpen, bewegen, loslaten).
• Globaal Gebruik: Een globale vector $\vartheta$ legt de algehele prevalentie van skills vast, wat voorkomt dat de policy vervalt in een enkele expert terwijl een gebalanceerd gebruik over verschillende taken wordt gehandhaafd.

3. Variational Training Objective

SMP wordt getraind via variational inference om de evidence lower bound (ELBO) te maximaliseren, die uit drie componenten bestaat:

• Reconstructie Verlies ($L_{recon}$): Zorgt ervoor dat de gesynthetiseerde actie in de gewitte basis overeenkomt met de grondwaarheid. Cruciaal is dat de training twee coëfficiënt-targets gebruikt: een stop-gradient target voor de diffusion surrogate en een gradient-carrying target voor de reconstructie van de actie, waardoor de skill-basis $B(s)$ kan worden bijgewerkt zonder het diffusion-proces te destabiliseren.
• Gate Regularisatie ($L_{gate}$): Stemt de geamortiseerde gate posterior af op de sticky Dirichlet prior, wat temporele stickiness en globale gebruiksvoorwaarden afdwingt.
• Coëfficiënt Regularisatie ($L_{coeff}$): Stemt de skill-coëfficiënten af op hun diffusion priors.

4. Adaptieve Expert-Activatie bij Inferentie

Om de computationele kosten te verlagen, evalueert SMP niet alle experts bij elke stap.

• State-Only Router: Een lichtgewicht router voorspelt de gate-gewichten uitsluitend op basis van de staat $s_t$.
• Sparse Selectie: Experts worden gerangschikt op basis van hun "massa" ($m_i = \bar{g}_{t,i}^2$). Het systeem activeert alleen de top-$k$ experts of de kleinste subset die een drempelwaarde (bijv. 95%) van de totale massa dekt. Dit levert een ijle, state-afhankelijke activatie op, wat de actieve parameters en latentie aanzienlijk vermindert.

Belangrijkste Bijdragen

1. SMP Framework: Een diffusion-gebaseerde MoE policy die expliciet herbruikbare manipulatievaardigheden abstraheert via een state-afhankelijke orthogonale actie-basis met sticky routing.
2. Adaptieve Activatiestrategie: Een dynamisch selectiemechanisme dat bij inferentie een compacte subset van experts activeert, wat de computationele kosten verlaagt terwijl de nauwkeurigheid van de actie-sampling behouden blijft.
3. Empirische Validatie: Uitgebreide evaluatie in simulatie (RoboTwin-2, RLBench-2) en op een echt dual-arm platform, waarbij een superieur multi-task succespercentage en lagere inferentiekosten worden aangetoond vergeleken met sterke diffusion baselines.

Experimentele Resultaten

De auteurs hebben SMP geëvalueerd tegen vanilla diffusion policies (DP, DP3), transformer-gebaseerde policies (ACT), grote foundation modellen (RDT) en andere skill-abstractie of MoE baselines.

• Multi-Task Learning: SMP behaalde consistent hogere succespercentages over bimanuele taken (bijv. trays tillen, overhandigen, vegen) vergeleken met baselines. Terwijl het schalen van RDT (een model met 1,2 miljard parameters) de success rate slechts met 19% verbeterde ten opzichte van een kleinere baseline, behaalde SMP een hogere prestatie met een aanzienlijk kleinere footprint.
• Efficiëntie: SMP verminderde de inferentietijd en de actieve parameters. Het activeerde ongeveer 30% van zijn eigen parameters (ongeveer 7% van de totale parameters van RDT) terwijl het een hoge success rate behield. In tegen staat leden dense baselines en FFN-MoE varianten aan hogere latentie door de noodzaak om alle experts te synchroniseren of te evalueren.
• Transfer Learning:
  • Few-Shot Adaptatie: Bij het finetunen op nieuwe taken met slechts 10 demonstraties presteerde SMP beter dan baselines door effectief relevante experts te hergebruiken zonder de volledige backbone te hoeven hertrainen.
  • Skill Compositie: In taken die de recombinatie van geleerde skills vereisen (bijv. frietjes in een pan leggen), slaagde de router-only fine-tuning van SMP erin om skills succesvol te hercomponeren, terwijl baselines wazige rollen en inconsistente fasen vertoonden.
• Real-Robot Prestaties: Op een PiPER dual-arm platform behaalde SMP de hoogste progress scores op vier complexe bimanuele taken (bijv. pendoppen verwijderen, bonen schenken) met een lagere latentie dan diffusion baselines.

Betekenis en Claims

Het artikel claimt dat SMP een praktisch pad biedt naar schaalbare, overdraagbare multi-task manipulatie. Door eenmaal herbruikbare skills te leren en alleen te activeren wat nodig is, adresseert SMP de trade-off tussen modelcapaciteit en inferentie-efficiëntie. De auteurs benadrukken dat de geleerde experts overeenkomen met intuïtieve manipulatierollen (linker/rechter arm, pick/move/place fasen) en dat het adaptieve activatiemechanisme een eenvoudige knop biedt om de balans tussen nauwkeurigheid en latentie te regelen. Het werk suggereert dat expliciete skill-ontwarring en fase-consistente routing cruciaal zijn voor robuuste bimanuele controle, wat een efficiënter alternatief biedt voor brute-force model scaling.

De auteurs erkennen beperkingen en merken op dat de huidige studie zich richt op bimanuele manipulatie met relatief kleine backbones. Toekomstig werk wordt voorgesteld om SMP te schalen naar grotere modellen, de evaluatie uit te breiden naar single-arm en mobiele manipulatie, en uitgebreidere real-robot studies uit te voeren om de robuustheid onder sensorruis en domeinverschuiving te beoordelen.