Technische Samenvatting: LAMP (Latent Motion Prior-Guided Real-World Learning voor Dexterous Hand Manipulation)

1. Probleemstelling

Leren in de echte wereld voor behendige robotische handen staat voor een kritieke flessenhals: de hoge dimensionaliteit van de actieruimte van de hand vergroot imitatie-fouten en maakt exploratie via reinforcement learning (RL) onveilig en inefficiënt qua samples.

• Beperkingen van Imitation Learning (IL): Standaard visuomotorische policies blinken uit in het repliceren van trajecten, maar missen actieve exploratiecapaciteiten. In ruimtes met een hoog aantal vrijheidsgraden (DoF) stapelen kleine uitvoeringsfouten zich op, wat ertoe leidt dat de hand afdrijft naar configuraties buiten de distributie (OOD), waarbij contact verloren gaat.
• Beperkingen van Reinforcement Learning (RL): Onbeperkte stochastische exploratie in ruwe, hoog-dimensionale ruimtes triggert vaak bewegingen die contact verbreken (bijv. het laten vallen van objecten of het verbreken van delicate grepen). Zodra een object valt, is herstel halverwege een episode vaak onmogelijk voor fysieke hardware, wat leidt tot ijle beloningen (sparse rewards) en een prohibitief lage sample-efficiëntie.
• De Kloof: Terwijl biologisch leren gebruikmaakt van "gestructureerd motorisch babblen" geleid door intrinsieke priors, vertrouwen huidige robotica-pipelines vaak op ongestructureerde willekeurige gewrichtsbewegingen of eenvoudige dimensionaliteitsreductie die er niet in slaagt de continuïteit en uitvoerbaarheid te behouden die vereist zijn voor contactrijke taken.

2. Methodologie

Het paper introduceert LAMP (Latent Motion Prior-Guided Learning), een driefasen-framework gebouwd rond een Latent Motion Prior Module (LMPM). De kerninnovatie is een gedeelde, decodeerbare, historie-geconditioneerde latente actieruimte die imitation learning en residual RL verenigt.

2.1 De Latent Motion Prior Module (LMPM)

De LMPM fungeert als een interface tussen de hoog-dimensionale ruwe handruimte en een compacte latente ruimte.

• Architectuur: Het bestaat uit een encoder en een decoder.
• Input: De encoder neemt een historie van recente hand-doelcommando's ($H_t$) en brengt deze in naar een lokale latente prior-distributie $q_\phi(z_t | H_t)$, geparametriseerd door gemiddelde $\mu$ en variantie $\sigma$.
• Output: De decoder brengt gesamplede latente vectoren $z_t$ terug naar uitvoerbare hoog-dimensionale handdoelen ($\hat{h}_{t+1}$).
• Training: De module wordt vooraf getraind op offline teleoperatie-demonstraties met behulp van een reconstructieverlies en een KL-divergentie regularisator om een compacte, gladde latente manifold te garanderen. Cruciaal is dat de encoder na de pretraining bevroren wordt.

2.2 De driefasen leer-pipeline

LAMP maakt gebruik van de bevroren LMPM over drie fasen:

1. Fase 1: Pretraining van de LMPM

   • Traint het encoder-decoder paar op offline handbewegingsdata om een continue, decodeerbare manifold van behendige beweging te leren.
   • De encoder leert een "prior centrum" ($\mu_t$) te voorspellen op basis van recente bewegingshistorie, terwijl de decoder ervoor zorgt dat elk punt in de latente ruimte mapt naar een fysiek haalbaar handcommando.

2. Fase 2: Imitation Learning (Behavior Cloning)

   • Een visuomotorische policy ($\pi_{BC}$) wordt getraind om twee outputs te voorspellen:
     1. Natieve armcommando's (in de originele armruimte).
     2. Latente offsets ($\Delta \hat{z}_t$) ten opzichte van het bevroren LMPM prior centrum ($\mu_t$).
   • Het definitieve handcommando wordt gereconstrueerd als $D_\theta(\mu_t + \Delta \hat{z}_t)$.
   • Dit stelt de policy in staat om de bewegingsprior aan te passen aan visuele observaties, terwijl de handbeweging beperkt blijft tot de geleerde, contact-consistente manifold.

3. Fase 3: Residual Reinforcement Learning

   • Online RL opereert in dezelfde latente ruimte om de policy te verfijnen.
   • De RL-agent voorspelt residuals ($\rho^z_t$) in de latente ruimte, die worden toegevoegd aan de behavior cloning latente actie ($z_{t,BC} + s_z \rho^z_t$) voordat er gedecodeerd wordt.
   • Belangrijk Voordeel: Exploratie wordt beperkt tot lokale correcties rond de gedemonstreerde bewegingsmanifold. In plaats van elke vingergewricht onafhankelijk te verstoren (wat het risico op contactverlies met zich meebrengt), maakt de agent vloeiende, gestructureerde aanpassingen in de latente ruimte die decoderen naar veilige, uitvoerbare handbewegingen.

3. Belangrijkste Bijdragen

1. LMPM (Latent Motion Prior Module): Een historie-geconditioneerde latente bewegingsprior die een continue, decodeerbare manifold van behendige handbeweging leert van offline trajecten. Het biedt een compacte interface die recente bewegingshistorie mapt naar een lokaal prior centrum.
2. LAMP Framework: Een verenigd real-world learning framework dat imitation learning en residual RL integreert via de gedeelde LMPM latente interface. Dit stelt de policy in staat om offsets rond een prior te voorspellen en deze te verfijnen via RL zonder de veilige, contact-consistente bewegingsmanifold te verlaten.
3. Empirische Validatie: Demonstratie van het framework op vier complexe real-world taken, waarbij significante verbeteringen worden getoond ten opzien van ruwe, lineaire (PCA) en discrete (VQ-VAE) actie-interfaces.

4. Experimentele Resultaten

De auteurs evalueerden LAMP op een Franka Research 3 arm met een Ruiyan behendige hand over vier taken: Grasp & Place, Open Drawer, Pull Tissue, en Assemble Box.

• Imitation Learning Prestaties:

  • Raw Space: Leed onder hoog-dimensionale jitter en slaagde er niet in contact te vestigen (0% succes op de meeste taken).
  • PCA: Verbeterde de succesratio's door dimensies te comprimeren, maar miste het vermogen om complexe, niet-lineaire contactpatronen te modelleren.
  • VQ-VAE (Discreet): Verminderde de dimensionaliteit, maar introduceerde jitter door codebook-switching, wat zorgde voor glijdende objecten.
  • LAMP: Bereikte de hoogste initiële IL-succesratio's (bijv. 75% op Grasp & Place, 55% op Assemble Box) dankzij de vloeiende, historie-geconditioneerde beweging.

• Reinforcement Learning Prestaties:

  • Raw/PCA: RL-exploratie was inefficiënt; exploratie in de ruwe ruimte verbrak vaak contact, terwijl de vaste lineaire projectie van PCA de bewegingsmanifold niet effectief kon herparameteriseren.
  • VQ-VAE: Verbeterde met RL, maar bleef beperkt door discrete sprongen.
  • LAMP: Bereikte bijna perfecte of perfecte succesratio's na online RL.
    • Grasp & Place: 100% uiteindelijke succes.
    • Open Drawer: 100% uiteindelijke succes.
    • Pull Tissue: 95% uiteindelijke succes.
    • Assemble Box: 100% uiteindelijke succes.
  • Totaal: LAMP verhoogde de gemiddelde IL-succesratio van 56,25% naar 98,75% na online RL, waarmee alle baselines significant werd overtroffen.

• Ablatie Studies:

  • Het verwijderen van de laag-dimensionale bottleneck (het uitbreiden van latente dimensies) verslechterde de prestaties, wat aangeeft dat een compacte ruimte cruciaal is voor coördinatie.
  • Het verwijderen van de historie-geconditioneerde encoder verzwakte de initialisatie, hoewel het systeem stabieler bleef dan ruwe controle, wat de waarde van de historie-prior bevestigt.

5. Betekenis en Claims

Het paper claimt dat LAMP de "exploratiecrisis" in real-world dexterous manipulatie aanpakt door ongestructureerde willekeurige exploratie te vervangen door gestructureerde, historie-geconditioneerde exploratie.

• Veiligheid en Efficiëntie: Door exploratie te beperken tot een decodeerbare latente manifold afgeleid van demonstraties, voorkomt LAMP de "contact-breaking" mislukkingen die de ruwe-ruimte RL teisteren, waardoor real-world training sample-efficiënt en veilig wordt.
• Bruggen Slaan tussen IL en RL: Het framework slaagt erin imitation learning en reinforcement learning te verenigen. De IL-policy biedt een sterke, contact-consistente initialisatie, terwijl de RL-residual fungeert als een lokale corrector in plaats van een globale planner.
• Praktische Bruikbaarheid: De resultaten tonen aan dat een geleerde bewegingsprior kan dienen als een praktische actie-interface voor real-robot dexterous manipulatie, waarbij het zowel lineaire compressie als discrete tokenisatiemethoden overtreft in taken die langdurig, delicaat contact vereisen.

De auteurs merken beperkingen op, specifificeren dat de huidige LMPM taakspecifiek is en geschikte offline trajecten vereist voor pretraining. Ze suggereren dat toekomstig werk zich kan richten op multi-task algemene priors en de toepassing op hands met hogere DoF.