Visual-Tactile Peg-in-Hole Assembly Learning from Peg-out-of-Hole Disassembly

Titel: Visueel-Tactiele Prik-in-Gat Assemblage Leren van Prik-uit-Gat Demontage

1. Het Probleem
De taak "peg-in-hole" (PiH), of het invoeren van een pen in een gat, is een fundamentele maar uitdagende manipulatieopgave voor robots, essentieel voor industriële assemblage en dagelijkse taken. De uitdagingen zijn:

• Exploratiekosten: Reinforcement Learning (RL) methoden vereisen vaak enorme hoeveelheden trial-and-error data om succesvol te zijn, wat tijdrovend is en hardware slijtage veroorzaakt.
• Sensormodaliteiten: Alleen visuele sensoren zijn gevoelig voor occlusie en kunnen krachten niet direct meten. Alleen tactiele sensoren missen de langeafstandsrichting naar het gat.
• Asymmetrie: Het invoeren (PiH) vereist precieze krachtregeling en aanpassing om vastlopen (jamming) te voorkomen, terwijl het verwijderen (peg-out-of-hole, PooH) vaak eenvoudiger is en minder aanpassing vereist.

2. Methodologie
De auteurs stellen een nieuw raamwerk voor dat de inverse taak (PooH) gebruikt om de moeilijke taak (PiH) te leren. Het proces verloopt in drie fasen binnen een gedeelde omgeving die beide taken als deels waarneembare Markov-beslissingsprocessen (POMDP's) modelleert.

• Gedeelde Observatieruimte: Het systeem gebruikt een multi-modale observatie bestaande uit:
  • Kinematica: Positie en oriëntatie van de robotgreep.
  • Visie: Globale context via camera (96x96 pixels).
  • Tactiel: Contactinformatie afgeleid van visuele tactiele sensoren (GelSight-achtig), verwerkt via PCA tot een 15-dimensionale vector.
• Fase 1: PooH Policy Training: Eerst wordt een policy ($\pi_{out}$) getraind voor de PooH-taak (het eruit halen) met behulp van het Soft Actor-Critic (SAC) algoritme. Omdat PooH makkelijker is, kan dit efficiënter en veiliger worden gedaan in simulatie.
• Fase 2: Generatie van PiH Demonstraties (Omgekeerde Trajecten):
  • De getrainde PooH-trajecten worden tijdelijk omgekeerd (reverse) om een ruwe PiH-traject te creëren.
  • Actie-Randomisatie: Omdat de tactiele ervaring bij invoeren (contact, vastlopen) anders is dan bij verwijderen, wordt er tijdens het omkeren actie-randomisatie toegepast. Wanneer de pen dicht bij het gat is, worden willekeurige zijwaartse bewegingen ($\Delta x, \Delta y$) toegevoegd. Dit simuleert de noodzakelijke aanpassingen en "jamming-recovery" die bij PiH voorkomen, waardoor de tactiele data rijker en representatiever wordt.
• Fase 3: PiH Policy Training: De gegenereerde, omgekeerde en gerandomiseerde trajecten worden gebruikt als expert-data om de PiH-policy ($\pi_{in}$) te trainen.
  • Hybride Replay Buffer: Het trainingssysteem gebruikt een buffer die zowel interactie-data als de gegenereerde expert-data bevat. Het aandeel expert-data neemt geleidelijk af tijdens het trainen (annealing).
  • Behavior Cloning (BC) Loss: Een extra verliesfunctie wordt toegevoegd om de policy te leiden naar expert-gedrag, wat de stabiliteit en sample-efficiëntie verbetert.

3. Belangrijkste Bijdragen

• PooH-naar-PiH Leerframework: Een innovatieve aanpak die de inverse taak gebruikt om expert-data te genereren voor de assemblage-taak, wat de exploratiekosten drastisch verlaagt.
• Integratie van Visie en Tactie: Een unificatie van visuele en tactiele waarneming die respectievelijk de benadering van het gat en de correctie van misalignatie tijdens contact faciliteert.
• Actie-Randomisatie voor Tactiele Symmetrie: Een methode om de asymmetrie tussen invoeren en verwijderen te overbruggen door willekeurige bewegingen toe te voegen aan omgekeerde trajecten, waardoor realistischere contactpatronen worden gegenereerd.

4. Resultaten
Experimenten werden uitgevoerd in simulatie (MuJoCo) en in de echte wereld met een ABB YuMi-robot en diverse geometrieën (kubus, cilinder, D-vorm, etc.) met verschillende spelingen (0.5mm, 1mm, 2mm).

• Successpercentage: Het voorgestelde framework bereikte een gemiddeld successpercentage van 87,5% op bekende objecten en 77,1% op onbekende objecten.
• Vergelijking met Baselines: Dit is 18,1% hoger dan directe RL-methoden die PiH van scratch leren. Het presteerde ook beter dan puur toezichtleren (Supervised Learning) en residu-politiek methoden, vooral in generalisatie naar onbekende objecten.
• Krachtregulering: De visueel-tactiele policy resulteerde in 6,4% lagere contactkrachten dan methoden die slechts één sensormodaliteit gebruikten. Visie verbeterde de benaderingsnauwkeurigheid (minder impact), terwijl tactiele feedback de krachten tijdens de invoer reguleerde.
• Sim-to-Real: De methode slaagde erin om in de echte wereld te worden overgebracht met een gemiddeld successpercentage van 72,1%, ondanks de complexiteit van fysieke wrijving en sensorruis.

5. Betekenis en Conclusie
Dit paper toont aan dat het leren van assemblage-taken via hun inverse (demontage) een krachtige strategie is om de data-efficiëntie van Reinforcement Learning te verbeteren. Door de unieke voordelen van visie (langeafstandsrichting) en tactiel (lokale contactfeedback) te combineren en slimme data-transformatietechnieken (omkering + randomisatie) toe te passen, kunnen robots robuuste assemblagevaardigheden leren zonder de hoge kosten van uitgebreide fysieke exploratie. Dit opent de deur voor efficiëntere robotassemblage in dynamische en onvoorspelbare omgevingen.