Technische Samenvatting: Schaalbare leerprocessen voor behendige robots met AR-gebaseerde mens-robotinteracties op afstand

Probleemstelling

Het artikel behandelt de uitdaging van schaalbaar leren voor manipulatietaken binnen behendige robotarm-hand-systemen. Deze systemen beschikken over een hoog aantal vrijheidsgraden (Degrees of Freedom, DoF), wat het ontwerp van de besturing complex maakt. Hoewel imitatie-leren (bijv. Behavior Cloning) snel trajecten kan leren van expertdemonstraties, lijdt het aan data-mismatch en cumulatieve fouten, wat leidt tot verminderde prestaties. Omgekeerd biedt Reinforcement Learning (RL) schaalbaarheid, maar vereist het vaak uitgebreide trainingstijd en brengt het het risico op "policy collapse" met zich mee, waarbij de agent de initiële expertbegeleiding vergeet. Bovendien is het verzamelen van hoogwaardige expertdemonstraties voor teleoperatie tijdrovend, en falen bestaande methoden voor het integreren van imitatie en RL vaak in het voorkomen van policy collapse of het efficiënt benutten van beperkte demonstratiedata.

Methodologie

De voorgestelde oplossing is een tweefasig leerkader dat Augmented Reality (AR) integreert voor dataverzameling, Behavior Cloning (BC) voor pretraining, en Contrastive Learning-versterkte RL voor beleidsoptimalisatie.

1. AR-gebaseerd systeem voor mens-robotinteractie op afstand

Om de bottleneck in dataverzameling aan te pakken, hebben de auteurs een teleoperatiesysteem ontwikkeld met behulp van AR-headsets (specifiek de HoloLens 2).

• Architectuur: Het systeem verbindt de AR-headset en de behendige robot (CGXi-G6 arm met een Inspire hand) via een Unity-platform over WiFi of 5G.
• Proces: Een expert draagt de AR-headset om handposities te volgen. Deze posities worden in kaart gebracht naar de kinematica van de robot, waardoor de robot de acties van de expert op afstand kan repliceren.
• Dataverzameling: Deze opstelling legt expertdemonstratiedata vast ($A_{expert} = \{(s^E_t, a^E_t)\}$, die dient als fundament voor de leerpijplijn.

2. Tweefasig leeralgoritme

Het kernalgoritme werkt in twee afzonderlijke fasen:

Fase I: Behavior Cloning (BC) Pretraining

• Het beleidsnetwerk ($\pi_\theta$) wordt voorgetraind door een regressieprobleem op te lossen waarbij de gemiddelde kwadratische fout tussen de acties van het beleid en de gedemonstreerde acties van de expert wordt geminimaliseerd.
• Deze fase stemt het besturingsbeleid van de robot af op de voorkeuren van de expert, wat een sterke initialisatie biedt voor de daaropvolgende RL-fase.

Fase II: Contrastive Learning-versterkte RL

• RL-formulering: De manipulatietaak wordt geformuleerd als een Soft Actor-Critic (SAC) probleem, waarbij de verwachte som van entropie-versterkte beloningen wordt gemaximaliseerd.
• Beloningsontwerp: De totale beloning $r(s_t, a_t)$ bevat:
  • Bewegingsvloeiendheid: Bestraft schokkerige bewegingen.
  • Event-gestuurde beloning: Een stuksgewijze functie die positieve beloningen geeft voor taaksucces en negatieve beloningen voor botsingen of mislukte contacten tussen hand en object (ter verbetering van de veiligheid).
  • Aanpassing van de handhouding: Moedigt geometrische uitlijning aan tussen de hand en het object.
• Contrastive Learning & Projectiehoofd: Om policy collapse te voorkomen en de sample-efficiëntie te verbeteren, is een projectiehoofd (een Multi-Layer Perceptron) geïntroduceerd.
  • Dit hoofd brengt zowel de expertacties ($a^E_t$) als de gegenereerde acties van de actor ($a_t$) voor dezelfde staat in kaart naar een latente ruimte.
  • Een contrastieve verliesfunctie ($L_{CL}$) wordt geminimaliseerd om de overeenkomst (cosinus-gelijkenis) tussen de representaties van expert- en actoracties te maximaliseren.
  • Dit dwingt het RL-beleid om dicht bij de door de expert geprefereerde staat-acties te blijven, wat de exploratie effectief stuurt.
• Trainingslus: Het Q-netwerk, het projectiehoofd en het actornetwerk worden gezamenlijk geoptimaliseerd. Zodra de training voltooid is, wordt het projectiehoofd weggegooid, waardoor een robuust beleid overblijft.

Belangrijkste Bijdragen

1. AR-gebaseerd teleoperatiesysteem: De auteurs hebben een algemeen AR-gebaseerd systeem geconstrueerd voor het verzamelen van expertdemonstratiedata, waarbij compatibiliteit tussen diverse AR-headsets en robotische systemen wordt gegarandeerd via een Unity-gebaseerde edge-server.
2. Imitatie en Contrastive Learning-ondersteunde RL: Het artikel stelt een nieuw algoritme voor dat BC-pretraining combineert met een contrastieve leermechanisme. In tegen tegenstelling tot eerdere werken die kunnen lijden onder policy collapse tijdens RL-fijnregeling, gebruikt deze methode een projectiehoofd om door de expert geprefereerde beperkingen af te dwingen, wat de sample-efficiëntie en stabiliteit aanzienlijk verbetert.
3. Uitgebreide Validatie: De methode is gevalideerd door middel van uitgebreide fysieke simulaties (PyBullet) en real-world trials, waarbij superieure prestaties werden aangetoond ten opzichte van standaard baselines.

Experimentele Resultaten

Het voorgestelde algoritme werd geëvalueerd tegen verschillende baselines: PPO, SAC, Advantage Weighted Actor-Critic (AWAC), en een variant van de voorgestelde methode zonder contrastive learning (BC+SAC).

• Simulatieprestaties: In taken met het grijpen van flessen, vervormbare ballen en boren, behaalde de voorgestelde methode de hoogste gemiddelde beloningen en succespercentages.
  • Convergentiesnelheid: Het vereiste aanzienlijk minder iteraties en minder tijd om te convergeren vergeleken met PPO, SAC en AWAC. Bijvoorbeeld, bij het grijpen van flessen convergeerde het in 30 iteraties (75 minuten) vergeleken met 210 iteraties (500 minuten) voor PPO.
  • Succespercentages: De voorgestelde methode behaalde succespercentages van 95,70% (fles), 91,39% (bal) en 85,30% (boor), waarmee het alle baselines overtrof.
• Prestaties in de echte wereld: In 50 real-world trials behield het algoritme de hoogste succespercentages van alle methoden. Hoewel de succespercentages voor vervormbare objecten iets lager uitvielen in de echte wereld dan in de simulatie vanwege perceptiebeperkingen en geometrische complexiteit, vertoonde de taak van het grijpen van flessen een minimale sim-to-real kloof.
• Ablatiestudie: De studie bevestigde dat BC-pretraining dominant is in het verminderen van de trainingstijd, terwijl de toevoeging van contrastive learning cruciaal is voor het overwinnen van policy collapse en het verder verbeteren van de prestaties.

Betekenis en Claims

Het artikel claimt dat de integratie van contrastive learning met imitatie-leren voor behendige robotmanipulatie een nieuwe bijdrage is die voorheen niet is uitgevoerd. De betekenis van het werk ligt in:

• Schaalbaarheid: De methode versnelt het trainingsproces aanzienlijk en vermindert de afhankelijkheid van enorme hoeveelheden expertdata (slechts 15 expert-trajecten werden gebruikt voor pretraining in de experimenten).
• Stabiliteit: Het pakt effectief het probleem van policy collapse aan, een veelvoorkomende foutmodus bij de RL-fijnregeling van imitatie-policies.
• Praktijkgerichtheid: Het AR-gebaseerde teleoperatiesysteem biedt een levensvatbare, goedkope methode voor het verzamelen van diverse expertdata, waardoor de kloof tussen menselijke expertise en robotische uitvoering wordt overbrugd.

De auteurs concluderen dat hun model-vrije algoritme snel convergentie bereikt en hogere succespercentages behaalt dan bestaande baselines, waarmee een robuuste oplossing wordt geboden voor algemene manipulatietaken in behendige systemen. Toekomstig werk gesuggereerd door de auteurs omvat het verbeteren van de sim-to-real transfer via hoogwaardige geometrische reconstructie en het uitbreiden van de aanpak naar multi-agent dual-arm systemen.