Technische Samenvatting: Gecombineerde Beperkte Sampling en Reinforcement Learning voor Robotische Manipulatie

Probleemstelling

Het trainen van non-prehensile manipulatiebeleid in contactrijke omgevingen blijft een kernuitdaging in de robotica. Hoewel Reinforcement Learning (RL) sterke prestaties heeft geleverd bij het afhandelen van contactrijke dynamiek door onderliggende discontinuïteiten impliciet te verzachten, worstelt het met ernstige exploratieproblemen. Relevante interactiemodi vereisen vaak dat zeldzame contacttoestanden worden bereikt voordat er informatieve beloningen worden ontvangen.

Een kritieke flessenhals ligt in het ontwerp van de reset- en doelverdelingen ($p(s_0)$ en $p(g)$). Bestaande strategieën vertrouwen vaak op heuristieken, willekeurige scènegeneratie of taakspecifieke samplers (bijv. grasp-specifiek). Deze methoden slagen er niet in om een algemeen mechanisme te bieden voor het specificeren van de diverse contactconfiguraties die nodig zijn voor non-prehensile taken, zoals het balanceren van objecten, waarbij de toestandsruimte wordt beperkt door complexe contactdynamica en complementariteitsstructuren.

Methodologie

De auteurs stellen CSRL (Combined Constrained Sampling and Reinforcement Learning) voor, een framework dat een physics-geïnformeerde state sampler integreert met goal-conditioned RL. De aanpak bestaat uit drie hoofdcomponenten:

1. Beperkte State Sampler (Constrained State Sampler)

In tegenstelling tot standaard physics-simulatoren die dynamica voorwaarts samplen, genereert deze sampler geldige start- en doeltoestanden door een niet-lineair restrictieprobleem op te lossen. Het modelleert expliciet de structuur van contact om een diverse dekking van contactmodi te garanderen.

• Formulering: De sampler definieert een restrictieruimte $S_c$ met behulp van rigid-body dynamica, botsingsrestricties en contactkrachtrestricties (Coulomb-wrijvingskegels). Het gaat ervan uit dat doelen in quasi-statisch evenwicht kunnen worden vastgehouden.
• Variabelen: De beslissingsvariabelen omvatten discrete contactmodi ($c_{ij} \in \{0, 1\}$) en continue state-variabelen ($s$), samen met aanvalspunten en lineaire krachten voor actieve contacten.
• Samplingstrategie: Er wordt een hiërarchische aanpak gebruikt. Eerst wordt een contactmode-configuratie gesampled (bijv. het selecteren van 1, 2 of 3 steuncontacten). Vervolgens lost een Augmented Lagrangian-methode een proximaal optimalisatieprobleem op om een willekeurige box-constrained sample $\bar{s}$ te projecteren op het toegestane manifold $S_c$. Dit proces wordt herhaald totdat een dataset $D$ van geldige toestanden is gegenereerd.

2. Reset- en Curriculumstrategieën

Om de exploratieuitdaging in hoogdimensionale ruimtes aan te pakken waar willekeurige starts en doelen waarschijnlijk ver weg liggen, gebruikt CSRL twee aanvullende strategieën:

• Geprojecteerde Interpolatie: In plaats van te resetten naar willekeurige toestanden, samplet het systeem een start $a$ en een doel $g$ uit de beperkte dataset $D$. Het berekent een convexe interpolatie tussen hen in een ingebedde staatruimte $\phi$, en projecteert dit geïnterpoleerde punt vervolgens terug op het beperkte manifold $S_c$ (door de dichtstbijzijnde buur in $D$ te vinden). Dit zorgt ervoor dat tussenliggende toestanden fysiek geldig blijven.
• Curriculum Learning: Een fasevariabele $\alpha$ wordt gescheduled van nabij 0 naar 1. Aanvankelijk gebruikt interpolatie $t \sim U[0, \alpha]$, waarbij de agent dichter bij het doel wordt gereset. De MDP-afkaptijd wordt ook geschaald met $\alpha$, waardoor de agent korte rollouts nabij het doel kan verzamelen voordat hij langere, complexere trajecten aanpakt.

3. Integratie met RL

De beperkte sampler levert de distributie $p_0$ voor een goal-conditioned MDP. De RL-agent (met TD7 als standaard, met evaluaties van TD3 en HER-varianten) leert een universeel beleid $\pi: s, g \mapsto a$ om elke starttoestand met elke doeltoestand binnen de distributie te verbinden.

Belangrijkste Bijdragen

1. Nieuwe Beperkte State Sampler: Een methode om reset- en doelverdelingen te genereren voor contactrijke manipulatie die expliciet rekening houdt met de contactstructuur, wat een rijke dekking van diverse contactmodi biedt zonder zich te committeren aan specifieke interactieprimitieven.
2. Geprojecteerde Interpolatie en Curriculum: Een strategie om de kloof tussen gesamplede toestanden te overbruggen met behulp van restrictie-geprojecteerde interpolatie en een curriculum dat de taakmoeilijkheid geleidelijk verhoogt, wat de problemen met sparse rewards mitigeert.
3. Experimentele Validatie: Demonstratie dat deze aanpak beter presteert dan standaard RL met willekeurige resets en alternatieve resetmethoden over vier domeinen van toenemende moeilijkheid.

Experimentele Resultaten

De auteurs evalueerden CSRL op vier domeinen:

1. Double-sphere: Een basis-test voor universele manipulatie tussen quasi-statische toestanden.
2. Panda-sphere: Testt whole-body contact skills met een Panda-arm.
3. Sphere-cube: Testt rotatie- en oriëntatiecontrole, inclus\n bij het balanceren op randen/hoeken.
4. Panda-cube: Testt het controleren van een kubus met end-effector en vingercontacten.

Belangrijkste bevindingen:

• Superioriteit van Beperkte Sampling: Op de double-sphere en panda-sphere domeinen presteerde het gebruik van beperkte sampling voor zowel starts als doelen aanzienlijk beter dan willekeurige sampling. Willekeurige sampling presteerde bijzonder slecht op de panda-sphere taak, omdat het niet in staat was om geldige statische houdtoestanden te genereren.
• Impact van Interpolatie en Curriculum: Het toevoegen van geprojecteerde interpolatie en curriculum learning verbeterde de succesratio's en convergentiesnelheid verder over alle domeinen en RL-algoritmen (inclusief HER-varianten).
• Vergelijking met Reverse Curriculum: De voorgestelde interpolatiestrategie presteerde beter dan reverse curriculum generatie (die achterwaarts vanuit doelen simuleert), met name wat betreft computationele efficiëntie en succesratio's.
• Real-World Transfer: Een sphere-cube beleid getraind in simulatie werd succesvol overgedragen naar een real-world setup met een aan de end-effector bevestigde bal en OptiTrack tracking, wat het potentieel voor sim-to-real transfer van fundamentele manipulatieskills demonstreert.

Betekenis en Claims

Het artikel claimt dat door physics-gebaseerde dynamica-sampling aan te vullen met een physics-geïnformeerde beperkte state sampler, het mogelijk is om universele, non-prehensile en dynamische manipulatiebeleid te trainen in contactrijke settings. De aanpak adresseert effectief de exploratie-bottleneck in RL door ervoor te zorgen dat de agent vanaf het begin wordt blootgesteld aan diverse, fysiek geldige contactconfiguraties.

De auteurs positioneren dit werk als een stap naar generalistische non-prehensile manipulatie. Ze merken op dat hoewel de huidige aanpak gericht is op "privileged training" (waarbij het beleid volledige toegang heeft tot de state), het de grondslag legt voor toekomstige teacher-student paradigma's. Het artikel erkent beperkingen met betrekking tot de computationele kosten voor complexe objecten vanwege het gebruik van een enkele CPU NLP-solver en de uitdagingen van sensor-gebaseerde transfer, wat wijst op toekomstig werk in parallellisatie en toegewijde solvers.