Constraint-Enhanced Reinforcement Learning Based on Dynamic Decoupled Spherical Radial Squashing

Dit artikel introduceert Dynamic Decoupled Spherical Radial Squashing (DD-SRad), een door constraints versterkte reinforcement learning-methode die de geometrische mismatch tussen heterogene actuatortijdsnelheidslimieten en isotrope constraints oplost door positie-adaptieve, per-gewricht stralen te berekenen, waardoor nul constraint-overtredingen, exacte gradiënt-backpropagatie en superieure taakprestaties worden bereikt, zowel in simulatie als bij implementaties op high-fidelity humanoid robots.

De kern

Stel je voor dat je een robot leert lopen, dansen of rennen met een gamecontroller. In de echte wereld hebben de gewrichten van de robot (zoals knieën, heupen en enkels) fysieke limieten voor hoe snel ze kunnen bewegen. Als je de knie van een robot opdracht geeft om te snel van de ene naar de andere positie te springen, kan de motor doorbranden, of kan de robot struikelen en vallen.

Het probleem is dat elk gewricht een ander snelheidslimiet heeft. De heupen van je robot kunnen sterk en snel zijn, en snel bewegen, terwijl de enkels delicaat en traag zijn. Dit is als een auto waarvan de motor hoog kan toeren, maar waarvan de wielen in de modder vastzitten en slechts langzaam kunnen draaien.

Het probleem: de "één maat voor allen"-fout

Eerdere methoden om robots te leren, probeerden deze snelheidslimieten te hanteren door een "globaal snelheidslimiet" op de hele robot te leggen. Stel je een groep hardlopers voor: een sprinter, een marathonloper en een peuter. Als je hen allemaal zegt: "Jullie mogen niet sneller rennen dan de peuter", wordt de sprinter onnodig beperkt. Als je zegt: "Ren zo snel als jullie kunnen", blijft de peuter achter (of in het geval van de robot, breekt hij).

In wiskundige termen zegt het artikel dat oude methoden probeerden een perfecte cirkel (een bol) in een rechthoekige doos van toegestane bewegingen te passen.

• De doos: Vertegenwoordigt de echte wereld waar de heup veel kan bewegen, maar de enkel slechts weinig.
• De cirkel: Vertegenwoordigt de oude AI-methode. Deze probeert een cirkel in die doos te passen.
• Het resultaat: De cirkel laat enorme lege hoeken in de doos achter. De robot krijgt te horen dat hij zijn heup niet zo snel mag bewegen als hij fysiek zou kunnen, alleen om de "cirkel" veilig te houden. Dit verspillen het potentieel van de robot.

De oplossing: DD-SRad (Dynamic Decoupled Spherical Radial Squashing)

De auteurs hebben een nieuwe methode ontwikkeld genaamd DD-SRad. Denk hierbij aan het geven van een slimme, verstelbare handschoen aan elke vinger (gewricht) afzonderlijk.

In plaats van één grote regel voor de hele hand, berekent DD-SRad een specifiek "snelheidslimiet" voor elke vinger op basis van:

1. Hoe snel die specifieke vinger mag bewegen.
2. Waar die vinger zich momenteel bevindt.

Als de heup van de robot zich in een positie bevindt waar hij veilig snel kan bewegen, laat de "handschoen" hem gaan. Als de enkel dicht bij zijn limiet is, "verstrakt" de "handschoen" zich alleen voor die enkel.

De analogie:
Stel je voor dat je een auto bestuurt met een zeer gevoelig gaspedaal en een zware rem.

• Oude methode: Je legt een blok hout onder het gaspedaal zodat je het niet meer dan 1 inch kunt indrukken. Dit houdt je veilig, maar je kunt niet versnellen, zelfs niet als de weg vrij is.
• DD-SRad: Je hebt een slim pedaal dat precies weet hoe hard je kunt indrukken op basis van je huidige snelheid en de wegomstandigheden. Het laat je vol gas geven als het veilig is, maar trekt voorzichtig terug als je dicht bij een muur komt.

Waarom dit belangrijk is (de resultaten)

Het artikel testte dit op digitale robots (in een simulator genaamd MuJoCo) en hoogwaardige simulaties van echte humanoïden (Unitree H1 en G1).

1. Geen gebroken gewrichten: De methode garandeert dat de robot nooit vraagt een gewricht sneller te bewegen dan zijn limiet. Het is een 100% veiligheidsgarantie.
2. Maximale prestaties: Omdat het de snelle gewrichten niet meer tegenhoudt, leerden de robots zich beter en sneller te bewegen dan eerdere methoden. In tests behaalden ze de hoogst mogelijke scores zonder ooit een regel te overtreden.
3. Betere dekking: Het artikel beweert dat deze methode 30% tot 50% meer van de mogelijke bewegingen dekt dan de oude "cirkel"-methoden. Het vult de "hoeken" van de doos die eerder leeg waren.
4. Geen vertragingen: In tegenstelling tot andere methoden die complexe wiskundige berekeningen (het oplossen van vergelijkingen) vereisen bij elke stap om de veiligheid te controleren, doet DD-SRad dit direct met een eenvoudige formule. Het is snel genoeg voor realtime besturing.

De conclusie

Het artikel betoogt dat we, om robots veilig en behendig te maken in de echte wereld, moeten stoppen met het behandelen van alle gewrichten hetzelfde. Door elk gewricht zijn eigen aangepaste "snelheidslimiet" te geven die dynamisch verandert naarmate de robot beweegt, kunnen we het volledige potentieel van de robot vrijmaken zonder risico op schade. De auteurs hebben dit succesvol gedemonstreerd op gesimuleerde humanoïden, en tonen een duidelijk pad van de technische handleiding (datasheet) van een robot naar een veilig ingezette, hoogpresterende machine.

Technische samenvatting

Technische Samenvatting: Dynamische Gekoppelde Sferische Radiale Squashing (DD-SRad)

1. Probleemstelling

Het implementeren van beleidsregels voor versterkende leer (RL) op fysieke robots vereist het voldoen aan actuator-snelheidsbeperkingen: harde limieten voor hoe snel de positiecommando's van elke gewricht per controlestap kunnen veranderen ($|a^i_t - a^i_{t-1}| \le \delta^i$). Deze limieten zijn structureel heterogeen; door verschillen in motorinertie en transmissiestijfheid varieert de snelheidslimiet $\delta^i$ aanzienlijk tussen gewrichten (bijvoorbeeld, heupgewrichten staan vaak veel hogere snelheden toe dan enkelgewrichten).

Bestaande methoden falen om deze heterogeniteit geometrisch te hanteren:

• MPC/QP-benaderingen leiden tot runtime-olverlast en lijden onder inconsistentie tussen training en implementatie, wat end-to-end optimalisatie verhindert.
• Beperkte MDP-methoden (CMDP) (bijv. CPO, FOCOPS) bieden slechts garanties in verwachte vorm, waardoor tijdelijke per-stap-overtredingen mogelijk zijn die hardware kunnen beschadigen.
• Actieparametrisatiemethoden leggen doorgaans isotrope $\ell_2$-bolbeperkingen op (bijv. Sferische Radiale Squashing, SRad). Onder heterogene beperkingen dekt een $\ell_2$-bol met straal $R = \min_i \delta^i$ de werkelijke haalbare verzameling (een $\ell_\infty$-hyperrechthoek) ernstig onvoldoende. De volumeverhouding van de $\ell_2$-bol tot de werkelijke haalbare verzameling verslechtert exponentieel met dimensie en heterogeniteit, wat effectief de verkenningsruimte voor gewrichten met hoge budgetten comprimeert.
• $\ell_\infty$-clipping-methoden (bijv. BoxPre+) dekken de juiste geometrie, maar trunceren gradiënten aan de grens, waardoor richtingsinformatie tijdens beleidsupdates verloren gaat.

De kernuitdaging is het bereiken van harde per-stap-beperkingen, exacte $\ell_\infty$-dekking van de haalbare verzameling en end-to-end gradiënt-backpropagatie zonder runtime-olverlast.

2. Methodologie: DD-SRad

Het artikel stelt Dynamische Gekoppelde Sferische Radiale Squashing (DD-SRad) voor, een gladde analytische actieparametrisatie die het geometrische mismatch tussen de beleidsoutput en de heterogene snelheidsbeperkingen oplost.

Kernmechanisme

In tegenstelling tot SRad, dat een enkele globale straal $R$ gebruikt, berekent DD-SRad een positieadaptieve effectieve straal $R^i_{\text{eff}}$ onafhankelijk voor elke actiedimensie $i$:
$$R^i_{\text{eff}}(u^i, a^i_{\text{prev}}) = \begin{cases} \min(\delta^i, a^i_{\max} - a^i_{\text{prev}}) & \text{als } u^i > 0 \\ \min(\delta^i, a^i_{\text{prev}} - a^i_{\min}) & \text{als } u^i < 0 \\ \delta^i & \text{als } u^i = 0 \end{cases}$$

De transformatie zet een latente actie $u \in \mathbb{R}^d$ om naar de fysieke actie $a$ via onafhankelijke per-dimensie sferische squashing:
$$a^i = a^i_{\text{prev}} + R^i_{\text{eff}}(u^i, a^i_{\text{prev}}) \cdot \frac{u^i}{\sqrt{1 + (u^i)^2}}$$

Belangrijkste Eigenschappen

1. Geometrische Uitlijning: De bereikbare verzameling van DD-SRad is exact de $\ell_\infty$-hyperrechthoek gedefinieerd door de snelheidslimieten en positiegrenzen, waardoor het volume dat verloren gaat door isotrope $\ell_2$-baselines wordt hersteld.
2. Harde Beperkingen: De transformatie garandeert $|a^i - a^i_{\text{prev}}| \le \delta^i$ en $a^i \in [a^i_{\min}, a^i_{\max}]$ met waarschijnlijkheid 1 voor elke latente actie $u$.
3. Gradiëntbehoud: De transformatie is glad en analytisch (behalve bij $u=0$, een gebeurtenis met maat nul). De Jacobiaan is een diagonaal positief gedefinieerde matrix, waardoor volledige richtingsgradiëntinformatie van de criticus zonder truncatie naar het beleid wordt doorgegeven.
4. Zero Overhead: Als plug-and-play-laag vereist het geen runtime-olvers (QP/MPC) en integreert het direct in off-policy-ruggengraten zoals SAC en TD3.

3. Belangrijkste Bijdragen

• Geometrische Uitlijning: DD-SRad bereikt exacte $\ell_\infty$-dekking van de haalbare verzameling via per-dimensie adaptieve stralen, waardoor het volume dat systematisch verloren gaat door $\ell_2$-baselines onder heterogene beperkingen wordt hersteld.
• Theoretische Garanties: Het artikel bewijst per-stap harde beperkingen met waarschijnlijkheid 1 en stelt grenzen vast voor de Jacobiaan-conditiegetal, waardoor goed geconditioneerde gradiënten worden gewaarborgd.
• End-to-End Compatibiliteit: De gladde analytische vorm ondersteunt exacte beleidsgradiënt-backpropagatie met zero runtime-olverlast, compatibel met standaard off-policy-algoritmen.
• Empirische Validatie: Uitgebreide experimenten tonen aan dat DD-SRad de hoogste taakreturn bereikt met zero beperkingsovertredingen, en baselines overtreft in zowel MuJoCo-benchmarks als high-fidelity IsaacLab-simulaties.

4. Experimentele Resultaten

De auteurs evalueerden DD-SRad op MuJoCo (Ant, Humanoid, HalfCheetah, Hopper) en IsaacLab (Unitree H1 en G1 humanoid robots).

MuJoCo Benchmarks

• Prestatie: Onder strakke heterogene beperkingen behaalde DD-SRad de hoogste return in alle 8 omgeving-ruggengraatconfiguraties (SAC en TD3), vaak gelijkend op of het onbeperkte bovengrens overtreffend.
• Beperkingbenutting: DD-SRad toonde een verbetering van 30%–50% in de dekking van de beperkingsruimte in vergelijking met sferische baselines. In tegenstelling tot SRad-Strict, dat last had van structurele instorting (bijv. 68,8% beperkingsovertreding op Ant-SAC), handhaafde DD-SRad zero overtredingen.
• Vergelijking: DD-SRad overtrof $\ell_\infty$-clipping (BoxPre+) met 5%–14% in return, wat bevestigt dat gladde gradiëntpropagatie superieur is aan gradiënttruncatie aan grenzen.

High-Fidelity Simulatie (IsaacLab)

• Robuustheid: Met behulp van officiële gewrichtspecificaties voor Unitree H1 (ruw terrein) en G1 (vlak terrein) bereikte DD-SRad optimale locomotie.
  • H1 (Ruw): DD-SRad behaalde een return van 37,14 met een valpercentage van 48,7%, aanzienlijk beter dan BoxPre+ (23,11 return, 70,2% val) en SRad-Strict (0,83 return, 100% val).
  • G1 (Vlak): DD-SRad behaalde een return van 5473 met een valpercentage van 0,3% en de laagste snelheidstrackingfout (0,138 m/s).
• Adaptieve Toewijzing: Radargrafieken en spreidingsdiagrammen bevestigden dat DD-SRad taakadaptieve toewijzing van snelheidsbudgetten mogelijk maakt (bijv. het benutten van heupgewrichten voor voortstuwing terwijl het enkelbeweging op vlak terrein wordt geminimaliseerd), een mogelijkheid die wordt geblokkeerd door de uniforme activering van clipping-methoden of de geometrische compressie van sferische methoden.

5. Betekenis en Claims

Het artikel claimt een systematische weg van hardwaredatasheets naar veilige implementatie te bieden. Door de actieruimte direct te parametriseren op basis van officiële gewrichtsnelheidsspecificaties, stelt DD-SRad RL-agenten in staat om optimale beleidsregels te leren die fysieke limieten respecteren zonder beloningsengineering of post-hoc veiligheidsfilters.

De auteurs benadrukken dat DD-SRad de fundamentele geometrische mismatch oplost tussen de $\ell_\infty$-aard van snelheidsbeperkingen en de $\ell_2$-aard van standaard sferische parametrisaties. Dit maakt mogelijk:

1. Veilige Implementatie: Harde garanties op actuatorlimieten voorkomen stilzwijgende commandoverwerpen of hardwarebeschadiging.
2. Efficiënt Leren: Door de volledige geometrie van de haalbare verzameling te behouden, kan de agent het volledige scala aan fysiek mogelijke acties verkennen, wat leidt tot snellere convergentie en hogere prestaties.
3. Schaalbaarheid: De methode schaalt naar hoogdimensionale humanoid robots (17+ gewrichten) zonder de rekenlast van QP-olvers.

Het werk concludeert dat terwijl bestaande methoden ofwel veiligheid, geometrische dekking of trainings-efficiëntie opofferen, DD-SRad alle drie tegelijkertijd bereikt, wat zijn bruikbaarheid voor real-world robotbesturing valideert.