Technische Samenvatting: Veilige Executie van RL-Policies via Acceleration-based CBF-QP

Probleemstelling

Reinforcement Learning (RL) heeft een aanzienlijk potentieel aangetoond voor het oplossen van complexe robotische besturingstaken, zoals wendbare locomotie en behendige manipulatie. De inzet van RL-policies op fysieke hardware wordt echter ernstig beperkt door een gebrek aan veiligheidsgaranties. Hoewel er Safe RL-methoden bestaan die restricties inbedden tijdens de training (bijv. via Constrained Markov Decision Processes of Control Barrier Functions), vertrouwen deze vaak op statistische garanties die verslechteren onder distributieverschuivingen. Bovendien kunnen strikte veiligheidsrestricties tijdens de training te conservatief zijn, wat exploratie belemmert en convergentie vertraagt. Cruciaal is dat bestaande methoden vaak niet in staat zijn om consistente naleving van restricties te garanderen voor Out-of-Distribution (OoD) staten die tijdens real-world deployment worden aangetroffen, wat leidt tot schade aan hardware of systeemuitschakelingen.

De kernuitdaging die wordt aangepakt, is hoe expliciete veiligheidsrestricties (gewrichtspositie, snelheid, koppel en botsingslimieten) op vooraf getrainde RL-policies kan worden afgedwongen tijdens runtime, zonder dat hertraining of het wijzigen van de geleerde policy vereist is.

Methodologie: Acc-CBF-QP

De auteurs stellen Acc-CBF-QP voor, een versnellingsgebaseerde Quadratic Program (QP) veiligheidsfilter dat fungeert als een post-processing laag rondom elke vooraf getrainde RL-policy. Het framework werkt door de RL-opdracht in real-time te filteren om te waarborgen dat deze voldoet aan een veilige verzameling gedefinieerd door Control Barrier Functions (CBFs).

Kerncomponenten

1. Versnellingsgebaseerde QP-formulering:
   Het besturingsprobleem wordt geformuleerd als een QP waarbij de beslissingsvariabelen de gegeneraliseerde versnellingen ($\ddot{q}$) zijn. Dit maakt gelijktijdige naleving van dynamische en kinematische restricties mogelijk, die vaak van tweede orde zijn van aard. De QP minimaliseert een gewogen som van taakfouten onderworpen aan geliniariseerde restricties:
   $$\ddot{q}^* = \arg\min_{\ddot{q}} \sum_k \|W_k(A_k \ddot{q} - b_k)\|^2 \quad \text{onderhevig aan} \quad A_c \ddot{q} \leq b_c$$

2. Restrictieafdwinging (CBFs):
   Veiligheid wordt gedefinieerd als de voorwaartse invariantie van een gesloten verzameling $\mathcal{C}$. De auteurs formuleren restricties voor:

   • Koppellimieten: Afgedwongen via inverse dynamica.
   • Gewrichtssnelheids- en positielimieten: Afgedwongen met standaard CBFs voor snelheid (relatieve graad 1) en Exponential CBFs (ECBF) voor positie (relatieve graad 2).
   • Zelfbotsingvermijding: Afgedwongen met ECBFs op de afstand tussen gemonitorde lichaamsdelen.

3. RL-integratie en Taakformuleringen:
   Omdat RL-policies doorgaans acties outputten die worden geïnterpreteerd als gewenste gewrichtsverplaatsingen (die via een low-level PD-controller vertalen naar koppels), moet de QP de afwijking van het effectieve RL-koppel minimaliseren. Het papier introduceert twee specifieke taakformuleringen om dit te bereiken:

   • TorqueTask: Minimaliseert de afwijking tussen het door de QP berekende koppel en het gewenste RL-koppel ($\tau_{RL}$). Deze formulering is robuust tegen modelleringsfouten omdat het steunt op inverse dynamica.
   • Forward Dynamics Task (FDTask): Minimaliseert de afwijking tussen de door de QP berekende versnelling en de versnelling die door de gewenste koppels via forward dynamica wordt geïmpliceerd. Deze formulering is gevoeliger voor modelonnauwkeurigheden, maar minimaliseert theoretisch de afwijking in versnelling wanneer het model perfect is.

4. Robuustheid en Verstoring-schatting:
   Om om te gaan met modelleringsfouten en externe verstoringen (kritiek voor floating-base robots), gebruikt het systeem een Generalized Momentum Observer (GMO) om externe koppels ($\hat{\tau}_{ext}$) te schatten. Deze schatting wordt gebruikt in de inverse dynamica-berekening om ongemodelleerde dynamica te compenseren. De auteurs bieden een robuustheidsanalyse die aantoont dat het systeem onder begrensde verstoringen de input-to-state veiligheid handhaaft, waardoor trajecten binnen een nabijheid van de veilige verzameling blijven.

5. Afhandeling van Inhaalbaarheid:
   In gevallen waarin de QP inhaalbaar is (bijv. door conflicterende restricties of ernstige perturbaties), gebruikt het systeem fallback-mechanismen: overschakelen naar een dempingsmodus of terugrollen naar een koppel-verzadigde RL-opdracht.

Belangrijkste Bijdragen

1. Open-Source Framework: De auteurs publiceren een open-source pipeline (Acc-CBF-QP) die de veiligheid van robotische RL-policies afdwingt via een versnellingsgebaseerde QP met CBF-restricties.
2. Duale Taakformuleringen: De introductie van TorqueTask en FDTask biedt principiële controle over de trade-off tussen veiligheid en prestaties, waardoor gebruikers kunnen kiezen tussen het minimaliseren van koppelafwijking of versnellingsafwijking, afhankelijk van de toepassing en modelgetrouwheid.
3. Integratie van State Estimatie: Het framework integreert state estimation en verstoring-observers om externe krachten te herstellen, wat essentieel is voor consistente CBF-afdwinging op koppelgestuurde en floating-base systemen.
4. Runtime Veiligheid Zonder Hertraining: De methode fungeert als een modulaire interface die willekeurige RL-policies omhult, waarbij restricties tijdens runtime worden afgedwongen zonder dat extra hertraining van de policy of wijziging van het trainingsproces nodig is.

Experimentele Resultaten

Het framework werd gevalideerd op twee verschillende platformen: een 7-DoF Kinova Gen3 manipulator en een 19-DoF Unitree H1 humanoïde robot, zowel in simulatie als op echte hardware.

• Kinova Gen3 (Manipulator):

  • Bij het gebruik van een standaard RL-policy die getraind is zonder veiligheidsrestricties, elimineerde Acc-CBF-QP volledig alle restrictieovertredingen (gewrichtspositie, snelheid, koppel en botsingen) in zowel simulatie als hardware.
  • De nominale taakprestaties (Cartesiaanse trajectvolging) bleven behouden, met afwijkingen die statistisch ononderscheidbaar waren van de intrinsieke herhaalbaarheid van de RL-policy.

• Unitree H1 (Humanoïde):

  • Vergeleken met een Safe-RL baseline getraind met de "Constraints as Terminations" (CaT) methode.
  • Reductie van Overtredingen: Op echte hardware leverde de Safe-RL policy alleen 10,04 overtredingen/seconde op. Het aanvullen hiervan met Acc-CBF-QP verminderde de overtredingen met 92% naar 0,80 overtredingen/seconde (TorqueTask).
  • Overlevingstijd: Onder agressieve snelheidscommando's voorkwam Acc-CBF-QP door restricties veroorzaakte shutdowns, wat resulteerde in langere overlevingstijden vergeleken met de baseline.
  • Robuustheid: Op ongelijk terrein verschoof de QP-laag de faalmodi van "restrictieovertredingen" (bijv. gewrichtslimieten) naar "fysiek plausibele vallen", zonder statistisch significante degradatie in overlevingstijd vergeleken met de baseline.
  • Vergelijking van Taakformuleringen: De TorqueTask demonstreerde een grotere robuustheid tegen modelleringsfouten op hardware, terwijl de FDTask in simulatie een iets betere versnellingsvolging liet zien.

Betekenis en Claims

Het artikel claimt dat Acc-CBF-QP een praktische stap vormt richting de betrouwbare real-world inzet van geleerde robotische gedragingen. De primaire betekenis ligt in het overbruggen van de kloof tussen de flexibiliteit van RL en de strikte veiligheidseisen van fysieke systemen.

• Modulariteit: Het biedt een modulaire interface tussen geleide besturing en versnellingsniveau veiligheidsfiltering, waardoor veiligheidsrestricties tijdens deployment dynamisch kunnen worden aangepast zonder hertraining.
• Veiligheid vs. Prestaties: De experimenten tonen aan dat veiligheidsafdwinging kan worden bereikt met geen meetbare degradatie van de nominale taakprestaties wanneer de restricties niet actief zijn.
• Real-World Toepasbaarheid: Door succesvol te worden ingezet op een complexe, floating-base humanoïde (Unitree H1) met imperfecte dynamische modellen, valideert dit werk dat optimalisatiegebaseerde veiligheidslagen effectief de risico's van OoD-staten en modelonnauwkeurigheden in real-world hardware kunnen mitigeren.

De auteurs blijven bescheiden over beperkingen en merken op dat het framework momenteel QP-inhaalbaarheid pragmatisch afhandelt (via demping of rollback) in plaats van via formele stabiliteitsgaranties voor het gesloten-lus geprojecteerde systeem, en dat bredere vergelijkingen met andere Safe-RL trainingsmethoden aan toekomstig onderzoek worden overgelaten.