SLowRL: Safe Low-Rank Adaptation Reinforcement Learning for Locomotion

Probleemstelling

Het overbrengen van locomotie-beleidsplannen (policies) van simulatie naar de echte wereld (sim-to-real) is een fundamentele uitdaging in de robotica. Hoewel deep reinforcement learning (RL) in simulatie uitstekende resultaten behaalt, leidt de overdracht naar fysieke hardware vaak tot prestatieverlies door de "sim-to-real gap" (verschillen in dynamica, sensorruis en contactmodellen).
De traditionele aanpak om dit op te lossen is full-model fine-tuning (bijv. met PPO) direct op de robot. Dit heeft echter twee ernstige nadelen:

1. Veiligheidsrisico's: Naive exploratie tijdens het fine-tunen kan leiden tot mechanische schade, valpartijen of hardwarefalen.
2. Inefficiëntie: Het vereist enorme hoeveelheden samples (interacties met de echte wereld), wat leidt tot lange trainingsduurtijden (uren) en een bottleneck voor schaalbare implementatie.

Er is een gebrek aan een unified framework dat veilig én efficiënt beleid in de echte wereld kan verbeteren zonder de robot te beschadigen.

Methodologie: SLowRL

De auteurs introduceren SLowRL, een framework dat twee kernconcepten combineert: Low-Rank Adaptation (LoRA) voor parameter-efficiëntie en een veiligheidsfilter met een herstelbeleid (recovery policy).

1. Architectuur en Componenten

Het systeem bestaat uit drie hoofdcomponenten (zie Figuur 1 in het paper):

• Gevrieste Basisbeleid (Frozen Main Policy): Een vooraf getraind beleid ($\pi_{\theta}$) uit simulatie waarvan de gewichten ($W_0$) volledig worden bevroren. Dit behoudt de fundamentele locomotievaardigheden.
• LoRA Adapter: In plaats van alle gewichten bij te werken, worden er lage-rang matrices ($A$ en $B$) toegevoegd aan de lineaire lagen van het netwerk. De update wordt berekend als $\Delta W = BA$.
  • Alleen deze kleine matrices worden getraind, terwijl $W_0$ statisch blijft.
  • Dit beperkt de zoekruimte voor optimalisatie tot een lage-dimensionale deelruimte.
• Herstelbeleid (Recovery Policy) & Veiligheidsfilter: Een apart, taak-onafhankelijk beleid dat de robot vanuit elke toestand naar een veilige, nominale staat (bijv. rechtop staan) brengt. Een "Safety Filter" monitort de toestand van de robot op elk tijdstip. Als er een veiligheidsrisico wordt gedetecteerd (bijv. te grote helling), wordt het actiecommando van het hoofdbeleid overschreven door het veilige herstelbeleid.

2. Training en Implementatie

• Actor-Critic Adaptatie: Het paper benadrukt dat niet alleen de Actor (beleid), maar ook de Critic (waardefunctie) moet worden aangepast via LoRA. Een bevroren Critic levert onnauwkeurige "advantage estimates" op door de simulatie-reële wereld mismatch, wat leidt tot falen van de convergentie.
• Rank-1 Adaptatie: De auteurs testen verschillende rangen ($\rho$) voor de LoRA-matrices. Ze ontdekken dat een rang van 1 ($\rho=1$) voldoende is om de dominante correctierichting te vangen die nodig is om simulatie-prioriteiten af te stemmen op fysieke hardware. Hogere rangen verhogen de complexiteit zonder de prestaties te verbeteren.
• Veiligheid als Enabler: Door het risico van catastrofale fouten uit te besteden aan het herstelbeleid, kan het leerproces agressiever zoeken binnen de veilige deelruimte, wat de leersnelheid verhoogt.

Kernbijdragen

1. SLowRL Framework: De eerste toepassing van Parameter-Efficient Fine-Tuning (PEFT/LoRA) op hoge-frequentie robotbesturing voor sim-to-real transfer.
2. De "Low-Rank Hypothesis": Het bewijs dat sim-to-real aanpassing voor locomotie fundamenteel een laag-dimensionaal probleem is. Een enkele rang-1 aanpassing is voldoende om de prestaties in de echte wereld te herstellen en te verbeteren, wat suggereert dat de basisvaardigheden uit simulatie correct zijn en alleen een lineaire herschikking nodig hebben.
3. Noodzaak van Critic Adaptatie: Een belangrijke inzicht dat het aanpassen van de waardefunctie (Critic) strikt noodzakelijk is voor stabiele overdracht; een bevroren Critic verhindert succesvolle fine-tuning.
4. Veiligheid en Efficiëntie: Het combineren van LoRA met een actief veiligheidsfilter resulteert in een methode die zowel sneller convergeert als vrij is van hardwarefalen.

Resultaten

De methode werd getest op een Unitree Go2 vierpoots robot voor twee taken: trotteren (stabiliteit) en springen (dynamisch).

• Veiligheid:

  • SLowRL: 0% mechanische fouten (valpartijen) tijdens het fine-tunen.
  • Full Fine-Tuning (FFT) zonder veiligheid: Gemiddeld 14,25 fouten bij trotteren en 69,0 bij springen.
  • FFT met veiligheid: Nog steeds 7,5 tot 17,5 fouten.
  • SLowRL onderdrukt ook "bang-bang" besturingspieken (hoge frequentie oscillaties) aanzienlijk, wat resulteert in soepelere bewegingen.

• Sample Efficiëntie (Convergentietijd):

  • SLowRL bereikte de prestaties van het oorspronkelijke simulatiebeleid in 38% van de tijd voor het trotteren en 55% voor het springen vergeleken met FFT.
  • Dit vertaalt zich naar een 46,5% reductie in totale fine-tuning tijd.

• Ablatie Studies:

  • Rank: Rang 1 ($\rho=1$) bleek superieur aan hogere rangen (2, 4, 8) in termen van snelheid en eindprestatie.
  • Architectuur: Adaptatie van zowel Actor als Critic was cruciaal; alleen de Actor aanpassen leidde tot convergentiefalen.
  • Lagen: Het toepassen van LoRA op alle lagen van het netwerk gaf de beste resultaten, in plaats van alleen de uitgangs- of ingangslagen.

Betekenis en Conclusie

SLowRL biedt een praktisch blauwdruk voor de "laatste mijl" van robotimplementatie. Het weerlegt de aanname dat volledige herscholing van het beleid noodzakelijk is om de sim-to-real gap te overbruggen. In plaats daarvan toont het aan dat:

1. Simulatie-beleidsplannen vaak al robuust zijn en alleen een minimale, lineaire aanpassing nodig hebben.
2. Veiligheidsmechanismen niet alleen een beperking zijn, maar de leerefficiëntie kunnen verhogen door het risico van hardwarefalen te elimineren.
3. Parameter-efficiënte methoden (LoRA) samen met veilige exploratie de weg banen voor robots die zichzelf veilig en snel kunnen aanpassen aan de fysieke wereld zonder ingrijpen van engineers.

Deze aanpak maakt het mogelijk om foundation modellen en grote simulaties te gebruiken voor pre-training, en vervolgens deze generalistische beleidsplannen veilig en snel te "grounden" in de specifieke realiteit van fysieke robots.