Proximal Action Replacement for Behavior Cloning Actor-Critic in Offline Reinforcement Learning

Technische Samenvatting: Proximale Actievervanging voor Behavior Cloning Actor-Critic in Offline Versterkend Leren

1. Probleemstelling

Offline Versterkend Leren (RL) heeft tot doel optimale beleidsregels te leren uit statische, eerder verzamelde datasets zonder verdere interactie met de omgeving. Een dominante aanpak om stabiliteit in offline RL te waarborgen, is Behavior Cloning (BC) regularisatie, die het geleerde beleid beperkt om dicht bij het gedragsbeleid in de dataset te blijven. Dit mitigeert het probleem van distributieverandering en voorkomt dat de agent uit-distributie (OOD) acties exploiteert.

De auteurs identificeren echter een fundamentele beperking: BC regularisatie legt een prestatiedak op. Wanneer de offline dataset suboptimale acties bevat, dwingt onbeperkte imitatie de actor om te convergeren naar deze suboptimale gebieden, zelfs wanneer de criticus (waardefunctie) betere acties identificeert. De auteurs betogen dat dit een structurele afweging creëert waarbij het beleid de suggesties van de waardefunctie voor verbetering niet volledig kan benutten, met name in latere trainingsfasen wanneer de primaire bottleneck verschuift van "realisme" naar "optimaliteit".

2. Methodologie: Proximale Actievervanging (PAR)

Om dit prestatiedak te doorbreken terwijl de trainingsstabiliteit behouden blijft, stellen de auteurs Proximale Actievervanging (PAR) voor, een plug-and-play trainingssteekproefvervanger. PAR modificeert dynamisch de supervisiedoelen voor het behavior cloning-verlies van de actor. In plaats van blind de gelogde datasetactie na te bootsen, vervangt PAR deze selectief door een betere actie gegenereerd door een stabiel doelbeleid, onderworpen aan twee belangrijke beperkingen:

A. Gradiëntrichtingsbewuste Actievervanging (GDAAR)
Deze component bepaalt wanneer een actie vervangen moet worden.

• Mechanisme: Voor een gegeven toestand $s$ vergelijkt de methode de gelogde actie $a$ en een kandidaat-actie $\hat{a}$ (gegenereerd door een doel-actor $\pi'$) met de lokale stijgingsrichting van de actie-waardefunctie van de criticus $Q(s, a)$.
• Maatstaf: Het berekent de cosinus-similariteit tussen de verplaatsingsvectoren ($v = a - \pi_\theta(s)$ en $v' = \hat{a} - \pi_\theta(s)$) en de gradiënt van de criticus $g = \nabla_a Q(s, a)|_{a=\pi_\theta(s)}$.
• Beslissingsregel: Als de doel-actie $\hat{a}$ beter uitgelijnd is met de lokale stijgingsrichting van de criticus dan de gelogde actie $a$ (d.w.z. $\cos(g, v') > \cos(g, v)$), wordt het BC-supervisiedoel vervangen door $\hat{a}$. Anders blijft de originele actie $a$ behouden.
• Theoretische Garantie: De auteurs bewijzen dat onder gladheidsaannames deze selectieregel ervoor zorgt dat de een-staps waardeverbetering niet slechter is dan standaard BC, tot op een fout van de tweede orde.

B. Gaussisch-vormige OOD-Actie-Weigering (GSOAW)
Deze component bepaalt hoeveel vertrouwen er in de vervanging moet worden gesteld, om stabiliteit te waarborgen tegen distributieverandering.

• Motivatie: Het vervangen van acties kan leiden tot een significante afwijking van het gedragsbeleid, wat leidt tot het instorten van de criticus (instabiliteit) door extrapolatiefouten.
• Mechanisme: PAR introduceert een hulpwaardefunctie voor de toestand $V(s)$ en leert een standaardafwijking $\sigma(s)$ om de onzekerheid van $Q(s, a)$ met betrekking tot acties te modelleren.
• Weigering: Een gewicht $w$ wordt toegewezen aan de vervangende actie op basis van de afwijking van zijn Q-waarde van de verwachte waarde $V(s)$, genormaliseerd door de onzekerheid $\sigma(s)$:
  $$w = \exp\left(-\frac{|Q(s, \hat{a}) - V(s)|}{\tau \sigma(s) + \epsilon}\right)$$
• Effect: Als de gegenereerde actie ver weg ligt van de distributie van waarden die in de dataset zijn gezien (hoge onzekerheid of grote afwijking), nadert $w$ 0, waardoor de vervanging effectief wordt onderdrukt en wordt teruggekeerd naar het conservatieve gedragsanker. Dit begrenst de beleidsdivergentie adaptief zonder harde beperkingen.

3. Belangrijkste Bijdragen

1. Theoretische Karakterisering van Suboptimaliteit: De auteurs bewijzen formeel (Stelling 3.1) dat voor BC-geregulariseerde doelstellingen (inclusief MSE, KL en MLE-vormen), als de dataset suboptimale acties bevat, het stationaire punt van de optimalisatie niet kan samenvallen met het ware optimale beleid. Het beleid wordt structureel gedwongen om een compromis te sluiten tussen imitatie en optimaliteit.
2. Proximale Actievervanging (PAR): Een nieuwe, plug-and-play module die integreert met bestaande BC-geregulariseerde actor-critic algoritmen. Het combineert GDAAR om beleidsverbetering naar gebieden met hogere waarden te sturen en GSOAW om stabiliteit te behouden door risicovolle OOD-acties te bestraffen.
3. Uitgebreide Empirische Validatie: De methode is getest op diverse offline RL-benchmarks (MuJoCo, AntMaze, FrankaKitchen) en geïntegreerd met meerdere baseline-algoritmen (BCQ, TD3+BC, IQL, EDP, SSAR).

4. Experimentele Resultaten

• Prestatiewinst: PAR verbetert consistent de prestaties over alle geteste algoritmen en domeinen.
  • Op MuJoCo-taken verhoogde de combinatie van PAR met TD3+BC de gemiddelde genormaliseerde score van 75,3 naar 87,7 (+12,4).
  • Op AntMaze liet PAR IQL verbeteren van 57,1 naar 70,8 (+13,7) en redde TD3+BC van bijna-nul prestaties (van 0,2 naar 2,0).
  • Op FrankaKitchen verbeterde PAR TD3+BC van 0,0 naar 20,0 en IQL van 48,7 naar 61,5.
• Vergelijking met State-of-the-Art: De combinatie van SSAR + PAR behaalde de hoogste gemiddelde score (90,9) op MuJoCo-taken, presterend beter dan complexe state-of-the-art methoden zoals QIPO (87,4) en andere trajectplanningsbenaderingen.
• Ablatiestudies:
  • Het verwijderen van de actievervanging (alleen filteren) leverde kleinere winsten op, wat bevestigt dat het introduceren van betere acties cruciaal is.
  • Het verwijderen van GSOAW ("Geen GSOAW") veroorzaakte ernstige prestatiedegradatie op datasets met gemiddeld-expert niveau door OOD-instabiliteit, wat de noodzaak van de onzekerheidsbewuste weging benadrukt.
• Efficiëntie: PAR introduceert minimale rekenkundige overhead (ongeveer 3-8% toename in trainingsduur) omdat het bestaande gradiëntberekeningen hergebruikt en alleen lichtgewicht vectorbewerkingen toevoegt.

5. Betekenis en Claims

De paper claimt dat PAR een nieuw, data-gericht perspectief biedt op het overwinnen van de structurele beperkingen van offline RL. Door het paradigma te verschuiven van pure imitatie naar geleide beleidsverbetering, stelt PAR agenten in staat het prestatiedak dat door standaard behavior cloning wordt opgelegd, te overstijgen.

De auteurs benadrukken dat PAR beperkt is in zijn reikwijdte:

• Het is momenteel ontworpen voor continue actieruimtes waar lokale stijgingsgradiënten kunnen worden berekend.
• Het opereert op het niveau van enkelvoudige overgangsstappen en vat inherent geen langetermijnafhankelijkheden samen (hoewel dit wordt aangemerkt als toekomstig werk).
• Het wordt gepresenteerd als een plug-and-play module die bestaande algoritmen verbetert in plaats van het volledige offline RL-kader te vervangen.

Uiteindelijk toont het werk aan dat door het supervisiesignaal zelf dynamisch te optimaliseren – suboptimale datapunten te vervangen door betere, onzekerheidsgebonden alternatieven – offline RL-algoritmen aanzienlijk hogere prestaties kunnen behalen zonder de stabiliteit die door behavior cloning wordt geboden, op te offeren.