Technische Samenvatting: Offline Reinforcement Learning van Hoogwaardige Gedragingen onder Robuuste Stijl-alignement

Probleemstelling

Het artikel behandelt de uitdaging van het leren van stijl-geconditioneerde policies vanuit een vaste offline dataset zonder verdere interactie met de omgeving. Hoewel offline Reinforcement Learning (RL) geavanceerd is in het leren van hoogpresterende gedragingen uit vooraf opgenomen data, en Imitation Learning (IL) diverse gedragingen heeft verkend, blijft het combineren van hoge taakprestaties met robuuste stijl-alignement in een offline setting moeilijk. De auteurs identificeren drie primaire uitdagingen:

1. Stijldefinitie: Bestaande definities van stijl variëren van ongesuperviseerde latente clusters (moeilijk te interpreteren/controleren) tot gesuperviseerde volledige traject-labels (hoge labelkosten, slechte credit assignment voor stijlen op meerdere tijdschalen).
2. Staat-Stijl Distributieverschuiving: Offline methoden lijden onder distributieverschuiving. Het toevoegen van stijl-conditionering verergert dit, omdat de agent tijdens inferentie configuraties van staat-stijl kan tegenkomen die nooit gezamenlijk in de dataset zijn waargenomen (bijv. een specifieke bewegingsstijl in een staat die niet door die stijl is bezocht in de data).
3. Taak-Stijl Misalignement: Optimaliseren voor taakprestaties (beloningen) botst vaak met het behouden van een specifieke gedragsstijl. Bestaande methoden dwingen vaak een compromis af of verschuiven de optimale policy, waarbij stijl-alignement wordt opgeofferd voor prestaties.

Methodologie: SCIQL

De auteurs stellen Style-Conditioned Implicit Q-Learning (SCIQL) voor, een framework dat stijl-geconditioneerd policy-leren verenigt met offline RL-technieken.

1. Verenigde Stijldefinitie via Subtrajectorie-labeling

In plaats van volledige trajecten te labelen of ongesuperviseerde encodings te gebruiken, hanteert het artikel een data-programming aanpak met behulp van labeling functies ($\lambda$) toegepast op subtrajectorieën (vensters van staten en acties).

• Mechanisme: Een labeling functie brengt een venster van het traject $\tau_{t-w:t+w}$ in kaart naar een discrete stijl-label $z$.
• Voordeel: Dit maakt het mogelijk dat stijlen binnen één enkel traject variëren, wat de problemen met credit assignment die gepaard gaan met episode-niveau labels vermindert. Het biedt interpreteerbare, goedkope stijl-annotaties (bijv. "snel", "gehurkt") zonder handmatige labeling.
• Surrogaat Objectief: Het ware stijl-alignement objectief is niet-Markoviaans. De auteurs benaderen dit door een surrogaat Markoviaanse beloning te leren $r_D^\lambda(s, a, z) = p_{\pi_D}^\lambda(z | s, a)$, die de waarschijnlijkheid vertegenwoordigt dat een staat-actie paar bijdraagt aan stijl $z$ op basis van de datasetdistributie.

2. SCIQL Algoritme

SCIQL is een aanpassing van Implicit Q-Learning (IQL) ontworpen om het stijl-geconditioneerde objectief te behandteren.

• Waarde-leren: Het leert stijl-geconditioneerde waarde-functies $V^\lambda(s, z)$ en $Q^\lambda(s, a, z)$ met behulp van expectile regressie. Dit stelt het algoritme in staat om de waarde van acties te schatten die leiden naar specifieke stijlen zonder dat de policy tijdens training optimaal voor die stijl hoeft te zijn.
• Hindsight Relabeling & Stitching: Door stijl-labels $z$ uit de dataset te samplen (inclusief toekomstige staten), voert de methode hindsight style relabeling uit. Dit maakt trajectory stitching mogelijk, waarbij de policy gedeeltelijke gedragingen van verschillende trajecten kan combineren om een coherent stijl-gealigneerd pad te construeren, wat de distributieverschuiving aanpakt.
• Policy Extractie: De policy wordt geëxtraheerd via Advantage-Weighted Regression (AWR), wat de policy richting acties met hoge stijl-advantages stuurt.

3. Gated Advantage Weighted Regression (GAWR)

Om het conflict tussen taakprestaties en stijl-alignement op te lossen, introduceren de auteurs Gated Advantage Weighted Regression (GAWR).

• Mechanisme: GAWR combineert de taak-advantage ($A^r$) en de stijl-advantage ($A^\lambda$) met behulp van een sigmoid gate:
  $$\xi(A^\lambda, A^r) = A^\lambda + \sigma(A^\lambda) \cdot A^r$$
• Logica: Het taakverbeteringssignaal ($A^r$) wordt alleen geactiveerd wanneer de stijl-advantage ($A^\lambda$) positief is (d.w.z. de transitie is consistent met de doelstijl). Dit zorgt ervoor dat taakoptimalisatie de stijl-alignement niet degradeert, wat effectief een projectie benadert op de verzameling van stijl-optimale policies.

Belangrijkste Bijdragen

1. Algemene Definitie: Een nieuw perspectief op gestileerd policy-leren als een generalisatie van Goal-Conditioned RL (GCRL), geïnstantieerd via subtrajectorie-labeling functies om interpreteerbaarheid te waarborgen en credit assignment problemen te mitigeren.
2. SCIQL Algoritme: Een offline RL-algoritme dat gebruikmaakt van hindsight relabeling en waarde-leren om robuuste stijl-alignement te bereiken, in staat om trajecten te "stichen" over gedisjuncte staat-stijl configuraties.
3. GAWR Mechanisme: Een gated regressie techniek die gelijktijdige optimalisatie van taakprestaties en stijl-alignement mogelijk maakt zonder expliciete constraint-drempels of duale variabelen te vereisen.
4. Empirische Validatie: Uitgebreide experimenten die superieure prestaties aantonen ten opzichte van state-of-the-art baselines.

Experimentele Resultaten

De auteurs evalueerden SCIQL op diverse omgevingen: Circle2d (cirkels tekenen), HalfCheetah (locomotie) en HumEnv (humanoid controle).

• Stijl-alignement: SCIQL presteerde significant beter dan baselines (inclusclusief Behavior Cloning, Conditioned BC, BCPMI en SORL) in het bereiken van doel-stijl labels. Bijvoorbeeld, op halfcheetah-vary-v0, bereikte SCIQL 78,9% stijl-alignement vergeleken met ~52% voor de op één na beste methode (BCPMI).
• Taakprestaties: Met behulp van GAWR verbeterde SCIQL de taakprestaties (bijv. voorwaartse snelheid in HalfCheetah) terwijl een hoge stijl-alignement behouden bleef.
• Pareto-efficiëntie: De methode bereikte een groter hypervolume (HV) in de trade-off ruimte tussen stijl-alignement en taakprestaties vergeleken met SORL. SCIQL-varianten verschoven de Pareto-frontier dichter naar het theoretische ideaalpunt (100% stijl, 100% taak) met 41% tot 163% ten opzichte van SORL over verschillende datasets.

Betekenis en Claims

Het artikel claimt dat SCIQL een verenigd en praktisch framework biedt voor het offline leren van hoogwaardige, stijl-geconditioneerde gedragingen. De betekenis ligt in:

• Robuustheid: Succesvol het omgaan met distributieverschuivingen en de noodzaak voor langetermijn-besluitvorming (trajectory stitching) in stijl-alignement, waar eerdere methoden moeite mee hadden.
• Efficiëntie: Het bereiken van hoge prestaties in zowel stijl- als taakobjectieven zonder dat online interactie met de omgeving of complexe constraint-tuning nodig is.
• Interpreteerbaarheid: Het bieden van een duidelijke, programmeerbare manier om stijl te definiëren en te meten via labeling functies, waardoor de "black box"-natuur van ongesuperviseerde stijl-representaties wordt vermeden.

De auteurs concluderen dat hun aanpak effectief de kloof overbrugt tussen imitation learning (stijl-getrouwheid) en reinforcement learning (taakoptimalisatie), waardoor agents getraind kunnen worden die zowel bekwaam als stilistisch consistent zijn.