Technische Samenvatting: Feedback Manipulation Regularization (FMR)

Probleemstelling

Reinforcement Learning (RL) staat voor een dubbele uitdaging: bekwaamheid (leren een taak op te lossen) en afstemming (leren deze op te lossen in overeenstemming met menselijke waarden). Hoewel menselijke demonstraties en feedback cruciaal zijn voor afstemming, leunen bestaande benaderingen voornamelijk op meerfasige pipelines die zijn ontworpen voor de contextuele bandit-formulering van taalgeneratie (bijv. RLHF). Deze methoden hebben moeite met de vertaling naar volledig sequentiële besluitvormingsomgevingen.

Bovendien lijden huidige voorkeursgebaseerde leermethoden aan fundamentele beperkingen in sequentiële settings:

1. Relationele Ambiguïteit: Voorkeuren zijn relatief ("welke is beter?") in plaats van absoluut ("is dit goed?"). Een geprefereerd gedrag is niet noodzakelijkerwijs een afgestemd gedrag, vooral als beide opties in een vergelijkingspaar niet afgestemd zijn.
2. Steekproefbeperkingen: Willekeurig gesamplede vergelijkingsparen maken het moeilijk om specifieke gedragingen te targeten zonder expliciete curatie.
3. Dataschaarste: In offline settings met beperkte data, met name waar expert-demonstraties schaars zijn en imperfecte demonstraties ruis of niet-afgestemde gedragingen bevatten, falen bestaande algoritmen vaak om afstemming te handhaven.

Het paper adresseert de behoefte aan een eenfasige, offline methode die demonstraties en evaluatieve feedback effectief combineert om beleid (policies) af te stemmen in volledig sequentiële omgevingen, zelfs onder regime van beperkte data.

Methodologie: Feedback Manipulation Regularization (FMR)

De auteurs stellen Feedback Manipulation Regularization (FMR) voor, een algoritme-agnostisch framework dat evaluatieve feedback integreert in imitatie-leren. In tegen tegenstelling tot methoden die feedback behandelen als een beloningssignaal of een voorkeursscore, gebruikt FMR feedback om de waarschijnlijkheidsverdeling van het geleerde beleid direct te manipuleren.

Kernmechanisme

FMR werkt door menselijke feedback $h(s, a) \in \{-1, 0, 1\}$ te behandelen als een corrigerend signaal dat het geleerde beleid $\pi_\theta$ vormgeeft richting een latente, door de mens afgestemde policy $\pi_h$.

1. Feedback-adaptieve Temperatuur:
   De methode introduceert een temperatuurparameter $\tau(s, a)$ afgeleid van feedback.

   • Negatieve feedback ($h < 0$) impliceert $\tau > 1$, wat de geselecteerde actie ontmoedigt.
   • Positieve feedback ($h > 0$) impliceert $\tau < 1$ voor niet-geselecteerde acties (wat de geselecteerde actie effectief aanmoedigt ten opzichte van anderen).
   • Geen feedback ($h = 0$) resulteert in $\tau = 1$, wat geen impact heeft.
     De temperatuur wordt berekend via een exponentiële mapping: $\tau_j = \beta^{-h}$ (voor negatieve feedback op de geselecteerde actie) of $\beta^h$ (voor positieve feedback op niet-geselecteerde acties), waarbij $\beta > 1$.

2. Beleidsvormgeving (Policy Reshaping):
   Het door de mens afgestemde beleid wordt benaderd door temperatuurschaling toe te passen op het huidige beleid in de waarschijnlijkheidsruimte:
   $$\pi_\tau(a_j | s) := \frac{\pi_\theta(a_j | s) \tau_j^{-1}}{Z_\theta(s)}$$
   waarbij $Z_\theta(s)$ de normalisatieconstante is. Deze operatie herverdeelt de waarschijnlijkheidsmassa, waardoor niet-afgestemde gedragingen worden onderdrukt en afgestemde gedragingen worden aangemoedigd zonder dat een expliciet beloningsmodel vereist is.

3. Regularisatie-objectief:
   FMR formuleert afstemming als een distributie-matching probleem met behulp van de reverse Kullback-Leibler (KL) divergentie tussen het geleerde beleid $\pi_\theta$ en de door feedback getemperde surrogaat $\pi_\tau$. Dit levert een regularisatieterm op:
   $$R_{FMR}(\theta) := \mathbb{E}_{s \sim D_U} \mathbb{E}_{a \sim \pi_\theta(\cdot|s)} [\log \tau(s, a)]$$
   Het uiteindelijke objectief combineert de standaard imitatie-leer loss ($L_{IL}$) met deze regularisator:
   $$L(\theta) = L_{IL}(\theta) + \alpha R_{FMR}(\theta)$$
   waarbij $\alpha$ de sterkte van de afstemming regelt.

Dataverwerking

De methode is ontworpen voor Learning from Noisy Demonstrations (LfND), waarbij datasets $D_U = D_E \cup D_I$ worden gehanteerd waar $D_E$ afgestemde expert-data bevat en $D_I$ imperfecte (ruisgevoelige) data bevat. FMR maakt gebruik van evaluatieve feedback om niet-afgestemde sub-trajecten binnen $D_I$ te onderscheiden en te onderdrukken.

Belangrijkste Bijdragen

1. Algoritme-agnostisch Framework: FMR kan worden toegepast op elk imitatie-leer algoritme (bijv. Behavioral Cloning, IQL, DemoDICE, ReCOIL) als een regularisatieterm.
2. Single-Stage Offline Training: In tegen tegenstelling tot meerfasige RLHF-pipelines, opereert FMR in één enkele fase, wat het geschikt maakt voor volledig sequentiële besluitvormingsomgevingen waar toegang tot de omgeving beperkt is.
3. Robuustheid bij Beperkte Data: De methode toont robuustheid, zelfs wanneer de ratio van expert- versus imperfecte data laag is (bijv. 1:50) en wanneer imperfecte data weinig tot geen nuttig gedrag bevatten.
4. Geprincipeerde Evaluatie: De auteurs hebben de Safety Gymnasium-omgevingen aangepast om te dienen als testbed, waarbij kosten-signalen worden gebruikt om een geprincipeerde maatstaf voor afstemming te bieden die onderscheidend is van de totale return.

Experimentele Resultaten

De auteurs evalueerden FMR over 3D navigatie- en snelheid-beperkte locomotie-taken (Hopper, Swimmer, Walker2D) met behulp van diverse imitatie-leer baselines.

• Verbetering van Afstemming: FMR verminderde de afstemming consistent over alle geteste algoritmen. In de PathM navigatie-taak bereikte FMR een reductie in afstemming van wel 92% voor ReCOIL. In snelheidstaken werden reducties tot 98% waargenomen.
• Behoud van Bekwaamheid (Aptitude): Cruciaal is dat de reductie in afstemming niet ten koste ging van de taakprestatie (bekwaamheid). FMR behield of verbeterde de succespercentages en genormaliseerde returns vergeleken met de baselines.
• Vergelijking met Alternatieven:
  • vs. DVL (Dual Value Learning): DVL, dat feedback vervangt door een beloning, presteerde slecht, wat bevestigt dat het naïef interpreteren van feedback als een beloningssignaal ineffectief is.
  • vs. CPL (Contrastive Preference Learning): CPL, dat feedback gebruikt voor paarwijze scoring, degradeerde aanzienlijk naarmale de data-ratio's afnamen, terwijl FMR stabiel bleef.
• Data-overlap: FMR presteerde het best wanneer imperfecte demonstraties enkele relevante sub-trajecten bevatten (hoge overlap). Het leverde echter nog steeds significante verbeteringen in scenario's met lage overlap waar baselines volledig faalden.
• Feedback-efficiëntie: Experimenten toonden aan dat FMR effectief leert van negatieve feedback alleen, wat dient als de primaire drijfveer voor het corrigeren van afwijkingen.

Betekenis en Claims

Het paper claimt dat FMR een belangrijke stap voorwaarts vertegenwoordigt in offline agent-afstemming door:

1. Modaliteiten te overbruggen: Het succesvol integreren van evaluatieve feedback en demonstraties als een onderling verbonden signaal voor sequentiële besluitvorming, waarmee de beperkingen van voorkeursgebaseerde relatieve oordelen worden overstegen.
2. De "Afstemming-Bekwaamheid"-trade-off aan te pakken: Aantonen dat het mogelijk is om de afstemming drastisch te verminderen (tot 98%) zonder de capaciteit van de agent om de taak te voltooien op te offeren.
3. Data-scarcity aan te pakken: Een levensvatbare oplossing te bieden voor scenario's waarin hoogwaardige afgestemde data schaars is en ruisgevoelige data overvloedig aanwezig is, een veelvoorkomende beperking in de echte wereld.
4. Modulariteit: Een plug-and-play regularisatieterm aan te bieden die bestaande imitatie-leer algoritmen verbetert zonder architecturale wijzigingen of meerfasige trainingspipelines te vereisen.

De auteurs concluderen dat FMR effectief de rijke informatie in feedback benut om de beleidsentropie te moduleren, ongewenste acties te ontmoedigen en geprefereerde gedragingen te versterken, wat leidt tot robuustere en beter afgestemde offline leerprocessen.