PAWS: Preference Learning with Advantage-Weighted Segments

Technische Samenvatting: PAWS (Preference Learning with Advantage-Weighted Segments)

Probleemstelling
Preference-gebaseerd Reinforcement Learning (PbRL) streeft naar het aanleren van policies vanuit menselijke traject-niveau vergelijkingen in plaats van expliciete beloningsfuncties. Bestaande methoden lijden echter aan een fundamentele training-inference distributieverschuiving. Typisch trainen PbRL-methoden een nutfunctie (bijv. een belonings- of advantage-model) op segment-niveau of traject-niveau voorkeuren. Echter, tijdens de policy-optimalisatie worden deze modellen bevraagd op individuele staat-actie paren om per-stap leer-signalen te berekenen.

Deze mismatch creëert een temporeel credit assignment probleem. Zoals in het artikel wordt geïllustreerd, kunnen veel verschillende per-stap advantage-toezigningen samen dezelfde segment-niveau voorkeurslabel opleveren. Bijgevolg is het nutmodel ondergeconstreerd op het individuele stap-niveau. Wanneer de policy-optimizer dit model bevraagt op enkele stappen (inference) ondanks dat het op segmenten is getraind, zijn de resulterende leer-signalen ambigu en onbetrouwbaar, wat het leren van de policy ernstig verslechtert, met name in scenario's met weinig data.

Methodologie: PAWS
De auteurs stellen PAWS (Preference Learning with Advantage-Weighted Segments) voor om deze distributieverschuiving op te lossen door de training van de nutfunctie af te stemmen op de policy-optimalisatie op segment-niveau.

1. Advantage Learning:

   • In plaats van een beloningsfunctie te leren, leert PAWS direct een advantage functie $A_\phi$ uit segment-niveau voorkeursparen $(\tau^+, \tau^-)$.
   • De voorkeurs-likelihood wordt gemodelleerd met een Bradley-Terry formulering gebaseerd op de som van de advantages binnen een segment: $P_{A_\phi}[\tau^+ \succ \tau^-] = \frac{\exp(A_\phi(\tau^+))}{\exp(A_\phi(\tau^+)) + \exp(A_\phi(\tau^-))}$.
   • Het model kan worden geïmplementeerd met behulp van ofwel een Transformer encoder of een Multi-Layer Perceptron (MLP).

2. Segment-gebaseerde Policy Optimalisatie:

   • In plaats van per-stap nutten te extraheren, voert PAWS policy-updates direct uit op traject-segmenten.
   • De methode formuleert een geconstraineerd optimalisatieprobleem om een optimale segment-distributie $p^*(\tau)$ te vinden die de verwachte advantage maximaliseert terwijl het binnen een trust region (KL-divergentie grens $\epsilon$) blijft van de oorspronkelijke data-distributie $p_D(\tau)$.
   • De oplossing levert een hergewogen segment-distributie op: $p^*(\tau) \propto p_D(\tau) \exp(\frac{1}{\lambda} A_\phi(\tau))$.
   • De policy $\pi_\theta$ wordt vervolgens bijgewerkt door een gewogen maximum likelihood objectief te maximaliseren, waarbij de gewichten de exponentiële waarden van de segment-advantages zijn:
     $$\mathcal{L}(\theta) = \sum_{\tau \in D} \sum_{(s_t, a_t) \in \tau} \exp\left(\frac{A_\phi(\tau)}{\lambda}\right) \log \pi_\theta(a_t|s_t)$$
   • Cruciaal is dat het belang-gewicht (importance weight) op het gehele segment wordt toegepast, waardoor de policy-update de segment-niveau voorkeursinformatie respecteert.

3. Hyperparameter Controle via Effectieve Steekproefomvang:

   • Om handmatige afstemming van de KL-grens $\epsilon$ (die afhankelijk is van de actie-dimensionaliteit en datasetgrootte) te vermijden, introduceert PAWS een datagedreven strategie om de Lagrange-multiplier $\lambda$ te controleren.
   • De auteurs stellen voor om $\lambda$ in te stellen om een gewenste effectieve steekproefomvang ($n_{eff}$) te bereiken, berekend uit de importance weights. Dit maakt intuïtieve controle mogelijk over hoeveel segmenten betekenisvol bijdragen aan de update, waarbij een balans wordt gevonden tussen de exploitatie van segmenten met een hoge advantage en stabiliteit.

Belangrijkste Bijdragen

• Analyse van Distributieverschuiving: Het artikel identificeert de mismatch tussen segment-niveau nut-training en stap-niveau inference als een kernbeperking van bestaande PbRL-methoden, wat leidt tot ambigue temporele credit assignment.
• PAWS Algoritme: Een nieuwe segment-gebaseerde preferentie-leermethode die policy-updates uitvoert met advantage-gewogen segmenten, waardoor traject-niveau voorkeursinformatie behouden blijft en onbetrouwbare per-stap signalen worden vermeden.
• Datagedreven Hyperparameter Afstemming: Een intuïtieve strategie voor het instellen van policy-optimalisatie hyperparameters op basis van de effectieve steekproefomvang van de voorkeurs-gewogen data, wat de afhankelijkheid van handmatige afstemming vermindert.
• Empirische Validatie: Uitgebreide evaluatie op gesimuleerde robotische manipulatie (Meta-World) en locomotie (D4RL) taken, die consistente verbeteringen laten zien ten opzien van gevestigde baselines.

Experimentele Resultaten
De auteurs evalueerden PAWS op 10 Meta-World manipulatie taken en 4 D4RL locomotie taken onder twee voorkeursbudgetten (50 en 500 paren).

• Prestaties: PAWS (zowel Transformer als MLP varianten) presteerde consequent beter dan baselines inclusief Behavior Cloning (BC), P-IQL, CPL, CPL+KL, Preference Transformer, en IPL.
• Low-Data Regime: In de 50-voorkeurs setting presteerden veel baselines zelfs slechter dan Behavior Cloning, terwijl PAWS robuuste prestaties behield, wat de efficiëntie in scenario's met schaarse data benadrukt.
• Ablatie Studies:
  • Update Granulariteit: Het vervangen van de segment-niveau updates van PAWS door staat-actie-niveau updates (met gebruik van dezelfde geleerde advantage functie) resulteerde in een significante prestatiedaling, wat bevestigt dat de distributieverschuiving de primaire oorzaak is van falen in standaard benaderingen.
  • Segment Lengte: Het vergroten van de segment lengte verergerde de prestatiedaling voor staat-actie-gebaseerde updates, maar had minimale negatieve impact op PAWS, dat inherent op segment-niveau opereert.
  • Menselijke Feedback: Wanneer getest op voorkeuren verzameld van 10 niet-auteur menselijke labelaars, behaalde PAWS de hoogste succespercentages op de "Button Press" en "Door Open" taken, wat de robuustheid tegen echte menselijke ruis valideert.
  • Credit Assignment: PAWS demonstreerde een hogere Spearman's rangcorrelatie met expert-rangschikkingen vergeleken met stap-gebaseerde updates, wat wijst op een superieure preservatie van temporele voorkeursstructuren.

Betekenis en Claims
Het artikel claimt dat de prestatiewinst van PAWS primair voortkomt uit het afstemmen van de training- en inference-distributies van de geleerde nutfunctie, in plaats van uit specifieke architecturale keuzes (aangezien zowel de MLP als de Transformer varianten beter presteerden dan hun stap-niveau tegenhangers).

De auteurs benadrukken dat PAWS een principiële oplossing biedt voor het temporele credit assignment probleem in PbRL door de "onbetrouwbare per-stap leer-signalen" te vermijden die inherent zijn aan methoden die op segmenten trainen maar op stappen infereren. De methode wordt gepresenteerd als bijzonder effectief in low-data regimes waar stap-niveau nut-schattingen het meest ruisgevoelig zijn. Hoewel de evaluatie beperkt is tot gesimuleerde robotica-taken met oracle en kleinschalige menselijke data, suggereren de auteurs dat het segment-niveau perspectief direct toepasbaar is op de preferentie-fine-tuning van grote generatieve modellen (bijv. RLHF), waarbij vergelijkingen doorgaans worden gemaakt over volledige responses in plaats van individuele tokens.

Beperkingen
De auteurs erkennen dat PAWS uniforme belang-gewichten (importance weights) toekent aan alle staat-actie paren binnen een segment, wat suboptimaal kan zijn als een segment een mix bevat van hoog- en laagwaardige acties. Daarnaast vereist de keuze van de effectieve steekproefomvang ($n_{eff}$) selectie, hoewel wordt opgemerkt dat dit intuïtiever is dan het direct afstemmen van de KL-grens. Tot slot is de huidige evaluatie beperkt tot simulatie en adresseert deze nog niet grootschalige, ruisgevoelige menselijke feedback.