Reward Learning through Ranking Mean Squared Error

Technische Samenvatting: Beloningsleren door middel van Ranking Mean Squared Error (R4)

Probleemstelling
De toepassing van Reinforcement Learning (RL) op reële problemen wordt vaak gehinderd door de moeilijkheid van het ontwerpen van beloningen (reward design). Handmatige beloningsengineering is vaak een foutgevoelig proces van vallen en opstaan dat kan leiden tot beloningsmisspecificatie, waarbij agenten onbedoeld gedrag aanleren. Hoewel Reward Learning (het afleiden van beloningen uit menselijke feedback) een alternatief biedt, hebben bestaande methoden beperkingen. Preference-based RL (PbRL), dat steunt op binaire vergelijkingen, is inefficiënt qua sampling en biedt slechts relatieve informatie zonder een beoordeling van de absolute kwaliteit. Daartegenover bieden recente rating-gebaseerde RL-benaderingen (RbRL) de mogelijkheid voor mensen om discrete, meerklasse-ratings toe te kennen (bijv. "slecht", "neutraal", "goed"), wat rijkere feedback oplevert. Echter, bestaande RbRL-methoden, zoals die gebruikmaken van cross-entropy losses, leggen rigide beperkingen op aan beloningsmodellering, zoals het vereisen van expliciete klassengrenzen en het afdwingen dat trajecten binnen dezelfde ratingklasse identieke voorspelde returns hebben, waardoor intra-klasse diversiteit wordt genegeerd.

Methodologie: Ranked Return Regression voor RL (R4)
De auteurs stellen R4 voor, een nieuw rating-gebaseerd RL-algoritme dat beloningsfuncties leert van traject–rating paren met behulp van een Ranking Mean Squared Error (rMSE) loss.

• Kernmechanisme: R4 behandelt door mensen gegeven discrete ratings als ordinale targets. Tijdens de training samplet het algoritme één traject uit elke ratingklasse. Het berekent de voorspelde gedisconteerde returns voor deze trajecten onder het huidige beloningsmodel ($\hat{r}_\theta$).
• Differentiabele Ranking: In plaats van ratings te behandelen als onafhankelijke classificatie-labels, gebruikt R4 een differentiable sorting operator (specifiek soft ranks van Blondel et al., 2020) om de voorspelde returns te rangschikken. Dit produceert een vector van soft ranks ($\hat{R}$) die overeenkomt met de gesamplede trajecten.
• Loss Functie: Het doel is om de Mean Squared Error te minimaliseren tussen de soft ranks van de voorspelde returns en de door mensen gegeven ratingclasses ($c$):
  $$L_{rMSE} = \frac{1}{n} \sum_{i=0}^{n-1} (\hat{R}(\tau_i) - c(\tau_i))^2$$
  Deze aanpak maakt het mogelijk dat gradiënten door de ranking-operatie propageren, waardoor het beloningsmodel kan worden aangepast zodat de relatieve ordening van voorspelde returns overeenkomt met de ordinale menselijke ratings.

Belangrijkste Bijdragen

1. Algoritmische Innovatie: De introductie van R4, die gebruikmaakt van de nieuwe rMSE loss om beloningsfuncties te trainen vanuit ordinale ratings zonder dat er expliciet gedefinieerde klassengrenzen nodig zijn.
2. Theoretische Garanties: De auteurs stellen vast dat onder milde aannames (deterministische menselijke beloning, hypotheseklasse dekking en differentiabele ranking die hard ranks benadert), de oplossingsverzameling van de rMSE-objective zowel minimaal als compleet is. Dit betekent dat de verzameling beloningsfuncties die de rMSE loss voldoen, gelijk is aan de verzameling beloningsfuncties die de door de mens opgelegde ordinale restricties perfect voldoen. In tegenstelling hiertoe bewijzen de auteurs dat de werkelijke beloningsfunctie van de mens niet gegarandeerd in de oplossingsverzameling van eerdere RbRL-objectieven zit.
3. Empirische Validatie: R4 wordt gevalideerd in zowel offline als online settings met gesimuleerde ratings en een menselijke gebruikersstudie. Het presteert consistent gelijk aan of beter dan bestaande rating-gebaseerde (RbRL) en preference-gebaseerde (PEBBLE, SURF, QPA) methoden over robotica-benchmarks (OpenAI Gym en DeepMind Control Suite).
4. Menselijke Studie: Een met ethische goedkeuring voorzien studie met 8 deelnemers toonde aan dat R4 RbRL overtreft, ondanks aanzienlijke variabiliteit tussen deelnemers in ratinggedrag. Deelnemers rapporteerden een lage cognitieve belasting (gemiddelde NASA TLX score van 2.05/7), wat de haalbaarheid van rating-gebaseerde feedback ondersteunt.

Resultaten

• Offline Setting: In OpenAI Gym domeinen (Reacher, Inverted Double Pendulum, Half Cheetah) leidde de met R4 getrainde beloningsfuncties tot statistisch sneller leren en hogere uiteindelijke returns vergeleken met RbRL wanneer deze werden gebruikt om een Soft Actor-Critic (SAC) agent te trainen.
• Online Setting: In zes DeepMind Control Suite omgevingen leerden R4-getrainde agenten aanzienlijk sneller dan alle baselines in drie omgevingen en behaalden ze hogere uiteindelijke returns in vier omgevingen.
• Menselijke Feedback: In de gebruikersstudie behaalde R4 significant sneller leren en hogere returns dan RbRL in zowel de Reacher als de Hopper taken, zelfs toen deelnemers variërende aantallen ratingklassen gebruikten en klasse-imbalans vertoonden.
• Ablatie: De studie bevestigde dat R4 stabiel blijft bij verschillende aantallen rating bins, terwijl de prestaties van RbRL verslechteren wanneer het aantal bins afwijkt van een optimaal bereik.

Betekenis
Het artikel beweert dat R4 een belangrijke stap voorwaarts vertegenwoordigt in beloningsleren door een methode te bieden die zowel theoretisch onderbouwd als praktisch effectief is. Door het ordinale karakter van menselijke ratings te benutten via een ranking-gebaseerde loss, vermijdt R4 de restrictieve aannames van eerdere rating-gebaseerde methoden (zoals vaste grenzen en intra-klasse homogeniteit). Het theoretische bewijs van minimaliteit en volledigheid biedt een rigoureuze rechtvaardiging voor het ontwerp van het algoritme, terwijl de empirische resultaten, inclusief de menselijke studie, de robuustheid ervan aantonen tegenover variabiliteit in menselijke feedback en het vermogen om de cognitieve last voor menselijke raters te verminderen vergeleken met preference-gebaseerde alternatieven.