Risk-Aware Preference Learning for Stochastic Outcomes

Technische Samenvatting: Risico-bewust Preferentieel Leren voor Stochastische Uitkomsten

Probleemstelling
Preferentiegebaseerd beloningsleren is een standaardparadigma voor het afstemmen van autonome systemen op menselijke intenties, met name in domeinen zoals sociale robotnavigatie waar doelstellingen (veiligheid, efficiëntie, normen) moeilijk handmatig te specificeren zijn, maar gemakkelijk uit te drukken via vergelijkingen. Bestaande benaderingen gaan echter voornamelijk uit van de aanname dat menselijke beoordelaars onzekere uitkomsten beoordelen met behulp van Verwachte Nut (EU), wat de utiliteiten van uitkomsten lineair aggregeert gewogen door hun waarschijnlijkheden.

De auteurs identificeren een kritieke mismatch: gedragseconomie laat zien dat mensen systematisch risicosensitief zijn, waarbij ze vaak zeldzame catastrofale gebeurtenissen (bijv. botsingen) overwaarderen en lastaversie vertonen. In stochastische omgevingen kan het aannemen van EU, wanneer de werkelijke menselijke besluitvormer risicosensitief is, leiden tot structurele fouten in het beloningsleren. Specifiek kan de leerling de risicosensitiviteit onjuist coderen als verschillen in de utiliteit van de uitkomst, waardoor wat gebruikers waarderen wordt verward met hoe zij onzekerheid wegen. Dit paper onderzoekt of het modelleren van menselijke risicosensitiviteit het herstel van beloningen verbetert wanneer er geleerd wordt van preferenties over stochastische robotuitkomsten.

Methodologie
De studie maakt gebruik van een Bradley-Terry preferentieel leerframework om twee modellen van menselijke besluitvorming te vergelijken:

1. Verwachte Nut (EU): De standaard baseline waarbij de waarde van een actie $A$ de waarschijnlijkheidsgewogen som is van de utiliteiten van de uitkomsten: $V_{EU}(A) = \sum p_i \theta^\top \phi(o_i)$.
2. Cumulative Prospect Theory (CPT): Een niet-lineair model dat risicosensitiviteit vastlegt via:
   • Waardefunctie: Een asymmetrische transformatie van winsten en verliezen, $v(x)$, die lastaversie ($\lambda > 1$) en afnemende gevoeligheid ($\alpha, \eta$) bevat.
   • Waarschijnlijkheidsweging: Een distortiefunctie, $w(p)$, die zeldzame gebeurtenissen overwaardeert wanneer de parameter $\gamma < 1$.
   • Beslissingsgewichten: Berekend via een rangafhankelijke transformatie over cumulatieve waarschijnlijkheden.

Experimentele Opzet
De auteurs hebben een 2D sociale navigatiesimulatie geconstrueerd waarin een robot kiest uit zeven meta-acties (bijv. vooruit, draaien, stoppen) in dynamische omgevingen bevolkt door voetgangers (gemodelleerd via het Helbing–Molnár sociale krachtmodel).

• Stochasticiteit: Elke robotactie induceert een distributie over uitkomsten. Voor elke actie werden $K=50$ stochastische rollouts gesimuleerd om een empirische distributie van featurevectoren te generen (minimale afstand, afwijking, voortgang, vloeiendheid, aantal botsingen).
• Synthetische Docenten: Preferentiedata werd gegenereerd door "docenten" die ofwel het EU-model of het CPT-model gebruikten. CPT-docenten maakten gebruik van twee risicoprofielen: T&K (gebaseerd op de empirische parameters van Tversky en Kahneman) en Strong (versterkte risicosensitiviteit).
• Leerlingen: Twee klassen van leerlingen werden getraind op de gegenereerde paarwijze vergelijkingen:
  • EU Leerling: Gaat uit van lineaire utiliteitsaggregatie.
  • CPT Leerling: Schat gezamenlijk de beloningsgewichten ($\theta$) en de CPT-parameters in.
• Evaluatie: Prestaties werden gemeten aan de hand van held-out actie-regret, gedefinieerd als het verschil tussen de waarde van de actie gekozen door het ware gebruikersmodel en de actie geselecteerd door het geleerde model.

Belangrijkste Resultaten
De experimenten leverden de volgende bevindingen op met betrekking tot het herstel van beloningen:

• EU Docenten: Wanneer preferenties werden gegenereerd door een EU-docent, behaalde de EU-leerling de laagste regret. De CPT-leerling presteerde niet beter dan de EU-leerling, wat suggereert dat het introduceren van CPT-parameters wanneer het onderliggende proces lineair is, onnodige flexibiliteit toevoegt en de sample-efficiëntie vermindert.
• CPT Docenten: Wanneer preferenties werden gegenereerd door risicosensitieve (CPT) docenten, presteerde de CPT-leerling aanzienlijk beter dan de EU-leerling.
  • Naarms de hoeveelheid trainingsparen toenam, nam de regret van de CPT-leerling gestaag af.
  • De EU-leerling bleef op een significant hoger regret-niveau.
  • De resultaten wijzen erop dat wanneer gebruikers risicosensitief zijn, een EU-leerling probeert deze keuzes te verklaren door de herstelde beloningsfunctie te vervormen, terwijl een CPT-leerling erin slaagt beloningsgewichten te scheiden van risicosensitiviteit.

Betekenis en Claims
Het paper concludeert dat het expliciet modelleren van menselijke risicosensitiviteit via Cumulative Prospect Theory het leren van beloningen onder onzekerheid verbetert, met name wanneer het preferentiegenererende proces gepaard gaat met sterke risicosensitiviteit. De auteurs stellen dat het afstemmen van het preferentiemodel van de leerling op het risicosensitieve keuzeproces van de docent cruciaal is voor het herstellen van accurate beloningsfuncties in stochastische domeinen.

De auteurs hanteren een bescheiden standpunt met betrekking tot de reikwijdte van deze bevindingen:

• De resultaten worden gepresenteerd als voorlopig bewijs afgeleid van synthetische data.
• De studie toont het theoretische en algoritmische voordeel van CPT-gebaseerde leerlingen aan in simulatie, maar stelt expliciet dat validatie door menselijke proefpersonen toekomstig werk blijft.
• Het paper claimt geen directe inzetbaarheid in echte robots, maar benadrukt het belang van het aanpakken van de EU-CPT mismatch om vertekend beloningsleren in veiligheidskritische toepassingen zoals sociale navigatie te voorkomen.