Technische Samenvatting: Supervised Reward Inference (SRI)

Probleemstelling

Traditionele benaderingen voor beloningsinferentie (reward inference), zoals Inverse Reinforcement Learning (IRL), vertrouwen doorgaans op de aanname dat menselijke demonstraties worden gegenereerd volgens een specifiek, bekend gedragsmodel (bijv. ruisige optimaliteit, begrensde rationaliteit). De werkelijkheid van menselijk gedrag is echter vaak suboptimaal door gebrekkige planning, uitvoeringsfouten of intentionele niet-optimale gebaren die uitsluitend worden gebruikt om doelen te communiceren. Bestaande methoden hebben moeite wanneer het aangenomen gedragsmodel verkeerd gespecificeerd is, wat leidt tot onjuiste beloningsinferentie. Hoewel eerdere werken proberen gedragsmodellen uit data te leren, kampen deze benaderingen vaak met beperkingen, zoals een restrictie tot tabulaire settings of het onvermogen om effectief om te gaan met willekeurig suboptimaal gedrag.

Het kernprobleem dat wordt aangepakt, is hoe beloningsfuncties geïnferreerd kunnen worden uit een breed scala aan menselijke gedragingen—inclusief die die willekeurig suboptimaal zijn of bedoeld zijn als communicatie in plaats van optimalisatie—zonder te vertrouwen op sterke, potentieel onjuiste aannames over het onderliggende gedragsmodel.

Methodologie: Supervised Reward Inference (SRI)

De auteurs stellen Supervised Reward Inference (SRI) voor, een framework dat beloningsinferentie herformuleert als een supervised learning-probleem. In plaats van een gedragsmodel te leren dat acties naar beloningen mapt en dit vervolgens te inverteren, leert SRI direct een mapping van gedrags-trajecten naar beloningsfuncties met behulp van een dataset van gekoppelde gedragingen en bekende grondwaarheid-beloningen (ground-truth rewards).

Kernframework

Gegeven een dataset van taken waarbij elke taak $k$ bestaat uit:

1. Een set gedragstrajecten $\{\tau_{k,i}\}$ (die willekeurig suboptimaal kunnen zijn).
2. Een set staat-beloningsparen $\{(s_{k,j}, r_{k,j})\}$ gesampled uit dezelfde taak.

SRI traint een neuraal netwerk om de beloning $r(s)$ voor een gegeven staat $s$ te voorspellen, geconditioneerd op de gedragstrajecten. De architectuur bestaat uit twee hoofdonderdelen:

• Taakencoder ($f_{\theta_f}$): Encodeert een set gedragstrajecten naar een vast-dimensionale taak-embedding $\psi$. In de experimenten wordt hiervoor een Transformer gebruikt voor traject-encodering en een Set Transformer voor het poolen van meerdere trajecten.
• Beloningsmodel ($g_{\theta_g}$): Neemt de taak-embedding $\psi$ en een staat $s$ als input om de beloningswaarde te voorspellen.

Het trainingsdoel is het minimaliseren van de gemiddelde kwadratische fout tussen de voorspelde beloningen en de grondwaarheid-beloningen over de dataset:
$$\arg \min_{\theta_f, \theta_g} \mathbb{E} \left[ L \left( g_{\theta_g}(S, f_{\theta_f}(\{\tau_n\})), R(S) \right) \right]$$

Theoretische Garanties

Het artikel biedt een theoretisch bewijs dat SRI asymptotisch Bayes-optimaal is. Onder standaardveronderstellingen (compacte staat/actie-ruimtes, begrensde returns en voldoende modelcapaciteit), convergeert de geïnferreerde beloningsfunctie naarmate de datasetgrootte naar oneindig gaat uniform naar het posterieure gemiddelde van de beloning gegeven het gedrag. Bijgevolg convergeert het afgeleide optimale beleid naar het beleid dat de verwachte return maximaliseert onder de ware posterieure distributie van beloningen. Dit geldt voor elke vaste klasse van gedrag, mits de gedragsdistributie tijdens de inzet overeenkomt met de trainingsdistributie.

Extensies

De auteurs laten zien dat dit supervised inference-template generaliseert naar andere taken voor intentie-inferentie:

• Supervised Goal Inference (SGI): Het direct voorspellen van latente doelrepresentaties vanuit gedrag.
• Supervised Action Inference (SAI): Het direct voorspellen van optimale acties vanuit gedrag en staat.

Belangrijkste Bijdragen

1. Nieuw Framework: Introductie van SRI, dat de noodzaak voor expliciete gedragsmodellering elimineert door beloningsinferentie te behandelen als een directe supervised learning-taak.
2. Theoretische Optimaliteit: Bewijs dat SRI asymptotisch Bayes-optimaal is voor beloningsinferentie en apprenticeship learning onder standaardveronderstellingen, zonder kennis van het gedragsmodel nodig te hebben.
3. Robuustheid tegen Suboptimaliteit: Demonstratie dat SRI nauwkeurige beloningen kan infereren uit hoogst suboptimaal, ruisachtig en zelfs niet-demonstratief gedrag (bijv. gebaren die de taak nooit voltooien), waar traditionele IRL-methoden falen.
4. Generalisatie: Extensie van het framework naar Supervised Goal Inference (SGI) en Supervised Action Inference (SAI), wat de veelzijdigheid van de supervised intent-inferentie benadering aantoont.

Experimentele Resultaten

De auteurs evalueerden SRI op twee verschillende benchmarks:

1. Meta-World Robotics Taken (Continue Controle)

• Setup: Taken omvatten "Reach" en "Pick-Place" met willekeurig verdeelde doelen.
• Gedragsklassen: Het systeem werd getest op vijf klassen van demonstraties, waaronder ruisige acties, systematisch foutieve offsets, en "Gesture" demonstraties waarbij de robot naar het doel wees maar het object nooit oppakte of plaatste.
• Bevindingen:
  • SRI bereikte bijna plafondprestaties (0.822 genormaliseerde doelnabijheid) op Pick-Place taken met enkel "Gesture" demonstraties, terwijl alle imitation learning baselines (BC, GAIL, AIRL) faalden (prestatie $\le 0$).
  • SRI toonde robuustheid tegen willekeurige suboptimaliteiten, waarbij het bijna optimale beleid afleidde, zelfs wanneer demonstraties zeer ruisig of systematisch vertekend waren.
  • Prestaties schaalden vloeiend met de hoeveelheid data, wat duidt op een sterke data-efficiëntie.

2. Shah et al. (2019) Gridworld Benchmark (Tabulair)

• Setup: Een tabulaire benchmark die SRI vergelijkt met eerdere methoden voor willekeurig suboptimaal gedrag, inclusief het "Inverse Planning" (IP) algoritme van Shah et al. (2019).
• Bevindingen:
  • SRI (aangepast om policy-inputs te accepteren) bereikte bijna plafondprestaties over alle demonstrant-klassen (optimaal, naïef, geraffineerd, myopisch, etc.) en hun ruisige varianten.
  • SRI presteerde beter dan of even goed als de state-of-the-art IP-methoden, wat suggereert dat het direct leren van de inverse map (policy-naar-beloning) effectiever is dan het leren van een planner en deze inverteren, zelfs in tabulaire settings.

Betekenis en Claims

Het artikel claimt dat SRI een verschuiving in paradigma vertegenwoordigt van gedragsmodel-engineering naar data-gedreven supervised learning. Door gedrag te zien als een indicatie van intentie in plaats van een optimalisatiepoging, omzeilt SRI de broosheid die gepaard gaat met model-misspecificatie.

De auteurs benadrukken dat:

• SRI een "parsimonieuze maar krachtige oplossing" is die gebruikmaakt van standaard supervised learning-technieken.
• Het het gebruik van vooruitgang in representatie-leren en pre-trained modellen (bijv. Transformers) mogelijk maakt zonder dat er specifieke RL-inductieve biases ontworpen hoeven te worden.
• De methode universeel toepasbaar is op elke vaste gedragsdistributie, mits er voldoende taak-geïndexeerde beloningssupervisie beschikbaar is tijdens de training.
• Hoewel de huidige experimenten uitgaan van toegang tot simulator-beloningen voor training, is het framework ontworpen om compatibel te zijn met toekomstige extensies waarbij beloningen worden geschat uit schaarse annotaties of voorkeuren.

Het artikel concludeert dat minder bevooroordeelde leeralgoritmen, wanneer ze voorzien worden van voldoende data, beter kunnen presteren dan meer bevooroordeelde, model-gebaseerde benaderingen voor beloningsinferentie. Dit ondersteunt de "bitter lesson" dat het schalen van data en computation vaak betere resultaten oplevert dan handmatig ontworpen aannames.