📊 statistics

Similarity as Reward Alignment: Robust and Versatile Preference-based Reinforcement Learning

Dit artikel introduceert Similarity as Reward Alignment (SARA), een robuust contrastief framework voor voorkeursgebaseerd reinforcement learning dat latente representaties leert om beloningen als gelijkenissen te berekenen, waarbij het een superieure stabiliteit en ruisbestendigheid ten opzichte van baselines demonstreert op benchmarks voor continue controle.

Oorspronkelijke auteurs: Sara Rajaram, R. James Cotton, Fabian H. Sinz

Gepubliceerd 2026-07-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sara Rajaram, R. James Cotton, Fabian H. Sinz

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij moet lopen, dansen of een maaltijd moet koken. In de wereld van kunstmatige intelligentie wordt dit Reinforcement Learning genoemd. Meestal leert de robot door dingen uit te proberen en een score, of "beloning", te krijgen van een menselijke programmeur. Als de robot iets goeds doet, krijgt hij een punt; als hij omvalt, verliest hij er een. Maar hier zit de crux: het schrijven van het perfecte scoresysteem is ontzettend moeilijk. Het is alsoos dat je een regelboek probeert te schrijven voor "goed koken" dat elke mogelijke fout die een chef kan maken dekt, zonder per ongeluk te zeggen dat ze het huis in brand mogen steken.

Om dit op te lossen, ontwikkelden wetenschappers een slimme afkorting genaamd Preference-based Reinforcement Learning (PbBL). In plaats van een regelboek te schrijven, vraagt men simpelweg aan mensen om naar twee verschillende pogingen van een robot te kijken en te zeggen: "Ik vind deze liever dan die." De robot probeert vervolgens de verborgen regels te ontdekken die bepalen waarom de "goede" versie beter is. Het is veel makkelijker om te zeggen "Ik heb liever deze pizza" dan om een handleiding te schrijven over precies hoeveel kaas er perfect moet zijn. Er is echter een groot probleem: mensen zijn niet perfect. We worden moe, we raken in de war, en soms maken we fouten. Als de robot leert van een leraar die vaak het mis heeft, kan de robot onhandig of gevaarlijk worden. Dit artikel behandelt de rommelige realiteit van het onderwijzen van robots met menselijke leraren die er soms naast zitten.

De onderzoekers achter deze studie, Sara Rajaram, R. James Cotton en Fabian H. Sinz, merkten op dat de meeste huidige methoden voor het leren van robots via menselijke voorkeuren vertrouwen op een specifieke wiskundige truc genaamd het Bradley-Terry-model. Denk aan dit model als een strikte scheidsrechter die alleen geeft om head-to-head wedstrijden. Als jij tegen de scheidsrechter zegt: "Robot A is beter dan Robot B," gaat de scheidsrechter ervan uit dat dit een absolute waarheid is en past het brein van de robot dienovereenkomstig aan. Maar wat als je gewoon aan het gokken was? Of wat als je moe was en de verkeerde koos? Het oude model behandelt elke fout als een feit, wat de robot in verwarring kan brengen en ervoor kan zorgen dat hij vreselijk presteert wanneer de menselijke leraar een foutje maakt.

Om dit op te lossen, introduceerde het team een nieuwe methode genaamd SARA (Similarity as Reward Alignment). In plaats van te fungeren als een strikte scheidsrechter die alleen naar paren kijkt, gedraagt SARA zich meer als een wijze kunstcriticus die naar een hele galerie met schilderijen kijkt. SARA vergelijkt niet alleen twee robots tegelijk; het kijkt naar alle de "goede" voorbeelden die de mens leuk vond en zoekt naar de gemeenschappelijke patronen die hen bijzonder maken. Het creëert een mentale "vingerafdruk" van hoe een perfecte uitvoering eruitziet. Wanneer de robot vervolgens iets nieuws probeert, vraagt SARA: "In hoeverre lijkt dit op onze vingerafdruk?" Als het er vergelijkbaar uitziet, krijgt de robot een beloning. Als het er anders uitziet, krijgt hij een lagere score.

De schoonheid van SARA is dat het de ruis negeert. Als een mens per ongeluk zegt dat een slechte uitvoering "goed" is, raakt SARA niet in paniek. Omdat het naar zoveel andere "goede" voorbeelden heeft gekeken, realiseert het zich dat dit ene slechte voorbeeld niet past bij het patroon van de rest. Het is als een muziekdocent die duizenden perfecte pianostukken heeft gehoord; als een student een lied speelt met een valse noot en de docent per ongeluk klapt, weet het brein van de docent: "Wacht even, dat klonk niet als de andere geweldige stukken," en laat het de student niet denken dat hij het geweldig heeft gedaan.

Het team heeft dit idee getest op een verscheidenheid aan robottaken, zoals het laten springen van een virtuele hopper of het laten bewegen van een walker naar voren. Ze hebben de menselijke feedback bewust verstoord door tegen de robots te zeggen dat slechte bewegingen eigenlijk goed waren, met foutpercentages variërend van 0% tot 40%. In deze tests begonnen de oude methoden (de strikte scheidsrechters) uit elkaar te vallen naarmate de fouten toenamen, waarbij hun prestaties op sommige taken met wel 73% daalden. SARA bleef echter stabiel. Zelfs wanneer de menselijke feedback ruizig was, bleven de SARA-robots goed presteren, wat statistisch significante verbeteringen liet zien ten opzichte van de oudere methoden.

De onderzoekers controleerden ook hoe goed SARA het werkelijke doel van de taak begreep, en niet alleen wat de mens zei. Ze ontdekten dat de beloningen die SARA berekende, veel nauwer aansloten bij de werkelijke fysica van de omgeving dan de beloningen die door de oudere methoden werden berekend. Dit suggereert dat SARA beter in staat is om de verwarring van de mens eruit te filteren en het ware "goede" gedrag te vinden dat eronder verborgen ligt.

Kortom, dit artikel suggereert dat het bij het onderwijzen van robots met menselijke feedback beter is om te zoeken naar de "vibe" van een goede uitvoering over vele voorbeelden heen, in plaats van te obsessief te zijn over elke individuele vergelijking. Door een methode te gebruiken die leert van de collectieve wijsheid van een groep "goede" voorbeelden in plaats van alleen maar door pairwise gevechten, maakt SARA robots veel robuuster tegen menselijke fouten. Het betekent niet dat de menselijke leraar perfect moet zijn; het betekent alleen dat de robot slim genoeg is om te weten wanneer de leraar een slechte dag heeft.

Technische Samenvatting: Similarity as Reward Alignment (SARA)

Probleemstelling

Preference-based Reinforcement Learning (PbRL) beoogt het gedrag van agenten af te stemmen op menselijke intenties door te leren van menselijke feedback op trajectparen, waardoor de last van handmatige beloningsengineering wordt verlicht. De huidige PbRL-methoden vertrouwen echter voornamelijk op het Bradley-Terry (BT) model om beloningsfuncties te leren uit paarwijze rangordes. Deze aanpak kent significante beperkingen in realistische scenario's waarin menselijke labelaars geen experts zijn of onder tijdsdruk werken, wat leidt tot onvermijdelijke fouten in de labeling.

Eerder onderzoek wijst uit dat op BT gebaseerde modellen fragiel zijn voor ruis; ze gaan uit van transitieve voorkeuren (een aanname die in de menselijke psychologie vaak wordt geschonden) en kunnen overfitten op relatieve rangordes in trajectparen. Empirische studies suggereren dat zelfs foutpercentages in labels van 10% de RL-prestaties aanzienlijk kunnen verslechteren, waarbij realistische mate van onenigheid onder menselijke labelaars vaak 25% bereikt. Bovendien blijft de formele bewijsvoering voor de robuustheid van BT-modellen onder ruisende omstandigheden een openstaande uitdaging. Het kernprobleem dat wordt geadresseerd is het gebrek aan robuustheid in huidige PbRL-frameworks wanneer zij worden geconfronteerd met ruisende, niet-expert voorkeursdata.

Methodologie: Similarity as Reward Alignment (SARA)

De auteurs stellen SARA voor, een contrastief leerframework dat het paradigma verschuift van het leren van paarwijze relatieve rangordes naar het leren van een latente representatie van de volledige verzameling van geprefereerde gedragingen.

Kernarchitectuur

SARA maakt gebruik van een twee-fasen Transformer-gebaseerde encoder:

Trajectory Encoding (Enc 1): Elk traject (geprefereerd $\sigma_p$ of niet-geprefereerd $\sigma_n$ ) wordt verwerkt door een Transformer-encoder met positionele codering. Gemiddelde pooling over tijdstappen produceert een enkele latente representatie ( $u_{p,i}$ of $u_{n,i}$ ) voor elk traject.
Set Encoding (Enc 2): De trajectrepresentaties worden willekeurig verdeeld in $k$ deelverzamelingen (waarbij $k=2$ in experimenten) binnen elke categorie (geprefereerd en niet-geprefereerd). Een tweede Transformer-encoder verwerkt deze deelverzamelingen, waardoor aandacht binnen de deelverzameling mogelijk is om informatie te aggregeren. Dit produceert set-niveau latente representaties ( $z^k_p$ en $z^k_n$ ).

Trainingsdoelstelling

Het model wordt getraind met de SimCLR contrastieve loss. Het doel is om:

De latente representaties van verschillende deelverzamelingen van dezelfde categorie bij elkaar te trekken (bijv. $z^1_p$ en $z^2_p$ ).
De representaties van geprefereerde deelverzamelingen van niet-geprefereerde deelverzamelingen weg te duwen ( $z^k_p$ vs $z^k_n$ ).

Deze randomisatie van de samenstelling van de deelverzameling bij elke epoch dwingt de encoder om generaliseerbare patronen te leren die geprefereerd van niet-geprefereerd gedrag onderscheiden, in plaats van te overfitten op specifieke trajectparen of ruisende labels.

Beloningsinferentie

In tegen tegenstelling tot BT-gebaseerde methoden die een beloningsfunctie outputten geparametriseerd door $\psi$ , leert SARA een bevroren geprefereerde set-representatie ( $z^*_p$ ) door de gehele dataset van geprefereerde trajecten te encoderen. Tijdens de daaropvolgende RL-training wordt de beloning voor een gesampled traject $\sigma_t$ op tijdstap $t$ berekend als de cosinus-gelijkenis tussen de trajectrepresentatie ( $z_t$ ) en de bevroren geprefereerde latente representatie:
$r_t = \cos(z_t, z^*_p)$
De theoretische rechtvaardiging put uit recent werk (Sun et al., 2025) dat suggereert dat het voorspellen van de waarschijnlijkheid dat een enkel traject geprefereerd is, voldoende is voor afstemming, waardoor de valkuilen van relatieve rangorde-modellen worden vermeden.

Belangrijkste Bijdragen

Robuust Contrastief Framework: SARA introduceert een nieuwe methode die geprefereerde en niet-geprefereerde traject-sets codeert in latente representaties, waarbij beloningen worden berekend via gelijkenis met de geprefereerde set. Dit vermijdt de paarwijze rangorde-aannames van het BT-model.
Ruisbestendigheid: Door een aandacht-gewogen representatie van de gehele geprefereerde set te leren, bereikt SARA robuustheid tegen fouten in de labeling. Het vertrouwt niet op het fitten van paarwijze rangordes, die gevoelig zijn voor corruptie door ruisende labels.
Mechanistische Analyse: De auteurs bieden een mechanistische verklaring voor de robuustheid van SARA, ondersteund door t-SNE visualisaties en ablatie-studies. Ze demonstreren dat de encoder leert om verkeerd gelabelde trajecten die niet dezelfde patronen delen met de meerderheid van de geprefereerde set, minder gewicht toe te kennen, waardoor ruis effectief wordt gefilterd zonder expliciete filtermechanismen.
Statistische Validatie: Het artikel levert rigoureus statistisch bewijs (Wilcoxon signed-rank test, $p < 0.01$ ) dat de superioriteit van SARA over baselines aantoont bij variërende niveaus van ruis.

Experimentele Resultaten

De auteurs evalueerden SARA op continue controle offline RL-benchmarks (D4RL: Mujoco locomotion, Franka Kitchen, Adroit) met voorkeursdatasets met geïnjecteerde ruispercentages van 0%, 10%, 20% en 40%.

Prestatiestabiliteit: SARA vertoonde consistente returns in beleidsevaluatie over foutpercentages van 0–20%. In contrast hiermee vertoonden baselines (Preference Transformer, PT+ADT, DPPO) een significante degradatie, waarbij sommige tot wel 73% daalden op specifieke datasets naarmate de foutpercentages toenamen.
Statistische Significantie: Een Wilcoxon signed-rank test over 24 taakconditie-cellen bevestigde dat het prestatievoordeel van SARA ten opzichte van alle baselines statistisch significant is ( $p < 0.01$ ).
Beloningscorrelatie: Door SARA geïnferreerde transitiebeloningen vertoonden een hogere Pearson-correlatie met de werkelijke omgeving-beloningen (gebruikt als proxy voor de onderliggende voorkeurscriteria) vergeleken met baselines over alle ruispercentages. Dit geeft aan dat SARA de ware voorkeurscriteria beter vastlegt, zelfs wanneer de labels ruisend zijn.
Ablatie-studies: Het verwijderen van de set-gebaseerde encoding (trainen op individuele trajectparen via contrastief leren) resulteerde in aanzienlijk lagere en minder stabiele returns, wat bevestigt dat de set-niveau aggregatie cruciaal is voor robuustheid.

Betekenis en Claims

Het artikel claimt dat SARA een robuuster alternatief biedt voor standaard BT-gebaseerde PbRL-methoden, met name in scenario's met niet-expert labelaars of tijdgeknepen annotatie waarbij de foutpercentages hoog zijn.

Paradigmaverschuiving: De auteurs beargumenteren dat de focus van SARA op representatie-leren en set-niveau consensus, in plaats op paarwijze relatieve rangordes, de fundamentele fragiliteit van BT-modellen voor ruis en intransitieve menselijke voorkeuren aanpakt.
Praktisch Nut: Hoewel SARA mogelijk geen BT-modellen zal verdringen in scenario's met hoogwaardige, expert-zware data (waar BT nog steeds goed kan presteren), biedt het een stabiele baseline wanneer de kwaliteit van de annotatie onzeker is.
Veelzijdigheid: Het framework is aanpasbaar aan diverse feedbackformaten en vereist niet strikt gepaarde data, waardoor het gebruik van deelverzamelingen van geprefereerde samples uit een grotere pool mogelijk is.

De auteurs blijven bescheiden over hun claims en erkennen dat SARA geen transitieve voorkeursordeningen garandeert (een bekende beperking van menselijke voorkeuren) en dat het exclusieve gebruik van D4RL-omgevingen de generaliseerbaarheid naar andere benchmarks beperkt. Zij positioneren SARA niet als een universele vervanging voor BT, maar als een noodzakelijke evolutie voor robuustheid in realistische, ruisende voorkeur-leeromgevingen.