Reward Model Interpretability via Optimal and Pessimal Tokens

Technische Samenvatting: Interpreteerbaarheid van Beloningsmodellen via Optimale en Pessimale Tokens

Probleemstelling
Beloningsmodellen (Reward Models, RM's) staan centraal in de afstemming van Large Language Models (LLM's) op menselijke waarden, omdat ze dienen als het primaire mechanisme voor het omzetten van prompt-respons paren in een scalaire beloning tijdens Reinforcement Learning from Human Feedback (RLHF). Ondanks hun cruciale rol als de "menselijke waarde die het asfalt raakt" (human value rubber meeting the road), blijven beloningsmodellen zelf onderbelicht. Ze worden vaak behandeld als vervangbare tussenmiddelen, terwijl ze juist de meest directe codering van menselijke waardeoordelen in AI-systemen vertegenwoordigen. De huidige literatuur mist een uitgebreid begrip van de consistentie, getrouwheid en interne eigenschappen van deze modellen, met name met betrekking tot hoe ze complexe, contextafhankelijke waarden coderen en of verschillende modellen die op vergelijkbare doelstellingen zijn getraind, uitwisselbaar zijn.

Methodologie
De auteurs stellen een nieuwe aanpak voor voor de interpreteerbaarheid van beloningsmodellen door middel van een uitputtende analyse van modelresponsen over hun volledige vocabulaire-ruimte. De studie richt zich op tien recente open-source beloningsmodellen van variërende parameters (2B tot 27B) en architecturen, geselecteerd van de RewaRdBench leaderboard.

De kernmethodologie omvat:

1. Uitputtende Single-Token Zoektocht: De onderzoekers construeerden een prompt ("Wat, in één woord, is het grootste ding ooit?") en berekenden de scalaire beloningsscore voor elke mogelijke single token in het vocabulaire van elk model (variërend van ~128.000 tot ~256.000 tokens). Dit maakte een volledige rangschikking mogelijk van "optimale" (hoogst scorende) en "pessimale" (laagst scorende) tokens.
2. Kwantitatieve Analyse: De studie analyseerde de statistische eigenschappen van deze beloningsverdelingen, inclus\n bij skewness (scheefheid), variantie en ordinale correlaties (Kendall's $\tau$) tussen modellen. Ze gebruikten Multidimensional Scaling (MDS) en Representational Similarity Analysis (RSA) om te bepalen hoe factoren zoals het basismodel, de ontwikkelaar, het aantal parameters en de leaderboard-rangorde de modelgelijkenis beïnvloeden.
3. Framing en Sentimentanalyse: De auteurs testten de modellen met positief geformuleerde prompts ("beste ding ooit") en negatief geformuleerde prompts ("slechtste ding ooit") om de gevoeligheid voor sentimentvalentie en framing-effecten te onderzoeken. Ze controleerden ook voor woordfrequentie om een "mere-exposure effect" te testen.
4. Externe Validatie: Om de getrouwheid aan menselijke waarden te beoordelen, vergeleken de auteurs de modelrangschikkingen met een onafhankelijke grondwaarheid-dataset, EloEveRything, die paarwijze menselijke voorkeuren aggregeert over Wikipedia-afgeleide entiteiten.
5. Multi-Token Optimalisatie: Met behulp van Greedy Coordinate Gradient (GCG) optimalisatie breidden de auteurs de zoektocht uit naar multi-token sequenties (2–5 tokens) om optimale en pessimale responsen te identificeren die verder gaan dan enkelvoudige tokens.

Belangrijkste Bijdragen

• Uitputtende Vocabulaire-analyse: Het artikel pioniert een volledige rangschikking van beloningsscores voor alle tokens in het vocabulaire van tien diverse beloningsmodellen, wat de fijnmazige kenmerken van hun waarde-codering onthult.
• Systematische Asymmetrieën: De auteurs tonen aan dat beloningsverdelingen een positieve skew vertonen en systematische asymmetrieën hebben in gevoeligheid. Modellen zijn gevoeliger voor onderscheid tussen hoog scorende (positieve sentiment) tokens dan voor laag scorende tokens.
• Framing-effecten: De studie stelt vast dat beloningsmodellen menselijke cognitieve biases met betrekking tot framing weerspiegelen. De gevoeligheid voor token-sentiment verschuift op basis van de prompt-framing; modellen zijn gevoeliger voor positief sentiment in positieve frames en negatief sentiment in negatieve frames.
• Frequentie-bias: Het onderzoek identificeert een "mere-exposure effect", waarbij meer frequente woorden in de Engelse taal hogere beloningsscores ontvangen, wat duidt op een lekkage van de pre-trained basismodellen naar het beloningssignaal.
• Heterogeniteit en Bias: Het werk onthult significante heterogeniteit tussen modellen die getraind zijn op vergelijkbare doelstellingen, wat de aanname van hun uitwisselbaarheid ongeldig maakt. Het legt ook systematische devaluatie bloot van verwijzingen naar identiteitsgroepen (bijv. "Black people", "Jews", "homosexuals") en seksuele inhoud, zelfs in reactie op positieve prompts.

Resultaten

• Model-heterogeniteit: Er is substantiële diversiteit in token-rangschikkingen tussen modellen, zelfs tussen modellen van dezelfde ontwikkelaar of met vergelijkbare architecturen. Kendall's $\tau$ correlaties tussen modellen variëren van 0,22 tot 0,39 wanneer ze worden vergeleken met menselijke rangschikkingen, en 0,55 tussen de modellen onderling.
• Invloed van het Basismodel: RSA geeft aan dat de keuze van het basismodel en de rangorde van het model op de RewaRdBench de primaire drijfveren zijn voor de gelijkenis in token-rangschikkingen, wat suggereert dat RM's idiosyncratische biases erven van hun pre-trained fundamenten.
• Framing-gevoeligheid: Wanneer geprompt werd met "het slechtste ding ooit", werden de modellen gevoeliger voor negatief-sentiment tokens, waarmee de bias die bij positieve prompts werd waargenomen, werd omgedraaid. Dit suggereert dat RM's "beste" en "slechtste" niet behandelen als eenvoudige inversen, maar opereren in een hoger-dimensionale ruimte.
• Devaluatie van Identiteitsgroepen: In de EloEveRything vergelijking devalueerden beloningsmodellen concepten gerelateerd aan natuur, technologie en specifieke identiteitsgroepen systematisch ten opzichte van menselijke beoordelaars. Bijvoorbeeld, "Black people" werd door modellen aanzienlijk lager gerangschikt dan door mensen, en termen als "rape" en "Hitler" verschenen als pessimale tokens, terwijl identiteitsbeledigingen ook zwaar werden bestraft.
• Multi-Token Bevindingen: GCG-optimalisatie bevestigde dat programmeerartefacten en slecht gevormde code lage scores krijgen, terwijl subjectieve, niet-committende antwoorden vaak hoge scores halen. Opmerkelijk genoeg kwamen identiteitsgroep-termen zoals "Jews" naar voren als pessimale tokens voor zowel "grootste" als "slechtste" prompts, wat het effect van linguïstische uitwissing versterkt.

Betekenis en Claims
Het artikel betoogt dat beloningsmodellen niet louter neutrale proxies zijn voor menselijke voorkeuren, maar complexe artefacten die specifieke, en soms zorgwekkende, biases coderen. De auteurs beweren dat:

1. Uitwisselbaarheid is een Mythe: Beloningsmodellen die op vergelijkbare doelstellingen zijn getraind, zijn niet uitwisselbaar; ze vertonen een significante heterogeniteit die kan leiden tot verschillende downstream gedragingen in gefinetunede LLM's.
2. Onbedoelde Gevolgen van Onschadelijkheid (Harmlessness): De systematische devaluatie van identiteitsgroepen en seksuele inhoud lijkt een onbedoeld gevolg te zijn van "harmlessness" trainingsdoelstellingen, wat potentieel kan leiden tot linguïstische uitwissing in plaats van veilige interactie.
3. Framing-risico's: De gevoeligheid voor framing suggereert dat huidige RLHF-praktijken (die typisch raters vragen om de "betere" respons te kiezen) onbedoeld de dynamische reikwijdte van het beloningsmodel kunnen beïnvloeden, wat het doel van het sturen van modellen weg van schadelijke outputs in negatieve contexten kan ondermijnen.
4. Noodzaak voor Robuuste Proxies: De bevindingen dagen de geschiktheid uit van huidige beloningsmodellen als proxies voor complexe menselijke waarden en benadrukken de noodzaak van robuustere, transparantere en zorgvuldiger gecureerde waarde-codering om de propagatie van biases in breed ingezette LL's te voorkomen.

De auteurs concluderen dat hoewel beloningsmodellen essentiële instrumenten zijn voor afstemming, ze een rigoureuze interpreteerbaarheidsanalyse vereisen om ervoor te zorgen dat ze menselijke waarden getrouw vertegenwoordigen zonder nieuwe, systematische verstoringen te introduceren.