Technische Samenvatting: De Trade-off tussen Representatie en Rationaliseerbaarheid in Beloningsleren

Probleemstelling

In Reinforcement Learning from Human Feedback (RLHF) bestaat de kerntaak van het leren uit het omzetten van heterogene paarwijze voorkeuren van meerdere annotatoren naar een enkele scalaire beloningsfunctie $r(x, y)$. De klassieke sociale keuzetheorie stelt dat wanneer steekproeven van annotatoren heterogeen zijn, geaggregeerde voorkeuren Condorcet-cycli kunnen induceren (bijv. $A \succ B$, $B \succ C$, $C \succ A$), wat het onmogelijk maakt voor een scalaire beloning om alle respons-paren consistent te rangschikken.

Hoewel recente literatuur RLHF heeft geanalyseerd vanuit het perspectief van sociale keuze, gaan deze werken doorgaans uit van een vaste, vooraf genomineerde eindige verzameling alternatieven. In moderne pipelines worden responsen echter gescoord via een geleerde representatie $\phi(x, y)$ gevolgd door een scalaire kop $g$, zodanig dat $r(x, y) = g(\phi(x, y))$. De embedding $\phi$ bepaalt welke responsen worden behandeld als onderscheidbare alternatieven en welke vergelijkingen zichtbaar zijn voor het beloningsmodel. Dit onderzoek onderzoekt de fundamentele vraag: Leidt het vergroten van de representatieve rijkdom van $\phi$ altijd tot een betere fit met menselijke voorkeuren?

De auteurs stellen dat de algemene intuïtie — dat rijkere representaties meer signalen bieden en dus een betere fit opleveren — incompleet is. In plaats daarvan verandert de embedding zelf het aggregatieprobleem. Het verfijnen van $\phi$ zorgt ervoor dat er minder responsen worden samengevoegd, waardoor voorheen ononderscheidbare paren worden omgezet in onderscheidbare alternatieven. Hoewel dit informatieverlies vermindert, legt het tegelijkertijd meer paarwijze vergelijkingen bloot die vorm kunnen aannemen als irreducibele cycli, die geen enkele scalaire beloning kan rationaliseren.

Methodologie en Theoretisch Kader

1. Decompositie van Excess Loss

Het artikel formaliseert het leerprobleem onder een Random Utility Model (RUM) met willekeurige annotator-heterogeniteit. De auteurs definiëren de excess cross-entropy loss van een geleerde beloning $r$ ten opzichte van de Bayes-optimale loss $L^*$ (de best mogelijke prestatie gegeven perfecte kennis van de geaggregeerde voorkeuren).

Zij bewijzen dat deze excess loss exact kan worden gedecomposeerd in twee termen:
$$L(r) - L^* = E_{\text{emb}}(\phi) + E_{\text{agr}}(\phi, r)$$

• Embedding Loss ($E_{\text{emb}}$): Meet de informatie die verloren gaat wanneer de embedding $\phi$ onderscheidbare responsen samenvoegt tot hetzelfde punt. Deze term neemt af naarmate $\phi$ rijker wordt (hogere dimensionaliteit of meer expressiviteit).
• Agreement Cost ($E_{\text{agr}}$): Meet de irreducibiliteit van de geaggregeerde voorkeuren. Zelfs als $\phi$ alle onderscheid perfect behoudt (injectief is), kunnen de geaggregeerde voorkeuren cycli bevatten die voorkomen dat een scalaire beloning ze simultaan rationaliseert. Deze term neemt toe naarmate $\phi$ rijker wordt, omdat het meer potentiële cycli blootlegt.

2. Ondergrenzen en Trade-off Analyse

De auteurs leiden een ondergrens af voor de excess loss die de spanning tussen deze twee termen expliciet kwantificeert:
$$L(r) - L^* \geq 2e_d + \frac{\ell_\delta^2}{2} \bar{P}_d^\delta$$
Waar:

• $e_d$ de embedding-fout is (gerelateerd aan $E_{\text{emb}}$), die monotoon niet-toenemend is met de embedding-dimensie $d$.
• $\bar{P}_d^\delta$ de kromming-gewogen waarschijnlijkheid van Condorcet-cycli is die zichtbaar zijn bij dimensie $d$, en die niet-afnemend is met $d$.
• $\ell_\delta$ een marge-afhankelijke constante is.

Onder milde aannames (specifiek dat de sigma-veld gegenereerd door de embedding groeit met de dimensie), tonen de auteurs aan dat de ondergrenzen van de twee termen in tegengestelde richtingen bewegen. Bijgevolg kunnen zowel extreem grove als extreem fijne representaties suboptimaal zijn, wat impliceert dat er een optimale embedding-dimensie bestaat die dataset-afhankelijk is.

3. Extensies naar DPO en Joint Training

• Direct Preference Optimization (DPO): De auteurs tonen aan dat dezelfde decompositie en ondergrens-structuur van toepassing zijn op DPO, waarmee zij aantonen dat de representatie-rationaliseerbaarheid trade-off ook de preferentie-gebaseerde policy-learning beheerst, zelfs zonder een expliciet beloningsmodel.
• Joint Training: Het artikel analyseert de dynamiek van het gezamenlijk trainen van de embedding en de beloningskop. Zij bewijzen dat gezamenlijke updates niet garanderen dat een van beide trade-off termen per ronde afneemt. Specifiek verschuiven de optimalisatiedynamieken de embedding-fout en de cyclus-waarschijnlijkheid via reward-tilt covarianten. Op elk vast punt van de gezamenlijke update wordt de beloning constant op de data, waardoor er geen preferentie-signaal overblijft. Zo concludeert het artikel dat joint training niet impliciet convergeert naar het "sweet spot" van de trade-off.

Belangrijkste Resultaten

Theoretische Bevindingen

1. Exacte Decompositie: De excess loss is strikt de som van een embedding loss (informatieverlies) en een agreement cost (falen van rationaliseerbaarheid).
2. Monotoniciteit: Onder standaard aannames (bijv. geneste sigma-velden) leidt het vergroten van de embedding-dimensie tot een afname van de embedding loss, maar tot een toename van de ondergrens op de agreement cost (cyclus-waarschijnlijkheid).
3. Niet-convexiteit van Optimalisatie: Gezamenlijke training van embeddings en beloningen garandeert niet het vinden van de optimale trade-off; het kan stagneren bij degenereerde punten waar de beloning constant is.

Empirische Validatie

Experimenten werden uitgevoerd op:

• Synthetische Data: Gegenereerd met transitieve, cyclische en ruisige utility-componenten.
• Real-world Datasets: Jester (grappigheidsratings), Sushi (sushi-voorkeuren) en MT-Bench (LLM-dialoogvoorkeuren).

Observaties:

• Naarmate de embedding-dimensie toeneemt, neemt de embedding loss af terwijl de agreement cost toeneemt.
• De totale excess loss vertoont vaak een minimum bij een intermediaire embedding-dimensie, wat de theoretische trade-off valideert.
• Deze trends houden stand voor zowel expliciete beloningsmodellering (RLHF) als impliciete beloningsextractie (DPO) over verschillende gepre-trainde encoders (bijv. all-MiniLM-L6-v2, mpnet).
• Visualisaties van synthetische data laten zien dat naarmate de dimensie toeneemt, het gebied in de embedding-ruimte waar responsen Condorcet-cycli vormen, groter wordt, wat bevestigt dat rijkere representaties meer onverzoenlijke voorkeuren blootleggen.

Betekenis en Claims

Het artikel claimt het begrip van beloningsmodellering in RLHF te verschuiven van een puur representatief vraagstuk naar een aggregatieprobleem. De primaire betekenis ligt in het identificeren van de geleerde embedding niet louter als een feature extractor, maar als een structureel onderdeel dat de set van beschikbare alternatieven voor vergelijking definieert.

De belangrijkste claims zijn:

1. Beperking van Scalaire Beloningen: De onmogelijkheid van een consistente scalaire rangschikking in aanwezigheid van heterogene voorkeuren is niet slechts een statistisch artefact, maar een instelbare eigenschap die afhankelijk is van de representatie.
2. Optimale Complexiteit: Er bestaat geen "meer is beter"-regel voor de representatieve rijkdom in RLHF; de optimale dimensie is een balans tussen het vastleggen van preferentie-onderscheid en het vermijden van de blootstelling aan irreducibele cycli.
3. Trainingsdynamiek: Standaard joint training-procedures navigeren niet automatisch door deze trade-off, wat suggereert dat huidige RLHF-pipelines suboptimal kunnen zijn zonder expliciete overwweging van deze spanning tussen representatie en aggregatie.

De auteurs hanteren een bescheiden houding door te benadrukken dat hun werk primair theoretisch is en geen nieuwe modellen of inzetbare systemen voorstelt, maar eerder een fundamentele beperking van de huidige scalaire beloningsmodellering-benaderingen onder heterogene menselijke feedback verheldert.