Uncertainty-Aware Variational Reward Factorization via Probabilistic Preference Bases for LLM Personalization

Titel: Uncertainty-Aware Variational Reward Factorization via Probabilistic Preference Bases for LLM Personalization

1. Het Probleem

Het afstemmen van Large Language Models (LLM's) op menselijke voorkeuren (bijv. via RLHF) is cruciaal, maar traditionele methoden leren vaak één enkel, gedeeld beloningsmodel. Dit model neigt naar het "gemiddelde" gebruiker en negeert de diverse en soms conflicterende voorkeuren van individuele gebruikers.

Bestaande methoden voor gepersonaliseerde beloningsfactorisatie (waarbij een beloning wordt ontbonden in gedeelde basisfuncties en gebruikersspecifieke gewichten) lopen tegen twee fundamentele beperkingen aan:

1. Geïsoleerde voorkeursmodellering (C1): Gebruikersgewichten worden geschat op basis van zeer schaarse data per gebruiker, zonder gebruik te maken van gedeelde patronen binnen de gebruikerspopulatie. Dit leidt tot onnauwkeurige schattingen, vooral bij nieuwe (ongetrainde) gebruikers.
2. Deterministische punt-schattingen (C2): Bestaande methoden behandelen gebruikersvoorkeuren als vaste punten. Dit negeert de inherente onzekerheid die voortkomt uit data-schaarste of diverse voorkeuren. Een gebruiker met wisselende voorkeuren wordt hierdoor even "zeker" behandeld als een gebruiker met zeer consistente voorkeuren, wat leidt tot onbetrouwbare inferentie.

2. Methodologie: Variational Reward Factorization (VRF)

De auteurs stellen VRF voor, een raamwerk dat onzekerheid expliciet modelleert door gebruikersvoorkeuren en gedeelde voorkeursbases te representeren als variational distributies (Gaussische verdelingen) in een gedeelde voorkeursruimte.

De kerncomponenten zijn:

• Variational User Preference Encoding:

  • In plaats van één punt, infereert een variational encoder de voorkeuren van een gebruiker $u$ als een Gaussische verdeling $q_u = \mathcal{N}(\mu_u, \text{diag}(\sigma_u^2))$ op basis van een kleine referentiedataset.
  • $\mu_u$ encodeert de locatie van de voorkeur, terwijl $\sigma_u$ de onzekerheid (variantie) vastlegt.
  • Meerdere observaties worden geaggregeerd via het product van Gaussians, wat zwaardere weging geeft aan observaties met hogere precisie.

• Probabilistische Voorkeursbases (Shared Bases):

  • Er worden $K$ gedeelde voorkeursbases $P = \{p_k\}$ geleerd, waarbij elke basis $p_k$ ook een Gaussische verdeling is.
  • Deze bases vertegenwoordigen verschillende voorkeurstijlen (bijv. formeel, empathisch, feitelijk) en vangen populatieniveau-patronen op.

• Uncertainty-Aware Matching (Wasserstein Distance):

  • De gebruikersgewichten $w_u$ worden afgeleid door de 2-Wasserstein-afstand ($W_2$) te berekenen tussen de gebruikersverdeling $q_u$ en elke basis $p_k$.
  • Omdat $W_2$ zowel de middelpunten ($\mu$) als de varianties ($\sigma$) meet, wordt de matching onzekerheidsbewust. Gebruikers met hoge onzekerheid krijgen een "zachtere" toewijzing over de bases.

• Training Objectives:

  • Variance-Attenuated Bradley-Terry Loss ($L_{VBT}$): De standaard Bradley-Terry loss wordt aangepast. De beloningsverschillen worden gemodelleerd als een Gaussische verdeling. De gradient wordt adaptief verzwakt (geattenuerd) op basis van de variantie van de beloningsschatting. Als de onzekerheid hoog is, heeft de loss minder invloed op het trainingsproces, wat voorkomt dat het model leert op onbetrouwbare signalen.
  • Regularisatie: Een term ($L_{REG}$) zorgt ervoor dat gebruikersverdelingen binnen de geleerde voorkeursruimte blijven (gebaseerd op een Mixture-of-Gaussians prior), en een term ($L_{SEP}$) zorgt voor diversiteit tussen de bases.

• Few-Shot Inference:

  • Voor nieuwe gebruikers hoeft geen gradient-based optimatie plaats te vinden. De variational encoder voert één forward pass uit om de verdeling en gewichten direct af te leiden.

3. Belangrijkste Bijdragen

1. Identificatie van uitdagingen: Het paper benoemt en analyseert systematisch de problemen van geïsoleerde modellering en deterministische schattingen in bestaande reward factorization methoden.
2. VRF Framework: Introductie van een nieuw raamwerk dat gebruikers en bases als probabilistische distributies modelleert, wat onzekerheidsbewuste personalisatie mogelijk maakt.
3. Uitgebreide Validatie: Experimenten op drie benchmarks (PersonalLLM, TL;DR, PRISM) tonen consistent superioriteit ten opzichte van state-of-the-art baselines (zoals PAL, LoRe, PReF) voor zowel gezien als ongezette gebruikers, zelfs in few-shot scenario's.

4. Resultaten

• Prestatie: VRF behaalt de hoogste nauwkeurigheid in pairwise preference tasks op alle drie de datasets. De prestatiesverbetering is het grootst bij zeer diverse gebruikersvoorkeuren (waar onzekerheid hoog is).
• Robuustheid: Het model presteert consistent goed over verschillende niveaus van data-schaarste (van 1 tot 9 voorbeeldparen) en verschillende niveaus van onzekerheid (lage, middelhoge, hoge).
• Downstream Alignment: Verbeteringen in de beloningsmodellen vertalen zich direct naar betere resultaten bij inferentie-tijd afstemming (via Best-of-N sampling).
• Efficiëntie: VRF is extreem efficiënt. Het schatten van gebruikersgewichten kost slechts 0,6 ms per gebruiker (enkel een forward pass), terwijl gradient-based methoden (zoals PReF) 83-114 ms nodig hebben. Dit maakt schaalbaarheid naar miljoenen gebruikers haalbaar.

5. Betekenis en Impact

Dit werk biedt een fundamentele verschuiving in hoe we LLM-personalisatie benaderen. Door onzekerheid niet als een bijproduct maar als een centraal element te modelleren, maakt VRF het mogelijk om betrouwbare personalisatie te bieden zelfs wanneer er zeer weinig data per gebruiker beschikbaar is.

De methode lost het "one-size-fits-all" probleem op zonder de rekenkosten van het trainen van duizenden aparte modellen. De combinatie van gedeelde probabilistische bases en onzekerheidsbewuste verliesfuncties biedt een schaalbare en robuuste route voor het afstemmen van LLM's op de complexe en vaak onzekere voorkeuren van individuele gebruikers in de echte wereld.