Swap-guided Preference Learning for Personalized Reinforcement Learning from Human Feedback

Deze paper introduceert Swap-guided Preference Learning (SPL), een nieuwe methode die posterior collapse in Variational Preference Learning voor RLHF oplost door fictieve swap-annotators en een adaptieve latente conditionering te gebruiken voor effectievere personalisatie.

De kern

Samenvatting van het onderzoek: "SWAP-GUIDED PREFERENCE LEARNING"

Stel je voor dat je een zeer slimme, digitale assistent hebt die alles kan doen: van het schrijven van gedichten tot het coderen van software. Om deze assistent te trainen, gebruiken mensen vaak een methode genaamd RLHF (Reinforcement Learning from Human Feedback). Het idee is simpel: mensen geven de assistent feedback op antwoorden ("dit is goed", "dit is slecht"), en de assistent leert daarvan om in de toekomst beter te presteren.

Het probleem: De "Eén-grootte-voor-Allen" valkuil
Het probleem met de huidige manier van trainen is dat de assistent ervan uitgaat dat iedereen hetzelfde vindt. Het is alsof je een restaurant hebt dat probeert één menukaart te maken voor de hele wereld. Als de meeste mensen van pizza houden, krijgt iedereen pizza. Maar wat als jij van sushi houdt? Of als iemand anders vegetarisch is? De huidige AI negeert deze persoonlijke voorkeuren en levert een "gemiddeld" resultaat dat voor niemand echt perfect is.

Eerdere pogingen om dit op te lossen (genaamd VPL) probeerden een geheime code (een "latente variabele") te vinden die de persoonlijke smaak van een gebruiker beschrijft. Maar dit liep vaak vast in een fenomeen dat posterior collapse wordt genoemd.

De analogie van de "Luie Chef"
Stel je voor dat de AI een chef-kok is. De "geheime code" is een briefje met de persoonlijke voorkeuren van de klant.

• Bij de oude methode (VPL) was de chef zo slim dat hij de briefjes negeerde. Hij dacht: "Ik weet al precies wat mensen lekker vinden, ik hoef die briefjes niet te lezen." Hij maakte gewoon zijn standaard gerechten. De briefjes (de persoonlijke data) werden dus nutteloos. Dit is de "collapse": de AI stopte met het leren van persoonlijke voorkeuren.

De oplossing: SPL (Swap-Guided Preference Learning)
De auteurs van dit paper, Gihoon Kim en Euntai Kim, hebben een nieuwe methode bedacht genaamd SPL. Ze hebben een slimme truc bedacht om de chef te dwingen die briefjes echt te lezen.

Hier is hoe het werkt, in drie simpele stappen:

1. De "Spiegel-Truc" (Swap-Guided Base Regularization):
   Stel je voor dat je de chef twee scenario's voorhoudt.

   • Scenario A: De klant zegt: "Ik hou van sushi, ik haat pizza."
   • Scenario B (de gespiegelde versie): De klant zegt: "Ik haat sushi, ik hou van pizza."
     De nieuwe methode dwingt de AI om te leren dat deze twee scenario's exact het tegenovergestelde moeten zijn. Als de AI in Scenario A denkt dat sushi goed is, moet hij in Scenario B denken dat sushi slecht is. Door deze "spiegel" te gebruiken, wordt de AI gedwongen om de persoonlijke voorkeuren echt te begrijpen in plaats van ze te negeren. Het is alsof je de chef zegt: "Als je de rollen omdraait, moet je mening ook omdraaien. Als je dat niet doet, heb je de briefjes niet gelezen."

2. De "Meerlagige Filter" (Preferential Inverse Autoregressive Flow):
   Soms is de smaak van een mens heel complex. Een simpele lijstje (zoals "ik hou van sushi") is niet genoeg. De nieuwe methode gebruikt een geavanceerde filter (een stroom van wiskundige transformaties) om die complexe smaken te ontrafelen. Het scheidt de "draaiende" voorkeuren (wat ik nu wil) van de "stabiele" voorkeuren (wat ik altijd wil). Dit zorgt ervoor dat de AI een veel rijker en nauwkeuriger beeld krijgt van wie de gebruiker is.

3. De "Slimme Regelaar" (Adaptive Latent Conditioning):
   Soms is de feedback van de gebruiker vaag of onzeker. De nieuwe methode heeft een slimme regelaar die zegt: "Als de gebruiker heel duidelijk is, luister ik hard naar zijn voorkeuren. Maar als de gebruiker twijfelt, pak ik een beetje meer mijn eigen ervaring erbij." Dit maakt de AI robuust en voorkomt dat hij in de war raakt door slechte of onduidelijke feedback.

Wat levert dit op?
In hun experimenten hebben de onderzoekers getoond dat hun nieuwe methode (SPL) de "luie chef" (de oude AI) volledig heeft opgeheven.

• De AI leert nu echt de persoonlijke smaken van verschillende gebruikers.
• De "briefjes" worden niet meer genegeerd; ze worden actief gebruikt.
• De AI is beter in het voorspellen wat een specifieke gebruiker leuk vindt, zelfs als er maar weinig data is.

Conclusie
Kortom, deze paper introduceert een slimme manier om AI-systemen persoonlijker te maken. In plaats van één algemene "perfecte" AI te bouwen die iedereen een beetje teleurstelt, bouwen ze nu AI's die zich kunnen aanpassen aan jouw unieke smaak, jouw waarden en jouw voorkeuren. Ze doen dit door een slimme "spiegel-truc" te gebruiken die de AI dwingt om echt naar de individuele gebruiker te kijken, in plaats van naar het gemiddelde.

Technische samenvatting

Probleemstelling: Posterior Collapse in Personalized RLHF

Reinforcement Learning from Human Feedback (RLHF) is de standaardmethode om grote AI-systemen af te stemmen op menselijke waarden. Echter, traditionele RLHF-methoden gaan uit van een universele beloningsfunctie (single-reward assumption), wat impliceert dat alle menselijke voorkeuren homogeen zijn. Dit negeert de diversiteit van individuele voorkeuren en leidt tot systematische bias ten gunste van meerderheidsvoorkeuren.

Om dit op te lossen, is Variational Preference Learning (VPL) ontwikkeld. VPL introduceert een latente variabele ($z$) die specifiek is voor elke gebruiker, zodat het model persoonlijke voorkeuren kan coderen. Ondanks de veelbelovende theorie, hebben de auteurs geconstateerd dat VPL in de praktijk lijdt aan posterior collapse.

• Het fenomeen: De encoder leert de latente variabele $z$ te negeren. Omdat de decoder (beloningsmodel) voldoende informatie kan halen uit de prompt-antwoordparen zelf, wordt $z$ onbruikbaar.
• Gevolg: Het model regradeert tot een enkelvoudig beloningsmodel, waardoor personalisatie faalt en minderheidsvoorkeuren worden genegeerd.
• Oorzaak: Bij complexe, multimodale voorkeursdata en sterke decoders, leert de encoder geen onderscheidende signalen; de posterior van de originele gebruiker en een "omgekeerde" gebruiker (waarbij gekozen en afgewezen antwoorden worden verwisseld) worden identiek.

Methodologie: Swap-Guided Preference Learning (SPL)

Om posterior collapse te voorkomen en robuuste persoonlijke latente variabelen te leren, stellen de auteurs Swap-Guided Preference Learning (SPL) voor. De kernidee is het gebruik van de structurele eigenschappen van voorkeursdata: als je de voorkeuren van een gebruiker omkeert (swap), moet de latente representatie een gespiegeld (mirrored) gedrag vertonen.

SPL introduceert drie cruciale componenten:

1. Swap-Guided Base Regularization

De auteurs trainen de encoder zodat deze een "gespiegelde" verdeling leert voor een gebruiker $h$ en een fictieve tegenhanger $h_{swap}$ (waarbij gekozen en afgewezen antwoorden zijn verwisseld).

• Doel: De gemiddelde waarden ($\mu$) van de latente verdeling moeten van teken wisselen ($\mu \approx -\mu_{swap}$), terwijl de log-variatie ($\ell$) invariant moet blijven ($\ell \approx \ell_{swap}$).
• Implementatie: Een extra verliesfunctie ($L_{guide}$) wordt toegevoegd die de cosinus-afstand tussen de gemiddelden minimaliseert (gericht op -1) en de afstand tussen de varianties minimaliseert (gericht op +1). Dit dwingt de encoder om de richting van de voorkeur expliciet te coderen in de latente variabele.

2. Preferential Inverse Autoregressive Flow (P-IAF)

Om de expressiviteit van de latente verdeling te vergroten (van een simpele Gaussische naar een multimodale verdeling), wordt een Inverse Autoregressive Flow (IAF) gebruikt. Echter, een standaard IAF kan de gespiegelde eigenschappen van de basisverdeling niet behouden tijdens de transformatie.

• Innovatie: De auteurs ontleden de contextvector $c$ van de encoder in twee componenten:
  • $c_d$ (swap-reversal): Bevat de richtingssignalen van de voorkeur.
  • $c_s$ (swap-invariant): Bevat achtergrondinformatie.
• Mechanisme: In de P-IAF wordt $c_d$ uitsluitend gebruikt voor de shift-functie ($\mu_k$) en $c_s$ uitsluitend voor de scale-functie ($\sigma_k$). Dit voorkomt kruisvervuiling ("leakage") tussen de signalen en zorgt ervoor dat de gespiegelde structuur behouden blijft in de complexe, getransformeerde verdeling $z_K$.

3. Adaptive Latent Conditioning

In de decoder (beloningsmodel) wordt de invloed van de latente variabele $z_K$ dynamisch aangepast.

• Mechanisme: Gebaseerd op FiLM (Feature-wise Linear Modulation), worden de embeddings van prompt-antwoordparen geschaald en verschoven op basis van $z_K$.
• Voordeel: Als de latente variabele sterke, betrouwbare signalen bevat, wordt de personalisatie versterkt. Bij onzekere signalen wordt de bijdrage van $z_K$ verlaagd, wat het model robuuster maakt tegen ruis in de data.

Belangrijkste Resultaten

De auteurs evalueren SPL op twee datasets: een simpele "Pets"-dataset en een complexe "UltraFeedback-P" (UF-P) dataset met meerdere voorkeurstypes (hulpvaardigheid, eerlijkheid, etc.).

1. Eliminatie van Posterior Collapse:

   • In tegenstelling tot VPL, dat faalt bij hogere KL-divergentie gewichten ($\beta$) en volledig collapseert (Active Units = 0%), behoudt SPL consistent hoge waarden voor Active Units (AU) (tot >90% in sommige settings).
   • SPL is veel minder gevoelig voor de keuze van hyperparameters.

2. Verbeterde Voorspellingsnauwkeurigheid:

   • SPL overtreft alle baselines (BTL, DPL, VPL) in voorkeursvoorspellingsnauwkeurigheid.
   • Op de UF-P-4 dataset bereikt SPL een nauwkeurigheid van 62.21% (Llama-3.1-8B) tegenover 57.14% voor VPL.
   • Op de simpele Pets-dataset bereikt SPL 100% nauwkeurigheid.

3. Kwalitatieve Analyse:

   • Visualisaties (t-SNE/UMAP) tonen aan dat VPL-embeddings samenvloeien tot één cluster (collapse), terwijl SPL duidelijk gescheiden clusters vormt voor verschillende voorkeurstypes.
   • Ablatiestudies bevestigen dat zowel de swap-guided regularisatie als de P-IAF essentieel zijn; zonder deze componenten daalt de prestatie aanzienlijk.

4. Efficiëntie:

   • SPL introduceert slechts een minimaal rekenkundig en geheugenoverhead ten opzichte van VPL (ongeveer 3-4% meer GPU-tijd en geheugen), terwijl de prestaties aanzienlijk verbeteren.

Betekenis en Impact

Dit paper biedt een fundamentele doorbraak in het veld van personalisatie van AI-systemen:

• Eerste identificatie: Het is de eerste studie die posterior collapse expliciet identificeert en adresseert binnen het kader van preference learning.
• Robuustheid: De methode werkt effectief zelfs bij schaarse data en ruisachtige menselijke feedback, wat cruciaal is voor real-world toepassingen.
• Pluralistische Uitlijning: Door het succesvol coderen van unieke gebruikersvoorkeuren zonder collapse, stelt SPL systemen in staat om echt pluralistische uitlijning te bereiken, waarbij minderheidsgroepen niet worden genegeerd ten gunste van een "gemiddelde" gebruiker.
• Toekomstperspectief: De auteurs wijzen erop dat hun framework kan worden uitgebreid naar multi-turn dialogen en andere generatieve modellen, wat de weg vrijmaakt voor bredere toepassing van gepersonaliseerde RLHF.

Samenvattend biedt SPL een solide, wiskundig onderbouwde oplossing voor het probleem van "vergeten" persoonlijke voorkeuren in RLHF, door de structuur van de data zelf (via swapping) te gebruiken als leidraad voor het leren van betekenisvolle latente ruimtes.