Robust Post-Training for Generative Recommenders: Why Exponential Reward-Weighted SFT Outperforms RLHF

Deze paper introduceert en bewijst dat exponentiële reward-gewogen SFT een robuustere en schaalbaarder post-training methode is voor generatieve aanbevelingssystemen dan RLHF, omdat deze direct op waargenomen beloningen werkt zonder reward-modellen of propensity scores, terwijl de temperatuurparameter de afweging tussen robuustheid en verbetering theoretisch en empirisch regelt.

De kern

Stel je voor dat je een super slimme, digitale boekhandelsmedewerker hebt. Deze medewerker (het algoritme) heeft miljoenen boeken gelezen en weet precies wat je hebt gekocht of gelezen in het verleden.

In het begin leert deze medewerker simpelweg door te nabootsen: "Ah, de klant kocht altijd sciencefiction, dus ik raad ook sciencefiction aan." Dit noemen we Behavior Cloning. Het werkt oké, maar het is dom. Als de klant per ongeluk een slecht boek koopt (bijvoorbeeld omdat het op de eerste pagina stond), denkt de robot: "O, dit moet ik vaker doen!" Hij kan niet onderscheiden tussen een echte favoriet en een ongelukje.

Om dit te fixen, wilden onderzoekers de robot leren van menselijke feedback (zoals sterrenbeoordelingen of hoe lang iemand naar een video keek). Ze dachten: "Laten we een scheidsrechter (een 'Reward Model') bouwen die zegt of een aanbeveling goed of slecht is."

Het Probleem: De Slechte Scheidsrechter

De onderzoekers ontdekten echter een groot probleem. In een wereld met miljoenen items (boeken, films, nummers), is het onmogelijk voor de scheidsrechter om alles te kennen. Hij moet gokken over items die hij nog nooit heeft gezien.

• Het gevolg: De scheidsrechter maakt fouten. Hij denkt soms dat een slecht boek geweldig is.
• De ramp: De robot leert dan niet van de echte mens, maar van de fouten van de scheidsrechter. Hij begint te "haken" (reward hacking): hij doet precies wat de scheidsrechter leuk vindt, zelfs als dat voor de mens saai of slecht is. Het resultaat is een robot die perfect speelt voor de scheidsrechter, maar een vreselijke boekhandelaar is voor de klant.

De Oplossing: De "Temperatuur" van de Liefde

In plaats van een nieuwe scheidsrechter te bouwen, hebben de onderzoekers een slimme truc bedacht: Exponential Reward-Weighted SFT.

Laten we dit uitleggen met een vergelijking met een kok en een recept:

1. De oude methode (RLHF): De kok (de robot) kookt, proeft het eten, en vraagt dan aan een blind proefpersoon (de scheidsrechter) of het lekker is. Als de proefpersoon per ongeluk zegt "Ja!", doet de kok dat vaker. Maar als de proefpersoon per ongeluk "Nee!" zegt tegen een heerlijk gerecht, doet de kok het nooit meer. De kok is te afhankelijk van een onbetrouwbare proefpersoon.
2. De nieuwe methode (Exp-RSFT): De kok kijkt niet naar een proefpersoon. Hij kijkt gewoon naar de geschiedenis: "Welke gerechten hebben mensen echt opgegeten en geprezen?"
   • Hij pakt alle recepten die mensen hebben gemaakt.
   • Hij geeft een extra grote kookpot aan de recepten die erg goed werden ontvangen (hoge sterren).
   • Hij geeft een kleine pot aan de recepten die matig waren.
   • En hij geeft geen pot aan de recepten die niemand heeft geproefd.

De Magische Knop: $\lambda$ (Lambda)

Het geheim van deze methode zit in een enkele knop, genaamd $\lambda$ (Lambda). Je kunt dit zien als de "Temperatuur van de Liefde":

• Te koud (Lambda is heel klein): De robot wordt extreem kieskeurig. Hij probeert alleen de allerbeste items te kiezen. Maar omdat de data soms ruis bevat (een klant gaf per ongeluk 5 sterren aan een slechte film), springt de robot in paniek en kiest hij alleen maar rare, extreme dingen. Hij wordt onstabiel.
• Te heet (Lambda is heel groot): De robot wordt te voorzichtig. Hij durft geen risico's te nemen en doet precies wat hij altijd al deed (nabootsen). Hij wordt saai en leert niets nieuws.
• De Gouden Middenweg: Als je de temperatuur net goed instelt, vindt de robot de perfecte balans. Hij durft te experimenteren met dingen die waarschijnlijk goed zijn, maar hij negeert de kleine foutjes in de data.

Waarom werkt dit beter?

De onderzoekers hebben bewezen dat deze methode:

1. Geen scheidsrechter nodig heeft: Hij leert direct van de echte resultaten, niet van een voorspelling.
2. Niet kan "haken": Omdat er geen scheidsrechter is om te misleiden, kan de robot niet trucs uithalen.
3. Werkt met oude data: Je hoeft niet met de klant te praten om nieuwe data te verzamelen; je kunt gewoon kijken naar wat er al in de archieven staat.

Conclusie

Kortom: In plaats van een robot te bouwen die luistert naar een onbetrouwbare adviseur, bouwen we een robot die slim naar de geschiedenis kijkt. Hij weet welke items populair waren, maar gebruikt een slimme "temperatuur-knop" om te voorkomen dat hij door ruis in de data in de war raakt.

Het resultaat? Een aanbevelingssysteem dat niet alleen slim is, maar ook veilig, betrouwbaar en echt nuttig voor de gebruiker, zonder dat het vastloopt in de valkuilen van complexe AI-modellen. Het is alsof je van een robot die blindelings een slechte gids volgt, verandert in een robot die zijn eigen wijsheid heeft ontwikkeld door naar de beste momenten in de geschiedenis te kijken.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Robust Post-Training for Generative Recommenders: Why Exponential Reward-Weighted SFT Outperforms RLHF" in het Nederlands.

Probleemstelling

Generatieve aanbevelingssystemen (die aanbevelingen zien als een sequentiële generatieopgave, vergelijkbaar met Large Language Models) worden momenteel voornamelijk getraind via "Behavior Cloning" (BC). Dit betekent dat het model simpelweg imiteert wat gebruikers hebben gedaan. Het grote nadeel hiervan is dat het model onderscheidt tussen waardevolle interacties (bijv. het bekijken van een film tot het einde) en minder waardevolle interacties (bijv. per ongeluk klikken of clickbait) niet maakt; het behandelt ze allemaal gelijk.

Om dit op te lossen, wordt vaak Reinforcement Learning from Human Feedback (RLHF) gebruikt. Echter, het toepassen van RLHF op industriële aanbevelingssystemen stuit op drie fundamentele problemen:

1. Onbetrouwbaarheid van Reward Models: In aanbevelingssystemen zijn item-representaties puur gebaseerd op gedrag, zonder semantische onderbouwing. Omdat gebruikers slechts een klein deel van de catalogus interacteren, moet een reward model generaliseren over een enorm aantal items op basis van schaarse data. Dit leidt tot extrapolatiefouten waarbij het beleid (policy) items selecteert waar het reward model te optimistisch over is ("reward hacking"), in plaats van items die de gebruiker echt tevreden stellen.
2. Offline Leerbeperkingen: Industriële systemen werken met statische, vooraf verzamelde datasets. Interactieve feedbackloops zijn onmogelijk. Methoden zoals DPO vereisen binaire voorkeursparen, maar aanbevelingsfeedback is vaak scalair (bijv. een rating of kijktijd). Het construeren van paren vereist opnieuw een reward model.
3. Gebrek aan Logging Policy: Offline datasets vertonen selectiebias (rewards zijn alleen zichtbaar voor acties die door het oude beleid zijn genomen). Correctie hierop via Inverse Propensity Scoring (IPS) is vaak onuitvoerbaar omdat de logging policy te complex is om te schatten en IPS-gewichten extreme variantie vertonen.

Methodologie: Exponential Reward-Weighted SFT (Exp-RSFT)

De auteurs stellen Exp-RSFT voor, een methode die trainingsexamples weegt op basis van de waargenomen beloningen (rewards) zonder een apart reward model te leren of te bevragen.

• Kernidee: Het model wordt getraind met een gewogen Maximum Likelihood Objective, waarbij de log-probabiliteit van een actie wordt vermenigvuldigd met een exponentiële factor van de reward: $w = \exp(r/\lambda)$.
• De Formule: De optimale policy $\pi^*$ wordt afgeleid als:
  $$\pi^*(a|s) \propto \pi_\beta(a|s) \exp\left(\frac{r(s,a)}{\lambda}\right)$$
  Waarbij $\pi_\beta$ het oorspronkelijke beleid is (behavior policy), $r$ de waargenomen reward is, en $\lambda$ een temperatuurparameter is.
• Voordeelpunten:
  • Geen Reward Model: Omdat het direct op waargenomen data werkt, is het immuun voor "reward hacking" door een slecht reward model.
  • Geen Propensity Scores: Het vereist geen kennis van de logging policy om bias te corrigeren.
  • Volledig Offline: Het werkt uitsluitend met bestaande datasets.
  • Regulering: De parameter $\lambda$ fungeert als een interpreteerbare regularisator die de trade-off tussen het benutten van hoge rewards en het negeren van ruis regelt.

Theoretische Analyse en Bijdragen

De paper biedt zowel theoretische als empirische onderbouwing:

1. Beleidverbetering onder Ruis: De auteurs bewijzen dat de methode beleidsverbetering garandeert zelfs onder ruisachtige rewards. De prestatiegap schaalt slechts logaritmisch met de grootte van de catalogus ($O(\sigma \sqrt{\log |A|})$), wat betekent dat de methode ook schaalbaar is voor zeer grote item-catalogi.
2. Trade-off Controle: Ze tonen aan dat $\lambda$ de trade-off tussen robuustheid (tegen ruis) en verbetering (exploitatie van hoge rewards) expliciet en kwantificeerbaar regelt.
   • Een kleine $\lambda$ leidt tot agressieve her-ranking, maar verhoogt de gevoeligheid voor ruis.
   • Een grote $\lambda$ onderdrukt ruis, maar het beleid nadert het oorspronkelijke gedrag (geen verbetering).
3. Invariantheid: De methode is invariant voor baselines en schaling, wat de noodzaak van het schatten van een waarde-functie (value function) elimineert.

Resultaten

De auteurs testen Exp-RSFT op drie open-source datasets (MovieLens 1M/20M, Amazon Books) en één groot, proprietair dataset van Netflix, vergeleken met vier baselines: Behavior Cloning (BC), Reward-SFT (lineair), DPO en PPO.

• Prestaties: Exp-RSFT overtreft consistent alle baselines op alle datasets.
• Falenvan RLHF: Zowel PPO als DPO vertoonden een catastrophal collapse in echte aanbevelingsmetrieken (zoals NDCG en Hit Rate). Hoewel deze methoden de hoogste scores behaalden op het geleerde reward model, presteerden ze slecht op de werkelijke gebruikersvoorkeuren. Dit bevestigt het "reward hacking" probleem: de modellen optimaliseerden voor de fouten in het reward model in plaats van voor de gebruiker.
• Reward Model Validatie: Het getrainde reward model presteerde nauwelijks beter dan simpele baselines (zoals het gemiddelde van een item of gebruiker), wat aantoont dat het onbetrouwbaar is voor generalisatie.
• Invloed van $\lambda$: Experimenten met verschillende waarden van $\lambda$ toonden een duidelijke "inverted-U" curve. De beste prestaties werden behaald bij een matige waarde (rond $\lambda \approx 0.5 - 1.0$), wat de theoretische voorspelling bevestigt dat een balans nodig is tussen exploitatie en regularisatie.

Significantie en Conclusie

Dit paper is significant omdat het een praktische, schaalbare en theoretisch onderbouwde oplossing biedt voor het post-training van generatieve aanbevelingssystemen in industriële omgevingen.

• Paradigmaverschuiving: Het stelt dat voor schaalbare aanbevelingssystemen, waar reward models inherent onbetrouwbaar zijn door generalisatieproblemen, het beter is om te vertrouwen op directe, gewogen observaties (Exp-RSFT) dan op complexe RLHF-pipelines die afhankelijk zijn van een gesimuleerde reward.
• Eenvoud en Robuustheid: De methode is eenvoudig te implementeren via standaard SFT-API's, vereist geen complexe reward-modellen of propensity scores, en is bewezen robuust tegen ruis.
• Praktische Toepasbaarheid: Het biedt practitioners één interpreteerbare hyperparameter ($\lambda$) om de balans tussen innovatie (nieuwe items vinden) en stabiliteit (niet te veel reageren op ruis) te sturen.

Kortom, Exp-RSFT lost het fundamentele probleem van reward hacking in generatieve aanbevelingssystemen op door de afhankelijkheid van een onbetrouwbaar reward model volledig te elimineren.