Technische Samenvatting: Progressieve Afstemming van een Recommender Foundation Model via Multi-Fase Post-Training

Probleemstelling

Hoewel Foundation Models (FM's) voor aanbevelingen sterke capaciteiten hebben getoond in het modelleren van langdurig sequentieel gebruikersgedrag, staat hun praktische inzet voor twee kritieke uitdagingen:

1. Catastrofaal Vergeten (Catastrophic Forgetting): Het direct finetunen van massieve vooraf getrainde backbones samen met willekeurig geïnitialiseerde taakspecifieke modules in één enkele stap, destabiliseert vaak de vooraf getrainde representaties, wat leidt tot het verlies van algemene gedragskennis.
2. Misalignment met Business Metrics: Standaard Supervised Fine-Tuning (SFT) optimaliseert voor dichte impliciete feedback (bijv. clicks, likes). Deze taakspecifieke doelstellingen komen echter niet altijd overeen met schaarse, vertraagde business metrics (bijv. retentie op lange termijn, betaalde conversie) die uiteindelijk de kwaliteit van aanbevelingen bepalen. Bovendien leidt directe optimalisatie van serving policies op basis van schaarse business labels vaak tot een slechte generalisatie en een zwakke rangschikkingsdiscriminatie vergeleken met policies die getraind zijn op dichte signalen.

Bestaande benaderingen worstelen met het balanceren van de stabiliteit van adaptatie en de noodzaak om de serving policy af te stemmen op langetermijn business objectives, zonder de rangschikkingscapaciteit die gebouwd is op dichte feedback op te offeren.

Methodologie

De auteurs stellen een drie-fasen progressief post-training framework voor dat de downstream kennisadaptatie expliciet ontkoppelt van de afstemming op business metrics. Het framework bestaat uit de volgende stadia:

1. Modelarchitectuur

Het systeem maakt gebruik van een Foundation–Expert paradigma. Een vooraf getrainde sequentiële encoder (FM backbone) genereert gebruikersembeddings, die worden gefuseerd met een lichtgewicht, taakspecifieke downstream module die oppervlakte-specifieke kenmerken codeert.

• Downstream Encoder: Gebruikt cross-attention pooling om de FM-sequentie te comprimeren tot een vaste representatie, die wordt geconcateneerd met downstream features.
• Reward Model: Om schaarse business objectives te behandelen, wordt een reward model getraind om de diepte van gebruikersbetrokkenheid te voorspellen (gemodelleerd als een 6-niveau ordinale trechter van impressie tot voltooiing van betaalde content). Dit model bevat een impression propensity head om exposure bias te corrigeren met behulp van Self-Normalized Inverse Propensity Scoring (SNIPS).

2. Fase 1: Linear Probing (LP)

• Doel: De integratie van taakspecifieke componenten stabiliseren zonder de vooraf getrainde backbone te corrumperen.
• Proces: De FM backbone is bevroren (frozen). Alleen de downstream module en prediction heads worden geoptimaliseerd.
• Doelstelling: Het minimaliseren van een gecombineerde loss van policy (click prediction), reward (funnel depth) en propensity (exposure) om de semantische ruimtes van de downstream componenten af te stemmen op de bevroren FM-representatie.

3. Fase 2: Full Fine-Tuning (FFT)

• Doel: Het gehele model gezamenlijk specialiseren voor de doeltaak, terwijl de stabiliteit verkregen in Fase 1 behouden blijft.
• Proces: De FM backbone wordt ontdoordraaid (unfrozen). Alle parameters worden bijgewerkt.
• Strategie: Er wordt een discriminatieve leersnelheid-strategie toegepast, waarbij de FM backbone wordt bijgewerkt met een leersnelheid die één orde van grootte kleiner is dan die van de downstream modules. Dit maakt snelle adaptatie van taakspecifieke componenten mogelijk, terwijl de backbone conservatief co-adapteert om catastrofaal vergeten te voorkomen.

4. Fase 3: Reinforcement Fine-Tuning (RFT)

• Doel: De gestabiliseerde serving policy afstemmen op langetermijn business objectives met behulp van het geleerde reward model als signaal, in plaats van direct te optimaliseren op schaarse labels.
• Proces: De model snapshot van het einde van FFT dient als een bevroren referentiepolicy ($\pi_{ref}$). De policy head en FM backbone worden geoptimaliseerd met behulp van Group Relative Policy Optimization (GRPO) of Direct Preference Optimization (DPO).
• Mechanisme:
  • GRPO: Voor een gegeven gebruikersstatus samplet de policy een groep kandidaat-acties. Het reward model levert dichte scalaire feedback. Voordelen (advantages) worden berekend door beloningen binnen de groep te normaliseren, en de policy wordt bijgewerkt om de clipped surrogate objective te maximaliseren met KL-regularisatie tegen $\pi_{ref}$.
  • DPO: Voorkeursparen worden geconstrueerd op basis van de scores van het reward model (of geobserveerde funnel outcomes), en de policy wordt geoptimaliseerd om de voorkeur te geven aan items met een hogere reward zonder expliciete reward modeling tijdens de update-stap.
• Belangrijk onderscheid: Het reward model wordt niet ingezet als de serving policy. In plaats daarvan fungeert het als een alignment signaal om de met dichte feedback getrainde policy te sturen richting de business goals.

Belangrijkste Bijdragen

1. Progressief Adaptatie Framework: Het artikel introduceert een gestructureerde LP-FFT-RFT pijplijn die catastrofaal vergeten vermindert door de stabilisatie van downstream heads te scheiden van volledige model-specialisatie.
2. Ontkoppelde Afstemmingsstrategie: Het stelt een nieuw onderscheid in rollen voor waarbij dichte impliciete feedback de ranking-capaciteit van de serving policy traint, terwijl schaarse business metrics een reward model trainen dat uitsluitend wordt gebruikt voor alignment signalen. Dit voorkomt de generalisatieproblemen van directe optimalisatie op schaarse labels.
3. Reward-gebaseerde Afstemming vs. Directe Serving: Het werk demonstreert dat het gebruik van een geleerd reward model als alignment signaal (via RFT) superieure prestaties oplevert vergeleken met het direct inzetten van het reward model als de ranking policy.
4. Empirische Validatie: Het framework wordt gevalideerd door uitgebreide offline ablatie-studies en grootschalige online A/B-tests op een productie Webtoon-platform.

Resultaten

Offline Evaluatie

• LP-FFT Superioriteit: De twee-fasen SFT (LP $\to$ FFT) met discriminatieve leersnelheden presteert beter dan single-phase baselines (ofwel LP-only ofwel FFT-only) op zowel Rank NDCG (volledige catalogus click ranking) als Funnel NDCG (ranking van getitelde items op basis van engagement depth).
• RFT Effectiviteit: Het toepassen van RFT op de gestabiliseerde SFT policy verbetert beide metrieken verder.
• Alignment vs. Directe Serving:
  • Een policy die direct getraind is op het reward model behaalde een hoge Funnel NDCG maar een lage Rank NDCG, wat aangeeft dat het een gebrek heeft aan discriminatie voor volledige catalogus ranking.
  • GRPO met Reward Modeling behaalde de beste algehele prestaties, waarbij de Funnel NDCG van de directe reward model evenaarde terwijl een aanzienlijk hogere Rank NDCG werd behouden.
  • DPO toonde gemengde resultaten; hoewel DPO met geobserveerde funnel voorkeuren goed presteerde, presteerde DPO met door het reward model geïnduceerde voorkeuren minder goed, wat suggereert dat het converteren van scalaire rewards naar binaire paren nuttige relatieve informatie kan weggooien.

Online A/B Testing

• Baseline Verbetering: De 2-fasen SFT foundation model baseline presteerde consistent beter dan het conventionele niet-foundation productie model (CTRL) over alle in-session metrieken (Click, Engaged Reading, Paid Conversion).
• Alignment Winsten: De RFT-aligned varianten boden extra winsten ten opzichte van de SFT baseline.
  • GRPO w/ RM: Toonde de sterkste verbeteringen op mid-to-deep engagement metrieken (bijv. het bereiken van de laatste gratis aflevering, de laatste betaalde aflevering), wat duidt op effectieve sturing naar langetermijn business goals.
  • DPO w/o RM: Toonde de grootste winsten op onmiddellijke interactie metrieken (Click/Imp), wat suggereert dat het zeer effectief is voor top-of-funnel ranking wanneer directe geobserveerde voorkeuren worden gebruikt.
• Stabiliteit: Alle foundation-model varianten vertoonden een stabiele lift na een initiële transiënte periode, waarbij GRPO w/ RM de meest persistente winsten op deep engagement outcomes liet zien.

Betekenis en Claims

Het artikel claimt dat progressieve post-training een praktische en effectieve benadering is voor het inzetten van foundation modellen in industriële aanbevelingssystemen. De primaire betekenis ligt in:

1. Stabiliteit: Het expliciet scheiden van de adaptatie van taakspecifieke kennis (via LP en FFT) van de reward-gedreven afstemming voorkomt de instabiliteit en het catastrofale vergeten dat geassocieerd wordt met directe full-parameter optimalisatie.
2. Overbruggen van de Kloof: Het framework slaagt erin de kloof tussen dichte impliciete feedback (die sterke ranking-discriminatie biedt) en schaarse business metrics (die de werkelijke waarde definiëren) te overbruggen door de laatste enkel als een reward signaal te gebruiken voor alignment, in plaats van als een directe trainingsdoelstelling voor de serving policy.
3. Productie Bruikbaarheid: De grootschalige online resultaten bevestigen dat deze multi-fase benadering de conventionele productie baselines verbetert, wat valideert dat het scheiden van supervised adaptatie van reward-gebaseerde afstemming zowel de optimalisatiestabiliteit als de downstream serving prestaties ten goede komt.