Adaptive Loss Balancing for Noise-Robust GRPO in Generative Recommendation

Technisch Overzicht: Adaptieve Loss-balancering voor Ruis-robuuste GRPO in Generatieve Aanbevelingen

1. Probleemstelling

Generatieve Aanbeveling (GR) herformuleert item-retrieval als een autoregressieve decoderingstaak over geleerde Semantische ID's (SIDs). Hoewel GR superieure dekking biedt voor de long-tail en semantisch gerelateerde items vergeleken met traditionele embedding-gebaseerde recall, mist het vaak de fijnmazige discriminatie van rankingmodellen. Om deze kloof te overbruggen, is Reinforcement Learning (RL), specifiek Group Relative Policy Optimization (GRPO), voorgesteld om GR-policies te finetunen met behulp van productie-rankers als reward modellen (RM's).

De paper identificeert echter een kritiek gebrek bij het uniform toepassen van RL op generatieve aanbevelingen: ruis in het reward model en exposure bias. Productie-rankers zijn getraind op exposure-biased logs, waardoor ze onbetrouwbaar zijn voor items buiten hun trainingsdistributie (bijv. nieuwe of long-tail items). De auteurs identificeren twee faalmodi van uniforme reward-toepassing:

1. Makkelijke Samples: Wanneer de policy het grondwaarheid-item (ground-truth item) al hoog rankt, clusteren de reward scores nauw rondom elkaar. De resulterende GRPO-advantage stort hierdoor bijna in tot nul, waardoor de gradiënt gedomineerd wordt door RM-ruis, wat leidt tot over-optimalisatie (reward hacking).
2. Moeilijke Samples (RM-onbetrouwbaar): Wanneer de grondwaarheid een long-tail item is, kan de RM lokaal verkeerd gekalibreerd zijn en populaire distractoren hoger scoren dan het werkelijke doel-item. Het toepassen van RL hierop duwt de policy weg van het juiste antwoord.

Gestratificeerde analyse laat zien dat hoewel de geaggregeerde invloed van de RM over alle samples bijna nul is, deze wel substantiële positieve sturing biedt conditioneel—specifiek op samples waar de policy onzeker is (moeilijkheidsgraad) en de RM een hoge discriminatiekracht heeft (betrouwbaarheid).

2. Methodologie: AdaGRPO

Om deze problemen aan te pakken, stellen de auteurs AdaGRPO voor, een framework dat reward-gestuurde optimalisatie behandelt als selectieve toelating in plaats van uniforme druk. De kerninnovatie is een sample-niveau binaire clip die de GRPO loss-term afschermt op basis van twee rank-gebaseerde diagnostieken berekend uit de rollout group.

De objectieffunctie voor elke instantie $i$ is:
$$L_i(\theta) = L^{(i)}_{NLL}(\theta) + \lambda \alpha_i L^{(i)}_{GRPO}(\theta)$$
Waar:

• $L_{NLL}$ de supervised negative log-likelihood is, die alle trainingsinstanties verankert om stabiliteit te garanderen.
• $\lambda$ een globale schaleringscoëfficiënt is.
• $\alpha_i \in \{0, 1\}$ de clip-coëfficiënt is, bepaald door twee diagnostieken uit de rollout group.

Diagnostiek 1: Policy-zijde Moeilijkheidsgraad ($f_1$)
Deze conditie controleert of het grondwaarheid-item ($y^*$) buiten de top $\tau$-fractie van de eigen ranking van de policy valt (gebaseerd op log-likelihood).

• Logica: Als $y^*$ al in de top-ranks staat, is de supervised loss voldoende en is de GRPO-term redundant (geclipped). Als $y^*$ laag gerankt is, is de policy onzeker en is RL-sturing potentieel nodig.

Diagnostiek 2: Reward-zijde Discriminatiekracht ($f_2$)
Deze conditie controleert of de RM in staat is om de grondwaarheid betrouwbaar te scheiden van contextueel irrelevante negatieven.

• Logica: De RM moet $y^*$ in de top $\tau$-fractie van een diagnostische pool ranken (inclusief rollouts en gesamplede negatieven) EN alle gesamplede negatieven in de onderste $(1-\rho)$-fractie ranken. Als de RM er niet in slaagt om relevante van irrelevante items te scheiden, wordt het signaal als onbetrouwbaar beschouwd (geclipped).

De Clip:
De uiteindelijke coëfficiënt is $\alpha_i = f_1 \cdot f_2$. De GRPO loss wordt alleen toegelaten als een instantie zowel moeilijk is voor de huidige policy als ondersteund wordt door een lokaal betrouwbaar reward-signaal. Anders keert de update terug naar pure supervisie. Dit breidt het PPO-clipping principe uit van het ratio-domein (het begrenzen van token-updates) naar het sample-domein (het uitsluiten van volledige instanties).

3. Belangrijkste Bijdragen

• Gestratificeerde Analyse van Reward Betrouwbaarheid: De paper demonstreert empirisch dat de geaggregeerde invloed van productie-rankers op generatieve aanbevelingen verwaarloosbaar is vanwege conflicterende faalmodi (ruis op makkelijke samples, bias op moeilijke samples). Het stelt vast dat de nuttigheid van de RM conditioneel is, niet globaal.
• AdaGRPO Framework: Een nieuw trainingsdoel dat dynamisch schakelt tussen supervised learning en RL op basis van per-sample diagnostieken. Het elimineert de noodzaak voor een geleerd value netwerk of complexe reward modellering, en vertrouwt in plaats daarvan op rank-gebaseerde drempelwaarden afgeleid van bestaande rollout statistieken.
• Ruis-robuuste Optimalisatie: Door de GRPO-term te clippen op samples waar het reward-signaal ofwel redundant ofwel misleidend is, voorkomt de methode de "instorting" van retrieval-prestaties en hallucinaties die vaak worden gezien bij standaard GRPO-training.

4. Experimentele Resultaten

De methode werd gevalideerd op een grootschalige e-commerce dataset (175K sequenties) en via productie A/B-tests.

Offline Resultaten:

• Prestaties: Bij het beste intermediaire checkpoint verbeterde AdaGRPO de HR@10 van 11,01% (Base) naar 12,18%, terwijl de hallucinatie-rate $\le 0,22\%$ bleef.
• Stabiliteit: In tegen tegenstelling tot standaard GRPO, die een ernstige instorting in HR@10 ervoer (dalend naar 10,39%) en een piek in hallucinaties (0,89%) bij het laatste checkpoint, behield AdaGRPO zijn robuustheid (HR@10: 11,63%, Hallucinatie: 0,27%).
• Vergelijking: AdaGRPO presteerde beter dan vaste NLL-GRPO mengsels over de retrieval-validiteitsfrontier. De toevoeging van de reward-discriminatie conditie ($f_2$) verminderde hallucinaties verder en verbeterde de HR vergeleken met het gebruik van enkel moeilijkheidsgraad ($f_1$).
• Gestratificeerde Analyse: De winst was het meest uitgesproken in de segmenten met gemiddelde moeilijkheidsgraad, wat bevestigt dat de methode zich richt op het specifieke regime waar RL nuttig is.

Online A/B Tests:

• In productie tests behaalde AdaGRPO statistisch significante winsten vergeleken met de controle:
  • Effective Item Page Views (IPV): +0,43%
  • User Click-Through Rate (UCTR): +0,27%
  • Dwell Time: +0,23%
• In contrast hiermee vertoonde een baseline die gebruik maakte van een vaste NLL-GRPO mix geen statistisch significante winsten in engagement metrics.

5. Betekenis en Claims

De paper concludeert dat de centrale uitdaging bij het toepassen van RL op generatieve aanbevelingen niet het ontwerpen van sterkere rewards is, maar het onderscheiden wanneer het reward-signaal vertrouwd kan worden.

• Paradigmaverschuiving: Het werk verschuift de focus van globale reward optimalisatie naar lokale, instantie-gebaseerde vertrouwen. Het beargumenteert dat de uniforme toepassing van RL-signalen in aanbevelingen inherent riskant is vanwege de mismatch tussen policy onzekerheid en de kalibratie van het reward model.
• Praktisch Nut: De resultaten suggereren dat de selectieve toelating van policy-gradient updates generatieve aanbevelers in staat stelt om ruisige productie-rankers effectief te benutten zonder de structurele kennis verkregen uit supervised pre-training op te offeren.
• Bescheidenheid: De auteurs erkennen beperkingen, waaronder de afhankelijkheid van grondwaarheid-items tijdens de training, de gevoeligheid voor hyperparameters ($\tau, \rho$), en de noodzaak voor verdere validatie over diverse gebruikerssegmenten en catalogus-versheid regimes. Zij presenteren de online resultaten als sterke productie-ondersteuning voor de robuustheid van de methode, in plaats van als een definitief causaal bewijs van superioriteit over alle mogelijke baselines.