Adaptive Loss Balancing for Noise-Robust GRPO in Generative Recommendation

Résumé Technique : Équilibrage Adaptatif de la Perte pour un GRPO Robuste au Bruit dans la Recommandation Générative

1. Énoncé du Problème

La recommandation générative (GR) reformule la recherche d'articles sous la forme d'une tâche de décodage autorégressif sur des identifiants sémantiques appris (SIDs). Bien que la GR offre une couverture supérieure pour les articles de la longue traîne et les articles sémantiquement liés par rapport à la recherche traditionnelle basée sur les plongements (embeddings), elle manque souvent de la discrimination fine des modèles de classement. Pour combler cette lacune, l'apprentissage par renforcement (RL), et plus précisément l'optimisation de politique relative par groupe (GRPO), a été proposé pour affiner les politiques de GR en utilisant des classeurs de production comme modèles de récompense (RM).

Cependant, l'article identifie une faille critique dans l'application uniforme du RL à la recommandation générative : le bruit du modèle de récompense et le biais d'exposition. Les classeurs de production sont entraînés sur des journaux (logs) biaisés par l'exposition, ce qui les rend peu fiables pour les articles hors de leur distribution d'entraînement (par exemple, les nouveaux articles ou ceux de la longue traîne). Les auteurs identifient deux modes de défaillance de l'application uniforme de la récompense :

1. Échantillons Faciles : Lorsque la politique classe déjà l'article de vérité terrain (ground-truth) de manière élevée, les scores de récompense se regroupent étroitement. L'avantage de la GRPO résultante s'effondre vers zéro, laissant le gradient dominé par le bruit du RM, ce qui conduit à une sur-optimisation (récompense détournée ou reward hacking).
2. Échantillons Difficiles (RM-Non Fiables) : Lorsque la vérité terrain est un article de la longue traîne, le RM peut être localement mal calibré, attribuant des scores plus élevés à des distracteurs populaires qu'à la cible réelle. Appliquer le RL ici pousse la politique à s'éloigner de la bonne réponse.

Une analyse stratifiée révèle que si l'influence globale du RM sur l'ensemble des échantillons est proche de zéro, il fournit une orientation positive substantielle conditionnellement — spécifiquement sur les échantillons où la politique est incertaine (difficulté) et où le RM présente une haute discriminabilité (fiabilité).

2. Méthodologie : AdaGRPO

Pour remédier à ces problèmes, les auteurs proposent AdaGRPO, un cadre qui traite l'optimisation guidée par la récompense comme une admission sélective plutôt que comme une pression uniforme. L'innovation centrale est un clip binaire par échantillon qui filtre le terme de perte GRPO en fonction de deux diagnostics basés sur le rang, calculés à partir du groupe de déploiement (rollout group).

La fonction d'objectif pour chaque instance $i$ est :
$$L_i(\theta) = L^{(i)}_{NLL}(\theta) + \lambda \alpha_i L^{(i)}_{GRPO}(\theta)$$
Où :

• $L_{NLL}$ est la négative log-vraisemblance supervisée, qui ancre tous les exemples d'entraînement pour assurer la stabilité.
• $\lambda$ est un coefficient d'échelle global.
• $\alpha_i \in \{0, 1\}$ est le coefficient de clip déterminé par deux diagnostics :

Diagnostic 1 : Difficulté du côté de la Politique ($f_1$)
Cette condition vérifie si l'article de vérité terrain ($y^*$) se situe en dehors du top $\tau$-fraction du propre classement de la politique (basé sur la log-vraisemblance).

• Logique : Si $y^*$ est déjà dans les rangs supérieurs, la perte supervisée est suffisante et le terme GRPO est redondant (clippé). Si $y^*$ est mal classé, la politique est incertaine et un guidage par RL est potentiellement nécessaire.

Diagnostic 2 : Discriminabilité du côté de la Récompense ($f_2$)
Cette condition vérifie si le RM peut séparer de manière fiable la vérité terrain des négatifs contextuellement non pertinents.

• Logique : Le RM doit classer $y^*$ dans le top $\tau$-fraction d'un pool de diagnostic (incluant les déploiements et les négatifs échantillonnés) ET classer tous les négatifs échantillonnés dans le bas $(1-\rho)$-fraction. Si le RM ne parvient pas à séparer les éléments pertinents des éléments non pertinents, le signal est jugé non fiable (clippé).

Le Clip :
Le coefficient final est $\alpha_i = f_1 \cdot f_2$. La perte GRPO n'est admise que si l'instance est à la fois difficile pour la politique actuelle et soutenue par un signal de récompense localement fiable. Sinon, la mise à jour revient à une supervision pure. Cela étend le principe de clipping de PPO du domaine du ratio (bornage des mises à jour de tokens) au domaine de l'échantillon (exclusion d'instances entières).

3. Contributions Clés

• Analyse Stratifiée de la Fiabilité de la Récompense : L'article démontre empiriquement que l'influence globale des classeurs de production sur la recommandation générative est négligeable en raison de modes de défaillance conflictuels (bruit sur les échantillons faciles, biais sur les échantillons difficiles). Il établit que l'utilité du RM est conditionnelle, et non globale.
• Cadre AdaGRPO : Un nouvel objectif d'entraînement qui bascule dynamiquement entre l'apprentissage supervisé et le RL en fonction de diagnostics par échantillon. Il évite le besoin d'un réseau de valeur appris ou de modélisation de récompense complexe, en s'appuyant sur des seuils de rang dérivés des statistiques de déploiement existantes.
• Optimisation Robuste au Bruit : En clippant le terme GRPO sur les échantillons où le signal de récompense est soit redondant, soit trompeur, la méthode empêche l'effondrement de la performance de recherche et les hallucinations souvent observés lors d'un entraînement GRPO standard.

4. Résultats Expérimentaux

La méthode a été validée sur un ensemble de données d'e-commerce à grande échelle (175K séquences) et lors de tests A/B en production.

Résultats Hors-ligne :

• Performance : Au meilleur checkpoint intermédiaire, AdaGRPO a amélioré le HR@10 de 11,01 % (Base) à 12,18 %, tout en maintenant un taux d'hallucination $\le 0,22 \%$.
• Stabilité : Contrairement à la GRPO standard, qui a subi un effondrement sévère du HR@10 (tombant à 10,39 %) et un pic d'hallucinations (0,89 %) au dernier checkpoint, AdaGRPO a maintenu sa robustesse (HR@10 : 11,63 %, Hallucination : 0,27 %).
• Comparaison : AdaGRPO a surpassé les mélanges fixes NLL-GRPO sur toute la frontière de validité de la recherche. L'ajout de la condition de discriminabilité de la récompense ($f_2$) a davantage réduit l'hallucination et amélioré le HR par rapport à l'utilisation de la seule difficulté ($f_1$).
• Analyse Stratifiée : Les gains ont été plus prononcés dans les tranches de difficulté intermédiaire, confirmant que la méthode cible le régime spécifique où le RL est bénéfique.

Tests A/B en Ligne :

• En tests de production, AdaGRPO a obtenu des gains statistiquement significatifs par rapport au groupe de contrôle :
  • Vues de pages d'articles effectives (IPV) : +0,43 %
  • Taux de clic utilisateur (UCTR) : +0,27 %
  • Temps de séjour (Dwell Time) : +0,23 %
• En revanche, un baseline utilisant un mélange fixe NLL-GRPO n'a montré aucun gain statistiquement significatif sur les mesures d'engagement.

5. Signification et Revendications

L'article conclut que le défi central de l'application du RL à la recommandation générative n'est pas de concevoir des récompenses plus fortes, mais de discerner quand le signal de récompense peut être fiable.

• Changement de Paradigme : Ce travail déplace l'attention de l'optimisation globale de la récompense vers une confiance locale, par instance. Il soutient que l'application uniforme des signaux RL dans la recommandation est intrinsèquement risquée en raison du décalage entre l'incertitude de la politique et la calibration du modèle de récompense.
• Utilité Pratique : Les résultats suggèrent que l'admission sélective des mises à jour de politique par gradient permet aux recommendeurs génératifs de tirer parti efficacement des classificateurs de production bruités sans sacrifier les connaissances structurelles acquises lors du pré-entraînement supervisé.
• Modestie : Les auteurs reconnaissent des limites, notamment la dépendance aux articles de vérité terrain pendant l'entraînement, la sensibilité aux hyperparamètres ($\tau, \rho$), et la nécessité d'une validation supplémentaire à travers divers segments d'utilisateurs et régimes de fraîcheur du catalogue. Ils présentent les résultats en ligne comme un soutien de production solide à la robustesse de la méthode plutôt que comme une preuve de supériorité causale définitive sur tous les baselines possibles.