🤖 AI

Progressive Alignment of Recommender Foundation Model through Multi-Phase Post-Training

Cet article propose un cadre de post-entraînement progressif en trois phases (Linear Probing, Full Fine-Tuning et Reinforcement Fine-Tuning) qui aligne efficacement les modèles de fondation pour la recommandation avec les métriques métier en découplant l'adaptation à la tâche de l'optimisation basée sur la récompense, démontrant une performance supérieure tant dans les expériences hors ligne que dans les tests A/B en ligne à grande échelle.

Auteurs originaux : Oseong Choi, Hoeinn Kim, Jihoon Lee, Byungsoo Kang, Taeyeong Jang

Publié 2026-08-10

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Oseong Choi, Hoeinn Kim, Jihoon Lee, Byungsoo Kang, Taeyeong Jang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous pénétrez dans une immense bibliothèque magique où les livres vous répondent. Ce n'est pas une bibliothèque ordinaire ; c'est une bibliothèque de « Modèle de Fondation ». Considérez ce modèle comme un bibliothécaire surdoué et grand voyageur qui a lu des milliards d'histoires et sait exactement comment les gens se comportent lorsqu'ils parcourent les rayons. Ce bibliothécaire a déjà appris les règles générales de la narration et de la curiosité humaine. Mais voici la partie délicate : le fait que le bibliothécaire sache comment trouver un livre ne signifie pas qu'il sait ce que le propriétaire de la bibliothèque souhaite réellement. Le propriétaire peut se soucier de la durée pendant laquelle les gens restent dans la bibliothèque, ou du nombre de membres qu'ils souscrivent, et non pas seulement du nombre de livres qu'ils saisissent sur l'étagère.

Dans le monde de l'informatique, plus précisément dans les Systèmes de Recommandation, c'est le combat quotidien. Nous avons ces modèles d'IA géants et pré-entraînés (les bibliothécaires) qui sont excellents pour prédire ce sur quoi vous pourriez cliquer ensuite. Mais l'entreprise veut plus que de simples clics ; elle veut un engagement profond, comme terminer toute une série de bandes dessinées ou payer pour du contenu premium. Le problème est que les signaux de « clic » sont partout et faciles à voir, tandis que les signaux de « satisfaction profonde » sont rares et difficiles à trouver. Si vous essayez d'enseigner au bibliothécaire à traquer directement les signaux rares, il risque de s'embrouiller, d'oublier tout ce qu'il savait déjà et de commencer à recommander des choses bizarres. Cet article explore une méthode intelligente, étape par étape, pour entraîner ces bibliothécaires numériques afin qu'ils ne se contentent pas de deviner ce sur quoi vous allez cliquer, mais qu'ils vous aident réellement à trouver des histoires que vous aimerez sur le long terme.

La danse en trois étapes : Comment entraîner un bibliothécaire de recommandation

Les chercheurs de NAVER WEBTOON, une plateforme géante de bandes dessinées numériques, ont réalisé que tenter d'enseigner tout à l'IA en une seule fois était une recette pour le désastre. Ils ont proposé un cadre d'« Alignement Progressif », qui est essentiellement un camp d'entraînement en trois phases conçu pour transformer une IA polyvalente en un expert de la recommandation axé sur les objectifs commerciaux, sans lui faire perdre la tête.

Phase 1 : L'échauffement (Sondage Linéaire)
Imaginez que vous avez un chef cuisinier de classe mondiale (le Modèle de Fondation pré-entraîné) qui sait cuisiner n'importe quoi. Vous voulez qu'il prépare un nouveau plat spécifique pour un restaurant, mais vous ne voulez pas qu'il oublie comment cuisiner tout le reste. Si vous lui donnez soudainement un nouvel ensemble de couteaux et de poêles aléatoires (les « modules en aval ») et que vous lui dites de commencer à cuisiner immédiatement, il pourrait paniquer et ruiner ses compétences existantes.

Ainsi, la première étape est le Sondage Linéaire (LP - Linear Probing). Dans cette phase, le cerveau du chef cuisinier est gelé — il ne peut pas changer son style de cuisine fondamental. Vous ne le laissez pratiquer qu'avec les nouveaux couteaux et les nouvelles poêles. Cela aide les nouveaux outils à s'habituer entre les mains du chef sans perturber les recettes de base. C'est comme laisser un nouvel employé observer le patron pendant une semaine avant qu'il ne soit autorisé à toucher aux fourneaux. Cela stabilise la connexion entre la vaste connaissance de l'IA et la tâche spécifique de la recommandation de bandes dessinées.

Phase 2 : La pratique complète (Affinage Complet)
Une fois que les nouveaux outils sont stables, il est temps de laisser le chef cuisiner en toute liberté. Il s'agit de l'Affinage Complet (FFT - Full Fine-Tuning). Maintenant, tout le modèle est déverrouillé. Le chef peut ajuster tout son style de cuisine pour se spécialiser dans le menu de ce restaurant spécifique. Parce que les nouveaux outils ont déjà été échauffés lors de la Phase 1, le chef ne se sent pas submergé. Il peut apprendre les goûts spécifiques des clients (la « tâche en aval ») tout en gardant intact la base solide de ses connaissances générales. Les chercheurs ont constaté que faire cela en deux étapes (LP puis FFT) était bien meilleur que d'essayer de le faire en un seul grand bond, ce qui conduit souvent à l'« oubli catastrophique » — où l'IA oublie comment être intelligente parce qu'elle est trop occupée à essayer d'être spécifique.

Phase 3 : Le jeu des récompenses (Affinage par Renforcement)
C'est ici que la magie opère. Le chef est maintenant doué pour cuisiner le menu, mais cuisine-t-il ce que l'propriétaire souhaite réellement ? Le propriétaire se soucie de la satisfaction profonde (comme l'achat d'une saison entière de bandes dessinées), pas seulement d'un en-cas rapide (un simple clic). Mais la satisfaction profonde est rare ; la plupart des gens se contentent de parcourir.

Si vous essayez d'enseigner au chef à viser uniquement les victoires rares de la « satisfaction profonde », il pourrait commencer à deviner de manière erratique. Au lieu de cela, les chercheurs ont utilisé un Modèle de Récompense. Considérez cela comme un dégustateur qui possède une fiche d'évaluation spéciale. Le dégustateur observe les interactions rares et profondes et attribue un « score de récompense » à celles-ci.

Dans la troisième phase, l'Affinage par Renforcement (RFT - Reinforcement Fine-Tuning), le chef ne cuisine pas seulement pour plaire à la foule ; il cuisine pour plaire au score du dégustateur. L'IA génère un ensemble de recommandations, le dégustateur (le Modèle de Récompense) leur attribue des scores basés sur la probabilité qu'ils mènent à un engagement profond, et l'IA apprend à ajuster sa stratégie pour obtenir des scores plus élevés. Crucialement, l'IA utilise toujours les signaux « denses » (comme les clics) qu'elle a appris lors de la Phase 2 pour savoir quoi recommander, mais les signaux de « récompense » guident comment les classer pour maximiser le bonheur à long terme.

Ce qu'ils ont trouvé (et ce qu'ils ont dit « Non » à)

L'équipe a testé cette méthode en trois étapes sur un ensemble massif de données d'interactions réelles provenant de leur plateforme Webtoon. Ils ont comparé leur nouvelle méthode aux anciennes façons de faire.

La liste des « À ne pas faire » :
Le document argumente explicitement contre deux raccourcis courants :

Ne pas entraîner directement sur les objectifs commerciaux rares. Si vous essayez d'enseigner à l'IA à optimiser pour la « complétion de contenu payant » dès le début, elle échoue à généraliser. C'est comme essayer d'enseigner à un élève à résoudre des problèmes de calcul avancé avant qu'il n'ait appris la multiplication. Les signaux sont trop éparses (trop rares), et le modèle s'égare.
Ne pas utiliser simplement le Modèle de Récompense comme le répondeur final. Les chercheurs ont essayé d'utiliser le « dégustateur » (le Modèle de Récompense) directement comme la personne distribuant les recommandations. Bien que ce modèle soit bon pour repérer l'engagement profond, il était incapable de classer les millions de bandes dessinées disponibles pour un clic. Il manquait de la « discrimination » nécessaire pour choisir le meilleur article parmi une liste immense. Le papier suggère que le Modèle de Récompense est préférable en tant que coach, et non en tant que joueur.

La stratégie gagnante :
L'« Alignement Progressif » (LP → FFT → RFT) a été le plus efficace.

Tests hors ligne : Lorsqu'ils ont lancé des simulations sur des données historiques, le modèle en trois phases a battu les modèles à phase unique. Plus précisément, la version utilisant le GRPO (un type spécifique d'algorithme d'apprentissage par renforcement) avec le modèle de récompense appris a obtenu les scores les plus élevés. Elle a réussi à maintenir des taux de clic élevés (Rank NDCG) tout en poussant les utilisateurs plus profondément dans le tunnel de contenu (Funnel NDCG).
Preuve en conditions réelles : Ils ne se sont pas arrêtés aux simulations. Ils ont mené un test A/B massif sur leur plateforme en direct. Ils ont comparé leur nouvelle IA à leur modèle standard (non fondé sur un modèle de fondation). Les résultats ont montré que leur nouveau cadre améliorait systématiquement l'engagement des utilisateurs. La version « GRPO avec Modèle de Récompense » était particulièrement efficace pour inciter les utilisateurs à lire plus loin et à atteindre les épisodes payants, tandis que la version « DPO » (un autre algorithme) était légèrement meilleure pour obtenir le clic initial.

Ce qu'il faut retenir

Le papier suggère que le secret pour créer des systèmes de recommandation d'IA puissants n'est pas seulement de leur jeter plus de données ou de chercher à optimiser immédiatement l'objectif le plus difficile. Il s'agit d'étapes. D'abord, stabiliser les nouveaux outils. Deuxièmement, spécialiser le modèle. Troisièmement, utiliser un signal de « récompense » appris pour guider doucement le modèle vers les objectifs à long terme de l'entreprise sans perdre sa capacité à faire des choix immédiats de qualité.

En séparant « l'apprentissage de la tâche » de « l'alignement avec les objectifs commerciaux », les chercheurs ont trouvé un moyen de rendre leur IA à la fois intelligente et rentable. C'est un rappel que parfois, pour obtenir le meilleur résultat, il faut prendre son temps, étape par étape, plutôt que de tenter un sprint vers la ligne d'arrivée.

Résumé Technique : Alignement Progressif d'un Modèle de Fondation pour la Recommandation via un Post-Entraînement Multi-Phases

Problématique

Bien que les modèles de fondation (FM) pour la recommandation aient démontré de fortes capacités à modéliser le comportement séquentiel de l'utilisateur sur le long terme, leur déploiement pratique fait face à deux défis critiques :

Oubli Catastrophique : Le réglage fin (fine-tuning) direct de backbones pré-entraînés massifs aux côtés de modules spécifiques à une tâche initialisés aléatoirement en une seule étape déstabilise souvent les représentations pré-entraînées, entraînant une perte de la connaissance comportementale générale.
Désalignement avec les Métriques Métier : Le réglage fin supervisé (SFT) standard optimise le feedback implicite dense (ex: clics, likes). Cependant, ces objectifs au niveau de la tâche ne s'alignent pas toujours sur les métriques métier éparses et différées (ex: rétention à long terme, conversion payante) qui déterminent finalement la qualité de la recommandation. De plus, l'optimisation directe des politiques de service sur des labels métier éparses entraîne souvent une faible généralisation et une faible capacité de discrimination de classement par rapport aux politiques entraînées sur des signaux denses.

Les approches existantes peinent à équilibrer la stabilité de l'adaptation avec la nécessité d'aligner la politique de service sur les objectifs métier à long terme sans sacrifier la capacité de classement construite sur le feedback dense.

Méthodologie

Les auteurs proposent un cadre de post-entraînement progressif en trois phases qui découple explicitement l'adaptation des connaissances en aval de l'alignement avec les métriques métier. Le cadre se compose des étapes suivantes :

1. Architecture du Modèle

Le système emploie un paradigme Fondation–Expert. Un encodeur séquentiel pré-entraîné (backbone FM) génère des embeddings d'utilisateur, qui sont fusionnés avec un module léger et spécifique à la tâche encodant des caractéristiques de surface spécifiques.

Encodeur Aval (Downstream Encoder) : Utilise un pooling par attention croisée (cross-attention pooling) pour compresser la séquence FM en une représentation fixe, concaténée avec les caractéristiques en aval.
Modèle de Récompense (Reward Model) : Pour gérer les objectifs métier éparses, un modèle de récompense est entraîné pour prédire la profondeur de l'engagement de l'utilisateur (modélisée comme un entonnoir ordinal à 6 niveaux, de l'impression à la complétion de contenu payant). Ce modèle incorpore une tête de propension à l'impression pour corriger le biais d'exposition via le SNIPS (Self-Normalized Inverse Propensity Scoring).

2. Phase 1 : Sondage Linéaire (Linear Probing - LP)

Objectif : Stabiliser l'intégration des composants spécifiques à la tâche sans corrompre le backbone pré-entraîné.
Processus : Le backbone FM est gelé. Seuls le module en aval et les têtes de prédiction sont optimisés.
Objectif : Minimiser une perte combinée de politique (prédiction de clic), de récompense (profondeur de l'entonnoir) et de propension (exposition) afin d'aligner les espaces sémantiques des composants en aval avec la représentation du FM gelé.

3. Phase 2 : Réglage Fin Complet (Full Fine-Tuning - FFT)

Objectif : Spécialiser conjointement l'ensemble du modèle pour la tâche cible tout en préservant la stabilité acquise lors de la Phase 1.
Processus : Le backbone FM est dégelé. Tous les paramètres sont mis à jour.
Stratégie : Une stratégie de taux d'apprentissage discriminatif est employée, où le backbone FM est mis à jour avec un taux d'apprentissage un ordre de grandeur plus petit que celui des modules en aval. Cela permet une adaptation rapide des composants spécifiques à la tâche tandis que le backbone co-s'adapte de manière conservatrice pour prévenir l'oubli catastrophique.

4. Phase 3 : Réglage Fin par Renforcement (Reinforcement Fine-Tuning - RFT)

Objectif : Aligner la politique de service stabilisée avec les objectifs métier à long terme en utilisant le modèle de récompense appris comme signal, plutôt qu'en optimisant directement sur des labels éparses.
Processus : Le snapshot du modèle à la fin de la FFT sert de politique de référence ( $\pi_{ref}$ ) gelée. La tête de politique et le backbone FM sont optimisés en utilisant GRPO (Group Relative Policy Optimization) ou DPO (Direct Preference Optimization).
Mécanisme :
- GRPO : Pour un état utilisateur donné, la politique échantillonne un groupe d'actions candidates. Le modèle de récompense fournit un feedback scalaire dense. Les avantages sont calculés en normalisant les récompenses au sein du groupe, et la politique est mise à jour pour maximiser l'objectif de substitut découpé (clipped surrogate objective) avec une régularisation KL par rapport à $\pi_{ref}$ .
- DPO : Des paires de préférences sont construites sur la base des scores du modèle de récompense (ou des résultats de l'entonnoir observés), et la politique est optimisée pour préférer les éléments à plus haute récompense sans étape explicite de modélisation de la récompense pendant la mise à jour.
Distinction Clé : Le modèle de récompense n'est pas déployé comme la politique de service. Il agit plutôt comme un signal d'alignement pour orienter la politique entraînée sur le feedback dense vers les objectifs métier.

Contributions Clés

Cadre d'Adaptation Progressive : L'article introduit un pipeline structuré LP-FFT-RFT qui atténue l'oubli catastrophique en séparant la stabilisation des têtes en aval de la spécialisation du modèle complet.
Stratégie d'Alignement Découplée : Il propose une séparation novatrice des rôles où le feedback implicite dense entraîne la capacité de classement de la politique de service, tandis que les métriques métier éparses entraînent un modèle de récompense utilisé uniquement pour les signaux d'alignement. Cela évite les problèmes de généralisation de l'optimisation directe sur des labels éparses.
Alignement par Récompense vs Service Direct : Le travail démontre que l'utilisation d'un modèle de récompense appris comme signal d'alignement (via RFT) produit des performances supérieures à l'utilisation directe du modèle de récompense comme politique de classement.
Validation Empirique : Le cadre est validé par des études d'ablation hors ligne approfondies et des tests A/B en ligne à grande échelle sur une plateforme Webtoon de production.

Résultats

Évaluation Hors Ligne

Supériorité LP-FFT : Le SFT en deux phases (LP $\to$ FFT) avec des taux d'apprentissage discriminatifs surpasse les baselines à une seule phase (soit LP-uniquement, soit FFT-uniquement) sur le Rank NDCG (classement des clics sur le catalogue complet) et le Funnel NDCG (classement des titres présentés selon la profondeur d'engagement).
Efficacité de la RFT : L'application de la RFT à la politique SFT stabilisée améliore davantage ces deux métriques.
Alignement vs Service Direct :
- Une politique entraînée directement sur le modèle de récompense a obtenu un Funnel NDCG élevé mais un faible Rank NDCG, indiquant qu'elle manque de discrimination pour le classement de l'ensemble du catalogue.
- GRPO avec Modélisation de Récompense a obtenu les meilleures performances globales, égalant le Funnel NDCG du modèle de récompense direct tout en maintenant un Rank NDCG nettement plus élevé.
- DPO a montré des résultats mitigés ; bien que le DPO avec les préférences de l'entonnoir observées ait bien performé, le DPO avec les préférences induites par le modèle de récompense a été moins performant, suggérant que la conversion de récompenses scalaires en paires binaires peut perdre des informations relatives utiles.

Tests A/B en Ligne

Amélioration de la Baseline : La baseline du modèle de fondation en 2-phases a systématiquement surpassé le modèle de production conventionnel non-fondation (CTRL) sur toutes les métriques de session (Clic, Lecture Engagée, Conversion Payante).
Gains d'Alignement : Les variantes alignées par RFT ont apporté des gains supplémentaires par rapport à la baseline SFT.
- GRPO avec RM : A montré les améliorations les plus fortes sur les métriques d'engagement médian et profond (ex: atteindre le dernier épisode gratuit, le dernier épisode payant), démontant un pilotage efficace vers les objectifs métier à long terme.
- DPO sans RM : A montré les plus grands gains sur les métriques d'interaction immédiate (Clic/Imp), suggérant qu'il est très efficace pour le classement du haut de l'entonnoir lorsqu'il utilise les préférences observées directes.
Stabilité : Toutes les variantes de modèles de fondation ont présenté une progression stable après une période transitoire initiale, le GRPO avec RM montrant les gains les plus persistants sur les résultats d'engagement profond.

Signification et Revendications

L'article affirme que le post-entraînement progressif est une approche pratique et efficace pour déployer des modèles de fondation dans les systèmes de recommandation industriels. Sa principale importance réside dans :

Stabilité : Séparer explicitement l'adaptation des connaissances spécifiques à la tâche (via LP et FFT) de l'alignement par récompense empêche l'instabilité et l'oubli catastrophique associés à l'optimisation directe de tous les paramètres.
Combler le Fossé : Le cadre réussit à combler le fossé entre le feedback implicite dense (qui fournit une forte discrimination de classement) et les métriques métier éparses (qui définissent la valeur réelle) en utilisant ces dernières uniquement comme signal de récompense pour l'alignement, plutôt que comme objectif d'entraînement direct pour la politique de service.
Viabilité en Production : Les résultats en ligne à grande échelle confirment que cette approche multi-phases améliore la qualité de la recommandation en production par rapport aux baselines conventionnelles, validant que la séparation de l'adaptation supervisée et de l'alignement par récompense améliore à la fois la stabilité de l'optimisation et la performance de service en aval.