💻 computer science

Multi-Stage Alignment of Large Language Models for Popularity Bias Mitigation in Generative Movie Recommendation

Cet article propose un pipeline d'alignement multi-étapes combinant l'extraction de préférences, le réglage fin supervisé et l'optimisation directe des préférences pour atténuer efficacement le biais de popularité dans les systèmes de recommandation de films basés sur les LLM, en améliorant la nouveauté et la couverture du catalogue tout en maintenant une précision compétitive.

Auteurs originaux : Subham Raj, Krishnakant Chourey, Sriparna Saha, Brijraj Singh, Niranjan Pedanekar

Publié 2026-07-17

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Subham Raj, Krishnakant Chourey, Sriparna Saha, Brijraj Singh, Niranjan Pedanekar

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous pénétrez dans une immense bibliothèque magique qui sait tout de vous. Vous lui dites : « J'adore les films de science-fiction avec des voyages dans le temps », et elle vous murmure instantanément une liste de dix films qui pourraient vous plaire. C'est la promesse des systèmes de recommandation modernes, propulsés par de gigantesques cerveaux informatiques appelés Modèles de Langage Étendus (LLM). Ces modèles sont comme des super-lecteurs qui ont dévoré presque tous les livres, critiques et intrigues de films sur Internet. Ils sont incroyablement doués pour comprendre le langage et le contexte. Cependant, il existe un problème sournois avec ces super-lecteurs : ils sont obsédés par le « célèbre ». Parce qu'ils ont tant lu, ils savent que Avengers ou Titanic sont mentionnés partout, alors ils continuent de suggérer ces mêmes succès populaires à tout le monde, même si vous préférez en réalité un film indépendant étrange et obscur de 1974. C'est comme un guide touristique qui ne connaît que les cinq pièges à touristes les plus célèbres et refuse de vous montrer les joyaux cachés, peu importe vos demandes. C'est ce qu'on appelle le « biais de popularité », et cela rend la bibliothèque ennuyeuse et répétitive, cachant les trésors uniques qui pourraient pourtant être parfaits pour vous.

Les chercheurs de cet article ont décidé de corriger cette obsession pour la célébrité. Ils n'ont pas simplement dit au cerveau informatique de « faire plus d'efforts » ; ils ont construit un camp d'entraînement spécial en trois étapes pour recâbler la façon dont le modèle pense aux recommandations. D'abord, ils ont appris au modèle à être un bon bibliothécaire en lui montrant des exemples de ce que les gens ont réellement aimé (une étape appelée Fine-Tuning Supervisé). Ensuite, ils ont joué à un jeu de « ceci ou cela » où le modèle devait choisir entre un film célèbre et un autre moins connu mais tout aussi intéressant, en le récompensant pour avoir choisi le joyau caché (une étape appelée Optimisation de Préférence Directe). En séparant la partie « apprendre à être utile » de la partie « apprendre à être diversifié », ils ont créé un système qui suggère des films que vous allez réellement apprécier, et non pas seulement des films que tout le monde a déjà vus. Leurs expériences ont montré que cette nouvelle méthode a réussi à réduire de moitié le nombre de films populaires suggérés dans certains cas, tout en maintenant des recommandations précises et amusantes.

L'histoire de la correction en trois étapes

Considérez un Modèle de Langage Étendu (LLM) comme un critique de cinéma très talentueux mais légèrement snob. Ce critique a lu des millions de critiques et regardé des milliers de films, mais parce qu'il en a vu tellement, il a une mauvaise habitude : il ne recommande que les blockbusters. Si vous demandez une recommandation de film, il vous suggérera presque toujours les 10 films les plus populaires de tous les temps, ignorant le fait que vous pourriez détester les films d'action et adorer les documentaires calmes. C'est le « biais de popularité » que cet article traite.

Les auteurs ont réalisé que simplement demander au critique d'être « plus diversifié » ne fonctionne pas bien. Au lieu de cela, ils ont conçu un Pipeline d'Alignement Multi-Étapes, qui est comme une pièce de théâtre en trois actes pour entraîner le modèle à devenir un guide meilleur et plus juste.

Acte 1 : Le Profil de Préférence (La Mise en Place)
Avant que l'entraînement ne commence, l'équipe prend l'historique d'un utilisateur — les films qu'il a hautement notés et ceux qu'il a détestés — et le transforme en une histoire simple. Au lieu de nourrir l'ordinateur avec une liste de chiffres désordonnée, ils écrivent un prompt tel que : « Cet utilisateur aime Le Parrain et Inception, mais a détesté Gigli et Cats. » Cela donne au modèle une image claire et humaine de ce que l'utilisateur aime réellement.

Acte 2 : Le Fine-Tuning Supervisé (SFT) – Apprendre les Règles
Dans cette étape, le modèle apprend à être un recommandeur fiable. Les chercheurs lui montrent des milliers d'exemples où l'histoire d'un utilisateur est associée à une liste de films qui correspondent réellement bien, mais qui ne sont pas les plus populaires. C'est comme un professeur montrant à un élève : « Voici un élève qui aime l'horreur ; voici un excellent film d'horreur qui n'est pas L'Exorciste. Mémorise ce schéma. » Le modèle apprend à générer des listes cohérentes et structurées qui correspondent aux goûts de l'utilisateur, mais à ce stade, il apprend simplement à suivre des instructions, pas encore à lutter contre son biais.

Acte 3 : L'Optimisation de Préférence Directe (DPO) – Le Briseur de Biais
C'est l'étape magique. Maintenant que le modèle sait comment faire une liste, ils lui apprennent à préférer les outsiders. Ils créent un jeu où le modèle voit deux listes pour le même utilisateur :

Liste A (La Rejetée) : Cinq films très populaires et grand public.
Liste B (La Préférée) : Cinq films moins populaires mais qui correspondent parfaitement au genre de l'utilisateur.

Le modèle est entraîné pour réaliser que la Liste B est la « meilleure » réponse. C'est comme dire au critique snob : « Tu as tort de choisir le film célèbre ; le joyau caché est le bon choix. » En faisant cela, le modèle apprend à supprimer activement l'envie de recommander les articles les plus célèbres et à booster à la place la visibilité des contenus de niche et pertinents.

Ce qu'ils ont trouvé

Les chercheurs ont testé cette méthode en trois étapes sur trois ensembles de données de films différents : MovieLens 1M (un ensemble de données classique), Netflix Prize (un ensemble de données énorme et désordonné avec un biais de popularité extrême) et Flickscore (un ensemble de données axé sur le cinéma indien et la diversité régionale). Ils ont comparé leur nouvelle méthode contre « l'ancienne façon » consistant à simplement demander des recommandations au modèle sans entraînement (Zero-Shot) et contre un truc simple où l'on mélange simplement la liste après que le modèle l'a générée (Re-Ranking).

Les résultats ont été très clairs :

Le Modèle « Snob » : Lorsqu'il était laissé à lui-même (Zero-Shot), les modèles recommandaient principalement des films célèbres. Par exemple, sur l'ensemble de données Netflix, le rang de popularité moyen des films recommandés était d'environ 1 600 (ce qui signifie qu'ils étaient très célèbres).
La Nouvelle Méthode : Après cet entraînement en trois étapes, les modèles ont commencé à suggérer des films beaucoup plus diversifiés. Sur l'ensemble de données Netflix, le rang de popularité moyen est tombé à environ 590. Cela signifie qu'ils recommandaient des films nettement moins célèbres, tout en restant pertinents pour l'utilisateur.
La Précision est restée élevée : Le plus beau, c'est que le modèle n'a pas cessé d'être précis. Il n'a pas commencé à recommander n'importe quoi juste pour être différent. La « Précision » (la fréquence à laquelle la recommandation était réellement bonne) est restée presque la même, tandis que la « Nouveauté » (à quel point les suggestions étaient nouvelles et uniques) a bondi de marges énormes — augmentant parfois de plus de 170 % sur l'ensemble de données Netflix.

Ils ont également découvert que cette nouvelle méthode fonctionnait mieux que le truc du « Re-Ranking ». Le Re-Ranking consiste à dire au modèle de faire une liste, puis un humain (ou un script informatique simple) intervient pour remplacer les films célèbres par des films obscurs à la toute fin. L'article a montré que l'entraînement du modèle lui-même (Alignement Intrinsèque) pour qu'il veuille les films obscurs dès le départ produisait des résultats plus stables et meilleurs que de simplement corriger la liste à la fin.

Pourquoi cela compte

Cet article suggère que nous n'avons pas à choisir entre un système de recommandation qui est précis et un qui est équitable. En décomposant le processus d'entraînement en étapes — d'abord enseigner au modèle à comprendre l'utilisateur, puis lui enseigner à valoriser la diversité — nous pouvons construire une IA qui nous aide à découvrir le prochain grand film dont nous n'avons jamais entendu parler, plutôt que de simplement nous dire de regarder le dernier blockbuster de super-héros.

Les auteurs notent que bien que leur méthode fonctionne bien, elle nécessite beaucoup de puissance informatique pour entraîner ces modèles. Ils soulignent également qu'ils n'ont pas testé cela sur des utilisateurs qui n'ont aucun historique (le problème du « démarrage à froid » ou cold start), ce qui est un défi pour l'avenir. Mais pour les utilisateurs qui ont déjà partagé leurs goûts, cette approche multi-étapes offre une manière structurée et évolutive de faire en sorte que les recommandations de films ressemblent moins à un argument de vente pour les articles les plus populaires et davantage à une véritable découverte de quelque chose de spécial.

Résumé Technique : Alignement Multi-étapes des Grands Modèles de Langage pour l'Atténuation du Biais de Popularité dans la Recommandation de Films Générative

1. Énoncé du Problème

Les Grands Modèles de Langage (LLM) intégrés aux systèmes de recommandation présentent un fort biais de popularité inhérent. En raison de leur pré-entraînement sur de vastes corpus contenant des schémas d'interaction mondiaux, les LLM recommandent de manière disproportionnée des articles mainstream et à haute fréquence, tout en sous-représentant le contenu de niche aligné sur l'utilisateur. Ce biais crée une boucle de rétroaction du type « le riche devient plus riche », limitant la diversité du catalogue et la découverte par l'utilisateur.

Alors que les systèmes de recommandation classiques ont abordé ce problème via des stratégies post-hoc (par exemple, la pondération par l'inverse de la propension, le re-classement sensible à la popularité), il reste incertain si l'alignement intrinsèque des LLM peut systématiquement surpasser ces méthodes classiques dans les contextes de recommandation générative. Les approches actuelles basées sur les LLM reposent souvent sur le prompting zero-shot ou sur un ajustement supervisé (SFT) à étape unique, qui soit échouent à atténuer le biais, soit reproduisent la distribution de popularité des données d'entraînement. De plus, il existe un manque d'évaluation systématique concernant la manière dont les différentes étapes d'alignement interagissent et si la correction du biais doit être déconnectée de l'ancrage comportemental.

2. Méthodologie

Les auteurs proposent un Pipeline d'Alignement Multi-étapes qui sépare explicitement l'ancrage comportemental de l'alignement correcteur de biais. Ce pipeline se compose de trois étapes distinctes :

Étape 1 : Extraction des Préférences et Ingénierie de Prompt

Les historiques d'interaction des utilisateurs sont transformés en profils de préférences structurés en langage naturel. Une fonction déterministe convertit les 10 films préférés et les 5 films les moins appréciés d'un utilisateur en un prompt textuel cohérent. Cela unifie l'entrée à travers différents jeux de données (MovieLens 1M, Netflix Prize, Flickscore) et échelles d'évaluation (notation sur 5 étoiles vs binaire).

Étape 2 : Ajustement Supervisé (SFT)

Le LLM est ajusté sur des paires (prompt, cible) pour établir un ancrage comportemental.

Objectif : Apprendre au modèle à générer des listes de recommandations cohérentes et structurées qui associent les profils d'utilisateurs à des articles pertinents.
Construction des Données : Les cibles sont générées en sélectionnant des films non notés parmi les 50 % inférieurs en termes de popularité qui partagent une forte similitude de genre (indice de Jaccard) avec les films aimés par l'utilisateur.
Rôle : Le SFT stabilise le format de sortie du modèle et la pertinence, mais ne résout pas intrinsèquement le problème de biais, car le modèle peut encore conserver une connaissance préalable favorisant les articles populaires.

Étape 3 : Optimisation de la Préférence Directe (DPO)

En s'appuyant sur le modèle SFT, la DPO est appliquée pour effectuer un alignement correcteur de biais.

Construction des Paires de Préférence : Pour chaque prompt utilisateur, deux listes sont construites de manière programmatique :
- Préférée ( $y_w$ ) : 5 films parmi les 50 % inférieurs de popularité avec un fort chevauchement de genre.
- Rejetée ( $y_l$ ) : 5 films parmi les 50 % supérieurs de popularité sans correspondance de genre.
Optimisation : Le modèle est entraîné pour maximiser la log-vraisemblance de la liste préférée par rapport à la liste rejetée en utilisant la fonction de perte DPO. Cela pénalise explicitement les articles à haute popularité tout en récompensant la pertinence thématique.
Distinction Clé : Les auteurs soulignent que la DPO n'est pas nouvelle en soi, mais que son application après le SFT est critique. Appliquer la DPO sans ancrage comportemental préalable conduit à des sorties instables, tandis que le SFT seul ne parvient pas à corriger le biais.

3. Configuration Expérimentale

Jeux de Données :
- MovieLens 1M : Benchmark équilibré avec 1M de notations.
- Netflix Prize : Jeu de données à grande échelle et creux (sparse) avec un biais de popularité extrême.
- Flickscore : Jeu de données régional (cinéma indien) avec des évaluations binaires et un contexte multilingue.
Modèles : Trois LLM open-source représentant différentes générations et architectures :
- LLaMA 3.1 8B : Modèle optimisé pour les instructions de pointe.
- LLaMA 2 7B : Baseline de la génération précédente.
- Mistral 7B : Architecture axée sur l'efficacité avec Grouped-Query Attention (GQA) et Sliding Window Attention.
Baselines (Référentiels) :
- Prompting Zero-Shot : Modèles pré-entraînés non modifiés.
- Re-classement Sensible à la Popularité : Une baseline classique post-hoc qui pénalise les articles à haute popularité dans la liste générée sans modifier les paramètres du modèle.

4. Résultats Clés

L'étude évalue les performances à l'aide de Métriques de Recommandation (Précision@5, nDCG@5, MAP@5) et de Métriques d'Atténuation du Biais (Nouveauté, Couverture du Catalogue, Popularité Moyenne).

Atténuation du Biais vs Précision : L'alignement multi-étapes (SFT + DPO) réduit significativement le biais de popularité tout en maintenant une précision compétitive.
- Sur Netflix Prize, la DPO a augmenté la Nouveauté d'environ 170 % et la Couverture du Catalogue d'environ 280 % par rapport aux baselines zero-shot, tandis que la Popularité Moyenne a chuté de 63 %.
- Sur MovieLens 1M, la DPO a réduit la Popularité Moyenne d'environ 1217 à 575 (pour LLaMA 3.1) avec seulement une baisse marginale de la Précision@5.
Débiaisage Intrinsèque vs Extrinsèque : L'alignement intrinsèque proposé (SFT+DPO) a systématiquement surpassé la baseline classique de Re-classement Sensible à la Popularité.
- L'alignement intrinsèque a obtenu une Nouveauté et une Couverture plus élevées avec une Popularité Moyenne plus faible sur tous les jeux de données et modèles.
- Les méthodes de re-classement introduisent souvent des baisses plus importantes de la qualité du classement (Précision) par rapport aux compromis plus stables observés avec SFT+DPO.
Généralisabilité : La stratégie s'est avérée robuste à travers différentes architectures de modèles (LLaMA 2, LLaMA 3.1, Mistral) et divers contextes culturels (cinéma occidental vs indien), confirmant que la déconnexion de l'ancrage et de la correction du biais n'est pas spécifique à l'architecture.

5. Contributions Clés

Décomposition du Problème : Formulation de l'atténuation du biais de popularité dans les LLM comme un problème à deux étapes (ancrage comportemental + correction de biais) plutôt qu'un objectif d'ajustement unique.
Analyse Empirique des Limitations : Démonstration que ni le SFT ni la DPO ne sont suffisants seuls ; le SFT seul reproduit le biais, et la DPO sans ancrage provoque l'instabilité.
Stratégie Multi-étapes : Validation d'un flux de travail où le SFT ancre le modèle et la DPO corrige le biais, permettant une génération stable, reproductible et débiaisée.
Construction de Préférences Programmatique : Introduction d'une méthode entièrement automatisée et pilotée par les données pour construire les paires de préférence DPO en utilisant les statistiques de popularité des articles, éliminant ainsi le besoin d'annotation humaine.
Validation Multi-Modèle/Multi-Dataset : Fourniture de preuves étendues de robustesse à travers trois familles de LLM et trois jeux de données distincts.
Comparaison Intrinsèque vs Extrinsèque : Comparaison systématique de l'alignement intrinsèque par rapport au re-classement post-hoc classique, montrant que l'intégration des objectifs d'équité dans les paramètres du modèle offre un meilleur équilibre d'exposition et de stabilité.

6. Signification et Revendications

L'article positionne l'alignement multi-étapes des LLM comme une stratégie fondée sur des principes et scalable pour atténuer le biais de popularité dans les systèmes de recommandation génératifs. Les auteurs affirment que :

La Déconnexion est Essentielle : Séparer l'ancrage comportemental (SFT) de la correction de biais (DPO) est nécessaire pour obtenir à la fois un comportement de recommandation stable et un débiaisage efficace.
Supériorité Intrinsèque : Intégrer les objectifs d'exposition directement dans le modèle via un alignement multi-étapes offre des avantages systématiques par rapport aux méthodes post-hoc classiques (comme le re-classement) dans les contextes de génération sans candidat prédéfini, offrant de meilleurs compromis entre pertinence et équité.
Scalabilité : L'approche est robuste à travers différentes tailles de modèles et contextes culturels, suggérant qu'elle peut être appliquée largement à divers scénarios de recommandation.

Les auteurs reconnaissent des limitations, notant que le cadre ne traite pas explicitement les scénarios de démarrage à froid extrême (où aucun historique utilisateur n'existe) et que le coût computationnel de l'ajustement fin multi-étapes est plus élevé que le filtrage collaboratif traditionnel. Ils notent également que bien que le biais de popularité soit atténué, d'autres stéréotypes latents (par exemple, les biais démographiques) hérités des données de pré-entraînement peuvent persister.