When Relevance Meets Novelty: Dual-Stable Periodic Optimization for Serendipitous Recommendation

Ce papier propose la méthode CoEA, qui intègre un module d'exploration d'intérêts à double stabilité et un mécanisme d'optimisation collaborative périodique pour surmonter les biais de modélisation et les limitations statiques des systèmes de recommandation assistés par LLM, afin d'améliorer la sérendipité tout en équilibrant pertinence et nouveauté.

L'essentiel

Imaginez que vous êtes dans une immense bibliothèque (c'est l'internet ou une application comme Meituan) et que vous cherchez un livre.

Le problème des systèmes de recommandation classiques, c'est qu'ils sont comme un bibliothécaire très timide qui ne vous propose que les livres que vous avez déjà aimés. Si vous aimez les romans policiers, il vous en donnera encore et encore. Résultat ? Vous vous ennuyez, vous ne découvrez rien de nouveau, et vous finissez par vous lasser (c'est ce qu'on appelle la "fatigue du contenu").

D'un autre côté, si ce bibliothécaire devenait trop fou et vous proposait n'importe quoi (des livres sur la cuisine japonaise alors que vous n'aimez que les polars), vous seriez perdu et frustré.

L'article que vous avez partagé propose une solution intelligente appelée CoEA (Co-Evolutionary Alignment). Voici comment ça marche, expliqué simplement avec des métaphores :

1. Le Problème : Deux Bibliothécaires qui ne se parlent pas

Les méthodes actuelles utilisent souvent deux intelligences artificielles (des "cerveaux") :

• Le Cerveau "Relevé" (Relevance LLM) : Il connaît vos goûts actuels. Il sait ce que vous aimez maintenant.
• Le Cerveau "Nouveau" (Novelty LLM) : Il essaie de trouver des choses inattendues et excitantes.

Le souci, c'est que ces deux cerveaux travaillent souvent en vase clos ou ne se mettent à jour qu'une seule fois. De plus, ils oublient souvent votre identité profonde (vos goûts de longue date, comme le fait que vous soyez un "amateur de technologie" depuis 10 ans) et se concentrent trop sur ce que vous avez cliqué hier matin.

2. La Solution CoEA : Une Danse en Couple

L'équipe de Meituan a créé une méthode qui fait travailler ces deux cerveaux ensemble, comme un couple de danseurs qui s'ajuste en permanence.

A. La Carte d'Identité Double (DSIE)

Au lieu de regarder seulement ce que vous avez fait hier, le système crée une "carte d'identité" à deux faces :

• La face "Groupe" (Long terme) : Le système vous regroupe avec des milliers d'autres personnes qui ont des goûts similaires à long terme (ex: "Les passionnés de voyage"). C'est comme savoir que vous faites partie d'un club. Cela donne une base stable.
• La face "Moi" (Court terme) : Il regarde aussi ce que vous avez fait récemment (ex: "Vous avez cherché des chaussures de randonnée").

L'analogie : Imaginez que vous êtes un musicien. Votre "Groupe" est votre style de musique (Jazz), et votre "Moi" est la chanson que vous jouez ce soir. Le système comprend les deux pour ne pas vous proposer de Heavy Metal si vous aimez le Jazz, même si vous avez écouté du Rock ce matin.

B. La Boucle de Réaction Permanente (PCO)

C'est le cœur de l'innovation. Au lieu de faire une seule fois le tri et de s'arrêter, le système tourne en boucle :

1. Le Cerveau "Nouveau" propose des idées de livres inconnus basés sur votre carte d'identité double.
2. Le Cerveau "Relevé" agit comme un critique gastronomique. Il goûte ces propositions et dit : "Oui, ça ressemble à ce que l'utilisateur aime" ou "Non, c'est trop bizarre".
3. L'Apprentissage : Le Cerveau "Nouveau" écoute les critiques, s'entraîne, et propose de nouvelles idées encore meilleures.
4. Le Retour : Le Cerveau "Relevé" re-évalue ces nouvelles idées.

C'est comme un chef cuisinier (Nouveau) qui teste de nouvelles recettes, et un critique (Relevé) qui lui dit "moins de sel, plus de piment". Ils répètent ce processus encore et encore, s'améliorant chaque jour avec les nouveaux clients qui arrivent.

3. Les Résultats : Le Meilleur des Deux Mondes

Grâce à cette méthode, l'application Meituan a pu :

• Ne plus vous ennuyer : Elle a trouvé des choses nouvelles et surprenantes que vous n'auriez jamais cherchées vous-même (comme un restaurant de cuisine vietnamienne alors que vous mangiez chinois).
• Restez pertinent : Elle ne vous a pas proposé de choses totalement inutiles. Tout était encore lié à vos goûts profonds.

En résumé :
Imaginez un ami très attentif qui connaît votre histoire (vos goûts de toujours) et qui vous dit : "Hé, j'ai vu un nouveau restaurant qui ressemble à ce que tu aimes, mais avec une touche de surprise que tu vas adorer." Et cet ami s'améliore chaque jour en observant si vous avez aimé ou non. C'est exactement ce que fait CoEA : il brise la boucle de l'ennui tout en restant fidèle à qui vous êtes.

Résumé technique

1. Problématique et Contexte

Les systèmes de recommandation traditionnels souffrent souvent d'un problème de boucle de rétroaction forte (feedback loop). En se basant excessivement sur les préférences historiques des utilisateurs, ils tendent à enfermer ces derniers dans une bulle de filtres, limitant l'exploration de nouveaux centres d'intérêt et provoquant une fatigue du contenu.

Bien que les Grands Modèles de Langage (LLM) offrent un potentiel pour générer du contenu diversifié, les approches existantes (notamment les cadres à double modèle) présentent deux limitations majeures :

1. Biais de modélisation des intérêts : Elles se concentrent sur les séquences d'intérêts à court terme, négligeant les préférences à long terme dérivées de l'identité de groupe de l'utilisateur (ex: "enthousiaste de la technologie"). Cela conduit à une exploration de la nouveauté qui s'éloigne des besoins réels.
2. Limites de l'optimisation statique : Les méthodes actuelles alignent le modèle de nouveauté une seule fois, créant une base de données statique. Elles ne parviennent pas à intégrer continuellement les données comportementales incrémentielles pour une optimisation en boucle fermée.

L'objectif est donc de concevoir un système capable de trouver un équilibre dynamique entre la découverte de nouveautés (sérendipité) et l'alignement strict avec les intérêts intrinsèques de l'utilisateur.

2. Méthodologie : CoEA (Co-Evolutionary Alignment)

Les auteurs proposent la méthode Co-Evolutionary Alignment (CoEA), qui repose sur deux modules principaux illustrés dans le cadre de la Figure 2 du papier.

A. Module d'Exploration d'Intérêts Dual-Stable (DSIE)

Ce module vise à capturer simultanément la stabilité des groupes et la dynamique individuelle.

• Séquences Long-Terme (Identité de Groupe) :
  • Les séquences de clics à long terme sont filtrées pour éliminer les comportements occasionnels.
  • Elles sont traitées via une Attention Auto-Casuelle (Causal Self-Attention) enrichie par des caractéristiques éparses (âge, genre, etc.).
  • Une technique de RQ-VAE (Residual-Quantized VAE) est utilisée pour quantiser les représentations continues en Group Collaborative Semantic IDs (Group CSID). Ces IDs capturent des préférences de groupe stables.
  • Des profils textuels de groupe sont générés par un LLM (Profile LLM) à partir des utilisateurs représentatifs de chaque cluster.
• Séquences Court-Terme (Intérêts Individuels) :
  • Les interactions récentes sont mappées directement vers des catégories d'articles pour former un ensemble d'intérêts fins et actualisés, sans clustering, afin de préserver la fraîcheur.

B. Mécanisme d'Optimisation Collaborative Périodique (PCO)

Ce mécanisme remplace l'alignement statique par une boucle de rétroaction dynamique et itérative entre deux LLM :

1. Génération (Novelty LLM) : Le modèle de nouveauté génère des catégories candidates basées sur le profil de groupe (CSID) et les intérêts récents.
2. Vérification (Relevance LLM) : Un modèle de pertinence (entraîné comme un modèle de récompense, inspiré du RLHF) vérifie et note ces candidats par rapport aux préférences réelles de l'utilisateur.
3. Optimisation Incrémentielle :
   • Les résultats de vérification sont utilisés pour un fine-tuning incrémental du Novelty LLM via une méthode de type DPO (Direct Preference Optimization).
   • Une perte de divergence KL est ajoutée pour éviter l'oubli catastrophique (catastrophic forgetting), assurant que le modèle conserve ses connaissances tout en s'adaptant aux nouvelles préférences.
   • Le Novelty LLM mis à jour est réévalué par le Relevance LLM, formant une boucle fermée continue.

Les catégories validées sont stockées dans une base de données hors ligne pour une récupération efficace en ligne.

3. Contributions Clés

1. Co-Evolutionary Alignment (CoEA) : Une nouvelle architecture qui intègre la modélisation des préférences de groupe à long terme et la collaboration dynamique de deux modèles LLM pour équilibrer nouveauté et pertinence.
2. Dual-Stable Interest Exploration (DSIE) : Une approche innovante traitant parallèlement les séquences long et court terme pour construire des représentations d'utilisateurs qui combinent la stabilité de l'identité de groupe et la pertinence temporelle des intérêts individuels.
3. Periodic Collaborative Optimization (PCO) : Un mécanisme de boucle fermée bidirectionnelle qui permet une optimisation continue basée sur les données incrémentielles, évitant les pièges de l'optimisation statique et de l'oubli catastrophique.
4. Évaluation Complète : Validation rigoureuse via des expériences hors ligne (offline) et en ligne (online) sur des données industrielles réelles.

4. Résultats Expérimentaux

Les expériences ont été menées sur deux jeux de données : Movielens-1M et MTRec (données réelles de l'application Meituan, plateforme de livraison chinoise).

• Performance Globale (Offline) :
  • CoEA surpasse tous les modèles de base (y compris les approches basées sur LLM comme Google-v1/v2 et les méthodes d'exploration classiques).
  • Amélioration de la qualité : Gain moyen de +0,73 % sur les métriques de qualité (C-H@K, C-N@K).
  • Amélioration de la nouveauté : Gain spectaculaire de +19,34 % sur les métriques de nouveauté (NCP@K, CLTP@K), avec une augmentation de 27,14 % sur la découverte de catégories à longue traîne (CLTP).
• Études d'Ablation :
  • Le module DSIE est crucial : sans la séquence long terme, la qualité chute de 5,9 %.
  • Le mécanisme PCO est essentiel : sans le Relevance LLM, la qualité se dégrade considérablement, prouvant que la génération de nouveauté seule ne suffit pas.
  • La perte KL dans le PCO empêche l'effondrement de la nouveauté après de nombreux cycles de fine-tuning.
• Déploiement en Ligne (A/B Test) :
  • Déployé sur la page d'accueil de l'application Meituan.
  • Résultats : +1,203 % de valeur brute des transactions (GTV) et +2,364 % de proportion d'exposition d'articles nouveaux sur 7 jours (7D-NIEP).

5. Signification et Impact

Ce travail démontre qu'il est possible de briser le compromis traditionnel entre exploration (nouveauté) et exploitation (pertinence) dans les systèmes de recommandation à grande échelle.

• Innovation Technique : L'utilisation de l'identité de groupe (via CSID) pour guider l'exploration de nouveauté est une avancée majeure par rapport aux méthodes purement basées sur l'historique individuel.
• Viabilité Industrielle : La méthode a prouvé son efficacité non seulement en laboratoire, mais aussi dans un environnement de production complexe (Meituan), générant à la fois de la valeur commerciale (GTV) et une meilleure expérience utilisateur (découverte de nouveaux intérêts).
• Futur : Les auteurs prévoient d'optimiser la mise à jour en temps réel pour les utilisateurs en démarrage à froid (cold-start), une étape cruciale pour généraliser encore davantage l'approche.

En résumé, CoEA propose une solution robuste et évolutive pour la recommandation sérendipitaire, transformant la manière dont les systèmes gèrent l'équilibre entre ce que l'utilisateur aime déjà et ce qu'il pourrait découvrir.