Fairness Begins with State: Purifying Latent Preferences for Hierarchical Reinforcement Learning in Interactive Recommendation

Cet article propose DSRM-HRL, un cadre d'apprentissage par renforcement hiérarchique qui améliore l'équité dans les systèmes de recommandation interactifs en purifiant les préférences latentes des utilisateurs grâce à un module de débruitage basé sur les modèles de diffusion, permettant ainsi de découpler et d'optimiser simultanément la pertinence à court terme et l'équité à long terme.

L'essentiel

🎯 Le Problème : Le "Miroir Fumé"

Imaginez que vous dirigez un restaurant très populaire. Votre but est de satisfaire vos clients (les utilisateurs) tout en donnant une chance à tous vos plats (les vidéos ou articles recommandés), y compris les petits plats méconnus de la carte.

Le problème, c'est que vos clients ne vous disent pas toujours ce qu'ils aiment vraiment. Ils disent souvent : "J'ai adoré ce plat !" alors qu'en réalité, ils l'ont juste mangé parce qu'il était le seul sur le menu ou parce que tout le monde en parlait.

Dans le monde des recommandations (comme TikTok ou YouTube), c'est pareil. Les algorithmes actuels regardent les clics et les likes comme s'ils étaient la vérité absolue. Mais en réalité, ces données sont "polluées" par la popularité. C'est comme si un client vous disait "Ce plat est délicieux" alors qu'il l'a juste commandé parce qu'il était le seul disponible.

L'algorithme, trompé par ce faux signal, commence à ne recommander que les plats les plus populaires. Résultat ? Les plats de la "longue traîne" (les pépites méconnues) ne sont jamais vus, et les clients finissent par se lasser et quitter le restaurant. C'est ce qu'on appelle le cercle vicieux : "Les riches deviennent plus riches, les pauvres deviennent plus pauvres."

💡 La Solution : DSRM-HRL (Le Détective et le Chef)

Les auteurs de ce papier disent : "Arrêtons de blâmer le chef (l'algorithme) pour un problème qui vient du miroir (les données)." Ils proposent une nouvelle approche en deux étapes, qu'ils appellent DSRM-HRL.

Étape 1 : Le Détective qui nettoie le miroir (DSRM)

Avant même de prendre une décision, le système utilise une technologie appelée Modèle de Diffusion (un peu comme un outil de restauration d'images anciennes).

• L'analogie : Imaginez que vous avez une photo de vos clients, mais elle est couverte de poussière et de taches de café (le bruit de la popularité). Au lieu de deviner ce qu'ils aiment en regardant la photo sale, le détective (DSRM) utilise un processus mathématique pour "nettoyer" l'image, tache par tache, jusqu'à révéler la photo originale et claire.
• Le résultat : Le système découvre ce que le client aime vraiment, en enlevant les fausses impressions causées par la mode ou la pression sociale.

Étape 2 : Le Chef et son Sous-Chef (HRL)

Une fois que le système a une image claire des goûts réels, il utilise une structure à deux niveaux, comme un restaurant bien géré :

1. Le Chef (Niveau Élevé) : C'est le stratège. Il ne s'occupe pas du plat du jour, mais de la réputation à long terme. Il dit : "Attention, on ne peut pas servir que des pâtes, même si tout le monde en veut. Il faut aussi servir la salade rare pour que le menu reste équilibré." Il fixe les règles de justice (fairness) pour s'assurer que les plats méconnus ont leur chance.
2. Le Sous-Chef (Niveau Bas) : C'est l'exécutant. Il écoute les ordres du Chef, mais son travail est de satisfaire le client tout de suite. Il dit : "D'accord, je vais servir la salade rare, mais je vais la préparer de manière à ce qu'elle soit délicieuse et que le client soit content maintenant."

🚀 Pourquoi ça marche ?

En séparant ces deux rôles et en nettoyant les données au préalable, le système évite les conflits habituels :

• Avant : L'algorithme essayait de faire deux choses contradictoires en même temps (être juste ET populaire) avec des données sales. C'était comme essayer de conduire une voiture avec un pare-brise sale et un volant qui vibre.
• Maintenant : Le pare-brise est propre (données purifiées) et le volant est stable (décisions hiérarchisées).

🏆 Les Résultats

Les chercheurs ont testé leur méthode sur de vrais jeux de données (KuaiRec et KuaiRand). Les résultats sont impressionnants :

• Moins de clients qui partent : Les utilisateurs restent plus longtemps sur la plateforme car ils découvrent des contenus qui les intéressent vraiment, pas juste ce qui est à la mode.
• Plus de justice : Les vidéos ou articles moins connus ont enfin leur chance d'être vus.
• Meilleure stabilité : Le système apprend plus vite et ne fait pas de "crises de nerfs" (oscillations) comme les anciens modèles.

En résumé

Ce papier nous apprend que pour créer une intelligence artificielle juste, il ne suffit pas de changer les règles du jeu (les récompenses). Il faut d'abord nettoyer la vision de l'IA.

C'est comme dire à un juge : "Ne juge pas le procès sur la base des rumeurs (données bruyantes), mais sur les faits réels (données purifiées). Et pour rendre la justice, séparez la stratégie à long terme de l'application immédiate."

Grâce à DSRM-HRL, les recommandations deviennent plus intelligentes, plus équitables et, paradoxalement, plus rentables pour tout le monde.

Résumé technique

1. Problématique : L'illusion de l'état observé

Les systèmes de recommandation interactifs (IRS) utilisent de plus en plus l'apprentissage par renforcement (RL) pour optimiser les dynamiques séquentielles entre l'utilisateur et le système. Cependant, les méthodes existantes axées sur l'équité (fairness) souffrent d'un défaut fondamental : elles supposent que l'état utilisateur observé est une représentation fidèle de ses véritables préférences.

En réalité, les feedbacks implicites sont fortement contaminés par :

• Le biais de popularité : Les items populaires génèrent plus d'interactions non pas parce qu'ils sont préférés, mais parce qu'ils sont plus exposés.
• Le biais d'exposition : Le système ne montre que ce qu'il a déjà recommandé, créant une boucle de rétroaction "les riches deviennent plus riches".

Conséquence : L'agent de RL apprend sur un état "bruité" et déformé. Toute tentative de corriger l'inéquité à ce stade (via la conception de récompenses ou l'optimisation contrainte) échoue car le conflit entre précision (accuracy) et équité n'est pas un problème de décision, mais un échec d'estimation d'état. L'agent ne peut pas distinguer les préférences réelles du bruit systémique.

2. Méthodologie : DSRM-HRL

Les auteurs proposent un cadre nommé DSRM-HRL (Denoising State Representation Module - Hierarchical Reinforcement Learning) qui reformule le problème en deux étapes : la purification de l'état latent, suivie d'une prise de décision hiérarchique découplée.

A. Module de Représentation d'État Débruité (DSRM)

Pour résoudre le problème de la reconstruction de biais non linéaires et de la préservation du signal, le DSRM utilise des modèles de diffusion.

• Hypothèse : L'état observé $\tilde{s}_t$ est une projection corrompue d'une variété de préférences latente à faible entropie $s^*_t$.
• Processus :
  1. Diffusion Forward : Le module simule la dégradation progressive du signal de préférence en injectant du bruit gaussien.
  2. Diffusion Reverse : Le modèle apprend à inverser ce processus pour reconstruire l'état latent purifié $\hat{s}_t$ à partir de l'historique d'interaction bruité.
• Objectif : Extraire la "véritable" intention de l'utilisateur en éliminant le bruit de popularité tout en préservant les nuances comportementales fines nécessaires à la personnalisation.

B. Apprentissage par Renforcement Hiérarchique (HRL)

Une fois l'état purifié, un agent HRL gère le conflit temporel entre les objectifs à court terme (engagement) et à long terme (équité).

• Niveau Supérieur (Manager) : Régule la trajectoire d'équité à long terme. Il génère une variable de contrôle stratégique $z_t$ (pondération entre précision et équité) qui définit les contraintes pour l'étape courante.
• Niveau Inférieur (Worker) : Optimise l'engagement immédiat (récompense à court terme) en sélectionnant des items, mais strictement contraint par la variable $z_t$ fournie par le manager.
• Avantage : Cette architecture découple temporellement les objectifs, évitant les interférences de gradients et l'instabilité d'entraînement typiques des agents RL monolithiques.

3. Contributions Clés

1. Identification d'une faille de modélisation : Les auteurs démontrent empiriquement que le compromis précision-équité est souvent un artefact de l'état corrompu. La purification de l'état est un prérequis nécessaire avant toute optimisation de politique.
2. Architecture hybride innovante : Combinaison inédite de modèles de diffusion (pour la purification de l'état) et de RL hiérarchique (pour le contrôle des objectifs temporels).
3. Preuve empirique de la "Manifold Collapse" : L'analyse visuelle (t-SNE) montre que les états bruts sont effondrés par le biais de popularité, tandis que le DSRM restaure une variété de préférences sémantiquement cohérente et découplée.

4. Résultats Expérimentaux

Les expériences ont été menées sur des simulateurs haute fidélité (KuaiSim) utilisant les jeux de données KuaiRec et KuaiRand-Pure.

• Performance Globale (RQ1) : DSRM-HRL surpasse systématiquement les méthodes RL générales (A2C, TD3, BCQ) et les méthodes RL équitables de pointe (MOFIR, SAC4IR).
  • Sur KuaiRec, il améliore la longueur d'interaction (satisfaction à long terme) de 21,1 % par rapport au meilleur modèle équitable (SAC4IR) et de 27,9 % par rapport au meilleur modèle RL général.
  • Il atteint une frontière de Pareto supérieure, améliorant simultanément la précision et l'équité d'exposition (mesurée par l'Absolute Difference - AD).
• Étude d'ablation (RQ2) :
  • L'utilisation de l'HRL seul (sans débruitage) échoue, confirmant que le contrôle hiérarchique ne suffit pas sur des états corrompus.
  • L'utilisation de méthodes de débruitage heuristiques (RCE, TCE) dégrade les performances, prouvant que l'approche par diffusion est supérieure pour capturer les motifs de bruit complexes.
• Sensibilité et Efficacité (RQ3 & RQ4) :
  • Le nombre optimal de pas de diffusion est modéré (10-30). Un nombre trop élevé provoque un sur-lissage (perte de signal).
  • Bien que DSRM-HRL ait un coût computationnel plus élevé que les méthodes de base (environ 2,1x), il reste nettement plus efficace que les méthodes de débruitage heuristiques et offre un excellent rapport coût-performance.
• Stabilité (RQ5) : La méthode converge de manière plus lisse et avec une variance inférieure, évitant les effondrements de performance fréquents chez les autres agents.

5. Signification et Impact

Cet article remet en question le paradigme dominant selon lequel l'équité dans la recommandation est un simple compromis de conception de récompense. Il établit que l'équité commence par l'estimation de l'état.

• Théorique : Il propose un changement de perspective majeur : passer de la "façonnage de récompense" (reward shaping) à la "purification d'état" (state purification).
• Pratique : La méthode permet de briser la boucle de rétroaction "les riches deviennent plus riches", offrant une voie robuste pour des systèmes de recommandation responsables qui maximisent à la fois la rétention utilisateur à long terme et l'équité d'exposition pour les items de longue traîne.
• Technique : L'intégration réussie des modèles de diffusion pour le débruitage d'état en temps réel dans un cadre RL hiérarchique ouvre de nouvelles perspectives pour le traitement des biais systémiques dans les environnements dynamiques.