PBiLoss: Popularity-Aware Regularization to Improve Fairness in Graph-Based Recommender Systems

1. Énoncé du problème

Les systèmes de recommandation basés sur des graphes, en particulier ceux utilisant des réseaux de neurones sur graphes (GNN) comme LightGCN, ont atteint des performances de pointe dans la capture des interactions utilisateur-élément. Cependant, ils souffrent considérablement d'un biais de popularité.

• Le problème : Ces modèles ont tendance à sur-recommander les éléments populaires (nœuds de haut degré) tout en sous-recommandant les éléments de la longue traîne (moins populaires).
• La cause : Dans les GNN, le passage de messages amplifie intrinsèquement les schémas d'interaction dominants. Les éléments populaires reçoivent des mises à jour plus fréquentes et des signaux plus forts, créant une boucle de rétroaction qui marginalise le contenu de niche.
• Limites des solutions existantes :
  • Pré-traitement : Déforme les distributions de données.
  • Post-traitement : Limité pour corriger un biais déjà intégré dans les représentations apprises.
  • Pendant l'entraînement (basé sur le gradient) : Complique souvent l'optimisation, crée des paysages de perte instables ou nécessite un réglage sensible des hyperparamètres.
  • Régularisation existante : De nombreuses méthodes dépendent d'attributs sensibles ou nécessitent des modifications architecturales complexes.

Les auteurs proposent la nécessité d'une méthode qui soit agnostique au modèle, intégrée directement dans l'objectif d'entraînement, et capable d'équilibrer l'équité sans sacrifier la précision des recommandations.

2. Méthodologie : PBiLoss

La contribution centrale est PBiLoss (Perte de biais de popularité), un terme de régularisation novateur conçu pour être ajouté aux objectifs d'entraînement standards (spécifiquement le classement bayésien personnalisé ou BPR).

A. Concept de base

PBiLoss pénalise explicitement l'inclinaison du modèle vers les éléments populaires pendant l'entraînement. Il vise à :

1. Déclasser le rang des éléments populaires qui sont non pertinents pour un utilisateur.
2. Promouvoir le rang des éléments impopulaires qui sont pertinents pour un utilisateur.

B. Distinction entre éléments populaires et impopulaires

L'article propose deux méthodes pour catégoriser les éléments en fonction de la popularité (quantifiée par le degré du nœud) :

1. Seuil fixe ($\alpha$) : Les éléments ayant un degré $\ge \alpha$ sont « populaires » ; les autres sont « impopulaires ».
2. Sans seuil (Probabiliste) : Des probabilités d'échantillonnage sont attribuées en fonction du degré. Les éléments populaires sont échantillonnés avec une probabilité proportionnelle à leur degré ; les éléments impopulaires sont échantillonnés avec une probabilité proportionnelle à l'inverse de leur degré.

C. Stratégies d'échantillonnage

PBiLoss introduit deux stratégies d'échantillonnage distinctes pour générer des triplets d'entraînement $(u, i, j)$, où $u$ est un utilisateur, $i$ un élément positif et $j$ un élément négatif :

1. Positif Populaire (PopPos) :

   • Focus : Interactions pertinentes (positives).
   • Mécanisme : Échantillonne des paires d'éléments pertinents où l'un est populaire et l'autre impopulaire.
   • Objectif : Encourage le modèle à classer l'élément pertinent impopulaire plus haut que l'élément pertinent populaire, augmentant ainsi l'exposition de la longue traîne.
   • Formulation : $T_{PBi} = \{(u, i, j) | u \in U, i \in I^+_{u, unpop}, j \in I^+_{u, pop}\}$

2. Négatif Populaire (PopNeg) :

   • Focus : Interactions non pertinentes (négatives).
   • Mécanisme : Échantillonne des paires où l'élément positif est impopulaire et l'élément négatif est populaire.
   • Objectif : Pénalise explicitement le modèle pour classer trop haut les éléments populaires (avec lesquels l'utilisateur n'a pas interagi). Cela est souvent plus efficace car le biais de popularité dans le BPR est souvent entraîné par des éléments populaires apparaissant comme des « négatifs faciles ».
   • Formulation : $T_{PBi} = \{(u, i, j) | u \in U, i \in I^+_{u, unpop}, j \in I_{pop} \setminus I^+_{u, pop}\}$

D. Fonction objectif finale

La fonction de perte totale combine la perte BPR standard avec le terme PBiLoss :
$$L_{total} = L_{BPR} + w \cdot L_{PBi}$$
Où $w$ est un hyperparamètre contrôlant la force de la régularisation d'équité.

3. Contributions clés

1. Fonction de perte novatrice : PBiLoss intègre des contraintes d'équité directement dans l'objectif d'apprentissage, évitant ainsi le besoin de post-traitement ou de modifications architecturales complexes.
2. Stratégies d'échantillonnage innovantes : Introduction des stratégies PopPos et PopNeg pour cibler différents aspects du biais de popularité (éléments pertinents vs non pertinents).
3. Définition flexible de la popularité : Fournit à la fois une approche à seuil fixe (déterministe) et une approche sans seuil (probabiliste), permettant une adaptabilité à différentes distributions de données.
4. Conception agnostique au modèle : La méthode est un composant de perte modulaire qui peut être intégré de manière transparente dans des frameworks GNN existants (par exemple, LightGCN, r-AdjNorm, APDA, PopGo) sans modifications structurelles.
5. Efficacité : La complexité temporelle reste asymptotiquement équivalente au modèle de base ($O(|E|Ld)$), car le calcul de perte supplémentaire représente une augmentation d'un facteur constant.

4. Résultats expérimentaux

Les auteurs ont évalué PBiLoss sur trois jeux de données réels : Epinions, iFashion et MovieLens, en l'intégrant à quatre modèles de base : LightGCN, r-AdjNorm, APDA et PopGo.

Principales conclusions :

• Amélioration de l'équité : PBiLoss a considérablement réduit le biais de popularité.
  • PRU (Corrélation Popularité-Rang pour les utilisateurs) et PRI (Corrélation Popularité-Rang pour les éléments) ont été réduits de jusqu'à 10 % par rapport aux modèles de base. Des valeurs plus faibles indiquent une meilleure équité.
  • La variante PopNeg-FT (Négatif Populaire avec Seuil Fixe) a constamment atteint le meilleur équilibre entre équité et précision.
• Préservation de la précision : Crucialement, la méthode a amélioré l'équité sans dégrader les métriques de précision standard (F1@10, NDCG@10, MAP@10). Dans de nombreux cas, les métriques de précision ont légèrement augmenté ou sont restées stables.
• Significativité statistique : Un test non paramétrique de Friedman a confirmé que les améliorations des métriques de classement (NDCG) étaient statistiquement significatives ($p < 0.05$).
• Sensibilité aux hyperparamètres :
  • Des valeurs modérées du poids de régularisation $w$ ont fourni le meilleur compromis.
  • Le réglage du seuil de popularité $\alpha$ sur les 20 % supérieurs des éléments a produit des résultats optimaux.

5. Importance et conclusion

• Impact pratique : PBiLoss offre une solution évolutive et facile à mettre en œuvre pour les systèmes de recommandation industriels. Il adresse l'« effet Matthieu » (les riches deviennent plus riches) dans les recommandations, garantissant une exposition équitable au contenu de la longue traîne.
• Contribution théorique : Il démontre que l'équité peut être atteinte par une simple régularisation de la fonction de perte plutôt que par des révisions architecturales complexes ou la manipulation d'attributs sensibles.
• Perspectives futures : Les auteurs suggèrent d'étendre la définition de la popularité au-delà du degré du nœud (par exemple, tendances temporelles, signaux basés sur le contenu) et d'appliquer la méthode à des scénarios de recommandation séquentielle ou multimodale.

En résumé, PBiLoss est un cadre robuste et agnostique au modèle qui atténue avec succès le biais de popularité dans les recommandateurs basés sur des graphes, améliorant la diversité et l'équité tout en maintenant une haute précision de recommandation.