PBiLoss: Popularity-Aware Regularization to Improve Fairness in Graph-Based Recommender Systems

1. Problemstellung

Graphbasierte Empfehlungssysteme, insbesondere solche, die Graph-Neuronale Netze (GNNs) wie LightGCN nutzen, haben State-of-the-Art-Leistung bei der Erfassung von Nutzer-Item-Interaktionen erreicht. Dennoch leiden sie erheblich unter Populationsverzerrung (Popularity Bias).

• Das Problem: Diese Modelle neigen dazu, populäre Items (Knoten mit hohem Grad) übermäßig zu empfehlen, während sie Long-Tail-Items (weniger populär) unterempfehlen.
• Die Ursache: In GNNs verstärken Nachrichtenübertragungen (Message Passing) inhärent dominante Interaktionsmuster. Populäre Items erhalten häufigere Updates und stärkere Signale, was einen Feedback-Loop erzeugt, der Nischeninhalte marginalisiert.
• Grenzen bestehender Lösungen:
  • Vorverarbeitung: Verzerrt Datenverteilungen.
  • Nachverarbeitung: Begrenzt in der Korrektur von Verzerrungen, die bereits in den gelernten Repräsentationen eingebettet sind.
  • Verarbeitung während des Trainings (Gradientenbasiert): Oft kompliziert die Optimierung, erzeugt instabile Loss-Landschaften oder erfordert eine empfindliche Hyperparameter-Tuning.
  • Bestehende Regularisierung: Viele Methoden verlassen sich auf sensible Attribute oder erfordern komplexe architektonische Änderungen.

Die Autoren fordern eine Methode, die modellagnostisch ist, direkt in das Trainingsziel integriert wird und in der Lage ist, Fairness zu balancieren, ohne die Empfehlungsgenauigkeit zu opfern.

2. Methodik: PBiLoss

Der Kernbeitrag ist PBiLoss (Popularity Bias Loss), ein neuartiger Regularisierungsterm, der zu Standard-Trainingszielen (insbesondere Bayesian Personalized Ranking oder BPR) hinzugefügt werden soll.

A. Kernkonzept

PBiLoss bestraft explizit die Neigung des Modells zu populären Items während des Trainings. Es zielt darauf ab:

1. Das Ranking von populären Items, die für einen Nutzer irrelevant sind, herabzustufen.
2. Das Ranking von unpopulären Items, die für einen Nutzer relevant sind, zu erhöhen.

B. Unterscheidung zwischen populären und unpopulären Items

Das Paper schlägt zwei Methoden vor, um Items basierend auf Popularität (quantifiziert durch den Knotengrad) zu kategorisieren:

1. Fester Schwellenwert ($\alpha$): Items mit einem Grad $\ge \alpha$ sind „populär"; andere sind „unpopulär".
2. Kein Schwellenwert (Probabilistisch): Sampling-Wahrscheinlichkeiten werden basierend auf dem Grad zugewiesen. Populäre Items werden mit einer Wahrscheinlichkeit proportional zu ihrem Grad gesampelt; unpopuläre Items werden mit einer Wahrscheinlichkeit proportional zum Kehrwert ihres Grades gesampelt.

C. Sampling-Strategien

PBiLoss führt zwei unterschiedliche Sampling-Strategien ein, um Trainings-Tripel $(u, i, j)$ zu generieren, wobei $u$ ein Nutzer, $i$ ein positives Item und $j$ ein negatives Item ist:

1. PopPos (Populäres Positiv):

   • Fokus: Relevante (positive) Interaktionen.
   • Mechanismus: Es werden Paare relevanter Items gesampelt, wobei eines populär und eines unpopulär ist.
   • Ziel: Das Modell wird ermutigt, das unpopuläre relevante Item höher zu ranken als das populäre relevante Item, um die Long-Tail-Exposition zu steigern.
   • Formulierung: $T_{PBi} = \{(u, i, j) | u \in U, i \in I^+_{u, unpop}, j \in I^+_{u, pop}\}$

2. PopNeg (Populäres Negativ):

   • Fokus: Irrelevante (negative) Interaktionen.
   • Mechanismus: Es werden Paare gesampelt, bei denen das positive Item unpopulär und das negative Item populär ist.
   • Ziel: Das Modell wird explizit dafür bestraft, populäre Items (mit denen der Nutzer nicht interagiert hat) zu hoch zu ranken. Dies ist oft effektiver, da Populationsverzerrung in BPR häufig durch populäre Items getrieben wird, die als „einfache Negativbeispiele" (easy negatives) auftreten.
   • Formulierung: $T_{PBi} = \{(u, i, j) | u \in U, i \in I^+_{u, unpop}, j \in I_{pop} \setminus I^+_{u, pop}\}$

D. Finale Zielfunktion

Die gesamte Loss-Funktion kombiniert den Standard-BPR-Loss mit dem PBiLoss-Term:
$$L_{total} = L_{BPR} + w \cdot L_{PBi}$$
Wobei $w$ ein Hyperparameter ist, der die Stärke der Fairness-Regularisierung steuert.

3. Hauptbeiträge

1. Neuartige Loss-Funktion: PBiLoss integriert Fairness-Beschränkungen direkt in das Lernziel und vermeidet damit die Notwendigkeit von Nachverarbeitung oder komplexen architektonischen Änderungen.
2. Innovative Sampling-Strategien: Einführung der PopPos- und PopNeg-Strategien, um verschiedene Facetten der Populationsverzerrung (relevante vs. irrelevante Items) zu adressieren.
3. Flexible Popularitätsdefinition: Bietet sowohl einen Ansatz mit festem Schwellenwert (deterministisch) als auch einen schwellenwertfreien Ansatz (probabilistisch), was eine Anpassung an verschiedene Datenverteilungen ermöglicht.
4. Modellagnostisches Design: Die Methode ist eine modulare Loss-Komponente, die nahtlos in bestehende GNN-Frameworks (z. B. LightGCN, r-AdjNorm, APDA, PopGo) integriert werden kann, ohne strukturelle Modifikationen.
5. Effizienz: Die Zeitkomplexität bleibt asymptotisch äquivalent zum Basismodell ($O(|E|Ld)$), da die zusätzliche Loss-Berechnung nur eine konstante Faktor-Erhöhung darstellt.

4. Experimentelle Ergebnisse

Die Autoren bewerteten PBiLoss auf drei realen Datensätzen: Epinions, iFashion und MovieLens, und integrierten es in vier Baseline-Modelle: LightGCN, r-AdjNorm, APDA und PopGo.

Wichtige Erkenntnisse:

• Verbesserung der Fairness: PBiLoss reduzierte die Populationsverzerrung signifikant.
  • PRU (Popularity-Rank Correlation for Users) und PRI (Popularity-Rank Correlation for Items) wurden im Vergleich zu den Baselines um bis zu 10% reduziert. Niedrigere Werte deuten auf eine bessere Fairness hin.
  • Die Variante PopNeg-FT (Popular Negative mit festem Schwellenwert) erreichte konsistent die beste Balance zwischen Fairness und Genauigkeit.
• Erhaltung der Genauigkeit: Entscheidend ist, dass die Methode die Fairness verbesserte, ohne die Standard-Genauigkeitsmetriken (F1@10, NDCG@10, MAP@10) zu verschlechtern. In vielen Fällen verbesserten sich die Genauigkeitsmetriken leicht oder blieben stabil.
• Statistische Signifikanz: Ein nicht-parametrischer Friedman-Test bestätigte, dass die Verbesserungen bei den Ranking-Metriken (NDCG) statistisch signifikant waren ($p < 0.05$).
• Hyperparameter-Sensitivität:
  • Moderate Werte des Regularisierungsgewichts $w$ boten den besten Kompromiss.
  • Die Einstellung des Popularitätsschwellenwerts $\alpha$ auf die Top 20% der Items ergab optimale Ergebnisse.

5. Bedeutung und Fazit

• Praktische Auswirkungen: PBiLoss bietet eine skalierbare, einfach zu implementierende Lösung für industrielle Empfehlungssysteme. Es adressiert den „Matthew-Effekt" (die Reichen werden reicher) in Empfehlungen und stellt sicher, dass Long-Tail-Inhalte eine faire Exposition erhalten.
• Theoretischer Beitrag: Es zeigt, dass Fairness durch einfache Regularisierung der Loss-Funktion erreicht werden kann, anstatt durch komplexe architektonische Umwälzungen oder Manipulation sensibler Attribute.
• Zukünftige Richtungen: Die Autoren schlagen vor, die Definition von Popularität über den Knotengrad hinaus zu erweitern (z. B. zeitliche Trends, inhaltsbasierte Signale) und die Methode auf sequenzielle oder multimodale Empfehlungsszenarien anzuwenden.

Zusammenfassend ist PBiLoss ein robustes, modellagnostisches Framework, das Populationsverzerrung in graphbasierten Recommender-Systemen erfolgreich mindert, Vielfalt und Fairness verbessert und gleichzeitig eine hohe Empfehlungsgenauigkeit beibehält.