PBiLoss: Popularity-Aware Regularization to Improve Fairness in Graph-Based Recommender Systems

1. Enunciato del Problema

I sistemi di raccomandazione basati su grafi, in particolare quelli che utilizzano le Reti Neurali su Grafi (GNN) come LightGCN, hanno raggiunto prestazioni all'avanguardia nella cattura delle interazioni utente-elemento. Tuttavia, soffrono significativamente di bias di popolarità.

• Il Problema: Questi modelli tendono a raccomandare eccessivamente elementi popolari (nodi ad alto grado) mentre raccomandano insufficientemente elementi a coda lunga (meno popolari).
• La Causa: Nelle GNN, il passaggio dei messaggi amplifica intrinsecamente i pattern di interazione dominanti. Gli elementi popolari ricevono aggiornamenti più frequenti e segnali più forti, creando un ciclo di feedback che emargina i contenuti di nicchia.
• Limitazioni delle Soluzioni Esistenti:
  • Pre-processing: Distorce le distribuzioni dei dati.
  • Post-processing: Limitato nel correggere il bias già incorporato nelle rappresentazioni apprese.
  • In-processing (basato su gradienti): Spesso complica l'ottimizzazione, crea paesaggi di perdita instabili o richiede una sintonizzazione sensibile degli iperparametri.
  • Regolarizzazione Esistente: Molti metodi si basano su attributi sensibili o richiedono modifiche architetturali complesse.

Gli autori propongono la necessità di un metodo che sia agnostico rispetto al modello, integrato direttamente nell'obiettivo di addestramento e capace di bilanciare l'equità senza sacrificare l'accuratezza delle raccomandazioni.

2. Metodologia: PBiLoss

Il contributo principale è PBiLoss (Popularity Bias Loss), un termine di regolarizzazione innovativo progettato per essere aggiunto agli obiettivi di addestramento standard (nello specifico, Bayesian Personalized Ranking o BPR).

A. Concetto Fondamentale

PBiLoss penalizza esplicitamente l'inclinazione del modello verso gli elementi popolari durante l'addestramento. Mira a:

1. Svalutare il ranking degli elementi popolari non rilevanti per un utente.
2. Valorizzare il ranking degli elementi impopolari rilevanti per un utente.

B. Distinzione tra Elementi Popolari e Impopolari

Il paper propone due metodi per categorizzare gli elementi in base alla popolarità (quantificata dal grado del nodo):

1. Soglia Fissa ($\alpha$): Gli elementi con un grado $\ge \alpha$ sono "popolari"; gli altri sono "impopolari".
2. Nessuna Soglia (Probabilistico): Vengono assegnate probabilità di campionamento basate sul grado. Gli elementi popolari sono campionati con probabilità proporzionale al loro grado; gli elementi impopolari sono campionati con probabilità proporzionale all'inverso del loro grado.

C. Strategie di Campionamento

PBiLoss introduce due distinte strategie di campionamento per generare triple di addestramento $(u, i, j)$, dove $u$ è un utente, $i$ è un elemento positivo e $j$ è un elemento negativo:

1. Positivo Popolare (PopPos):

   • Focus: Interazioni rilevanti (positive).
   • Meccanismo: Campiona coppie di elementi rilevanti in cui uno è popolare e uno è impopolare.
   • Obiettivo: Incoraggia il modello a classificare l'elemento rilevante impopolare più in alto dell'elemento rilevante popolare, aumentando l'esposizione della coda lunga.
   • Formulazione: $T_{PBi} = \{(u, i, j) | u \in U, i \in I^+_{u, unpop}, j \in I^+_{u, pop}\}$

2. Negativo Popolare (PopNeg):

   • Focus: Interazioni non rilevanti (negative).
   • Meccanismo: Campiona coppie in cui l'elemento positivo è impopolare e l'elemento negativo è popolare.
   • Obiettivo: Penalizza esplicitamente il modello per classificare troppo in alto gli elementi popolari (con cui l'utente non ha interagito). Questo è spesso più efficace perché il bias di popolarità nel BPR è spesso guidato da elementi popolari che appaiono come "negativi facili".
   • Formulazione: $T_{PBi} = \{(u, i, j) | u \in U, i \in I^+_{u, unpop}, j \in I_{pop} \setminus I^+_{u, pop}\}$

D. Funzione Obiettivo Finale

La funzione di perdita totale combina la perdita BPR standard con il termine PBiLoss:
$$L_{total} = L_{BPR} + w \cdot L_{PBi}$$
Dove $w$ è un iperparametro che controlla la forza della regolarizzazione dell'equità.

3. Contributi Chiave

1. Funzione di Perdita Innovativa: PBiLoss integra i vincoli di equità direttamente nell'obiettivo di apprendimento, evitando la necessità di post-processing o modifiche architetturali complesse.
2. Strategie di Campionamento Innovative: Introduzione delle strategie PopPos e PopNeg per colpire diverse sfaccettature del bias di popolarità (elementi rilevanti vs. non rilevanti).
3. Definizione Flessibile di Popolarità: Fornisce sia un approccio a soglia fissa (deterministico) sia un approccio senza soglia (probabilistico), permettendo l'adattabilità a diverse distribuzioni dei dati.
4. Design Agnostico rispetto al Modello: Il metodo è un componente modulare di perdita che può essere integrato senza soluzione di continuità in framework GNN esistenti (ad es. LightGCN, r-AdjNorm, APDA, PopGo) senza modifiche strutturali.
5. Efficienza: La complessità temporale rimane asintoticamente equivalente al modello di base ($O(|E|Ld)$), poiché il calcolo della perdita aggiuntiva rappresenta un aumento di fattore costante.

4. Risultati Sperimentali

Gli autori hanno valutato PBiLoss su tre dataset reali: Epinions, iFashion e MovieLens, integrandolo con quattro modelli di base: LightGCN, r-AdjNorm, APDA e PopGo.

Risultati Chiave:

• Miglioramento dell'Equità: PBiLoss ha ridotto significativamente il bias di popolarità.
  • PRU (Correlazione Popolarità-Rango per Utenti) e PRI (Correlazione Popolarità-Rango per Elementi) sono stati ridotti fino al 10% rispetto alle baseline. Valori più bassi indicano una migliore equità.
  • La variante PopNeg-FT (Negativo Popolare con Soglia Fissa) ha costantemente raggiunto il miglior equilibrio tra equità e accuratezza.
• Preservazione dell'Accuratezza: Crucialmente, il metodo ha migliorato l'equità senza degradare le metriche di accuratezza standard (F1@10, NDCG@10, MAP@10). In molti casi, le metriche di accuratezza sono leggermente migliorate o rimaste stabili.
• Significatività Statistica: Un test non parametrico di Friedman ha confermato che i miglioramenti nelle metriche di ranking (NDCG) erano statisticamente significativi ($p < 0.05$).
• Sensibilità agli Iperparametri:
  • Valori moderati del peso di regolarizzazione $w$ hanno fornito il miglior compromesso.
  • Impostare la soglia di popolarità $\alpha$ al 20% superiore degli elementi ha prodotto risultati ottimali.

5. Significato e Conclusione

• Impatto Pratico: PBiLoss offre una soluzione scalabile e facile da implementare per i sistemi di raccomandazione industriali. Affronta l'"Effetto Matteo" (i ricchi diventano più ricchi) nelle raccomandazioni, garantendo che i contenuti a coda lunga ricevano un'esposizione equa.
• Contributo Teorico: Dimostra che l'equità può essere ottenuta attraverso una semplice regolarizzazione della funzione di perdita piuttosto che attraverso rivoluzioni architetturali complesse o manipolazioni di attributi sensibili.
• Direzioni Future: Gli autori suggeriscono di estendere la definizione di popolarità oltre il grado del nodo (ad es. tendenze temporali, segnali basati sui contenuti) e di applicare il metodo a scenari di raccomandazione sequenziali o multi-modali.

In sintesi, PBiLoss è un framework robusto e agnostico rispetto al modello che mitiga con successo il bias di popolarità nei raccomandatori basati su grafi, migliorando diversità ed equità mantenendo un'alta accuratezza nelle raccomandazioni.