Post-Training Fairness Control: A Single-Train Framework for Dynamic Fairness in Recommendation

Sintesi Tecnica: Controllo della Fairness Post-Training (Cofair)

Definizione del Problema
I sistemi di raccomandazione spesso amplificano i pregiudizi sociali inerenti ai dati di addestramento, influenzando in modo sproporzionato gli utenti in base ad attributi sensibili come genere o razza. Sebbene gli esistenti metodi orientati alla fairness integrino dei vincoli durante l'addestramento, essi tipicamente fissano i requisiti di fairness in quella fase. Di conseguenza, se le esigenze degli stakeholder evolvono o differiscono tra diversi contesti, l'intero modello deve essere riaddestrato per adattarsi a nuovi livelli di fairness. Questo processo di riaddestramento è computazionalmente proibitivo e crea un collo di bottiglia per l'implementazione nel mondo reale. Inoltre, i recenti tentativi di flessibilità post-training permettono spesso agli utenti di selezionare quali attributi proteggere, ma non riescono a fornire un controllo granulare su quanto la fairness debba essere applicata (ovvero, diversi livelli di fairness) senza procedere al riaddestramento.

Metodologia: Framework Cofair
Gli autori propongono Cofair, un framework a singolo addestramento progettato per abilitare un controllo dinamico della fairness post-training. L'architettura principale consiste in tre componenti fondamentali:

1. Livello di Rappresentazione Condivisa (Shared Representation Layer): Un livello di rete neurale che mappa gli embedding originali degli utenti in uno spazio condiviso a bassa dimensionalità. Questo livello cattura le caratteristiche e i pattern comuni degli utenti essenziali per bilanciare accuratezza e fairness in tutti i setting, aderendo ai principi dell'apprendimento multi-task per evitare l'apprendimento ridondante.
2. Adapter Condizionati dalla Fairness (Fairness-Conditioned Adapters): Per ciascuno dei $T$ distinti livelli di fairness, viene impiegato un modulo adapter specializzato. Questi adapter prendono la rappresentazione condivisa e iniettano aggiustamenti specifici per la fairness, permettendo al modello di produrre embedding utente calibrati su specifici gradi di fairness ($t \in \{1, \dots, T\}$) senza alterare le caratteristiche condivise principali.
3. Funzioni di Perdita e Regolarizzazione:
   • Perdita di Raccomandazione (Recommendation Loss): Standard Bayesian Personalized Ranking (BPR) loss per mantenere l'accuratezza del ranking.
   • Perdita di Fairness Avversaria (Adversarial Fairness Loss): Una rete avversaria tenta di predire l'attributo sensibile a partire dagli embedding utente. Il modello principale minimizza questa perdita per garantire che gli embedding siano indipendenti dagli attributi sensibili, fungendo da proxy per la Parità Demografica (Demographic Parity, DP).
   • Regolarizzazione a Livello Utente (User-Level Regularization): Un termine critico che penalizza gli scenari in cui la fairness di un utente specifico degrada all'aumentare del livello di fairness. Ciò garantisce un miglioramento monotono della fairness per ogni singolo utente, non solo in media.
   • Ponderazione Adattiva (Adaptive Weighting): Un meccanismo automatico che regola i coefficienti di fairness ($\lambda_t$) durante l'addestramento in base al progresso della riduzione della perdita di fairness, eliminando la necessità di una sintonizzazione manuale degli iperparametri per ogni livello.

Contributi Teorici
Il paper fornisce due garanzie teoriche chiave:

1. Limite Superiore della Parità Demografica: Gli autori dimostrano che l'obiettivo di fairness avversaria pone un limite superiore alla differenza di parità demografica ($\Delta DP$). Minimizzare la perdita avversaria correla direttamente con la riduzione della disparità tra i gruppi.
2. Fairness Monotona a Livello Utente: Attraverso il termine di regolarizzazione a livello utente, il framework garantisce che all'aumentare del livello di fairness $t$, la performance di fairness per ogni singolo utente non degradi ($\Delta DP^{(t+1)}(u) \leq \Delta DP^{(t)}(u)$).

Risultati Sperimentali
Gli esperimenti sono stati condotti su due dataset (Movielens-1M e Lastfm-360K) utilizzando due modelli backbone (BPR e LightGCN). Cofair è stato confrontato con i migliori modelli di riferimento (ComFair, FairRec, FairGo, AFRL).

• Trade-off Fairness-Accuratezza: Cofair ha ottenuto trade-off Pareto-ottimali in 15 casi su 16. Ha generato una curva continua di trade-off tra fairness e accuratezza in un singolo passaggio di addestramento, mentre i modelli di riferimento richiedevano molteplici sessioni di riaddestramento per produrre curve simili.
• Performance: Cofair ha fornito curve di fairness-accuratezza comparabili o migliori rispetto ai modelli di riferimento. È riuscito a coprire un intervallo più ampio di valori di fairness (DP@10 e EOpp@10) mantenendo al contempo un'accuratezza competitiva (Recall@10 e NDCG@10).
• Efficienza: Sebbene Cofair comporti un tempo di addestramento per epoca leggermente superiore a causa dell'elaborazione parallela degli adapter, richiede significativamente meno epoche (circa un quinto rispetto ai modelli di riferimento) per coprire molteplici livelli di fairness. Ciò si traduce in risparmi di tempo complessivi sostanziali.
• Generalizzabilità: Quando integrato come modulo plug-and-play con i metodi di fairness esistenti, Cofair ha permesso a tali metodi di ottenere un controllo dinamico senza riaddestramento, migliorando spesso la loro efficienza Pareto.

Significatività e Rivendicazioni
Il paper sostiene che Cofair affronti l'inflessibilità critica degli attuali approcci alla fairness disaccoppiando la selezione del livello di fairness dal processo di addestramento. La sua principale significatività risiede nel:

• Eliminare il Riaddestramento: Rimuove il costo computazionale del riaddestramento dei modelli per ogni nuovo requisito di fairness.
• Garanzie Progressive: È il primo framework che garantisce, sia teoricamente che empiricamente, il miglioramento monotono della fairness a livello di singolo utente attraverso diversi setting di fairness.
• Implementazione Pratica: Offrendo una soluzione "singolo addestramento, multi-livello", fornisce una via scalabile e pratica per implementare sistemi di raccomandazione equi in ambienti reali dinamici dove i requisiti di fairness possono cambiare nel tempo.

Gli autori osservano che, sebbene l'attuale focus sia sulla Parità Demografica, il framework è sufficientemente flessibile da accogliere altre nozioni di fairness (ad esempio, l'Uguaglianza di Opportunità/Equal Opportunity) adattando l'obiettivo avversario. Il lavoro futuro potrebbe esplorare l'unificazione di molteplici definizioni di fairness all'interno di questo framework.