Riassunto Tecnico: FairBED: Un approccio di Progettazione Sperimentale Bayesiana per la Raccolta di Dati più Equi

1. Definizione del Probleamento

Gli attuali framework per garantire l'equità (fairness) nel machine learning si concentrano prevalentemente sull'apprendimento di modelli equi partendo da dataset esistenti e pre-raccolti. Tuttavia, questo approccio è spesso fondamentalmente limitato perché i dati stessi possono già codificare pregiudizi sociali e correlazioni indesiderate. Interventi come il riponderamento dei dati (reweighting), l'ottimizzazione vincolata o la "riparazione dei dati" pre-processing tentano di mitigare questi problemi a valle, ma non possono superare completamente l'ingiustizia intrinseca dei dati sorgente.

Gli autori sostengono che il processo di acquisizione dei dati debba essere modificato per raccogliere dati che siano intrinsecamente più adatti all'addestramento di predittori equi. La sfida principale consiste nel progettare una strategia di acquisizione dei dati che bilanci due obiettivi contrastanti:

1. Informatività: I dati devono rimanere altamente informativi rispetto alle variabili target di interesse per garantire un'efficace predizione e generalizzazione a valle.
2. Equità (Fairness): I dati devono essere non informativi rispetto agli attributi sensibili (es. genere, razza, pigmentazione della pelle) per evitare che i modelli a valle sfruttino tali attributi, migliorando così naturalmente l'equità.

2. Metodologia

2.1 Framework Concettuale: "Mondi Equi" (Fair Worlds)

Il paper introduce il concetto di un "mondo equo" in cui gli attributi sensibili (indicati con $\phi$) sono causalmente indipendenti dalle variabili target (indicate con $\theta$). In un mondo simile, un predittore equo non avrebbe bisogno di usare $\phi$ per stimare $\theta$. Gli autori propongono di misurare l'ingiustizia di un dataset quantificando quanto esso violi questa indipendenza. Nello specifico, se un dataset permette il trasferimento di informazioni tra $\theta$ e $\phi$, è considerato iniquo. L'obiettivo è guidare il processo di progettazione sperimentale per raccogliere dati che minimizzino questo trasferimento di informazioni pur mantenendo l'utilità per $\theta$.

2.2 Metriche di Equità per i Dati

Gli autori definiscono due nuove metriche per quantificare l'equità di un dataset $D$ basandosi sulle informazioni che esso rivela sugli attributi sensibili:

• Equità Incondizionata ($F_u$): Definita come il negativo del Guadagno di Informazione Atteso (EIG) su $\phi$. Misura quanto i dati rivelano su $\phi$ marginalmente.
  $$F_u(\pi_d) = -\max_{m \in \mathcal{M}} \text{EIG}^m_\phi(\pi_d)$$
• Equità Condizionata ($F_c$): Definita come il negativo dell'EIG condizionale su $\phi$ dato $\theta$. Questa è una metrica più rigorosa che assicura che i dati non rivelino $\phi$ per qualsiasi valore specifico del target $\theta$, proteggendo contro gli effetti di "spiegazione indiretta" (explaining away) dove $\phi$ diventa recuperabile una volta noto $\theta$.
  $$F_c(\pi_d) = -\max_{m \in \mathcal{M}} \mathbb{E}_{p(\theta)}[\text{EIG}^m_{\phi|\theta}(\pi_d)]$$

In questi casi, $\pi_d$ rappresenta una politica di progettazione e la massimizzazione su un insieme di modelli $\mathcal{M}$ garantisce la robustezza contro le carenze del modello.

2.3 L'Obiettivo FairBED

Per bilanciare la necessità di dati informativi con la necessità di equità, gli autori costruiscono due obiettivi FairBED. Questi obiettivi massimizzano l'EIG relativo al target $\theta$ penalizzando l'EIG relativo all'attributo sensibile $\phi$ (o $\phi|\theta$).

• Unconditional FairBED ($R_u$):
  $$R_u(\pi_d) = \text{EIG}_\theta(\pi_d) - \beta \text{EIG}_\phi(\pi_d)$$
• Conditional FairBED ($R_c$):
  $$R_c(\pi_d) = \text{EIG}_\theta(\pi_d) - \beta \mathbb{E}_{p(\theta)}[\text{EIG}_{\phi|\theta}(\pi_d)]$$

In queste equazioni, $\beta > 0$ è un iperparametro che controlla la forza dell'applicazione dell'equità. Gli autori notano che questi obiettivi sono definiti sotto un modello congiunto, ma possono essere ottimizzati utilizzando modelli marginali per praticità. Fondamentalmente, gli autori sostengono che raccogliere dati informativi su $\theta$ è necessario per l'equità nel mondo reale per evitare gap di generalizzazione che potrebbero manifestarsi come iniquità indiretta.

2.4 Applicazione all'Apprendimento Attivo (Active Learning)

Il framework viene adattato ai contesti di Active Learning (AL). In questo contesto, il target $\theta$ corrisponde alla coppia tra input di test e label target $(x^*, y^*_\theta)$, mentre l'attributo sensibile $\phi$ corrisponde a $(x'^*, y^*_\phi)$. L'obiettivo diventa una modifica del Guadagno di Informazione Predittiva Attesa (EPIG):
$$R_{\text{FairEPIG}}(x) = I(y_\theta; (x^*, y^*_\theta) | x) - \beta I(y_\phi; (x'^*, y^*_\phi) | x)$$
Ciò consente la selezione di punti di query che migliorano le predizioni per il task target, limitando deliberatamente la apprendibilità dell'attributo sensibile.

3. Contributi Chiave

1. Nuova Formulazione dell'Equità dei Dati: Il paper sposta l'attenzione dall'equità di un modello all'equità del dataset stesso, definendo l'equità come l'assenza di fuga di informazioni sugli attributi sensibili.
2. Obiettivi FairBED: L'introduzione di obiettivi pratici di Progettazione Sperimentale Bayesiana (BED) che scambiano esplicitamente l'informatività del target con l'informatività dell'attributo sensibile.
3. Legame Teorico con la Parità Demografica: Gli autori dimostrano che se la metrica di equità condizionata $F_c(\pi_d) = 0$ (ovvero i dati non trasmettono informazioni su $\phi$ dato $\theta$), allora i predittori a valle addestrati su questi dati raggiungono la Parità Demografica (DP), assumendo che la prior su $\theta$ e $\phi$ sia separabile e che il modello a valle non prenda $\phi$ come input.
4. Validazione Empirica: Dimostrazione che FairBED raggiunge costantemente trade-off equità-accuratezza superiori rispetto all'acquisizione casuale e al BED convenzionale attraverso molteplici dataset e architetture di modelli.

4. Risultati Sperimentali

Gli autori hanno valutato FairBED su tre compiti distinti:

1. Ricerca della Posizione della Sorgente (Source Location Finding): Un benchmark sintetico di BED in cui l'obiettivo è inferire una coordinata target ($\theta$) evitando di apprendere una coordinata sensibile ($\phi$). I risultati hanno mostrato che i design di FairBED si distribuiscono lungo l'asse del target pur collassando alla media a priori dell'asse sensibile, sopprimendo efficacemente l'apprendimento di $\phi$ con una perdita minima nell'apprendimento di $\theta$.
2. Predizione della Laurea (Student Graduation Prediction): Un compito di classificazione binaria per predire lo stato di laurea ($y_\theta$), trattando il genere ($y_\phi$) come attributo sensibile.
3. Predizione del Reddito dal Censimento (Census Income Prediction): Predizione dei livelli di reddito ($>50k$) trattando il genere come sensibile.
4. CelebA: Un dataset di immagini su larga scala per predire "Sorriso" (Smiling) trattando il "Genere" come sensibile.

Risultati Chiave:

• Trade-off Equità-Accuratezza: FairBED ha ottenuto fronti Pareto-ottimali che dominano l'acquisizione casuale e l'EPIG standard. Ha ridotto significativamente la prevedibilità dell'attributo sensibile mantenendo un'alta accuratezza sul task target.
• Equità a Livello di Dataset: Gli esperimenti che addestrano vari modelli a valle (Random Forest, XGBoost, MLP, SVM) sullo stesso dataset acquisito tramite FairBED hanno mostrato miglioramenti costanti nei rapporti di Parità Demografica (DP) e Equalized Odds (EO). Ciò conferma che il miglioramento dell'equità è una proprietà dei dati acquisiti, non un artefatto di un modello specifico.
• Complementarità: Il paper dimostra che FairBED può essere combinato con interventi di equità a valle (es. Learned Fair Representations o Reject Option Classification). La combinazione di FairBED e i metodi a valle ha prodotto risultati migliori rispetto ai singoli metodi, suggerendo che siano additivi piuttosto che sostitutivi.
• Robustezza: I benefici di FairBED si sono generalizzati attraverso diverse architetture di modelli e budget di etichette.

5. Significato e Rivendicazioni

Il paper sostiene che FairBED fornis anche una nuova prospettiva sulla fairness algoritmica affrontando la causa radice del pregiudizio: il processo di acquisizione dei dati. Formalizzando l'utilità dei dati includendo una penalità per l'informazione sull'attributo sensibile, FairBED offre un approccio rigoroso per raccogliere dati che siano "intrinsecamente più equi".

Gli autori sottolineano che:

• L'Intervento a Monte è Critico: Le strategie di mitigazione a valle sono spesso indebolite dai pregiudizi già presenti nei dati. FairBED affronta questo problema alla radice.
• Generalizzazione: I miglioramenti dell'equità sono intrinseci al dataset, il che significa che qualsiasi modello addestrato su questi dati (anche senza vincoli di equità specifici) esibirà naturalmente migliori proprietà di equità.
• Praticità: L'approccio è compatibile con gli standard di Progettazione Sperimentale Bayesiana e di Active Learning, richiedendo solo la specifica di modelli marginali per l'attributo target e quello sensibile, che possono essere pre-addestrati o creati manualmente anche senza etichette sensibili durante la fase di acquisizione.

Il lavoro apre nuove direzioni di ricerca per l'acquisizione di dati consapevole dell'equità, suggerendo che la strada verso sistemi di IA più equi inizia da come i dati vengono raccolti, non solo da come vengono modellati.