Procedural Fairness in Machine Learning

Questo articolo definisce la giustizia procedurale nei modelli di machine learning, propone una nuova metrica basata sull'attribuzione delle caratteristiche per valutarla e presenta metodi per identificarne e correggerne le ingiustizie, migliorando così sia l'equità procedurale che quella distributiva con un lieve sacrificio delle prestazioni.

L'essenziale

Immagina che l'Intelligenza Artificiale (AI) sia un grande arbitro che prende decisioni importanti nella vita delle persone: chi viene assunto, chi ottiene un prestito bancario o chi viene giudicato colpevole in tribunale.

Fino a oggi, quando parlavamo di "giustizia" per queste macchine, ci concentravamo solo sul risultato (chi ha vinto e chi ha perso). Questo paper ci dice: "Aspetta, non basta guardare il risultato! Dobbiamo guardare anche come l'arbitro ha deciso".

Ecco i punti chiave, spiegati con metafore quotidiane:

1. Il Problema: La Differenza tra "Risultato" e "Processo"

Immagina due studenti, Marco e Luca, che fanno un esame.

• Equità Distributiva (quella che tutti conoscono): Se Marco e Luca prendono entrambi il voto 30, l'esame è equo. Se Marco prende 30 e Luca 18, c'è ingiustizia nel risultato.
• Equità Procedurale (la novità di questo studio): Ma come sono stati valutati? Se il professore ha usato la stessa griglia di valutazione per entrambi, il processo è equo. Se invece, senza che nessuno se ne accorga, il professore ha usato un metro a righe per Marco e un metro a quadretti per Luca (anche se alla fine hanno preso lo stesso voto), il processo è stato ingiusto.

Gli autori dicono che spesso ci preoccupiamo solo del voto finale (il risultato), ma se il modo in cui si arriva a quel voto è distorto, l'AI non è davvero giusta.

2. La Soluzione: La "Lente Magica" (FAE)

Come possiamo vedere come pensa l'AI? Di solito è una "scatola nera": inseriamo dati ed esce una decisione, ma non sappiamo perché.
Gli autori usano una tecnologia chiamata FAE (Feature Attribution Explanation), che possiamo immaginare come una lente magica o una radiografia.
Questa lente ci permette di vedere quali "ingredienti" (dati) l'AI ha usato per cucinare la sua decisione.

• Esempio: Se l'AI rifiuta un prestito, la lente ci dice: "Ha guardato il reddito? Sì. Ha guardato l'età? Sì. Ha guardato il sesso? Sì, e lo ha pesato molto!".

3. La Nuova Misura: Il "Termometro della Giustizia" (GPFFAE)

Gli autori hanno creato un nuovo strumento, chiamato GPFFAE, che funziona come un termometro della giustizia procedurale.
Ecco come funziona:

1. Prende due persone molto simili (es. due donne con lo stesso reddito e la stessa storia lavorativa).
2. Usa la "lente magica" per vedere come l'AI ha valutato i loro dati.
3. Se l'AI usa la stessa logica per entrambe (stessi ingredienti, stessa ricetta), il termometro segna "Giusto".
4. Se l'AI usa una logica diversa (es. per una donna guarda il conto in banca, per l'altra guarda il colore degli occhi), il termometro segna "Ingiusto", anche se il risultato finale fosse lo stesso.

Hanno testato questo termometro su 9 scenari reali (dalle banche alle assunzioni) e ha funzionato benissimo, riuscendo a trovare ingiustizie che altri metodi non vedevano.

4. La Sorpresa: A volte il Risultato è Giusto, ma il Processo no (e viceversa)

Uno dei risultati più interessanti è stato scoprire che giustizia del risultato e giustizia del processo non vanno sempre d'accordo.

• Caso strano: Un'AI può dare lo stesso voto a tutti (risultato equo), ma usare criteri diversi per gruppi diversi (processo ingiusto). È come se due corridori arrivassero insieme al traguardo, ma uno avesse corso su un asfalto liscio e l'altro su un sentiero di sassi.
• Caso opposto: A volte l'AI può avere un processo molto equo, ma i risultati finali sono sbilanciati per colpa dei dati di partenza (come se l'arbitro fosse onesto, ma le squadre avessero iniziato con un handicap).

5. Come Riparare l'AI: Due Metodi per "Pulire" la Decisione

Una volta trovato che l'AI è ingiusta nel suo processo, come la aggiustiamo? Gli autori propongono due metodi, come se fossimo meccanici che riparano un motore:

• Metodo 1: La "Pulizia Totale" (Ritiro e Rieducazione)
  Identifichiamo gli ingredienti "tossici" (i dati che causano ingiustizia, come il sesso o il colore della pelle) e li buttiamo via. Poi facciamo ripartire l'AI da zero senza quegli ingredienti.

  • Pro: Funziona molto bene e l'AI diventa molto giusta.
  • Contro: Bisogna ricominciare da capo, e a volte l'AI impara un po' meno bene (perde un po' di precisione).

• Metodo 2: La "Chirurgia Fine" (Modifica dell'Esistente)
  Invece di buttare via tutto, prendiamo l'AI già addestrata e le diamo una "pizzico di medicina". Le diciamo: "Ehi, quando vedi questi ingredienti tossici, non ascoltarli troppo".

  • Pro: L'AI mantiene quasi le stesse conoscenze di prima ed è molto fedele al suo comportamento originale.
  • Contro: Richiede un po' di più di tempo per essere aggiustata e la precisione scende leggermente.

In Conclusione

Questo studio ci insegna che per avere un'AI davvero giusta, non basta guardare chi vince e chi perde. Dobbiamo assicurarci che l'arbitro (l'algoritmo) stia usando la stessa regola per tutti, indipendentemente da chi sono.

Gli autori ci dicono: "Non fidatevi solo del risultato finale. Guardate come è stato deciso." È un passo fondamentale per costruire un futuro in cui le macchine prendono decisioni non solo accurate, ma anche trasparenti ed eque per tutti.

Sommario tecnico

1. Il Problema

La ricerca sulla fairness (equità) nel Machine Learning (ML) si è concentrata prevalentemente sulla fairness distributiva (o equità degli esiti), che valuta se i risultati delle previsioni sono equi tra diversi gruppi (es. parità demografica, uguale opportunità). Tuttavia, c'è stata una scarsa attenzione sulla fairness procedurale, che riguarda l'equità del processo decisionale stesso, indipendentemente dall'esito finale.

La letteratura esistente sulla fairness procedurale in ML presenta due limiti principali:

1. Definizioni inadeguate: Alcuni approcci precedenti definiscono la fairness procedurale basandosi esclusivamente sulla "fairness intrinseca" delle feature di input (es. escludere feature sensibili), ignorando la logica interna del modello. Gli autori dimostrano che un modello può utilizzare feature "ingiuste" (come attributi sensibili) ma prendere decisioni con una logica interna equa, o viceversa.
2. Mancanza di metriche quantitative: Non esistono metriche standardizzate e scalabili per misurare la fairness procedurale, a differenza delle numerose metriche per la fairness distributiva. Le valutazioni esistenti spesso si basano su giudizi umani, costosi e difficili da scalare.

2. Metodologia Proposta

Gli autori propongono un approccio sistematico che include la definizione formale, una nuova metrica di valutazione e metodi di mitigazione.

A. Definizione Formale di Fairness Procedurale

Basandosi su concetti di filosofia e psicologia, gli autori ridefiniscono la fairness procedurale in ML come l'assenza di pregiudizi nella logica decisionale interna del modello.

• Fairness Individuale: Due individui simili dovrebbero subire processi decisionali simili.
• Fairness di Gruppo: Individui simili appartenenti a gruppi diversi (definiti da un attributo sensibile $s$) dovrebbero subire processi decisionali simili.
  La logica decisionale ($\Phi$) è resa osservabile e quantificabile tramite tecniche di Explainable AI (XAI), specificamente l'Attribuzione delle Feature (FAE).

B. La Metrica GPFFAE (Feature Attribution-based Group Procedural Fairness)

Per misurare la fairness procedurale di gruppo, viene proposta la metrica GPFFAE.

• Funzionamento:
  1. Si selezionano coppie di punti dati simili (uno per ogni gruppo sensibile) utilizzando una metrica di distanza (es. distanza euclidea).
  2. Si applica una tecnica FAE (come SHAP, Gradient*Input o Integrated Gradients) per ottenere le spiegazioni (punteggi di importanza delle feature) per ciascun punto.
  3. Si confronta la distribuzione delle spiegazioni tra i due gruppi utilizzando la Maximum Mean Discrepancy (MMD) con un kernel esponenziale.
• Risultato: Un valore di $p$-value basso (sotto una soglia, es. 0.05) indica una differenza significativa nelle logiche decisionali tra i gruppi, segnalando fairness procedurale ingiusta. Un valore alto indica che il processo decisionale è coerente tra i gruppi.

C. Identificazione delle Feature Ingiuste (Unfair Features - UFs)

Se un modello è rilevato come proceduralmente ingiusto, il metodo identifica le feature specifiche che causano questa ingiustizia.

• Si confrontano le distribuzioni delle spiegazioni per ogni singola feature tra i due gruppi.
• Le feature che mostrano una differenza statistica significativa (valore $p < \beta$) sono classificate come Unfair Features (UFs).

D. Metodi di Mitigazione

Vengono proposti due approcci per migliorare la fairness procedurale basati sulle UFs identificate:

1. Riaddestramento (Retraining): Rimozione diretta delle feature identificate come ingiuste e riaddestramento del modello. Questo è un approccio "drastico" ma efficace.
2. Modifica del Modello (Model Modification): Invece di riaddestrare, si applica una penalità aggiuntiva alla funzione di perdita (loss function) durante il fine-tuning. Questa penalità (Explanation Loss $\zeta$) mira a ridurre l'importanza attribuita alle UFs nel processo decisionale, mantenendo il modello il più fedele possibile alla sua logica originale.

3. Risultati Sperimentali

Gli esperimenti sono stati condotti su 9 dataset (1 sintetico e 8 reali come Adult, COMPAS, German, ecc.) utilizzando reti neurali artificiali (ANN) e regressione logistica.

• Validazione della Metrica GPFFAE:

  • La metrica distingue accuratamente tra modelli proceduralmente equi e ingiusti.
  • È stata dimostrata la sua capacità di misurare il grado di ingiustizia procedurale: all'aumentare del peso attribuito agli attributi sensibili nel modello, il valore GPFFAE diminuisce linearmente.
  • Scoperta chiave: Esiste un caso in cui un modello è distributivamente ingiusto (esiti sbilanciati) ma proceduralmente equo (la logica decisionale non favorisce un gruppo rispetto all'altro). Questo contraddice l'assunzione che feature ingiuste portino automaticamente a processi ingiusti.
  • La metrica è robusta rispetto al tipo di tecnica FAE utilizzata (SHAP, GI, IG), sebbene SHAP sia computazionalmente più costoso.

• Efficacia della Mitigazione:

  • Identificazione: Il metodo identifica con precisione le feature che guidano l'ingiustizia procedurale (es. su dataset sintetici, ha identificato correttamente l'attributo sensibile e i suoi proxy).
  • Miglioramento: Entrambi i metodi di mitigazione (rimozione e modifica) migliorano significativamente la GPFFAE (avvicinandola a 1.0, ovvero equità perfetta).
  • Trade-off:
    • La fairness distributiva migliora parallelamente a quella procedurale.
    • La perdita di accuratezza del modello è minima: circa 0.8% per il metodo di riaddestramento e 1.8% per il metodo di modifica.
    • Il metodo di modifica offre un controllo più fine sul trade-off tra performance e fairness tramite il parametro $\alpha$.

• Limiti e Soluzioni:

  • La metrica richiede la presenza di punti dati simili tra i gruppi. Su dataset molto piccoli (es. German con 1000 campioni), la selezione di coppie simili può fallire, portando a valutazioni inaccurate.
  • Gli autori propongono una soluzione basata sulla generazione di dati counterfactuali (usando KDE) per dataset sparsi, che migliora l'affidabilità della metrica.

4. Contributi Chiave

1. Definizione Formale: Fornisce una definizione rigorosa e operativa di fairness procedurale in ML, distinta dalla fairness distributiva e basata sulla logica decisionale interna (non solo sugli input).
2. Metrica Quantitativa (GPFFAE): Introduce la prima metrica scalabile e basata su XAI per valutare la fairness procedurale di gruppo, superando la dipendenza da giudizi umani.
3. Metodologia di Diagnosi e Correzione: Sviluppa un framework completo che non solo rileva l'ingiustizia procedurale, ma ne identifica la causa (feature specifiche) e propone due strategie efficaci per mitigarla.
4. Analisi delle Relazioni: Dimostra empiricamente che fairness procedurale e distributiva non sono sempre correlate, offrendo nuove prospettive per la governance dell'AI.

5. Significato e Impatto

Questo lavoro colma un vuoto critico nella ricerca sulla fairness nell'AI. Mentre la maggior parte degli sforzi tecnici si concentra sul "risultato" (chi viene assunto, chi ottiene un prestito), questo studio si concentra sul "processo" (come viene presa la decisione).

• Implicazioni Etiche e Regolatorie: La proposta si allinea con quadri normativi emergenti (come l'AI Act dell'UE) che richiedono trasparenza e equità nei processi decisionali, non solo nei risultati.
• Fiducia nell'AI: Fornisce agli sviluppatori e ai regolatori strumenti per verificare che i modelli non stiano applicando logiche discriminatorie, anche quando i risultati finali sembrano casuali o equi.
• Futuro della Ricerca: Apre la strada a nuovi metodi di training che incorporano vincoli procedurali e a una migliore comprensione dei compromessi tra accuratezza, equità distributiva ed equità procedurale.