No evaluation without fair representation : Impact of label and selection bias on the evaluation, performance and mitigation of classification models

Questo lavoro analizza empiricamente l'impatto distinto del bias di etichetta e del bias di selezione sulla valutazione e sulla mitigazione dei modelli di classificazione, introducendo un nuovo framework che dimostra come una rappresentazione equa nei dati di test elimini i compromessi tra accuratezza e equità e riveli la dipendenza dell'efficacia delle mitigazioni dal tipo specifico di bias presente.

L'essenziale

Ecco una spiegazione semplice e creativa del paper, pensata per chiunque, anche senza background tecnico.

🎭 Il Titolo: "Nessuna valutazione senza una rappresentazione equa"

Immagina di essere un allenatore di calcio che deve preparare la sua squadra per il campionato mondiale. Il tuo obiettivo è creare una squadra giusta, dove ogni giocatore ha le stesse possibilità di successo, indipendentemente dal colore della pelle o dal paese di origine.

Il problema è che i dati che hai a disposizione per allenare i tuoi giocatori (i dati di addestramento) sono stati raccolti in un mondo "distorto". Forse hai visto solo i giocatori che si sono presentati allo stadio (bias di selezione) o forse hai segnato i punteggi in modo sbagliato per alcuni gruppi (bias di etichettatura).

Questo studio ci dice: "Se valuti la tua squadra usando gli stessi dati distorti con cui l'hai allenata, non saprai mai se è davvero buona o no."

---

🌍 Il Concetto Chiave: Il "Mondo Equo" vs. Il "Mondo Distorto"

Gli autori immaginano due mondi:

1. Il Mondo Equo (Fair World): È la realtà ideale. Qui, se un giocatore è bravo, vince. Se è meno bravo, perde. Non c'è discriminazione.
2. Il Mondo Distorto (Bias): È il mondo reale, pieno di pregiudizi. Qui, i dati sono "sporchi".
   • Bias di Etichettatura (Label Bias): È come se un arbitro corrotto desse un cartellino rosso a un giocatore solo perché è di un certo gruppo, anche se non ha fatto nulla di male. Il "voto" dato al giocatore è sbagliato.
   • Bias di Selezione (Selection Bias): È come se, per allenare la squadra, tu avessi scelto di guardare solo le partite giocate sotto la pioggia, ignorando quelle al sole. Oppure, se hai scelto solo i giocatori che si sono iscritti spontaneamente, escludendo quelli che avevano paura di candidarsi.

🧪 L'Esperimento: La "Macchina del Tempo"

Fino a oggi, gli scienziati facevano un errore: prendevano un dataset (un gruppo di dati) che sapevano essere "sporco" (distorto), ci allenavano un'intelligenza artificiale e poi la testavano sullo stesso dataset sporco. Era come far guidare un'auto su una strada piena di buche e poi dire: "Guarda, l'auto è perfetta perché non è caduta!"

La novità di questo studio è un nuovo metodo:

1. Prendono un dataset "pulito" (che credono rappresenti il Mondo Equo).
2. Iniettano artificialmente il veleno: Aggiungono loro stessi il bias (etichettatura o selezione) per creare una versione "distorta".
3. Addestrano l'IA sul dataset "avvelenato".
4. Testano l'IA sul dataset "pulito" (il Mondo Equo originale).

È come se allenassi un pilota su una pista ghiacciata e artificiale, ma poi lo facessi correre su una pista asciutta e perfetta per vedere se sa davvero guidare.

🔍 Cosa hanno scoperto? (Le Sorprese)

Ecco le scoperte principali, spiegate con metafore:

1. La falsa "Scommessa" tra Giustizia e Precisione

Per anni si è pensato che per essere più giusti, un'IA dovesse essere meno precisa (come dire: "Per trattare tutti ugualmente, dobbiamo essere un po' meno bravi a indovinare").
La scoperta: Se valuti l'IA sul "Mondo Equo" (quello pulito), questa scommessa non esiste! Puoi avere un'IA sia molto precisa che molto giusta. Il problema nasce solo quando usiamo i dati "sporchi" come metro di giudizio. È come dire che un termometro è sbagliato perché segna 38 gradi, quando in realtà la febbre è reale e il termometro sta funzionando bene.

2. Non tutti i "veleni" sono uguali

Hanno scoperto che il tipo di bias cambia tutto:

• Bias di Etichettatura (Il voto sbagliato): È il più pericoloso. Se dai voti sbagliati ai tuoi studenti, l'IA impara la cosa sbagliata e diventa molto ingiusta.
• Bias di Selezione (Il campione sbagliato): Se manca un po' di dati di un gruppo, l'IA spesso ce la fa a imparare comunque, a meno che i dati non siano già molto difficili da capire. Se i dati sono "facili" (chiari), l'IA è robusta e non si lascia ingannare dalla mancanza di alcuni campioni.

3. I "Rimedi" (Bias Mitigation) non funzionano per tutti i malanni

Gli scienziati hanno provato 8 diversi "farmaci" (metodi per correggere l'IA) su diversi tipi di "malattia" (bias).

• Il risultato: Non esiste una pillola magica universale.
  • Un farmaco che funziona benissimo per correggere un "voto sbagliato" (bias di etichettatura) potrebbe peggiorare la situazione se il problema era "mancanza di dati" (bias di selezione).
  • È come dare un antibiotico a chi ha un'infezione virale: non solo non guarisce, ma potrebbe fare male.
  • Alcuni metodi, cercando di correggere il bias, finiscono per creare un'ingiustizia "al contrario" (es. trattare male il gruppo privilegiato per compensare quello svantaggiato).

💡 La Lezione per il Futuro

Questo studio ci insegna tre cose fondamentali per chi usa l'Intelligenza Artificiale:

1. Non fidarti ciecamente dei dati che hai: Se i dati di partenza sono distorti, anche i risultati dei test lo saranno. Dobbiamo cercare di capire com'è il "mondo ideale" per valutare davvero le nostre macchine.
2. Conosci il tuo nemico: Prima di scegliere come correggere un'IA, devi capire che tipo di bias c'è nei dati. È un problema di voti sbagliati? Di mancanza di persone? Di selezione cattiva? Ogni problema richiede una soluzione diversa.
3. Giustizia e Precisione possono andare d'accordo: Non dobbiamo scegliere tra essere bravi o essere giusti. Se valutiamo le cose nel modo giusto (sul "mondo equo"), possiamo avere entrambe le cose.

In sintesi: Per costruire un futuro equo, non basta correggere l'IA. Dobbiamo prima imparare a misurarla con un metro che non sia già storto.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "No evaluation without fair representation: Impact of label and selection bias on the evaluation, performance and mitigation of classification models" di Legast, Calders e Fouss.

1. Il Problema

L'articolo affronta una critica fondamentale nel campo dell'equità algoritmica (Fair ML): la pratica corrente di valutare i modelli di machine learning e le tecniche di mitigazione del bias utilizzando dataset che contengono già bias (es. dataset come Adult, COMPAS, German Credit).
I punti critici identificati sono:

• Valutazione distorta: Se un modello viene addestrato e testato su dati distorti, le metriche di equità e accuratezza misurano la conformità al bias storico piuttosto che a un ideale di "mondo equo".
• Il falso compromesso (Trade-off): La convinzione diffusa che esista un inevitabile trade-off tra accuratezza ed equità è spesso un artefatto derivante dalla valutazione su dati distorti.
• Incertezza sulla fonte del bias: Spesso non è chiaro quale tipo di bias (etichetta o selezione) sia presente nei dataset reali, rendendo difficile scegliere la strategia di mitigazione corretta.
• Inefficacia delle mitigazioni: Metodi diversi potrebbero funzionare bene per un tipo di bias ma peggiorare la situazione per un altro, ma questo non viene rilevato se la valutazione avviene su dati distorti.

2. Metodologia e Framework Proposto

Gli autori introducono un Framework di Biasing e Valutazione basato sul concetto di "Fair World" (Mondo Equo).

• Concetto di Base: Si assume l'esistenza di un "mondo equo" sottostante (rappresentato da un dataset reale con basso livello di discriminazione) che viene distorto da processi di bias per generare i dati osservabili.
• Generazione dei Dati:
  1. Partono da dataset reali considerati "equi" (Student Performance e Open University Learning Analytics Dataset - OULAD).
  2. Introducono artificialmente e in modo controllato diversi tipi di bias:
     • Label Bias (Bias di Etichetta): Distorsione delle etichette reali (es. penalizzare sistematicamente il gruppo svantaggiato nei punteggi prima della soglia di classificazione).
     • Selection Bias (Bias di Selezione): Sottocampionamento controllato del gruppo svantaggiato. Ne studiano tre sottotipi:
       • Random: Rimozione casuale.
       • Self-selection: Rimozione preferenziale di individui svantaggiati con punteggi bassi.
       • Malicious selection: Rimozione mirata per massimizzare la disparità osservata.
  3. Creano così dataset "dual-label": una versione distorta (per l'addestramento) e una versione equa (per la valutazione).
• Protocollo Sperimentale:
  • Addestramento su dati distorti (con e senza tecniche di mitigazione).
  • Valutazione rigorosa su un test set equo (non distorto).
  • Confronto con valutazioni tradizionali (su test set distorto).
• Metodi di Mitigazione Testati: 8 tecniche pre- e post-processing (Reweighing, Massaging, FTU, EOP, CEO, ROC-SPD, ROC-EqOp, ROC-AvOd) implementate su modelli come Random Forest, alberi decisionali e MLP.
• Metriche: Accuratezza, SPD (Statistical Parity Difference), EqOd (Equalized Odds Difference), BCC (Balanced Conditioned Consistency), GEI (Generalized Entropy Index).

3. Contributi Chiave

1. Framework di Valutazione Equa: Propongono un metodo sistematico per generare dataset con bias noti e controllati, permettendo di valutare le prestazioni dei modelli rispetto a una "verità fondamentale" equa, superando la limitazione dei dataset reali dove il bias è sconosciuto.
2. Smentita del Trade-off Equità-Accuratezza: Dimostrano empiricamente che, quando la valutazione avviene su dati equi, non esiste un trade-off inevitabile tra accuratezza ed equità. Molti metodi possono migliorare entrambi simultaneamente.
3. Analisi Differenziata dei Bias: Evidenziano che l'impatto del bias e l'efficacia delle mitigazioni dipendono fortemente dal tipo di bias presente (etichetta vs. selezione) e dalla sua sottocategoria (es. selezione casuale vs. maliziosa).
4. Critica alle Metriche Tradizionali: Mostrano come le metriche calcolate su dati distorti (es. SPD su dati con bias di selezione) possano portare a conclusioni opposte rispetto alla realtà equa (es. un modello equo può apparire distorto e viceversa).

4. Risultati Principali

• Distorsione delle Metriche:
  • Il Label Bias distorce le metriche basate sull'etichetta vera (Accuratezza, GEI, EqOd), ma non quelle basate solo sull'output (SPD, BCC).
  • Il Selection Bias distorce tutte le metriche. Ad esempio, il Self-selection può far sovrastimare l'equità (SPD vicino a zero) in un test set distorto, nascondendo l'ingiustizia reale.
• Impatto sulla Performance del Modello:
  • Il Label Bias ha un effetto devastante su accuratezza ed equità.
  • Il Selection Bias ha spesso un impatto limitato sulla performance se i dati sono sufficienti e le feature predittive sono forti, a meno che non si verifichino scenari estremi o dataset piccoli.
• Efficacia delle Mitigazioni:
  • Reweighing: Funziona bene per i bias di selezione (ripristina la distribuzione), ma meno per il label bias.
  • Massaging: Efficace per il label bias, ma peggiora la situazione con il bias di selezione (introduce label bias artificiale per correggere una distorsione di selezione).
  • FTU (Fairness Through Unawareness): Funziona bene quando l'attributo sensibile è indipendente dalle feature nel mondo equo.
  • Metodi basati su EqOp/EqOd (EOP, CEO, ROC): Spesso falliscono o peggiorano la situazione se il bias di selezione distorce la distribuzione delle label, poiché ottimizzano metriche che sono esse stesse distorte.
  • ROC-SPD: Efficace contro il label bias, ma può introdurre "ingiustizia inversa" (reverse unfairness) in caso di bias di selezione.
• Assenza di Trade-off: Quando valutati su dati equi, molti metodi migliorano sia l'accuratezza che tutte le metriche di equità (gruppo e individuo) simultaneamente.

5. Significato e Implicazioni

Questo lavoro ha un impatto significativo sulla ricerca e la pratica dell'IA equa:

• Cambio di Paradigma nella Valutazione: Sostiene che la comunità scientifica deve abbandonare la pratica di usare test set distorti per valutare le tecniche di mitigazione. È necessario disporre di "dual datasets" o framework di simulazione controllata.
• Guida alla Scelta delle Strategie: Dimostra che non esiste una soluzione universale. La scelta del metodo di mitigazione deve basarsi sulla comprensione del tipo di bias presente nei dati di addestramento. Applicare un metodo progettato per il bias di etichetta a dati con bias di selezione può essere controproducente.
• Rifutazione del Compromesso: Sfida la narrativa secondo cui l'equità richiede necessariamente di sacrificare l'accuratezza, suggerendo che il compromesso è spesso un artefatto metodologico derivante da una valutazione scorretta.
• Futuri Sviluppi: Chiamano a sviluppare nuovi metodi di mitigazione robusti a diversi tipi di bias e a creare più dataset con etichette "dual" (equa e distorta) per facilitare la ricerca.

In sintesi, il paper conclude che "senza una rappresentazione equa, non può esserci una valutazione valida", invitando a un approccio più rigoroso e contestuale nella progettazione e valutazione dei sistemi di machine learning equi.