Uncovering Discrimination Clusters: Quantifying and Explaining Systematic Fairness Violations

1. Il Problema: Limiti della Fairness Individuale

Le attuali tecniche di verifica della fairness (equità) nei sistemi di apprendimento automatico, in particolare nelle Reti Neurali Profonde (DNN), si concentrano prevalentemente sul concetto di fairness individuale. Questo principio richiede che individui simili ricevano esiti simili, verificando se la modifica di un attributo protetto (es. razza, genere) a parità di altre caratteristiche porti a un risultato diverso.

Tuttavia, gli autori identificano una lacuna fondamentale:

• Visione Binaria e Isolata: I metodi attuali rilevano singoli casi di discriminazione (coppie di input che violano la fairness), ma falliscono nel catturare pattern sistematici di discriminazione clusterizzata.
• Arbitrarietà Nascosta: Un sistema potrebbe non violare la fairness in modo isolato, ma mostrare un'alta "arbitrarietà" decisionale su interi sottogruppi. Ad esempio, dieci individui con qualifiche quasi identiche potrebbero ricevere esiti radicalmente diversi basati solo sui loro attributi protetti, creando un "cluster" di esiti divergenti che le verifiche pairwise (a coppie) non riescono a quantificare.

2. Metodologia: Il Framework Ibrido HYFAIR

Per affrontare queste sfide, il paper introduce HYFAIR, un framework ibrido che combina analisi formale e ricerca randomizzata per quantificare e spiegare le violazioni sistemiche.

A. Concetto Chiave: Discriminazione k-discriminante

Gli autori generalizzano la nozione di discriminazione individuale (2-discriminante) introducendo la k-discriminazione:

• Un modello è definito k-discriminante se, per un insieme di $K$ input che differiscono solo negli attributi protetti, il modello produce $k$ esiti distinti (dove $2 \le k \le K$).
• L'obiettivo è trovare il valore massimo di $k$ (massima arbitrarietà) in una specifica regione dello spazio degli input.

B. Fase 1: Verifica Formale e Ricerca Guidata

HYFAIR utilizza un approccio a due fasi per identificare i cluster discriminatori:

1. Verifica Simbolica (MILP/SMT): Utilizza risolutori di Programmazione Lineare Intera Mista (MILP) e SMT per certificare la fairness o trovare controesempi iniziali (casi 2-discriminanti). A differenza di approcci puramente basati su SMT (come FAIRIFY), l'uso di MILP permette di scalare meglio e generare controesempi più diversificati.
2. Ricerca Randomizzata Localizzata: Una volta identificato un controesempio seed, HYFAIR avvia una ricerca locale (Random Walk o Simulated Annealing - SA) intorno a quel punto. L'obiettivo è espandere il cluster per trovare il massimo $k$ possibile, esplorando regioni dello spazio degli input dove piccole perturbazioni degli attributi protetti portano a esiti multipli e distinti.
   • L'algoritmo alterna verifica formale e ricerca per evitare di rimanere bloccati in plateau locali.

C. Fase 2: Spiegazione e Mitigazione

Una volta identificati i cluster di massima discriminazione, il sistema deve spiegare perché accadono:

• Spiegazione basata su Alberi Decisionali: Invece di usare metodi come LIME (che spiegano istanze singole), HYFAIR genera campioni di perturbazione locale intorno al cluster discriminatorio. Addestra quindi un albero decisionale per identificare le condizioni logiche condivise (predicati sugli attributi non protetti) che portano a un'alta arbitrarietà.
• Mitigazione: Le regole estratte dall'albero decisionale vengono utilizzate in due modi:
  1. Come guardrail (regole di sicurezza) per rifiutare query che soddisfano le condizioni discriminatorie.
  2. Per ri-addestrare il modello DNN, utilizzando i casi discriminatori identificati per migliorare la fairness.

3. Contributi Chiave

1. Nuova Nozione di Fairness: Introduzione della k-discriminazione per caratterizzare bias strutturati e cluster di esiti discriminatori, superando la visione binaria individuale.
2. Framework Ibrido (HYFAIR): Integrazione di verifica formale (MILP) e ricerca randomizzata (Simulated Annealing) per certificare la fairness e quantificare la gravità delle violazioni sistemiche.
3. Metodo di Spiegazione Innovativo: Un approccio basato su alberi decisionali e perturbazione locale che fornisce spiegazioni robuste, concisi e con una maggiore copertura dello spazio degli input rispetto alle tecniche XAI tradizionali.
4. Validazione Empirica: Dimostrazione che l'approccio ibrido supera gli stati dell'arte nella rilevazione di discriminazioni e nella mitigazione.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 20 benchmark DNN (dati reali come Adult Census e Bank Marketing) confrontando HYFAIR con lo stato dell'arte (FAIRIFY, LIME, ecc.).

• RQ1 (Rilevazione Individuale): HYFAIR ha trovato il 18.6% in più di istanze discriminatorie (2-discriminanti) rispetto a FAIRIFY in media, con un tempo di esecuzione significativamente inferiore per trovare il primo caso.
• RQ2 (Ricerca k-Discriminante): L'algoritmo di Simulated Annealing (SA) ha superato le strategie di Random Walk e SA+KNN, identificando cluster con il massimo numero di esiti distinti ($k$) nel 94% dei casi.
• RQ3 (Qualità delle Spiegazioni): Le spiegazioni generate da HYFAIR sono risultate più robuste (minore variazione degli esiti al perturbare le feature) e con una copertura dello spazio degli input significativamente superiore rispetto a LIME. HYFAIR ha fornito regole più concise e pertinenti.
• RQ4 (Mitigazione): L'applicazione delle regole estratte come guardrail ha ridotto le metriche di discriminazione nel 67% dei casi per i modelli originali e nel 22% per i modelli ri-addestrati.
  • Nota interessante: Il semplice ri-addestramento senza regole aggiuntive ha talvolta ridotto il numero di casi discriminatori ma aumentato la gravità massima ($k$), suggerendo che la mitigazione richiede strategie più sofisticate.

5. Significato e Implicazioni

Questo lavoro rappresenta un passo avanti cruciale nella valutazione della fairness delle AI:

• Oltre la Singola Istanza: Sposta il focus dalla rilevazione di "bug" isolati alla comprensione di pattern sistematici che possono danneggiare intere comunità.
• Quantificazione del Rischio: Permette di misurare non solo se un sistema è ingiusto, ma quanto è arbitrario nelle sue decisioni per gruppi specifici.
• Azionabilità: Fornisce agli sviluppatori non solo un allarme, ma una spiegazione logica (regole decisionali) su come modificare il sistema o il processo decisionale per mitigare il bias.
• Limiti e Futuro: Il paper riconosce limiti attuali, come la gestione degli attributi protetti intersezionali (combinazioni di più attributi) e la generazione di controfattuali realistici, indicando queste come direzioni per la ricerca futura.

In sintesi, HYFAIR offre un toolkit completo per diagnosticare, quantificare e spiegare la discriminazione algoritmica strutturata, fornendo un approccio pratico per costruire sistemi decisionali automatizzati più equi e trasparenti.