Auditing a Dutch Public Sector Risk Profiling Algorithm Using an Unsupervised Bias Detection Tool

Titolo: Audit di un algoritmo di profilazione del rischio nel settore pubblico olandese utilizzando uno strumento di rilevamento dei bias non supervisionato

1. Il Problema

Gli algoritmi sono sempre più utilizzati per automatizzare o supportare le decisioni umane, ma possono presentare bias discriminatori verso gruppi demografici protetti. Tuttavia, a causa delle rigide normative sulla privacy (come il GDPR), le organizzazioni e gli auditor esterni spesso non hanno accesso ai dati sensibili sui gruppi demografici (es. origine etnica, religione) necessari per rilevare tali bias tramite metodi supervisionati.

Il caso di studio analizzato riguarda l'Agenzia Esecutiva Olandese per l'Istruzione (DUO), che tra il 2012 e il 2023 ha utilizzato un algoritmo basato su regole semplici per assegnare punteggi di rischio agli studenti universitari. L'algoritmo valutava la probabilità che uno studente ricevesse indebitamente un sussidio per la vita fuori casa. Nonostante le regole sembrassero neutre (basate su tipo di istruzione, età e distanza dai genitori), l'algoritmo ha portato a una discriminazione indiretta contro gli studenti con background migratorio non europeo, influenzando oltre 350.000 studenti. Il problema centrale è: come rilevare e quantificare il bias in un algoritmo decisionale ad alto impatto quando i dati demografici protetti non sono disponibili?

2. Metodologia

Gli autori hanno sviluppato e applicato un approccio di rilevamento dei bias non supervisionato per riesaminare l'algoritmo DUO. La metodologia si articola nei seguenti punti:

• Strumento di Rilevamento: Utilizzo di un algoritmo di clustering gerarchico "Bias-Aware" (HBAC - Hierarchical Bias-Aware Clustering). A differenza dei metodi supervisionati che richiedono etichette demografiche, l'HBAC analizza i dati grezzi e le uscite dell'algoritmo per identificare sottogruppi (cluster) in cui le metriche di bias sono statisticamente diverse.
• Metrica di Bias: È stata definita una metrica basata sulla parità demografica (demographic parity). L'obiettivo è verificare se la probabilità di essere classificati come "alto rischio" sia uguale per tutti gli studenti, indipendentemente dal loro background.
• Processo di Audit:
  1. Preprocessing: I dati (tipo di istruzione, età, distanza dai genitori) sono stati codificati e preparati.
  2. Clustering: L'algoritmo HBAC ha diviso il dataset in cluster iterativamente, massimizzando la varianza della metrica di bias tra i cluster.
  3. Validazione Statistica: Per evitare falsi positivi dovuti all'overfitting sui dati di training, è stata applicata una splitting del campione (80% per addestramento/clustering, 20% per test). Sono stati utilizzati test statistici (Chi-quadro di Pearson per variabili binarie) con correzione di Bonferroni per verificare la significatività delle differenze tra i cluster.
  4. Correlazione Post-Hoc: Poiché i dati individuali sul background migratorio non erano disponibili, gli autori hanno utilizzato statistiche aggregate fornite dall'Ufficio Statistico Olandese (CBS) per stimare la percentuale di studenti con background non europeo in ciascun cluster identificato dall'algoritmo non supervisionato.

3. Contributi Chiave

Il paper offre due contributi principali:

1. Audit su larga scala di discriminazione indiretta: Fornisce un'analisi empirica di un caso reale, ad alto impatto e su larga scala (oltre 250.000 studenti), dimostrando come la discriminazione indiretta possa persistere per decenni in algoritmi basati su regole semplici, non solo in modelli complessi di machine learning.
2. Strumento Open-Source: Hanno reso disponibile una libreria Python e un'applicazione web per il rilevamento non supervisionato dei bias. Questo strumento include miglioramenti metodologici rispetto alla letteratura esistente (come l'uso di k-modes per variabili categoriali e procedure di test statistico robuste) per ridurre drasticamente i falsi positivi, rendendo la tecnologia accessibile anche a utenti non tecnici.

4. Risultati

L'applicazione dello strumento non supervisionato al dataset DUO (anno 2014, n=214.599 studenti) ha prodotto risultati significativi:

• Identificazione dei Cluster: L'algoritmo ha identificato tre cluster distinti con differenze statisticamente significative nella probabilità di essere classificati come "alto rischio".
  • Cluster 3 (Alto Bias): Il 50% degli studenti in questo cluster è stato classificato come "alto rischio". Le caratteristiche di questo gruppo erano: istruzione professionale (MBO), età 15-18 o 25-50 anni, e residenza vicina ai genitori.
  • Cluster 1 (Basso Bias): Solo il 3% classificato come "alto rischio". Caratteristiche: istruzione universitaria (WO), età 19-20 anni, residenza lontana dai genitori.
• Correlazione con il Background Migratorio: L'analisi post-hoc con dati aggregati ha rivelato che il Cluster 3 aveva una stima del 41% di studenti con background migratorio non europeo, contro il 10% del Cluster 1.
• Conferma dei Proxy: I risultati hanno confermato che le variabili apparentemente neutre (tipo di istruzione, età, distanza) agivano come proxy per l'origine etnica. Gli studenti con background non europeo erano sovrarappresentati nei gruppi di istruzione professionale e nelle fasce d'età/giurisdizione che l'algoritmo penalizzava.
• Replicabilità: I risultati sono stati replicati con successo sul dataset del 2019, confermando la robustezza del metodo non supervisionato.

5. Significato e Implicazioni

Questo lavoro ha un'importanza cruciale per diversi ambiti:

• Superamento dei Limiti del GDPR: Dimostra che è possibile condurre audit etici e legali su algoritmi governativi anche in assenza di dati sensibili individuali, utilizzando tecniche di apprendimento non supervisionato per scoprire gruppi svantaggiati.
• Validazione Giuridica: I risultati forniscono una base tecnica per le autorità di regolamentazione e i tribunali per identificare la discriminazione indiretta, supportando le indagini legali (come quella che ha portato alle scuse del governo olandese e al piano di risarcimento di 61 milioni di euro).
• Strumento Pratico per Auditor: La disponibilità di uno strumento open-source permette a enti pubblici, organizzazioni della società civile e auditor interni di monitorare i propri sistemi decisionali automatizzati, trasformando il rilevamento dei bias da un processo teorico a una pratica operativa scalabile.
• Avvertenza sugli Algoritmi Semplici: Sottolinea che anche algoritmi basati su regole semplici, privi di complessità statistica, possono codificare pregiudizi strutturali profondi, sfatando il mito che solo il "Black Box" del machine learning sia pericoloso.

In conclusione, il paper stabilisce che il rilevamento non supervisionato dei bias non sostituisce l'analisi umana, ma funge da punto di partenza essenziale per un'assessment deliberativa da parte di esperti, permettendo di individuare potenziali discriminazioni laddove i dati demografici sono inaccessibili.