Sintesi Tecnica: Audit di Pattern Discriminatori nel Prestito Hipotecario attraverso le Regole di Associazione e il Fair Binning

Definizione del Problema

Il prestito ipotecario negli Stati Uniti presenta persistenti disparità razziali e di genere. Mentre la ricerca precedente si è concentrata sull'audit del bias a livello di modello o sulla costruzione di classificatori equi, questo articolo investiga se le operazioni di gestione dei dati a monte, specificamente il binning degli attributi (suddivisione in intervalli), amplifichino tali disparità. Il binning standard a frequenza uguale degli attributi numerici (es. reddito) può creare bin con composizioni demografiche sbilanciate, potenzialmente distorcendo il mining di pattern a valle. Gli autori si chiedono: Il binning consapevole dell'equità (fairness-aware binning) modifica i pattern discriminatori estratti dai dati sui prestiti?

Lo studio utilizza il dataset HMDA 2023 (Home Mortgage Disclosure Act), una ricca fonte pubblica contenente oltre 10 milioni di record annui, focalizzandosi sull'area metropolitana di Chicago.

Metodologia

Gli autori propongono una pipeline in tre fasi per auditare i pattern discriminatori:

1. Pulizia dei Dati e Binning

• Fonte dei Dati: 103.481 domande di mutuo pulite dalla Divisione Metropolitana di Chicago-Naperville-Elgin (filtrate dal snapshot nazionale HMDA 2023).
• Pre-elaborazione: La pipeline filtra i prestiti erogati e negati, rimuove i record con dati demografici mancanti, converte i campi finanziari e taglia gli outlier del reddito (0,5°–99,5° percentile).
• Strategie di Binning:
  • Standard Equal-Frequency Binning: Divide gli attributi numerici (reddito, importo del prestito) in $k=5$ bucket con conteggi approssimativamente uguali.
  • $\epsilon$-Biased Fair Binning: Implementa l'algoritmo Divide-and-Conquer (D&C) proposto da Asudeh et al. [1]. Questo algoritmo cerca di limitare la deviazione demografica all'interno di ogni bin a un massimo di $\epsilon$. Minimizza il "Price of Fairness" (PoF), definito come la deviazione delle dimensioni dei bin dalla frequenza uguale.

2. Association Rule Mining (FP-Growth)

• Tecnica: Viene utilizzato l'algoritmo FP-Growth per estrarre itemset frequenti e regole di associazione che predicono il diniego del prestito.
• Input: Le domande vengono convertite in transazioni di 11 elementi categorici (es. razza, sesso, bin del reddito, categoria DTI, esito).
• Obiettivo: Confrontare i set di regole generati sotto il regime di standard vs. fair binning per identificare se i vincoli di equità alterano i pattern discriminatori espliciti (es. regole dove la razza è un antecedente).
• Parametri: Supporto minimo di 0,10, confidenza minima di 0,50, lift minimo di 1,0.

3. Clustering e Audit dell'Impatto Disparato

• Clustering: Viene applicato il K-Means clustering su quattro caratteristiche finanziarie (reddito, importo del prestito, DTI, rapporto combinato prestito-valore) per raggruppare i richiedenti per profilo finanziario. I tassi di interesse sono esclusi per evitare di filtrare fuori i prestiti negati.
• Audit: All'interno di ogni cluster, viene calcolato il Disparate Impact Ratio (DIR) per i gruppi demografici (razza, etnia, sesso) rispetto a un gruppo di riferimento.
• Metrica: Un DIR inferiore a 0,80 (la "regola dei quattro quinti") indica un impatto disparato. Questo approccio isola la discriminazione che non può essere spiegata da fattori di rischio finanziario legittimi catturati nei cluster.

Risultati Chiave

1. Bias del Binning e Fattibilità

• Standard Binning: Produce un bias razziale del 9,63% nella discretizzazione del reddito, coerente con studi precedenti (8–10%).
• Fattibilità del Fair Binning: Con sette gruppi razziali, l'algoritmo $\epsilon$-biased è infattibile con soglie strette ($\epsilon=0,03$). Ha successo solo con $\epsilon=0,08$ per il reddito e $\epsilon=0,06$ per l'importo del prestito.
• Price of Fairness (PoF): Raggiungere l'equità a queste soglie comporta un costo elevato, con dimensioni dei bin che deviano significativamente dalla frequenza uguale (PoF del 29,4% per il reddito e del 23,5% per l'importo del prestito).

2. Association Rule Mining (FP-Growth)

• Predittore Dominante: L'alto rapporto debito-reddito (DTI) è il principale predittore di diniego (confidenza del 67,2%, lift di 2,81).
• Consistenza delle Regole: Le principali regole di diniego sono identiche sia sotto il regime di standard che di fair binning.
• Assenza di Bias Esplicito: Nessuna regola con razza, sesso o etnia come antecedenti ha soddisfatto la soglia di supporto del 10%. Gli autori osservano che questo non implica un'assenza di bias; piuttosto, il bias razziale opera in modo indiretto attraverso feature finanziarie correlate (es. i richiedenti neri hanno redditi medi inferiori, posizionandoli in bin a maggior rischio).

3. Clustering e Impatto Disparato

• Profili dei Cluster: Sono stati identificati cinque cluster, che vanno dai richiedenti con eccessivo debito (79% di diniego) ai richiedenti facoltosi (11% di diniego).
• Risultati dell'Impatto Disparato: Mentre l'FP-Growth non ha trovato regole razziali esplicite, l'audit K-Means + DIR ha segnalato 10 coppie di cluster-gruppo su 45 come mostranti un impatto disparato (DIR < 0,80).
• Risultati Specifici:
  • Tutte le coppie segnalate riguardavano la razza.
  • Nel Cluster 3 (gruppo finanziariamente simile: reddito medio $104K, DTI 34,5), i richiedenti neri hanno affrontato un tasso di diniego del 44,8% rispetto al 20,3% dei bianchi (DIR = 0,693).
  • Il DIR medio per gli audit basati sulla razza era 0,814, mentre gli audit su etnia e sesso non hanno mostrato un impatto disparato sistematico (DIR medi rispettivamente di 0,932 e 1,094).

Contributi e Significato

L'articolo apporta i seguenti contributi:

1. Validazione del Bias a Monte: Conferma che il pre-processing standard dei dati (binning) introduce un misurabile bias razziale (9,63%) nei dati HMDA, validando la rilevanza dei problemi di binning non equo nei contesti di prestito.
2. Vincoli di Fattibilità dell'Equità Multi-Gruppo: Dimostra che, sebbene il binning $\epsilon$-biased funzioni per gruppi binari, l'applicazione a sette gruppi razziali riduce drasticamente l'insieme delle soluzioni fattibili e comporta un alto Price of Fairness, suggerendo limiti pratici per l'equità multi-gruppo nella discretizzazione dei dati.
3. Approcci di Audit Complementari: Lo studio evidenzia come FP-Growth e Clustering offrano intuizioni complementari:
   • L'FP-Growth identifica i fattori dominanti di diniego (DTI) nell'intera popolazione ma può mancare di bias indiretti a causa delle soglie di supporto.
   • Il clustering combinato con gli audit DIR rivela un impatto disparato sistemico che persiste anche tra richiedenti finanziariamente simili, svelando discriminazioni che il normale mining di regole potrebbe trascurare.
4. Evidenza Empirica di Bias Indiretto: I risultati suggeriscono che il bias razziale nel prestito ipotecario si manifesta spesso indirettamente attraverso distribuzioni finanziarie correlate (reddito/DTI) piuttosto che come regole esplicite ad alto supporto che coinvolgono attributi protetti.

Limitazioni

Gli autori riconoscono diverse limitazioni:

• Credit Score Mancanti: I dati HMDA non includono i punteggi di credito (credit scores), un fattore di prestito primario, il che significa che il clustering non può separare completamente la discriminazione dal rischio legittimo.
• Soglie di Supporto: La soglia di supporto del 10% per l'FP-Growth potrebbe essere troppo alta per catturare i pattern dei gruppi minoritari; abbassarla comporta il rischio di risultati spuri.
• Ambito Geografico: L'analisi è limitata all'area metropolitana di Chicago.
• Assunzioni Algoritmiche: Il K-Means assume cluster sferici di dimensioni simili, il che potrebbe non adattarsi perfettamente all'asimmetria dei dati (dimensioni dei cluster variabili da 3.500 a 48.000).