Automatic Causal Fairness Analysis with LLM-Generated Reporting

1. Enunciato del Problema

Mentre l'Automated Machine Learning (AutoML) mira a semplificare l'applicazione del ML a problemi del mondo reale, i framework esistenti ignorano largamente le questioni di equità intrinseche nei dati di addestramento e nelle previsioni. Gli approcci attuali alla causal fairness (ad esempio, la equità controfattuale) richiedono tipicamente:

• Decisioni di modellazione manuali da parte di esperti di dominio.
• Interpretazione complessa di grafi causali e formule di identificazione.
• Un intervento umano significativo, che contraddice la filosofia "zero-shot" o a intervento umano minimo dell'AutoML.

Manca una strumentazione automatizzata in grado non solo di calcolare metriche di equità causale, ma anche di interpretare e riportare questi risultati in modo accessibile ai non esperti. Inoltre, affidarsi esclusivamente ai Large Language Models (LLM) per analizzare dati grezzi in termini di equità è inefficiente, soggetto a allucinazioni e solleva preoccupazioni sulla privacy.

2. Metodologia: Il Framework FairMind

Gli autori introducono FairMind, un prototipo software progettato per automatizzare l'analisi dell'equità a livello di dataset. La metodologia integra tre componenti fondamentali:

A. Fondamento Teorico: Standard Fairness Model (SFM)

Il framework si basa sul Standard Fairness Model proposto da Plečko e Bareinboim. Assume un Structural Causal Model (SCM) in cui:

• $X$: Una caratteristica protetta (ad esempio, genere, razza).
• $Y$: La variabile target.
• $W$: Mediatori (fattori intermedi).
• $Z$: Variabili confondenti (cause condivise di $X$ e $Y$).
• Il modello assume l'assenza di confondimento nascosto tra specifici gruppi di variabili ($X, Z$ e $W, Y$).

B. Calcolo Causale Automatizzato

FairMind automatizza il calcolo degli effetti causali utilizzando formule di identificazione derivate da dati osservazionali ($P(V)$). Calcola:

1. Variazione Totale (TV): Differenza osservazionale $P(y|x_1) - P(y|x_0)$.
2. Effetto Totale (TE): Differenza causale tramite intervento $P(Y_{x_1}) - P(Y_{x_0})$.
3. Effetto Spurio (SE): La differenza tra TV e TE (bias di confondimento).
4. Effetto Diretto (DE): Effetto di $X$ su $Y$ mantenendo i mediatori costanti nel loro stato naturale sotto $x_0$.
5. Effetto Indiretto (IE): Effetto di $X$ su $Y$ mediato attraverso $W$.

Lo strumento utilizza Reti Bayesiane (inferite tramite la libreria pgmpy con smoothing di Laplace) per stimare queste probabilità. Supporta il calcolo in forma chiusa di questi effetti, evitando la necessità di una complessa modellazione delle equazioni strutturali da parte dell'utente.

C. Decomposizioni Novità ed Estensioni

Il documento estende lo SFM standard per gestire scenari reali complessi:

• Multipli Mediatori/Confondenti: Nuove formule di decomposizione (Proposizioni 3 & 4) permettono di attribuire porzioni specifiche dell'Effetto Indiretto e dell'Effetto Spurio a singoli mediatori e confondenti.
• Target Non Binari: Per target continui o ordinali, il framework utilizza valori attesi (o funzioni di utilità) anziché semplici differenze di probabilità per preservare le misure di equità con segno.
• Caratteristiche Protette Non Binarie: Gestisce variabili protette ordinarie e multiclasse mediando effetti a coppie o utilizzando una decomposizione graduale per analizzare le disparità tra livelli ordinati (ad esempio, livelli di istruzione).

D. Reporting Generato da LLM

Per colmare il divario tra risultati quantitativi e comprensione umana, FairMind impiega una pipeline a due stadi:

1. Calcolo Deterministico: FairMind calcola tutte le metriche ed esporta un oggetto JSON strutturato.
2. Interpretazione LLM: Un Large Language Model (specificamente chatgpt-05-mini) agisce come agente di reporting. Riceve solo i risultati numerici strutturati (non dati grezzi) e un prompt Chain-of-Thought (CoT).
   • Il prompt impone una struttura analitica rigorosa, definendo il ruolo come "esperto di equità causale".
   • Ciò garantisce che il rapporto sia semanticamente ancorato ai dati calcolati, minimizzando le allucinazioni e assicurando coerenza logica.

3. Contributi Chiave

1. Strumento FairMind: Il primo strumento integrato nell'AutoML che automatizza la selezione, la stima e la spiegazione degli effetti di equità causale con un input utente minimo.
2. Estensioni Teoriche: Risultati di decomposizione novità per multipli mediatori e confondenti, ed estensioni a variabili protette ordinarie e target continui.
3. Approccio Ibrido Neuro-Simbolico: Un'architettura robusta che combina l'inferenza causale simbolica (per un calcolo accurato) e LLM neurali (per il reporting in linguaggio naturale).
4. Validazione Empirica: Dimostrazioni sui dataset UCI Adult Census e Student-Mat che mostrano come lo strumento possa identificare se le disparità sono guidate da discriminazione diretta, mediazione o confondimento.

4. Risultati e Scoperte

• Accuratezza vs. LLM Puro: Esperimenti che confrontano FairMind+LLM con un approccio "Pure LLM" (dove l'LLM analizza direttamente i dati grezzi) mostrano che l'approccio ibrido è superiore.
  • Accuratezza: Gli LLM puri hanno prodotto calcoli errati (ad esempio, valori di Effetto Totale sbagliati) e hanno interpretato male i contributi dei mediatori.
  • Efficienza: L'approccio ibrido ha richiesto significativamente meno token (5.673 contro 15.150) ed è stato in grado di gestire dataset più grandi, mentre l'approccio Pure LLM è diventato non fattibile per dati più voluminosi.
  • Privacy: L'approccio ibrido protegge la privacy elaborando i dati grezzi in un ambiente locale sicuro e inviando solo riepiloghi numerici all'LLM.
• Insight del Case Study:
  • Nel dataset Adult Census, la disparità di reddito osservata tra i generi è risultata essere in gran parte spuria (guidata dal confondente "stato di relazione") piuttosto che un effetto causale diretto.
  • Nel dataset Student-Mat, il framework ha quantificato con successo come il genere influisce sui tassi di superamento degli esami, distinguendo tra effetti diretti ed effetti indiretti mediati dal tempo di studio.

5. Significato

Questo lavoro rappresenta un passo significativo verso la democratizzazione dell'analisi dell'equità causale. Automatizzando i complessi requisiti matematici dell'equità controfattuale e traducendoli in rapporti in linguaggio naturale accessibili, FairMind permette:

• Ai non esperti (data scientist, responsabili politici) di condurre audit rigorosi dell'equità senza una profonda competenza nell'inferenza causale.
• Alle pipeline AutoML di includere l'equità come metrica di valutazione standard e automatizzata.
• Audit di equità scalabili e privati, evitando i rischi di inviare dati grezzi sensibili a LLM esterni.

Il documento conclude che questa integrazione neuro-simbolica offre una strada percorribile e scalabile per un'AI responsabile, suggerendo che futuri lavori potrebbero coinvolgere l'apprendimento strutturale automatizzato per inferire grafi causali e strategie di mitigazione automatizzate.