Reliable fairness auditing with semi-supervised inference

Sintesi Tecnica: Audit di Equità Affidabile con Inferenza Semi-Supervisionata

Enunciato del Problema
I modelli di apprendimento automatico implementati in applicazioni biomediche spesso mostrano bias che esacerbano le disuguaglianze tra sottopopolazioni definite da attributi protetti (ad esempio, razza, sesso). L'identificazione e la mitigazione di questi bias richiedono un "audit di equità di gruppo", un processo che valuta le metriche di prestazione del modello (come il Tasso di Vero Positivo, il Tasso di Falso Positivo o la calibrazione) attraverso diversi gruppi. Tuttavia, un audit affidabile richiede tipicamente grandi volumi di dati etichettati per rilevare disparità di prestazioni sottili. In contesti biomedici, ottenere tali etichette è costoso e laborioso, richiedendo spesso competenze cliniche specializzate (ad esempio, l'annotazione di immagini mediche o riassunti di dimissione). Di conseguenza, gli audit di equità operano frequentemente in un contesto semi-supervisionato (SS): è disponibile un piccolo dataset etichettato, accompagnato da un dataset non etichettato molto più grande. I metodi di audit supervisionati tradizionali ignorano i dati non etichettati, portando a un'alta varianza e a una ridotta potenza nel rilevare le disparità. I metodi SS esistenti per l'audit di equità sono limitati a metriche specifiche, si basano su assunzioni parametriche che possono portare a inferenze distorte se violate, o non sfruttano le covariate ausiliarie disponibili durante l'audit.

Metodologia: Il Framework Infairness
Gli autori propongono Infairness, un framework unificato di inferenza semi-supervisionata progettato per auditare un'ampia gamma di criteri di equità sfruttando sia i dati etichettati che quelli non etichettati. Il cuore del metodo consiste nell'imputare gli esiti mancanti ($Y$) nei dati non etichettati utilizzando un modello di regressione che condiziona sulle previsioni del modello ($S$) e sulle covariate ausiliarie ($W$).

1. Impostazione del Problema: Il framework assume un dataset di validazione composto da $n$ campioni etichettati $\{(Y_i, X_i, W_i, A_i)\}$ e $N$ campioni non etichettati $\{(X_i, W_i, A_i)\}$, dove $A$ è un attributo protetto categorico. L'obiettivo è stimare le metriche di prestazione specifiche per il gruppo ($M_a$) e le loro differenze ($\Delta M$) con un'efficienza superiore rispetto alla stima supervisionata.
2. Strategia di Imputazione: Per le metriche dipendenti dall'esito $Y$ (ad esempio, TPR, FPR), il metodo stima l'aspettativa condizionata $E(Y | S, W, A=a)$ utilizzando un modello di lavoro. Questo modello utilizza funzioni di base non lineari flessibili (specificamente spline cubiche naturali) della previsione $S$ e delle covariate ausiliarie $W$. I parametri sono stimati tramite un'equazione di stima penalizzata sui dati etichettati.
3. Stima: Gli esiti mancanti nei dati non etichettati vengono imputati utilizzando il modello adattato. Le metriche specifiche per il gruppo vengono quindi calcolate mediando queste imputazioni sull'ampio dataset non etichettato all'interno di ciascun gruppo. Per le metriche indipendenti da $Y$ (ad esempio, quelle che dipendono solo da $S$ o $D$), il metodo semplicemente media sui dati non etichettati, il che riduce intrinsecamente la varianza a causa della dimensione campionaria più ampia.
4. Robustezza: Il framework è progettato per essere robusto alla specificazione del modello di imputazione. Includendo un'intercetta, la previsione $S$ e la classificazione $D$ nelle funzioni di base, lo stimatore rimane consistente anche se la forma funzionale del modello di imputazione è specificata in modo errato, a condizione che la base includa questi termini chiave.

Contributi Chiave e Risultati Teorici

• Framework Unificato: Infairness fornisce un approccio generale applicabile a un ampio spettro di metriche di equità (accuratezza, discriminazione, calibrazione) e non si basa sulle assunzioni parametriche restrittive dei precedenti metodi SS di equità (ad esempio, Beta Calibration).
• Consistenza e Validità: Gli autori dimostrano che lo stimatore Infairness è consistente per le metriche di equità target e che le procedure di inferenza (intervalli di confidenza) sono valide sotto condizioni di regolarità standard, anche quando il modello di imputazione non è specificato perfettamente.
• Guadagni di Efficienza: L'analisi teorica dimostra che lo stimatore Infairness ha una varianza asintotica inferiore rispetto allo stimatore supervisionato. Nello specifico, se il modello di imputazione cattura informazioni su $Y$ oltre a quelle contenute in $S$ da solo (cioè $E(Y|S, W, A) \neq E(Y|A)$), la varianza è ridotta in modo rigoroso.
• Robustezza alla Specificazione Errata: A differenza dei metodi che assumono una forma parametrica specifica per la relazione tra previsioni ed esiti, Infairness utilizza espansioni di base flessibili. I risultati teorici mostrano che lo stimatore rimane consistente anche se il modello di lavoro è specificato in modo errato, purché le funzioni di base includano i termini necessari (intercetta, $S$, $D$).

Risultati Empirici
Il documento valuta Infairness attraverso estesi studi di simulazione e due audit biomedici reali:

1. Studi di Simulazione:

   • In contesti stilizzati, Infairness ha fornito costantemente stime non distorte con probabilità di copertura nominali, mentre i metodi parametrici (Beta Calibration) hanno subito distorsioni significative e sottocopertura quando le loro assunzioni sono state violate.
   • In contesti tradizionali con meccanismi di generazione dei dati complessi (non linearità, interazioni, strutture basate su alberi), Infairness ha mantenuto una bassa distorsione e una copertura vicina al nominale.
   • Efficienza: Infairness ha costantemente superato la stima supervisionata e le basi non parametriche. Quando le covariate ausiliarie ($W$) contenevano informazioni su $Y$, i modelli che incorporavano $W$ (ad esempio, Infairness($S \times W$)) hanno raggiunto guadagni di efficienza relativa del 10–37% rispetto ai metodi che ignoravano $W$.

2. Applicazioni Reali:

   • Fenotipizzazione da EHR (Depressione): Audit di un modello per il rilevamento della depressione tra gruppi razziali utilizzando dati MIMIC-III ($n=872$ etichettati, $N=28.766$ non etichettati). Infairness ha ridotto la varianza delle stime di disparità di circa il 43,5% rispetto alla stima supervisionata, equivalente alla necessità di campioni etichettati inferiori del 43,5% per ottenere la stessa precisione.
   • Imaging Medico (Radiografia del Torace): Audit di un classificatore di cardiomegalia tra gruppi di sesso ($n=500$ etichettati, $N=64.740$ non etichettati). Infairness ha ridotto la varianza del 60,9% per la disparità TPR e del 56,3% per la disparità FPR rispetto alla stima supervisionata.

Significato e Affermazioni
Il documento afferma che Infairness offre una soluzione pratica e statisticamente rigorosa per il collo di bottiglia della "scarsità di etichette" nell'audit di equità biomedico. Sfruttando efficacemente l'abbondanza di dati non etichettati e le covariate ausiliarie, il metodo consente un rilevamento più potente delle disparità di prestazione dei sottogruppi senza aumentare il costo dell'annotazione dei dati. Gli autori sottolineano che il metodo non sacrifica la validità per l'efficienza; garantisce una stima consistente e un'inferenza valida senza fare affidamento su forti assunzioni parametriche che potrebbero portare a conclusioni distorte e eccessivamente confidenti sull'equità del modello. Il lavoro sottolinea il valore dell'inferenza semi-supervisionata nel garantire che i modelli di ML in ambito sanitario siano implementati in modo responsabile ed equo.