Sintesi Tecnica: Un limite superiore pratico sugli effetti del bias di selezione nei modelli di predizione medica

Definizione del problema

Il bias di selezione è un problema pervasivo nei dati del mondo reale che compromette la generalizzabilità dei modelli di machine learning, particolarmente in domini ad alto rischio come quello sanitario. Quando i modelli vengono addestrati su dati distorti (ad esempio, record ospedalieri specifici o biobanche basate su volontari) e poi distribuiti su una popolazione target più ampia, possono fallire catastroficamente, rischiando di reificare la discriminazione contro i gruppi sottorappresentati.

I metodi esistenti per valutare la generalizzabilità dei modelli sotto bias di selezione soffrono di assunzioni irrealistiche. Tecniche come la stima del rapporto di densità richiedono l'accesso completo alla distribuzione target, mentre l'inverse probability weighting (IPW) assume la piena osservabilità delle variabili che causano la selezione. Nella pratica, i professionisti spesso non hanno accesso a campioni rappresentativi della popolazione target (a causa di costi o privacy) e raramente osservano il meccanismo di selezione esplicito. Di conseguenza, manca una serie di strumenti, che siano sia fondati che pratici, per sottoporre i modelli ad audit per il bias di selezione prima del deployment.

Metodologia

Gli autori propongono un nuovo framework per stimare un limite superiore pratico sul caso peggiore delle prestazioni (errore atteso) di un modello di predizione su una popolazione target non osservata. Il metodo opera in un contesto realistico di osservabilità parziale:

1. Dati Osservati: Un dataset distorto $D_P$ (dove l'indicatore di selezione $S=1$) contenente covariate $X$, esiti $Y$ e un sottoinsieme di variabili di selezione $\tilde{U}$.
2. Vincoli del Target: L'accesso alla distribuzione target $Q$ è limitato a:
   • Un sottoinsieme di variabili di selezione $\tilde{U}$ (completamente osservate).
   • Statistiche di riepilogo marginali (medie e varianze) per tutte le variabili candidate.
   • Nessun campione diretto di $(X, Y)$ dalla distribuzione target $Q$.

Componenti Teorici Chiave

Il metodo si basa su tre assunzioni fondamentali:

• Indipendenza Condizionale: L'indicatore di selezione $S$ è condizionalmente indipendente da $(X, Y)$ data l'insieme completo delle variabili di selezione $U$.
• Supporto Comune: La distribuzione distorta $P$ e la distribuzione target $Q$ condividono un supporto comune.
• Perdita Non Negativa: La funzione di perdita $\ell$ è non negativa.

Sotto queste assunzioni, gli autori derivano un limite superiore $\hat{R}_Q$ per l'errore atteso $R_Q$ sulla distribuzione target:
$$R_Q \leq \hat{R}_Q := E_P \left[ w(\tilde{U}) \cdot \phi(\tilde{X}, Y, U^*) \cdot \ell(f_P(\tilde{X}), Y) \right]$$
Dove:

• $w(\tilde{U})$ è un peso di propensione derivato dal rapporto tra le densità marginali $p(\tilde{U}) / p(\tilde{U}|S=1)$.
• $\phi(\tilde{X}, Y, U^*)$ è un fattore di caso peggiore definito come il rapporto massimo delle densità condizionali sullo spazio delle variabili di selezione non osservate $U^* = U \setminus \tilde{U}$.

Implementazione Pratica

Per rendere il limite trattabile, gli autori introducono due euristiche:

1. Identificazione Euristica di $U^*$: Poiché $U^*$ è ignoto, gli autori propongono un algoritmo di moment-matching. Questo algoritmo tratta il processo di selezione come una funzione logistica e utilizza le statistiche di riepilogo osservate da $Q$ per risolvere i coefficienti che identificano quali variabili rimanenti nel dataset distorto sono probabilmente driver della selezione. Le variabili con coefficienti non nulli nell'intervallo di confidenza vengono nominate come $U^*$.
2. Strumenti Diagnostici: Per valutare la validità del limite nella pratica (dove le assunzioni potrebbero essere violate), gli autori propongono tre diagnostici:
   • Test KS: Valuta la sovrapposizione tra le distribuzioni di propensione in $P$ e $Q$.
   • Effetto di Design del Peso ($d_{eff}$): Misura la stabilità dei pesi risultanti per rilevare la mancanza di supporto comune.
   • Invarianza della Propensione: Un nuovo test per approssimare l'assunzione di indipendenza condizionale, verificando se la distribuzione delle covariate rimane invariante attraverso diversi bin del punteggio di propensione.

Contributi Chiave

1. Formulazione del Problema Realistica: Il lavoro affronta il divario tra limiti teorici e vincoli pratici, richiedendo solo l'osservabilità parziale del meccanismo di selezione e della distribuzione target (specificamente, statistiche marginali e un sottoinsieme di variabili di selezione).
2. Nuovo Limite Superiore: Gli autori derivano un limite superiore teorico sull'errore di generalizzazione che modella esplicitamente il processo di selezione senza richiedere la conoscenza completa del meccanismo sottostante o della densità congiunta della distribuzione target.
3. Stima e Diagnostica Trattabili: Il documento fornisce un algoritmo pratico per nominare le variabili di selezione non osservate e una suite di strumenti diagnostici per aiutare i professionisti nell'interpretazione del limite e nel rilevamento delle violazioni delle assunzioni.
4. Validazione Empirica: Il metodo è validato attraverso dati completamente sintetici, dati semi-sintetici dal programma di ricerca All of Us e bias di selezione nel mondo reale in MIMIC-IV.

Risultati

Gli autori valutano il loro metodo rispetto a diverse baseline, tra cui l'Inverse Probability of Participation Weighting (IPPW) ingenuo, la calibrazione empirica, l'entropy balancing e il raking.

• Validità e Strettezza: Negli esperimenti con dati sintetici e dati All of Us, il limite proposto (utilizzando l'euristica $U^*$) ha prodotto limiti superiori validi (ovvero $\hat{R}_Q \geq R_Q$) nel 97% dei compiti per All of Us e nel 90% per i dati sintetici. Al contrario, la migliore baseline successiva (IPPW) ha ottenuto la validità in solo l'82% dei compiti e ha spesso sottostimato l'errore reale.
• Robustezza: Il metodo è rimasto robusto anche quando il numero di variabili di selezione osservate $\tilde{U}$ era limitato (ad esempio, $dim(\tilde{U})=1$).
• Applicazione nel Mondo Reale: Negli esperimenti MIMIC-IV, il metodo ha identificato con successo i gap di generalizzazione per compiti come la predizione dell'ipertensione e del diabete di tipo 2. Per il compito di predizione della mortalità (dove l'errore target reale era sconosciuto), il metodo ha fornito un limite non vacuo, coerente con la letteratura precedente che suggerisce che i dati ospedalieri a sito singolo spesso generalizzano scarsamente.
• Performance Euristica: L'euristica di moment-matching per l'identificazione di $U^*$ ha raggiunto F2 score di 0,84 (sintetici) e 0,81 (All of Us), approssimando da vicino le prestazioni di un oracle che conosce il vero $U^*$.

Significato e Rivendicazioni

Gli autori posizionano questo lavoro come uno strumento pratico per l'audit dei modelli piuttosto che come una soluzione perfetta. Affermano che il loro metodo consente ai professionisti di:

• Stimare l'impatto del bias di selezione in contesti in cui i dati target sono altrimenti intrattabili.
• Prendere decisioni di deployment informate: se il limite superiore stimato è piccolo e i diagnostici delle assunzioni sono soddisfatti, il deployment può procedere con fiducia. Se il limite è elevato o i diagnostici indicano violazioni, i professionisti sono guidati a ritardare il deployment, raccogliere dati più rappresentativi o applicare tecniche di debiasing.
• Evitare la "falsa fiducia" spesso fornita dai metodi di reweighting esistenti che tendono a sottostimare l'errore di generalizzazione.

Il documento conclude sottolineando i limiti, tra cui il focus su dati categorici a bassa dimensionalità (sebbene siano discussi estensioni per dati continui) e la difficoltà intrinseca della stima della densità. Tuttavia, gli autori affermano che il framework proposto offre un passo fondamentale verso modelli di predizione medica più sicuri e generalizzabili.