Sintesi Tecnica: Oltre la Distribuzione di Addestramento: Valutare le Predizioni sotto Shift di Distribuzione e Bias di Selezione

Definizione del Problema

I modelli di machine learning spesso degradano quando vengono implementati in nuovi ambienti a causa di due sfide primarie, spesso coesistenti: lo shift covariato (covariate shift) e le etichette selettive (selective labels).

• Shift Covariato: La distribuzione marginale delle caratteristiche di input ($P(X)$) differisce tra la popolazione di addestramento (source) e quella di implementazione (target), mentre la relazione condizionale tra caratteristiche ed esiti ($P(Y|X)$) rimane stabile. La valutazione standard su un set di test tenuto da parte può mascherare il degrado delle prestazioni se gli errori si concentrano in regioni di caratteristiche comuni nell'ambiente target ma rare in quello source.
• Etichette Selettive: In domini ad alto rischio (ad esempio, sanità, prestito), le etichette degli esiti sono osservate solo per individui selezionati da una precedente politica decisionale (ad esempio, pazienti che ricevono un test diagnostico). Ciò induce un bias di selezione, poiché le etichette osservate sono tratte da un sottoinsieme della popolazione dipendente dalla decisione, rendendo i dati di addestramento una rappresentazione inaccurata dell'intera popolazione di implementazione.

La letteratura esistente affronta solitamente questi problemi isolatamente. Questo articolo studia la presenza congiunta di shift covariato e etichettatura selettiva, uno scenario comune nel processo decisionale clinico in cui modelli addestrati su specifici gruppi demografici vengono implementati in popolazioni diverse, eppure gli esiti sono osservati solo per i pazienti che seguono specifici protocolli clinici. Il problema centrale è valutare il rischio target (l'aspettativa della perdita nell'ambiente di implementazione) di un arbitrario modello predittivo black-box quando gli esiti target non sono osservati e gli esiti source sono osservati selettivamente.

Metodologia

1. Formalizzazione e Identificazione del Probleamento

Gli autori definiscono il rischio target $\psi$ come l'aspettativa della perdita nella popolazione target:
$$\psi := E_T [\ell(f(X), Y)]$$
dove $f$ è un predittore black-box fisso e $\ell$ è una funzione di perdita generale.

Per identificare $\psi$ dai dati osservabili, il documento si basa su quattro assunzioni standard:

1. Selezione su Osservabili (Source): Condizionatamente alle covariate $X$, l'osservabilità dell'etichetta $D$ è indipendente dall'esito $Y$ nella popolazione source ($Y \perp\!\!\!\perp D \mid X, R=1$).
2. Shift Covariato: La distribuzione condizionale degli esiti dati le caratteristiche è invariante tra i domini ($P_S(Y|X) = P_T(Y|X)$).
3. Positività: Ogni profilo di covariate ha una probabilità positiva di essere osservato nella popolazione source.
4. Rapporto di Verosimiglianza Limitato: Il rapporto di densità tra le distribuzioni target e source è limitato.

Sotto queste assunzioni, il rischio target è identificato tramite due espressioni equivalenti (Proposizione 3.5):

1. Aspettativa Target: $\psi = E_T [\mu(X)]$, dove $\mu(X) = E[\ell(f(X), Y) \mid X, R=1, D=1]$ è la perdita attesa condizionale nella source.
2. Aspettativa Source con Correzioni: $\psi = E_S \left[ \frac{p_T(X)}{p_S(X)} \cdot \frac{D}{\pi_S(X)} \cdot \ell(f(X), Y) \right]$, dove $\frac{p_T(X)}{p_S(X)}$ corregge lo shift covariato e $\frac{D}{\pi_S(X)}$ corregge le etichette selettive tramite il weighting dell'inverso della propensione (inverse propensity weighting).

2. Funzione di Influenza Efficiente (EIF)

Gli autori derivano la Funzione di Influenza Efficiente (EIF) per l'estimando del rischio target (Proposizione 3.6). L'EIF, $\phi(Z; P)$, combina i segnali provenienti sia dalle distribuzioni source che da quelle target:
$$\phi(Z; P) = \frac{R D}{\pi(X)} \frac{g(X)}{\rho} (L - \mu(X)) + \frac{1-R}{\rho} (\mu(X) - \psi)$$
dove:

• $R$ è l'indicatore di dominio (1 per source, 0 per target).
• $D$ è l'indicatore di osservabilità dell'etichetta.
• $\pi(X)$ è il punteggio di propensione aggregato.
• $g(X)$ è il punteggio di propensione del dominio.
• $\rho$ è la proporzione della popolazione target.
• $L$ è la perdita osservata.

Il primo termine rappresenta una correzione residua per le unità source etichettate, pesate per essere trasportate alla distribuzione target. Il secondo termine è un estimando plug-in per le unità target non etichettate, centrato rispetto al rischio target.

3. Estimatore Double Machine Learning (DML)

Sfruttando l'EIF, il documento propone un estimatore Double Machine Learning (DML) (Equazione 7):
$$\hat{\psi} = \frac{1}{n} \sum_{i=1}^n \left[ \frac{R_i D_i}{\hat{\pi}(X_i)\hat{g}(X_i)} (L_i - \hat{\mu}(X_i)) + \frac{1-R_i}{\hat{\rho}} \hat{\mu}(X_i) \right]$$
Le caratteristiche chiave di questo estimatore includono:

• Correzione del Bias: Utilizza la struttura dell'EIF per correggere i bias di primo ordine derivanti dagli errori nella stima delle funzioni di disturbo ($\mu, \pi, g$).
• Sample Splitting/Cross-fitting: Le funzioni di disturbo sono stimate su un campione ausiliario indipendente dal campione di valutazione per garantire la normalità asintotica.
• Robustezza: L'estimatore è semiparametricamente efficiente e $\sqrt{n}$-consistente, a condizione che gli estimatori delle funzioni di disturbo convergano a un tasso di $o_p(n^{-1/4})$. Ciò consente l'uso di metodi di machine learning flessibili e non parametrici (ad esempio, random forest, reti neurali) per la stima delle funzioni di disturbo senza richiedere tassi parametrici.

Risultati Chiave

Garanzie Teoriche

Il documento dimostra che il proposto estimatore DML è asintoticamente lineare e semiparametricamente efficiente (Teorema 3.7). Ciò implica:

• L'estimatore converge al vero rischio target con un tasso $\sqrt{n}$.
• L'estimatore è asintoticamente normale, consentendo la costruzione di intervalli di confidenza di tipo Wald validi per la valutazione del rischio pre-implementazione.
• L'estimatore rimane consistente anche se le funzioni di disturbo sono stimate con modelli ad alta dimensionalità o complessi, purché il loro prodotto di errori sia trascurabile.

Valutazione Empirica

Gli autori valutano il metodo utilizzando il database eICU Collaborative Research Database (oltre 200.000 ammissioni in terapia intensiva) e esperimenti semi-sintetici.

• Esperimenti Semi-Sintetici: Utilizzando covariate reali da eICU con esiti e osservabilità delle etichette simulati, l'estimatore DML ha dimostrato il minor bias e la minima RMSE rispetto a:
  • Un estimatore Plug-in ingenuo (che effettua il reweighting sia per lo shift che per la selezione).
  • Un estimatore per il solo Shift Covariato (CS) (ignorando il bias di selezione).
  • Un estimatore per le sole Etichette Selettive (SL) (ignorando lo shift covariato).
  • I risultati hanno mostrato che affrontare solo una fonte di bias porta a una rappresentazione errata sistematica del rischio di implementazione, specialmente all'aumentare della forza della selezione.
• Esperimenti nel Mondo Reale: Applicato a quattro esiti clinici (BNP, Troponina-I, CK, Ipossiemia) dove le etichette sono osservate solo quando vengono ordinati specifici test di laboratorio. L'estimatore DML ha prodotto stime del rischio significativamente diverse dai baseline in diversi ospedali, evidenziando come ignorare la natura congiunta di shift e selezione possa portare a sottostimare o sovrastimare il rischio del modello in nuovi contesti clinici.
• Controlli di Robustezza: L'estimatore ha mostrato una ragionevole robustezza alle violazioni delle assunzioni di positività e di rapporto di verosimiglianza limitato. Tuttavia, come previsto, le prestazioni sono peggiorate in presenza di violazioni della selezione su osservabili (confondimento non osservato) e dello shift condizionale dell'esito, sebbene sia rimasto competitivo rispetto ad altri benchmark.

Significato e Rivendicazioni

Il documento sostiene di essere il primo a formalizzare e fornire una soluzione per valutare i predittori black-box sotto la presenza simultanea di shift covariato e etichettatura selettiva.

• Impatto Pratico: Il lavoro fornisce un framework rigoroso per la valutazione pre-implementazione in domini ad alto rischio come la sanità, dove i modelli sono spesso addestrati su una popolazione ma implementati in un'altra, e dove i dati sugli esiti sono intrinsecamente incompleti a causa dei processi decisionali clinici.
• Contributo Metodologico: Stabilendo l'identificazione del rischio target e derivando la funzione di influenza efficiente, il documento colma il divario tra la letteratura sullo shift di distribuzione e quella sulle etichette selettive. Dimostra che l'inferenza valida è possibile anche quando le etichette target sono interamente non osservate e le etichette source sono biased.
• Equità e Sicurezza: Gli autori sottolineano che non tenere conto di queste sfide congiunte può rappresentare in modo sistematicamente errato le prestazioni per le sottopopolazioni sottorappresentate, potenzialmente perpetuando le iniquità. Il loro metodo consente ai professionisti di valutare le proprietà di equità e sicurezza in modo più accurato prima dell'implementazione.
• Ampia Applicabilità: Sebbene focalizzato su contesti clinici, il framework è applicabile a qualsiasi dominio che coinvolga modelli di fondazione o LLM dove il feedback è osservato selettivamente e le distribuzioni di implementazione differiscono da quelle di addestramento.

Gli autori mantengono una posizione modesta, riconoscendo che l'identificazione dipende da assunzioni sostanziali (ad esempio, la selezione su osservabili) che possono fallire nella pratica (ad esempio, se le decisioni cliniche dipendono da una gravità non misurata). Suggeriscono che, sebbene il loro metodo offra tolleranza verso piccole violazioni, il lavoro futuro potrebbe concentrarsi sul rilassamento di tali assunzioni o sull'uso di una raccolta dati adattiva.