Sintesi Tecnica: Selezione delle Covariate Adattiva all'Ambiente (EACS)

Definizione del Problema

Il documento affronta una lacuna critica nella predizione Out-of-Distribution (OOD): il fallimento empirico delle strategie che limitano rigorosamente i modelli alle covariate causali o invarianti. Sebbene teoricamente fondate sul principio che i meccanismi causali rimangano stabili tra gli ambienti, tale selezione "solo causale" spesso ottiene prestazioni inferiori rispetto alla standard Empirical Risk Minimization (ERM) nella pratica.

Gli autori identificano il meccanismo primario di questo fallimento nella presenza di genitori causali non osservati. Quando viene osservato solo un sottoinsieme dei genitori causali di un esito, le covariate non causali agiscono spesso come proxy per questi genitori non osservati.

• Il Compromesso: Se la relazione tra la proxy e il genitore non osservato rimane stabile sotto uno shift di distribuzione, l'inclusione della proxy migliora l'accuratezza della predizione. Tuttavia, se lo shift perturba direttamente la proxy o interrompe la relazione proxy-genitore, la proxy diventa spuria e danneggia le prestazioni.
• La Sfida Centrale: Il sottoinsieme ottimale di covariate non è universale; dipende dal tipo specifico di shift incontrato. Poiché il tipo di shift non è direttamente osservabile, la sfida consiste nel determinare, basandosi esclusivamente sulla distribuzione non etichettata delle covariate dell'ambiente target, se una covariate proxy rimanga affidabile o sia diventata dannosa.

Metodologia: Selezione delle Covariate Adattiva all'Ambiente (EACS)

La soluzione proposta, Environment-Adaptive Covariate Selection (EACS), è un algoritmo che apprende una mappatura dai riassunti a livello di ambiente della distribuzione delle covariate al sottoinsieme ottimale di covariate per quello specifico ambiente.

1. Framework e Assunzioni

• Modello Causale: I dati sono modellati tramite un Modello Causale Strutturale (SCM) con un esito $Y$, genitori causali osservati $C_s$, genitori causali non osservati $U$ e covariate non causali osservate $X$ (che possono fungere da proxy per $U$).
• Classe di Shift: Gli ambienti differiscono tramite interventi sulle covariate $(C_s, U, X)$, mentre l'equazione strutturale per $Y$ rimane invariante.
• Condizione di Ottimalità: Il sottoinsieme ottimale di covariate $z^*(e)$ è una funzione dell'intervento $i(e)$. EACS mira a apprendere un selettore $g$ che mappa una rappresentazione dell'ambiente $u_e$ verso $z^*(e)$.

2. Componenti dell'Algoritmo

EACS consiste in due fasi principali:

1. Rappresentazione dell'Ambiente ($u_e$): Un riassunto della distribuzione delle covariate target. Può essere:
   • Artigianale (Hand-crafted): Statistiche semplici (ad es., varianze, correlazioni) derivate dalla conoscenza del dominio (come dimostrato nell'esempio di esecuzione).
   • Appresa (Learned): Rappresentazioni apprese da dati multi-ambiente tramite encoder invarianti alla permutazione (ad es., DeepSets) per catturare caratteristiche distribuzionali complesse.
2. Selettore ($g$): Un modello che mappa $u_e$ a un sottoinsieme di covariate. Il documento propone due implementazioni:
   • Selettore Discreto: Seleziona da una libreria finita di sottoinsiemi candidati $\mathcal{Z}$. È addestrato minimizzando il rischio empirico del sottoinsieme selezionato attraverso gli ambienti di addestramento. Questa versione offre garanzie teoriche e interpretabilità.
   • Soft-Gating (Continuo) Selector: Produce un vettore di gating continuo $\tilde{z}_e \in (0, 1)^p$ applicato elemento per elemento alle covariate. Il predittore e la rete di gating sono addestrati congiuntamente per minimizzare il rischio mediato sull'ambiente. Questa versione scala a contesti ad alta dimensionalità dove l'enumerazione dei sottoinsiemi è impraticabile.

3. Incorporazione dei Vincoli Causali

Il framework consente l'integrazione della conoscenza causale a priori. Se un sottoinsieme di covariate $S$ è noto come genitore causale, la libreria dei candidati è vincolata a includere solo sottoinsiemi contenenti $S$. Ciò riduce lo spazio di ricerca e migliora le prestazioni, in particolare quando le dimensioni del campione sono ridotte.

4. Garanzie Teoriche

Per il selettore discreto, il documento stabilisce limiti a campioni finiti sull'eccesso di rischio (excess risk). L'errore si decompone in:

• Errore di stima entro l'ambiente: Diminuisce con la dimensione del campione $n$ e la dimensione della libreria $|\mathcal{Z}|$.
• Errore di selezione tra gli ambienti: Diminuisce con il numero di ambienti di addestramento $m$ e la complessità (complessità di Rademacher) della classe del selettore.
  Gli autori dimostrano l'ottimalità asintotica nelle condizioni in cui la rappresentazione dell'ambiente è sufficientemente informativa da distinguere tra interventi che richiedono diversi sottoinsiemi di covariate.

Contributi Chiave

1. Identificazione del Meccanismo: Il documento identifica i genitori causali non osservati come un meccanismo specifico che causa il fallimento della selezione puramente causale. Dimostra che le proxy non causali non sono intrinsecamente spurie, ma sono condizionatamente utili a seconda dello shift.
2. Utilità della Proxy Dipendente dallo Shift: Stabilisce che l'utilità di una proxy dipende dallo shift e che le firme osservabili nella distribuzione non etichettata delle covariate (ad es., cambiamenti nella struttura di varianza o correlazione) possono diagnosticare l'affidabilità della proxy.
3. Algoritmo EACS: La proposta di un framework unificato che apprende regole di selezione delle covariate specifiche per l'ambiente. Colma il divario tra la selezione causale statica e l'ERM, adattandosi alle firme distribuzionali dell'ambiente target.
4. Validazione Teorica ed Empirica: Gli autori forniscono garanzie teoriche per il selettore discreto e dimostrano guadagni empirici rispetto a baseline causali statiche, invarianti e non adattive attraverso diversi shift.

Risultati Empirici

Il metodo è stato valutato su simulazioni e due dataset del mondo reale:

• Simulazioni: EACS si avvicina alle prestazioni di un predittore "oracle" (che conosce il sottoinsieme ottimale per ogni shift) quando sono disponibili sufficienti ambienti di addestramento e riassunti informativi. Supera i metodi causali e invarianti statici quando gli shift interrompono le relazioni tra le proxy.
• Dataset Bike-Sharing: In un contesto con molti ambienti (giorni) ma pochi campioni per ambiente, EACS ha ottenuto il MSE (Mean Squared Error) più basso tra le baseline (inclusi Lasso, Anchor Regression e Invariant Causal Prediction). Notevolmente, ICP è fallito rifiutando tutti i sottoinsiemi, collassando in un modello basato solo sull'intercetta.
• Dataset ACS Income: In un contesto ad alta dimensionalità con meno ambienti (stati) ma molti campioni, la variante soft-gating di EACS ha ottenuto nuovamente il MSE medio più basso, superando OLS, Lasso e Anchor Regression.

Significato e Rivendicazioni

Il documento sostiene che la predizione OOD robusta non richiede l'evitamento totale delle covariate spurie. Invece, la strategia ottimale è imparare quando tali covariate possono essere fidate.

• Adattamento Strutturato: EACS offre una forma strutturata di adattamento in cui i parametri di predizione sono condivisi, ma la scelta delle covariate varia per ambiente. Questo è presentato come un'alternativa a minore complessità e più interpretabile rispetto ai predittori contestuali completi che adattano tutti i parametri all'ambiente.
• Utilità Pratica: Il metodo fornisce una soluzione pratica per contesti in cui i genitori causali sono parzialmente non osservati, uno scenario comune in campi come la sanità e l'economia.
• Limitazioni: Gli autori notano con modestia che il successo dipende dalla disponibilità di rappresentazioni ambientali informative e da una sufficiente diversità negli ambienti di addestramento. La variante soft-gating introduce un errore di approssimazione e il metodo richiede un batch di covariate di test per costruire i riassunti, precludendo la predizione su singola osservazione. Inoltre, vincoli causali mal specificati possono impattare negativamente sulle prestazioni.