Sintesi Tecnica: Augmented Inverse Hybrid Weighting

Definizione del Problema

Il documento affronta la sfida di generalizzare le inferenze statistiche da una popolazione sorgente a una popolazione target distinta quando si verificano scostamenti nelle distribuzioni (distribution shifts). Mentre gli approcci standard assumono uno scostamento dei covariati (covariate shift) — dove le discrepanze sono interamente spiegate dalle differenze nelle distribuzioni dei covariati osservati e corrette tramite la ricalibrazione del rapporto di densità — l'evidenza empirica suggerisce che tale assunzione spesso fallisca. Nei dataset multi-sito, gli intervalli di predizione basati esclusivamente sulla correzione dello scostamento dei covariati spesso non riescono a raggiungere la copertura nominale.

Gli autori identificano due limitazioni della ricalibrazione standard:

1. Errata Specificazione del Modello (Model Misspecification): I covariati potrebbero non spiegare completamente lo scostamento della distribuzione; le discrepanze residue possono essere non sistematiche e casuali.
2. Instabilità della Stima: Anche se lo scostamento dei covariati è reale, la stima dei rapporti di densità può essere instabile, portando a un'elevata varianza e a una quantificazione dell'incertezza inaffidabile.

Il documento propone un framework che modella lo scostamento della distribuzione come una combinazione di scostamenti sistematici (deterministici) e perturbazioni casuali residue. La componente sistematica è trattata come un bias da correggere tramite ricalibrazione, mentre la componente casuale residua è trattata come incertezza distributiva da gestire tramite il pooling dei dataset.

Metodologia

1. Modelli di Scostamento della Distribuzione

Gli autori formalizzano la discrepanza tra la legge sorgente ($P_s$) e la legge target ($P_t$) attraverso due componenti:

• Scostamento Deterministico: Un cambiamento sistematico e apprendibile in un sottoinsieme di covariati $D$, modellato da un rapporto di densità fisso $w_D(X_D)$.
• Perturbazione Casuale: Una perturbazione casuale centrata e non sistematica applicata alla popolazione intermedia. Questa è modellata da pesi casuali $W_j$ su una partizione dello spazio covariato-esito, che rappresentano gli effetti aggregati di fattori non osservati e non direzionali.

Il Modello di Scostamento Ibrido (Hybrid Shift Model) combina questi elementi: la sorgente viene prima spostata deterministicamente verso una legge intermedia $P'$, la quale viene poi perturbata casualmente per produrre la legge target $P_t$.

2. Stimatori

Il documento introduce due stimatori basati su questa decomposizione:

Augmented Inverse Distance Weighting (AIDW)

Progettato per scostamenti puramente casuali (dove non esiste alcuno scostamento sistematico dei covariati).

• Meccanismo: Invece di ricalibrare le singole osservazioni (il che tenterebbe di correggere il rumore imprevedibile), l'AIDW aggrega i dati sorgente e target a livello di dataset.
• Formulazione: Utilizza un termine di aumento della regressione $\hat{Q}(X)$ e una combinazione pesata delle medie sorgente e target:
  $$\hat{\theta}_{AIDW}(\alpha) = \frac{1}{n_s}\sum (Y_i - \hat{Q}(X_i)) + \alpha \frac{1}{n_s}\sum \hat{Q}(X_i) + (1-\alpha) \frac{1}{n_t}\sum \hat{Q}(X'_i)$$
• Ottimizzazione: Il peso $\alpha$ è scelto per minimizzare la varianza asintotica, scambiando l'incertezza di campionamento con l'incertezza distributiva (quantificata da un parametro di distanza distributiva $\delta^2_{dist}$).
• Intuizione Chiave: Sotto perturbazioni casuali, la ricalibrazione dei singoli elementi è subottimale perché insegue fluttuazioni casuali. Il pooling riduce la varianza, e l'AIDW raggiunge una varianza asintotica inferiore rispetto ai metodi di bilanciamento esatto dei covariati in questo scenario.

Augmented Inverse Hybrid Weighting (AIHW)

Progettato per scostamenti misti (sia deterministici che casuali).

• Meccanismo: L'AIHW interpola tra la ricalibrazione standard (per la parte sistematica) e il pooling del dataset (per la parte casuale).
• Formulazione: Ricalibra i dati sorgente utilizzando una stima del peso deterministico $\hat{w}_D(X_D)$, ma utilizza una funzione di aumento ibrida $\hat{m}_n$ che fonde la regressione a pieni covariati $\hat{Q}$ e la regressione a covariati ridotti $\hat{Q}_D$:
  $$\hat{m}_n = \hat{\lambda}_D \hat{Q} + (1-\hat{\lambda}_D) \hat{Q}_D$$
  dove $\hat{\lambda}_D$ dipende dal peso deterministico stimato, dalle dimensioni del campione e dalla distanza distributiva.
• Ottimalità: Lo stimatore minimizza l'Errore Quadratico Medio (MSE) di ordine principale, bilanciando adattivamente i contributi di varianza derivanti dal campionamento della sorgente, dal campionamento del target e dalle perturbazioni casuali.

3. Implementazione Pratica

Il documento fornisce strumenti per implementare tali metodi:

• Stima di $\delta^2_{dist}$: Una regola di calibrazione "plug-in" utilizzando statistiche di differenza delle medie di funzioni residue per stimare l'intensità delle perturbazioni casuali.
• Diagnosi di Scostamenti Ibridi: Uno strumento diagnostico (Corollario 3) per testare se un insieme candidato di covariati $D$ cattura lo scostamento sistematico. Se i residui dopo la ricalibrazione tramite $D$ mostrano ancora un comportamento non normale, l'insieme $D$ potrebbe essere incompleto.
• Stima di $w_D$: Strategie pratiche includono la proiezione dei rapporti di densità dello spazio completo sui selezionati coordinati deterministici o l'uso di stimatori regolarizzati per evitare l'overfitting del rumore casuale.

Risultati Chiave

Proprietà Teoriche

• Normalità Asintotica: È dimostrato che sia l'AIDW che l'AIHW sono asintoticamente normali sotto i proposti modelli di scostamento casuale e ibrido.
• Ottimalità della Varianza:
  • È dimostrato che l'AIDW ha una varianza asintotica strettamente inferiore rispetto agli stimatori di bilanciamento esatto dei covariati quando sono presenti perturbazioni casuali.
  • L'AIHW è derivato come lo stimatore ottimale per l'MSE all'interno di una classe di stimatori aumentati che preservano l'ortogonalità di Neyman rispetto al peso deterministico.
• Interpolazione: Si dimostra che i metodi interpolano tra gli approcci esistenti: l'AIHW si riduce ad AIDW quando lo scostamento deterministico è assente, e ad AIPW standard quando le perturbazioni casuali sono assenti.

Valutazione Empirica

Gli esperimenti sono stati condotti su tre dataset multi-sito reali:

1. Pipeline Project (Studio di Replicazione): Caratterizzato da discrepanze non sistematiche. Risultato: AIDW e AIHW hanno ridotto significativamente l'Errore Quadratico Medio (RMSE) e migliorato la copertura empirica rispetto ad AIPW e SBW, che soffrivano di sotto-copertura.
2. Dati KSJ (Panel Diversificati): Caratterizzati da un mix di scostamenti sistematici e casuali. Risultato: L'AIHW (specialmente con selezione di variabili tramite miscela gaussiana) ha ottenuto l'RMSE più basso. Anche l'AIDW ha performato bene, suggerendo che il modello di perturbazione casuale sia un'approssimazione robusta anche in contesti misti.
3. Dati ACS Income (Scostamenti Geografici): Uno stress test con scostamenti complessi e potenzialmente errati nella specificazione. Risultato: Sia AIDW che AIHW hanno superato costantemente i baseline standard in termini di RMSE e copertura, dimostrando robustezza anche quando il modello di scostamento sottostante è difficile da specificare.

Significato e Rivendicazioni

Il documento sostiene di fornire un framework principato per l'inferenza robusta sotto scostamento di distribuzione che va oltre la scelta binaria tra "scostamento dei covariati" o "assenza di scostamento".

• Novità: Introduce un modello che separa esplicitamente il bias sistematico (corretto tramite ricalibrazione) dalla incertezza distributiva residua (gestita tramite pooling).
• Robustezza: I metodi proposti scambiano l'incertezza di campionamento e quella distributiva tramite una metrica di distanza basata sui dati, offrendo robustezza in diversi scenari di scostamento dove la ricalibrazione standard fallisce.
• Praticità: Gli autori forniscono algoritmi concreti per stimare i parametri di calibrazione necessari e per diagnosticare la struttura dello scostamento, rendendo il framework teorico applicabile a dati multi-sito reali.
• Limitazioni: Gli autori notano con modestia che la teoria assume un regime asintotico bilanciato ($n_s, n_t, J \to \infty$), e che la selezione automatica e basata sui dati dell'insieme deterministico $D$ con garanzie end-to-end rimane una sfida aperta. Riconoscono inoltre che, sebbene i metodi migliorino la copertura, non pretendono di catturare perfettamente tutti i complessi pattern di scostamento del mondo reale.