Sintesi Tecnica: Valutazione di Programmi con Risultati Rilevati da Sensori Remoti

1. Definizione del Problema

La valutazione tradizionale dei programmi si basa spesso su esiti derivanti da sondaggi, che sono costosi, difficili da scalare e talvolta impraticabili da raccogliere. I ricercatori utilizzano sempre più le variabili rilevate da sensori remoti (ad esempio, immagini satellitari, attività dei telefoni cellulari, luci notturne) come proxy a basso costo e scalabili per gli esiti economici. Tuttavia, queste variabili sono misurazioni imperfette.

La sfida centrale affrontata riguarda l'inferenza causale in contesti in cui:

1. Campione Sperimentale: Contiene l'assegnazione casuale del trattamento ($D$) e le variabili rilevate da sensori remoti ($R$), ma l'esito economico reale ($Y$) è mancante a causa di vincoli di costo o logistici.
2. Campione Osservazionale: Collega l'esito ($Y$) alla variabile rilevata da sensori remoti ($R$), ma manca l'assegnazione casuale del trattamento (il trattamento può essere assente, deterministico o confuso).

I metodi esistenti spesso falliscono in questo scenario. Gli approveri approcci a due fasi (addestrare un predittore sul campione osservazionale e applicarlo al campione sperimentale) soffrono di bias di attenuazione quando la variabile rilevata da sensori remoti è una misura post-esito (ovvero, $Y$ causa $R$, non viceversa). Allo stesso modo, i metodi di Prediction-Powered Inference (PPI) spesso richiedono osservazioni congiunte di trattamento, esito e proxy in entrambi i bracci del trattamento, che sono frequentemente non disponibili, oppure si basano su assunzioni di stabilità riguardanti il meccanismo dell'esito che potrebbero non sussistere tra diverse popolazioni.

2. Metodologia e Assunzioni Identificative

Gli autori propongono un framework che identifica in modo non parametrico l'Average Treatment Effect (ATE) combinando dati sperimentali e osservazionali sotto specifiche assunzioni di stabilità.

2.1 Struttura Causale

Il framework modella la variabile rilevata da sensori remoti $R$ come post-esito: la variazione nell'esito economico $Y$ causa la variazione in $R$.

• Campione Sperimentale ($S=e$): Osserva $(X, D, R)$. $Y$ è mancante.
• Campione Osservazionale ($S=o$): Osserva $(X, Y, R)$. $D$ può essere mancante o confuso.

2.2 Assunzioni Chiave

1. Non Confondimento Sperimentale: Le standard assunzioni di randomizzazione valgono nel campione sperimentale ($D \perp \{Y(0), Y(1)\} | X, S=e$).
2. Stabilità della Variabile Rilevata da Sensori Remoti (L'Assunzione Centrale): La distribuzione condizionata della variabile rilevata da sensori remoti dato l'esito e il trattamento è stabile tra i campioni:
   $$f(R | X, D, Y, S=e) = f(R | X, D, Y, S=o)$$
   Ciò implica che il meccanismo di rilevamento (ad esempio, la fisica di come le immagini satellitari catturano la combustione delle colture) è invariante, anche se il meccanismo dell'esito (come il trattamento influenza $Y$) o il meccanismo del trattamento differiscono tra i campioni.
3. Condizioni di Completezza:
   • Casi Osservazionali Completi: Se $D$ è osservato e varia nel campione osservazionale, non sono necessarie ulteriori assunzioni.
   • Casi Osservazionali Incompleti: Se $D$ è mancante o deterministico nel campione osservazionale, è richiesta un'ulteriore assunzione di nessun effetto diretto: $D \perp R | X, Y$. Ciò significa che il trattamento influenza la variabile rilevata da sensori remoti solo attraverso il suo effetto sull'esito.

2.3 Strategia di Identificazione

L'effetto del trattamento è identificato tramite una restrizione del momento condizionale. Gli autori derivano una formula in cui la variabile rilevata da sensori remoti mette in relazione la variazione del trattamento sperimentale con la variazione dell'esito osservazionale.

Per un esito discreto $Y \in \{y_1, \dots, y_K\}$, il vettore del trattamento condizionale $\theta(X)$ è identificato da:
$$E[\Delta_e(X) - \Delta_o(X)^\top \theta(X) \mid X, R] = 0$$
Dove:

• $\Delta_e(X)$ riassume la variazione del trattamento nel campione sperimentale.
• $\Delta_o(X)$ riassume la variazione dell'esito nel campione osservazionale.

Ciò consente l'identificazione senza specificare la forma funzionale della relazione tra $R$ e $Y$. Il framework supporta rappresentazioni arbitrarie $H(X, R)$ della variabile rilevata da sensori remoti, purché soddisfino una condizione di rango (rilevanza).

3. Stima e Inferenza

3.1 Robustezza alla Misspecificazione

Gli autori sviluppano un algoritmo di stima (Algoritmo 1) utilizzando lo split del campione e il cross-fitting. Un contributo teorico chiave è che un'inferenza $n^{-1/2}$ valida è ottenibile senza condizioni di velocità (rate conditions) sui modelli di machine learning utilizzati per predire esiti, trattamenti o indicatori di campione.

• Lo stimatore rimane valido anche se i predittori (ad esempio, reti neurali profonde) sono misspecificati o mancano di velocità di convergenza.
• Questa robustezza deriva dalla ortogonalità di Neyman della restrizione del momento.

3.2 Efficienza e Strumenti Ottimali

Per migliorare l'efficienza, gli autori collegano il problema alla teoria degli strumenti ottimali (Chamberlain, 1987; Newey, 1993). La rappresentazione semiparametrica efficiente $H^*(R)$ prevede la predizione di:

1. L'esito $Y$ (dal campione osservazionale).
2. Il trattamento $D$ (dal campione sperimentale).
3. L'indicatore del campione $S$ (dai dati aggregati).
   L'uso di queste predizioni permette la riduzione della dimensionalità di un $R$ ad alta dimensione preservando l'informazione causale.

3.3 Test Diagnostici

Il framework fornisce due test diagnostici:

1. Test dello Strumento Debole: Verifica se la variabile rilevata da sensori remoti è sufficientemente informativa riguardo alla variazione dell'esito (analogamente agli strumenti deboli nella IV).
2. Test delle Restrizioni di Sovraidentificazione (J-Test): Se diverse rappresentazioni $H(R)$ e $H'(R)$ producono stime del trattamento significativamente diverse, ciò suggerisce una violazione delle assunzioni di stabilità o di nessun effetto diretto.

4. Risultati Empirici e Applicazioni

Il paper valida il metodo attraverso simulazioni calibrate e applicazioni nel mondo reale:

4.1 Simulazioni

• Bias: Il metodo standard a due fasi mostra un grande bias di attenuazione (sottostima degli effetti), mentre il metodo proposto è approssimativamente non distorto.
• Copertura: Gli intervalli di confidenza per il metodo proposto raggiungono una copertura nominale (circa 95%), mentre il metodo a due fasi sottostima gravemente la copertura (scendendo fino allo 0-25% in alcuni scenari).
• Confronto con PPI: Quando è disponibile un campione di validazione, i metodi PPI possono essere non distorti ma sono meno efficienti del metodo proposto. Se il campione di validazione non è casuale o i baseline differiscono, il PPI diventa distorto.

4.2 Applicazione 1: Smartcard e Povertà nei Villaggi (India)

• Contesto: Valutazione dell'effetto dei sistemi di pagamento biometrico sulla povertà nei villaggi.
• Configurazione: Il campione sperimentale ha trattamento e dati satellitari; il campione di validazione (non casuale) ha esiti e dati satellitari; il campione osservazionale ha esiti e dati satellitari.
• Risultato: Il metodo proposto produce stime vicine alla differenza di medie "oracle" (usando i dati completi sull'esito), nonostante utilizzi i dati sull'esito solo per un sottoinsieme di villaggi. Dimostra un potenziale significativo per la riduzione dei costi dei sondaggi.

4.3 Applicazione 2: Pagamenti per i Servizi Ecosistemici e Combustione delle Colture (India)

• Contesto: Valutazione degli incentivi per ridurre la combustione delle colture utilizzando immagini satellitari.
• Configurazione: Nessun esito sperimentale disponibile; solo un campione osservazionale collega i dati satellitari alla verità a terra (ground truth).
• Risultato: Il comune metodo a due fasi ha sottostimato l'effetto del trattamento del 47%. Il metodo proposto ha identificato un effetto significativamente maggiore (riduzione del 14,1% della combustione rispetto al 7,5% del metodo a due fasi), correggendo il bias di attenuazione inerente alla surrogazione post-esito.

5. Contributi Chiave e Significatività

1. Nuova Strategia di Identificazione: Il paper fornisce la prima formula di identificazione non parametrica per gli effetti del trattamento che combina dati sperimentali e osservazionali quando la proxy è una variabile post-esito, basandosi sulla stabilità del meccanismo di rilevamento piuttosto che sul meccanismo dell'esito.
2. Correzione dei Bias Comuni: Dimostra formalmente che il molto utilizzato metodo di predizione "a due fasi" soffre di bias di attenuazione in contesti post-esito, spiegando perché molti studi esistenti potrebbero sottostimare l'impatto delle intervezioni.
3. Inferenza Robusta: Stabilisce che un'inferenza valida è possibile anche con modelli di machine learning complessi e potenzialmente misspecificati, eliminando la necessità di rigide condizioni di velocità spesso richieste nel Double Machine Learning.
4. Diagnostica Pratica: Introduce restrizioni di sovraidentificazione testabili per validare le assunzioni fondamentali, permettendo ai ricercatori di controllare le violazioni di stabilità utilizzando diverse rappresentazioni dei dati di telerilevamento.
5. Guadagni di Efficienza: Sfruttando strumenti ottimali che predicono anche il trattamento e gli indicatori del campione, il metodo raggiunge una precisione superiore rispetto agli approcci standard.

Il paper conclude che, sebbene le variabili rilevate da sensori remoti siano imperfette, possono essere utilizzate rigorosamente per l'inferenza causale se la stabilità della tecnologia di rilevamento è plausibile. Questo framework consente ai ricercatori di ridurre significativamente i costi dei sondaggi mantenendo al contempo la validità statistica, particolarmente nell'economia ambientale e dello sviluppo.