Econometric Inference with Machine-Learned Proxies: Partial Identification via Data Combination

Questo articolo propone un quadro per l'identificazione parziale e l'inferenza nei modelli econometrici che utilizzano proxy generati da machine learning, combinando un campione principale e uno di validazione tramite un approccio di trasporto ottimo che non richiede assunzioni restrittive sulla procedura ML né metodi di ricampionamento.

L'essenziale

Il Problema: La "Fotocopia Sbiadita" dell'Economia

Immagina di voler studiare come cambia il clima in una città, ma non hai termometri. Hai solo delle fotocopie sbiadite di vecchie foto del cielo prese da satelliti.
In economia succede spesso: i ricercatori vogliono studiare cose invisibili (come il "rischio politico" di un'azienda o il "sentimento" dei consumatori), ma non possono misurarle direttamente. Usano quindi l'Intelligenza Artificiale (AI) per creare delle stime (dette "proxy") basandosi su dati complessi come testi o immagini.

Il problema è che queste stime non sono perfette. Sono come quelle foto sbiadite: a volte l'AI sbaglia a leggere il cielo. Se un economista usa queste stime sbagliate direttamente nei suoi calcoli, i risultati finali saranno distorti, come se cercasse di prevedere il meteo guardando una foto sfocata.

La Soluzione: Il "Ponte" tra Due Mondi

L'autore di questo paper propone un metodo geniale per risolvere il problema senza dover conoscere esattamente quanto è sbiadita la foto o quanto è intelligente l'AI.

Immagina di avere due gruppi di persone:

1. Il Gruppo A (Il mondo reale): Ha le foto sbiadite (le stime dell'AI) e i dati economici, ma non sa com'è il cielo davvero.
2. Il Gruppo B (Il gruppo di controllo): Ha sia le foto sbiadite che le foto originali nitide (i dati veri), ma non ha i dati economici.

L'idea tradizionale era dire: "Usiamo la foto sbiadita come se fosse quella vera". L'idea di Li è diversa: "Usiamo la foto sbiadita come un ponte".

Poiché il Gruppo B ha sia la foto sbiadita che quella vera, può dirci: "Quando la foto sbiadita mostra un cielo grigio, il cielo vero è grigio al 90% delle volte, ma a volte è blu".
Il nostro metodo usa questa informazione per collegare il Gruppo A al Gruppo B. Non cerchiamo di "correggere" la foto sbiadita, ma usiamo il ponte per capire quali sono i possibili cieli veri che potrebbero corrispondere a quella foto.

Il Metodo: Il Gioco del "Trasporto Ottimale"

Per fare questo collegamento matematico, l'autore usa una tecnica chiamata Trasporto Ottimale.
Facciamo un'analogia con i camioncini delle consegne:

• Hai un magazzino pieno di "casi reali" (il Gruppo B) e un magazzino pieno di "casi stimati" (il Gruppo A).
• Il tuo obiettivo è capire come spostare i camioncini dal magazzino A a quello B in modo che corrispondano il più possibile alla realtà, rispettando le regole del gioco.
• Invece di fare questo calcolo per ogni singola foto (che sarebbe impossibile se le foto sono infinite), il paper propone di fare un unico calcolo globale che considera tutti i camioncini insieme. È come se invece di pianificare il viaggio di ogni singolo camioncino, pianificassi il flusso totale del traffico. Questo rende il calcolo fattibile anche per computer potenti.

Il Risultato: Non una Risposta Unica, ma un "Cerchio di Sicurezza"

Poiché le stime dell'AI non sono perfette, il metodo non ti dà una risposta unica e precisa (es. "Il rischio è del 15%"). Invece, ti dà un intervallo sicuro (es. "Il rischio è tra il 10% e il 20%").

• Se l'AI è molto brava, il cerchio è piccolo e la risposta è precisa.
• Se l'AI è scarsa, il cerchio è grande, ma è comunque vero. Non ti inganna mai.

Questo è fondamentale: il metodo dice "Non sappiamo la risposta esatta perché i dati sono imperfetti, ma sappiamo con certezza che la risposta vera sta dentro questo cerchio".

Perché è Importante?

1. Nessuna regola rigida: Non devi fidarti ciecamente dell'AI o sapere come funziona la sua matematica interna. Funziona anche con le AI più strane e complesse.
2. Risparmio di dati: Non serve avere un campione enorme di dati "veri" per ogni singola persona nel tuo studio. Ti basta un piccolo gruppo di controllo che abbia sia le stime che i dati veri.
3. Sicurezza: I risultati sono validi anche se l'AI sbaglia spesso. Ti dice solo che la tua conclusione è meno precisa, ma non falsa.

In Sintesi

Questo paper è come un manuale di sopravvivenza per economisti nell'era dell'AI. Ci insegna che non dobbiamo avere paura di usare stime imperfette generate dalle macchine. Se sappiamo come collegarle intelligentemente a un piccolo gruppo di dati veri (usando il "ponte" e il "gioco dei camioncini"), possiamo trarre conclusioni economiche solide, anche quando la verità esatta ci rimane un po' nascosta.

Invece di cercare la "pallina d'oro" (la risposta perfetta), costruiamo una "gabbia di sicurezza" che contiene sempre la verità, indipendentemente da quanto sia sbiadita la nostra foto.

Sommario tecnico

1. Il Problema

Nella ricerca economica e sociale contemporanea, è sempre più comune utilizzare dati complessi e non strutturati (testi, immagini) per costruire variabili proxy per concetti latenti non osservabili, tramite algoritmi di Machine Learning (ML). Tuttavia, l'uso ingenuo di queste proxy ML ("plug-in") nei modelli econometrici a valle (downstream) comporta gravi problemi:

• Errore di misura non classico: L'errore di previsione ($Z - \hat{Z}$) può dipendere da $Z$ stesso, essere correlato con le covariate osservate $W$ e persino essere endogeno al modello economico.
• Assenza di garanzie asintotiche: Le regole di previsione ML sono spesso così complesse che è difficile caratterizzare le loro proprietà statistiche (tassi di convergenza, consistenza).
• Dati incompleti: Spesso non si dispone di un campione di validazione completo che contenga simultaneamente le covariate $W$, la variabile latente $Z$ e la proxy $\hat{Z}$. Spesso si ha solo un campione di validazione con $(Z, \hat{Z})$ e un campione principale con $(W, \hat{Z})$.

L'approccio tradizionale fallisce perché tratta la proxy come un sostituto rumoroso diretto, ignorando la struttura dell'errore e la non osservabilità di $Z$.

2. Metodologia Proposta

L'autore propone un quadro di identificazione parziale basato sulla combinazione di due dataset distinti, senza richiedere assunzioni restrittive sulla procedura ML a monte.

A. Impostazione dei Dati

1. Campione Downstream: Contiene covariate osservate $W$, input non strutturati $X$ e la proxy $\hat{Z} = g(X)$. Non contiene $Z$.
2. Campione di Validazione (Auxiliary): Contiene osservazioni congiunte su $Z$, $X$ (e quindi $\hat{Z}$) e potenzialmente una variabile di stratificazione $S = h(X)$. Non contiene necessariamente $W$.

B. Il Concetto Chiave: $\hat{Z}$ come Variabile di Collegamento

Invece di trattare $\hat{Z}$ come un sostituto di $Z$, l'autore lo tratta come una variabile di collegamento (linking variable) che permette di trasferire informazioni dalla distribuzione congiunta $(Z, \hat{Z})$ del campione di validazione alle condizioni di momento del campione downstream.

C. Identificazione tramite Trasporto Ottimo (Optimal Transport - OT)

Il cuore metodologico è una caratterizzazione dell'insieme identificato $\Theta_I$ basata sul Trasporto Ottimo incondizionato:

• Decoupling: Si introduce una rappresentazione aumentata con variabili ausiliarie $(\hat{Z}', S')$ per separare i due campioni.
• Condizioni di Momento: Si impone che le distribuzioni marginali dei campioni siano compatibili con una distribuzione congiunta che soddisfi le condizioni di momento strutturali $E[q(W, Z; \theta)] = 0$ e che le variabili di collegamento coincidano quasi certamente ($\hat{Z} = \hat{Z}'$).
• Caratterizzazione Min-Max: L'insieme identificato è caratterizzato come l'insieme dei parametri $\theta$ per cui esiste una distribuzione di accoppiamento che rende nullo il valore atteso di un vettore di momenti aumentato.
• Dualità di Kantorovich: Il problema di ottimizzazione (minimizzare il costo di trasporto soggetto a vincoli) viene trasformato in un problema di programmazione convessa tramite la dualità di Kantorovich. Questo permette di approssimare lo spazio infinito-dimensionale delle funzioni duali utilizzando spazi a setaccio (sieve spaces) (es. polinomi o basi di funzioni note).

D. Inferenza Statistica

Per testare se un candidato $\theta$ appartiene all'insieme identificato, l'autore sviluppa una procedura di inferenza che evita il resampling (bootstrap):

• Sample Splitting e Cross-Fitting: I dati vengono divisi in due fold. Un fold stima i moltiplicatori di Lagrange e le funzioni duali (tramite ottimizzazione convessa), mentre l'altro fold valuta la statistica del test.
• Valori Critici Analitici: Sfruttando la separazione dei dati e le proprietà asintotiche, la distribuzione della statistica del test è limitata superiormente da una distribuzione normale standard. Questo permette di usare valori critici standard (es. quantili della normale) senza simulazioni costose.
• Controllo della Dimensione: La procedura garantisce il controllo asintotico della dimensione del test (size control) anche in presenza di errori di misura complessi.

3. Contributi Chiave

1. Indipendenza dalle Proprietà Asintotiche del ML: Il metodo non richiede che la proxy $\hat{Z}$ sia consistente o che si conoscano i suoi tassi di convergenza. La validità dipende solo dalla disponibilità di un campione di validazione congiunto $(Z, \hat{Z})$.
2. Identificazione Parziale Sharp: Fornisce un insieme identificato "sharp" (il più stretto possibile dati i vincoli) basato su un carattere di trasporto ottimo incondizionato, superando le difficoltà computazionali dei metodi condizionali (che richiederebbero di risolvere un problema OT per ogni valore di $\hat{Z}$).
3. Flessibilità nella Dimensione e Spazio: Il metodo gestisce casi in cui $Z$ e $\hat{Z}$ hanno dimensioni diverse o spazi diversi (es. $Z$ binario, $\hat{Z}$ probabilità continue o vettori di classificazione).
4. Inferenza Senza Resampling: Offre una procedura di test computazionalmente efficiente che non richiede bootstrap, rendendola praticabile anche con grandi dataset.
5. Generalizzazione alla Combinazione di Dati: Il risultato teorico si applica a problemi generali di combinazione di dati (data combination) dove le variabili non sono osservate congiuntamente in un unico campione.

4. Risultati e Simulazioni

Le simulazioni Monte Carlo confermano le proprietà teoriche:

• Controllo della Dimensione (Size Control): Il test proposto controlla correttamente il tasso di errore di Tipo I (rifiuto dell'ipotesi nulla vera) in tutte le configurazioni di dimensione del campione e livelli di rumore di previsione. Al contrario, l'approccio "plug-in" ingenuo fallisce drammaticamente, mostrando un'eccessiva rifiutazione (over-rejection) quando l'errore di previsione è presente.
• Potenza e Informatività: L'ampiezza dell'insieme identificato (e quindi la precisione dell'inferenza) dipende dalla qualità della proxy ML. Proxy più accurate portano a insiemi identificati più stretti.
• Ruolo della Stratificazione: L'introduzione di una variabile di stratificazione $S$ (che cattura sottogruppi con diversa accuratezza di previsione) permette di stringere ulteriormente i limiti identificati, migliorando l'inferenza anche se la proxy globale non è perfetta.
• Proxy Continue vs Discrete: L'uso di proxy continue (es. probabilità previste) invece di quelle binarizzate fornisce informazioni più ricche, portando a insiemi di confidenza più stretti, specialmente con campioni più grandi.

5. Significato e Implicazioni

Questo lavoro rappresenta un ponte fondamentale tra l'econometria e il Machine Learning applicato.

• Per i Ricercatori Applicati: Offre un modo rigoroso per utilizzare misure ML complesse senza dover assumere che il modello ML sia "perfetto" o che l'errore sia classico. Permette di scegliere l'algoritmo ML più performante per il compito specifico, delegando la correzione dell'errore di misura al framework di identificazione parziale.
• Per la Teoria Econometrica: Introduce una nuova prospettiva sul ruolo delle proxy, vedendole non come sostituti rumorosi ma come strumenti di riduzione dimensionale che collegano campioni diversi.
• Implicazioni Future: Suggerisce che la valutazione degli algoritmi ML per scopi econometrici dovrebbe basarsi non solo sull'accuratezza predittiva ($Z$ vs $\hat{Z}$), ma sulla capacità di preservare l'informazione rilevante per le condizioni di momento strutturali.

In sintesi, il paper fornisce un toolkit robusto e computazionalmente trattabile per condurre inferenza econometrica in un'era dominata da dati non strutturati e modelli ML complessi, garantendo validità statistica anche in assenza di garanzie teoriche complete sulla procedura di apprendimento automatico.