Small area estimation using incomplete auxiliary information

1. Il Problema

Nelle statistiche ufficiali, l'estimazione per piccoli domini (Small Area Estimation - SAE) basata su campioni probabilistici è spesso affetta da grandi varianze a causa delle dimensioni campionarie ridotte all'interno dei singoli domini. Parallelamente, sono sempre più disponibili fonti di dati ausiliari (registri amministrativi, big data, web scraping) che forniscono informazioni correlate alla variabile di studio. Tuttavia, queste fonti presentano due limiti critici:

1. Incompletezza: Coprono solo una parte della popolazione.
2. Origine non probabilistica: Non sono basate su un disegno di campionamento noto, rendendo incerto il meccanismo di selezione (non si può assumere la casualità mancante o MAR senza verifiche).

L'obiettivo del paper è sviluppare un metodo per integrare queste informazioni ausiliarie incomplete e non probabilistiche per migliorare la precisione delle stime dei totali di dominio, senza dover modellare il meccanismo di selezione del campione non probabilistico.

2. Metodologia

Gli autori propongono un approccio in due fasi che combina l'aggiustamento basato sul disegno di campionamento con modelli di area.

Fase 1: Stima tramite Calibrazione di Modello (Model-Calibration)

Questa fase mira a produrre stime dei totali di dominio che siano circa non distorte dal disegno (design-unbiased), sfruttando le informazioni parziali della fonte non probabilistica.

• Setup: Si dispone di un campione probabilistico $A$ e di una grande fonte non probabilistica $B$ (es. dati amministrativi o web-scraping) che si sovrappongono ($A \cap B$). Per le unità in $B$ si osserva una variabile proxy $y^*$ (rumorosa o con definizioni diverse da $y$).
• Modellazione dell'errore di misura: Sulla sovrapposizione $A \cap B$, viene stimato un modello di lavoro (working model) che lega la variabile di studio $y$ alla proxy $y^*$ e alle covariate ausiliarie $x$:
  $$y_i = g(y^*_i, x_i) + \varepsilon_i$$
  Il modello $g(\cdot)$ può essere lineare, non lineare o non parametrico (es. k-NN).
• Predizione: Il modello viene utilizzato per prevedere $y$ per le unità in $B \setminus A$.
• Calibrazione: Vengono calcolati pesi di calibrazione $w_i$ per le unità del campione probabilistico $A$. Questi pesi minimizzano la distanza rispetto ai pesi di disegno originali, rispettando vincoli che allineano il campione probabilistico alla struttura della fonte non probabilistica (es. totali di popolazione stimati per strati artificiali e totali delle predizioni $\hat{y}$).
• Risultato: Si ottiene uno stimatore $\hat{t}^{MC}_m$ per il totale del dominio $m$, che è robusto e non richiede assunzioni sul meccanismo di selezione di $B$.
• Varianza: La varianza è stimata tramite un metodo di bootstrap basato sul disegno (Rao-Wu-Yue), trattando il modello di predizione come fisso per preservare la consistenza del disegno.

Fase 2: Modellazione a Livello di Area (Fay-Herriot)

Le stime ottenute nella Fase 1 e le loro varianze bootstrap vengono utilizzate come input per un modello SAE di tipo area-level.

• Modello: Viene applicato un modello Fay-Herriot (FH) sui logaritmi dei totali stimati per stabilizzare la varianza (dato che i dati economici sono spesso asimmetrici).
• Covariate: Il modello FH utilizza covariate di livello area che sono esattamente note (es. dati censuari completi), evitando così di introdurre errori di misura nelle covariate del modello SAE.
• Output: Si ottengono predittori empirici migliori lineari non distorti (EBLUP) che "prendono forza" (borrow strength) attraverso i domini.

Confronto con l'Approccio Alternativo (Ybarra-Lohr)

Gli autori confrontano il loro metodo con una modifica del modello FH che incorpora la proxy come covariata con errore di misura (approccio Ybarra-Lohr, 2008). Questo approccio alternativo richiede l'assunzione di MAR (Missing At Random) per il meccanismo di selezione, che il metodo proposto evita.

3. Contributi Chiave

1. Integrazione senza MAR: Sviluppo di un metodo che integra dati probabilistici e non probabilistici senza assumere che il meccanismo di selezione della fonte non probabilistica sia ignorabile (MAR).
2. Flessibilità del modello: L'approccio permette relazioni complesse (lineari, hurdle, non parametriche) tra la proxy e la variabile di studio, adattandosi a diverse strutture dei dati.
3. Stima della varianza robusta: Utilizzo del bootstrap basato sul disegno per stimare la varianza degli stimatori calibrati, evitando dipendenze dalla correttezza del modello di lavoro.
4. Validazione empirica: Dimostrazione pratica su tre casi reali di statistica ufficiale lituana, superando i benchmark tradizionali.

4. Risultati Empirici

L'approccio è stato testato su tre applicazioni delle statistiche ufficiali della Lituania:

1. Fatturato mensile delle imprese: Integrazione con dati IVA (proxy molto forte, rapporto $|B|/|A| \approx 6.2$).
2. Investimenti annuali in beni tangibili: Integrazione con un sondaggio strutturale a taglio (proxy parziale, rapporto $|B|/|A| \approx 1.1$).
3. Offerte di lavoro trimestrali: Integrazione con annunci di lavoro web-scraped (proxy non probabilistica, rapporto $|B|/|A| \approx 2.1$).

Risultati principali:

• Miglioramento della precisione: L'approccio proposto (Calibrazione di Modello + FH) ha mostrato miglioramenti consistenti nella precisione a livello di dominio rispetto alle stime dirette (GREG, Horvitz-Thompson, Hajek) e rispetto all'approccio Ybarra-Lohr.
• Riduzione delle stime inaffidabili: Il numero di domini classificati come "inaffidabili" (RRMSE > 0.333) è drasticamente ridotto. Ad esempio, per le offerte di lavoro, i domini inaffidabili sono passati da 10.8 (stima diretta) a 0.5 (metodo proposto).
• Ruolo delle fasi: La maggior parte del guadagno in precisione deriva dalla Fase 1 (Calibrazione di Modello), che stabilizza le stime riducendo la coda superiore della distribuzione dell'errore. La Fase 2 (FH) offre un ulteriore affinamento, specialmente nei domini più variabili.
• Confronto con Ybarra-Lohr: L'approccio Ybarra-Lohr (che richiede MAR) ha mostrato prestazioni inferiori o meno uniformi, confermando che il metodo proposto è più robusto quando il meccanismo di selezione non è noto.
• Dipendenza dai dati: L'entità del miglioramento è correlata alla dimensione relativa della fonte non probabilistica e alla forza della relazione tra proxy e variabile di studio.

5. Significato e Implicazioni

Il paper offre una soluzione pratica e metodologicamente solida per le statistiche ufficiali moderne, dove l'integrazione di dati amministrativi e big data è essenziale ma problematica a causa della loro natura non probabilistica e incompleta.

• Implicazione Pratica: Permette agli statistici nazionali di utilizzare dati "sporchi" o parziali (come registri IVA o dati web) per migliorare le stime ufficiali senza dover assumere modelli di selezione non verificabili.
• Implicazione Metodologica: Dimostra che l'approccio basato sulla calibrazione di modello a livello di unità, seguito da una modellazione a livello di area, è superiore all'incorporazione diretta delle proxy come covariate errate nei modelli SAE, specialmente quando l'assunzione MAR è dubbia.

In sintesi, il metodo proposto rappresenta un avanzamento significativo nella data integration per la statistica ufficiale, offrendo stime più precise e affidabili per i piccoli domini in scenari di dati reali complessi.