Model Assisted Data Integration: An unbiased sampling strategy to use nonprobability data

1. Il Problema

L'obiettivo principale della statistica d'indagine è produrre stime con bias minimo e varianza accettabile, minimizzando il carico di risposta. Negli ultimi anni, c'è stato un crescente interesse nell'utilizzare dati non probabilistici (NPD - Non-Probability Data), come dati amministrativi, registri aziendali o dati di sensori, per ridurre costi e oneri.

Tuttavia, l'uso esclusivo di NPD presenta sfide critiche:

• Mancanza di controllo sul meccanismo di selezione: Non si conoscono le probabilità di inclusione, rendendo difficile correggere i bias di selezione (es. sottocopertura di certi gruppi demografici).
• Assunzioni non verificabili: Molti metodi esistenti (come imputazione, propensione di risposta o calibrazione) richiedono assunzioni forti (es. "Missing At Random" - MAR) che sono spesso difficili o impossibili da verificare nella pratica.
• Limiti dei campioni piccoli: Quando si integra un NPD con un piccolo campione probabilistico, metodi tradizionali come il GREG (Generalized Regression) possono fallire se il numero di variabili ausiliarie è elevato rispetto alla dimensione del campione, portando a matrici singolari, pesi instabili o stime non calcolabili.
• Sovradattamento (Overfitting): L'uso di modelli di Machine Learning (ML) su piccoli campioni probabilistici rischia di sovradattarsi ai dati, producendo stime distorte e varianze stimate errate (spesso nulle).

2. Metodologia Proposta: MADI

Gli autori propongono una nuova strategia di campionamento chiamata Model Assisted Data Integration (MADI). Questa strategia estende l'estimatore "Data Integration" (DI) di Kim e Tam (2021) integrando modelli di Machine Learning arbitrari in un framework di stima basato sul disegno di campionamento.

Concetti Chiave e Struttura

1. Partizione della Popolazione: La popolazione $U$ è divisa in due sottoinsiemi disgiunti:
   • $A$ (Non-Probability Data): Un insieme di unità per cui la variabile di studio $y$ è nota (es. da un registro), ma il meccanismo di selezione è sconosciuto.
   • $B$ (Complemento): L'insieme delle unità non coperte da $A$.
2. Campionamento: Si estrae un campione probabilistico $s_B$ esclusivamente dall'insieme $B$ (le unità non coperte dal NPD).
3. Stimatore MADI: L'estimatore del totale di popolazione $\hat{t}_{y, MADI}$ è definito come:
   $$\hat{t}_{y, MADI} = \sum_{i \in A} y_i + \sum_{i \in B} \mu(x_i, A) + \sum_{i \in s_B} \frac{y_i - \mu(x_i, A)}{\pi_{iB}}$$
   Dove:
   • $\sum_{i \in A} y_i$: Somma dei valori noti nel NPD.
   • $\mu(x_i, A)$: Un modello (es. Random Forest, OLS) addestrato sui dati di $A$ (NPD) per prevedere $y$ basandosi sulle variabili ausiliarie $x$.
   • Il terzo termine è un stimatore di differenza basato sul campione probabilistico $s_B$, che corregge l'errore di previsione del modello $\mu$ sulla popolazione $B$.

Proprietà Tecniche

• Non Distorsione (Design-Unbiased): Poiché il modello $\mu$ è addestrato su $A$ (indipendente dal campione probabilistico $s_B$) e la correzione avviene tramite uno stimatore di differenza su $s_B$, l'estimatore è non distorto per qualsiasi modello $\mu$, anche se mal specificato.
• Stima della Varianza: Viene proposto uno stimatore di varianza non distorto basato sulla varianza dei residui nel campione probabilistico. Questo risolve il problema dell'overfitting: se il modello è pessimo, la varianza stimata sarà alta, segnalando l'incertezza, ma la stima rimarrà corretta.
• Flessibilità del Modello: Permette l'uso di modelli complessi di Machine Learning (come Random Forest o Reti Neurali) che richiederebbero grandi quantità di dati per essere addestrati efficacemente. Poiché il modello è addestrato su $A$ (spesso molto grande), il rischio di overfitting sul modello è ridotto, mentre la correzione di bias avviene sul campione probabilistico.

3. Contributi Chiave

1. Riduzione delle Assunzioni: A differenza di altri metodi, MADI non richiede l'assunzione di "Missing At Random" (MAR) per i dati non probabilistici. Gestisce il bias di selezione attraverso il campione probabilistico mirato su $B$.
2. Efficienza con Campioni Piccoli: Risolve il problema della singolarità delle matrici nei metodi GREG quando il rapporto variabili/campioni è sfavorevole, poiché il modello è addestrato sul grande dataset $A$, non sul piccolo campione $s_B$.
3. Riduzione del Carico di Campionamento: La strategia permette di ridurre drasticamente la dimensione del campione probabilistico necessario per raggiungere un certo livello di precisione, poiché la maggior parte dell'informazione proviene dal NPD.
4. Robustezza Operativa: È adatta ai cicli di produzione intensivi degli uffici statistici nazionali (NSO), utilizzando modelli ML "off-the-shelf" (come Random Forest) che richiedono poca sintonizzazione degli iperparametri.

4. Risultati delle Simulazioni

Gli autori hanno testato MADI utilizzando dati reali dal registro svedese su Reddito e Tassazione (2021), confrontandolo con stimatori tradizionali (HT, GREG) e varianti DI.

• Simulazione 1 (Bias e RMSE):

  • In scenari con bias di selezione forte (Missing Not At Random), MADI ha prodotto stime non distorte (bias vicino a zero) con qualsiasi modello (OLS o Random Forest).
  • Gli stimatori "naïve" (che applicano ML direttamente al campione senza la struttura MADI) hanno mostrato bias significativi.
  • MADI con Random Forest ($SRS_B-MADI_{RF}$) ha ottenuto l'errore quadratico medio (RMSE) più basso tra tutte le strategie, indipendentemente dalla dimensione del campione.
  • MADI ha mantenuto una copertura degli intervalli di confidenza vicina al 95%, a differenza del GREG che ha mostrato coperture inferiori con piccoli campioni e molte variabili.

• Simulazione 2 (Dimensione del Campione per CV Target):

  • Per raggiungere un coefficiente di variazione (CV) del 1%, MADI ha richiesto dimensioni campionarie molto inferiori rispetto agli stimatori HT e GREG tradizionali.
  • In molti scenari di bias di selezione, MADI ha richiesto meno di 100 unità nel campione probabilistico, contro le migliaia richieste dall'HT o le centinaia richieste dal GREG.
  • Anche in scenari di bias estremo (es. NPD composto solo dai valori più alti o più bassi della popolazione), MADI ha mantenuto prestazioni superiori o equivalenti all'HT, dimostrando robustezza.

5. Significato e Implicazioni

Il paper dimostra che è possibile integrare in modo sicuro ed efficiente grandi volumi di dati non probabilistici nella statistica ufficiale senza sacrificare la proprietà di non distorsione.

• Impatto Pratico: Gli uffici statistici nazionali possono ridurre drasticamente i costi e il carico di risposta dei sondaggi tradizionali, sfruttando registri amministrativi o dati "trovati" (found data) anche quando questi non coprono l'intera popolazione o presentano bias di selezione.
• Sicurezza Teorica: Fornisce un framework teorico solido che permette l'uso di modelli di Machine Learning complessi in un contesto di inferenza di popolazione finita, garantendo che l'errore di modellazione non comprometta la validità statistica della stima finale.
• Futuro: Suggerisce che MADI può essere esteso per gestire errori di misurazione nei dati NPD e per l'uso di modelli ancora più complessi (es. Deep Learning) che oggi sono inapplicabili ai piccoli campioni di sondaggi.

In sintesi, MADI rappresenta un ponte metodologico cruciale tra la statistica classica basata sul disegno e l'era dei Big Data, offrendo una soluzione praticabile, non distorta e ad alta efficienza per la produzione di statistiche ufficiali moderne.