Toward design-based inference for data integration

Sintesi Tecnica: Verso un'Inferenza Basata sul Disegno per l'Integrazione dei Dati

Enunciato del Problema
L'integrazione di campioni non probabilistici (ad esempio, risposte volontarie, dati amministrativi) nell'inferenza su popolazioni finite rappresenta una sfida crescente nelle statistiche ufficiali. Gli approcci tradizionali si basano tipicamente sulla modellazione di probabilità di selezione sconosciute sotto un'ipotesi di Assente a Caso (MAR), utilizzando spesso pesi di probabilità inversa (IPW) o stimatori doppiamente robusti (DR). Tuttavia, questi metodi presentano tre limitazioni critiche:

1. Assunzioni Non Verificabili: L'ipotesi MAR e la condizione di positività sono difficili da verificare nella pratica, in particolare quando la selezione dipende da variabili non osservate o dal risultato dello studio stesso (Non Assente a Caso, o NMAR).
2. Ridondanza ed Efficienza: In contesti di campionamento indipendente dove campioni probabilistici e non probabilistici sono estratti separatamente dalla stessa popolazione, la sovrapposizione è inevitabile. Ciò porta a osservazioni duplicate e a una ridotta efficienza di stima.
3. Complessità della Fusione: La combinazione di campioni indipendenti richiede spesso un parametro di taratura per la fusione (ad esempio, un peso $\alpha$) che raramente viene scelto in modo ottimale e dipende da varianze stimate difficili da minimizzare nella pratica.

Metodologia: Un Framework Sequenziale Basato sul Disegno
Gli autori propongono un framework di campionamento sequenziale che tratta il campione non probabilistico ($S_{np}$) come uno strato di certezza completamente osservato. Il campione probabilistico ($S_p$) viene quindi estratto esclusivamente dall'insieme complementare di unità ($U_1 = U \setminus S_{np}$) che non sono state incluse nel campione non probabilistico.

Questo approccio elimina la necessità di modellare interamente il meccanismo di selezione di $S_{np}$, poiché le sue probabilità di inclusione sono di fatto pari a 1. All'interno di questo framework, vengono sviluppati due stimatori di Regressione Generalizzata (GREG):

1. Stimatore GREG Separato ($\hat{Y}_{sepDI}$): Adatta il modello di regressione del risultato separatamente all'interno dello strato complementare $U_1$.
2. Stimatore GREG Combinato ($\hat{Y}_{comDI}$): Raggruppa sia $S_{np}$ che $S_p$ per stimare un singolo coefficiente di regressione, assumendo l'omogeneità tra gli strati.

Per migliorare l'efficienza, il campione non probabilistico funge da pilota per stimare le componenti di varianza. Sotto un modello di superpopolazione di lavoro, queste stime sono utilizzate per costruire probabilità di inclusione di seconda fase per $S_p$ proporzionali alla deviazione standard condizionata del risultato (ottimalità Isaki–Fuller). Viene proposto un test diagnostico per l'omogeneità dei coefficienti per guidare la scelta tra gli stimatori separati e combinati.

Contributi Chiave
Il lavoro apporta due contributi teorici distinti e stratificati:

1. Robustezza dell'Inferenza (Consistenza di Disegno):
   Gli autori dimostrano che sia gli stimatori GREG separati che quelli combinati sono consistenti di disegno sotto condizioni di regolarità standard sul disegno probabilistico di seconda fase. Crucialmente, questa consistenza vale senza alcuna assunzione riguardo al meccanismo di selezione del campione non probabilistico. Gli stimatori rimangono validi sia in condizioni MAR che NMAR. Questa robustezza è strutturale: trattando $S_{np}$ come uno strato di certezza, le probabilità di selezione sconosciute non entrano mai nello stimatore, rendendo inutile la modellazione del meccanismo non probabilistico. Vengono inoltre forniti stimatori di varianza plug-in consistenti.

2. Ottimalità Asintotica del Disegno:
   Sotto un modello di superpopolazione di lavoro che vale in entrambi gli strati (una condizione strettamente più forte della MAR), il campione non probabilistico di pilota permette di costruire probabilità di inclusione di seconda fase che raggiungono l'ottimalità asintotica Isaki–Fuller per lo stimatore separato. Gli autori sottolineano che, sebbene tale ottimalità dipenda da forti assunzioni di modello, il fallimento di queste assunzioni non invalida i risultati sulla consistenza di disegno o sulla stima della varianza del primo contributo. Pertanto, il disegno basato sul pilota offre potenziali guadagni di efficienza senza compromettere la validità dell'inferenza.

Risultati
Il lavoro convalida questi contributi attraverso estesi studi di simulazione e due applicazioni su dati reali utilizzando statistiche ufficiali lituane (fatturato delle imprese di servizi e vendite di farmaci nelle farmacie).

• Risultati delle Simulazioni:

  • Sotto MAR: Sia gli stimatori sequenziali che i concorrenti standard aggiustati per la propensione (IPW, DR) funzionano bene, sebbene gli stimatori sequenziali raggiungano generalmente un errore quadratico medio (RMSE) inferiore ed evitino la ridondanza del campionamento indipendente.
  • Sotto NMAR: Gli stimatori sequenziali rimangono essenzialmente non distorti con stime di varianza ben calibrate e una copertura degli intervalli di confidenza al 95% nominale. In netto contrasto, i concorrenti basati sulla propensione (IPW, DR e stimatori di fusione) mostrano un bias severo (superiore al 4,5% di bias relativo) quando il meccanismo di selezione dipende dal risultato.
  • Efficienza del Disegno: Il disegno ottimale stimato (utilizzando stime di varianza del pilota) supera significativamente i disegni a probabilità uguale ed è di gran lunga superiore ai disegni Probabilità Proporzionale alla Dimensione (PPS), che hanno mostrato instabilità e alto RMSE.

• Applicazioni su Dati Reali:

  • Dati sul Fatturato (Alta Eterogeneità): In un'applicazione in cui il campione pilota amministrativo sovrarappresentava le grandi imprese, è stato preferito lo stimatore di regressione separato. Lo stimatore combinato è stato meno efficiente a causa della forte eterogeneità tra gli strati.
  • Dati Farmaceutici (Bassa Eterogeneità): In un'applicazione in cui il campione volontario e il complemento erano simili, lo stimatore combinato ha offerto un guadagno di efficienza modesto rispetto allo stimatore separato, nonostante il test statistico rifiutasse l'omogeneità dei coefficienti (un evento comune in campioni grandi dove vengono rilevate anche differenze trascurabili).

Significato e Affermazioni
Il lavoro afferma che il suo framework sequenziale fornisce un'alternativa robusta ai metodi di integrazione dei dati dipendenti dal modello. Spostando l'attenzione dalla modellazione di probabilità di selezione sconosciute a un approccio stratificato basato sul disegno, il metodo garantisce un'inferenza valida anche quando la selezione è NMAR.

Gli autori posizionano i due contributi come "stratificati piuttosto che accoppiati": la validità dell'inferenza (consistenza di disegno) è garantita indipendentemente dal meccanismo di selezione, mentre i guadagni di efficienza (ottimalità Isaki–Fuller) sono condizionati a un modello di lavoro. Il lavoro conclude che l'approccio sequenziale elimina la necessità di assunzioni non verificabili e parametri di taratura, offrendo una soluzione trasparente e implementabile per l'integrazione di dati non probabilistici nelle statistiche ufficiali, in particolare in scenari in cui la fonte non probabilistica è ampia e il meccanismo di selezione è sconosciuto o complesso.