Data integration of non-probability and probability samples with deterministic predictive mean matching

Sintesi Tecnica: Integrazione dei Dati di Campioni di Non-Probabilità e di Probabilità con il Predictive Mean Matching Deterministico

Enunciato del Problema
Il documento affronta la sfida di stimare le caratteristiche della popolazione integrando i dati di campioni di probabilità (che hanno probabilità di inclusione note ma spesso mancano della variabile target $Y$) e campioni di non-probabilità (che contengono la variabile target $Y$ ma mancano di un meccanismo di campionamento noto). Mentre la letteratura esistente propone metodi di Inverse Probability Weighting (IPW), Prediction Estimators (PE) e Doubly Robust (DR), questo studio si concentra sugli stimatori di Mass Imputation (MI). Nello specifico, investiga il Deterministic Predictive Mean Matching (PMM) come tecnica per imputare i valori per le unità in un campione di probabilità utilizzando i valori osservati da un campione di non-probabilità. Gli autori mirano a colmare il divario tra l'imputazione per regressione parametrica/non-parametrica e l'imputazione Nearest Neighbour (NN), fornendo proprietà teoriche rigorose per i contesti di integrazione dei dati che non sono stati pienamente esplorati nella letteratura precedente.

Metodologia
Gli autori propongono e analizzano due algoritmi PMM deterministici semi-parametrici per l'appaiamento di unità da un campione di probabilità ($S_P$) a un campione di non-probabilità ($S_{NP}$):

1. PMM A ($\hat{y}-\hat{y}$ matching): Le unità in $S_P$ sono appaiate a unità in $S_{NP}$ sulla base della somiglianza dei loro valori predetti ($\hat{y}$) derivati da un modello di regressione $E[Y|X] = m(X, \beta)$. La distanza di appaiamento è $d(\hat{y}_i, \hat{y}_j)$.
2. PMM B ($\hat{y}-y$ matching): Le unità in $S_P$ sono appaiate a unità in $S_{NP}$ sulla base della somiglianza tra il valore predetto dell'unità in $S_P$ e il valore osservato dell'unità in $S_{NP}$. La distanza di appaiamento è $d(\hat{y}_i, y_j)$.

In entrambi gli approcci, per ogni unità $i \in S_P$, vengono identificati i $k$ vicini più prossimi in $S_{NP}$, e il valore imputato è la media dei valori $Y$ osservati di questi vicini. Lo stimatore finale per la media della popolazione è una media ponderata di questi valori imputati utilizzando i pesi di disegno del campione di probabilità.

L'analisi teorica si basa su un modello di superpopolazione e su una sequenza di popolazioni finite. Le assunzioni chiave includono:

• L'esistenza di uno stimatore consistente $\hat{\beta}$ per i parametri di regressione.
• L'asintotica scomparsa dei residui di regressione (A2).
• La continuità Lipschitz locale della funzione di regressione (A3).
• Una debole condizione di regolarità (A4) riguardante la rappresentatività del campione di non-probabilità, che sostituisce la rigorosa assunzione di "positività" spesso richiesta nei metodi NN.
• Condizioni specifiche per PMM A riguardanti la stabilità dei pesi dei donatori (B3) e la funzione di influenza di $\hat{\beta}$ (B2).

Contributi Chiave

1. Consistenza Teorica: Gli autori dimostrano la consistenza di entrambi gli stimatori PMM A e PMM B sotto corretta specificazione del modello. Fondamentalmente, stabiliscono la consistenza dello stimatore PMM A ($\hat{y}-\hat{y}$) anche in caso di misspecificazione del modello, a condizione che il modello di lavoro soddisfi determinate condizioni di convessità e compattezza sul supporto.
2. Estensione ai Modelli Non-Parametrici: Il documento dimostra che la consistenza dello stimatore PMM B ($\hat{y}-y$) si estende alle tecniche di regressione non parametrica (ad esempio, regressione kernel di Nadaraya–Watson, reti neurali), a condizione che lo stimatore della funzione di regressione converga uniformemente.
3. Decomposizione della Varianza: Viene derivata una nuova decomposizione della varianza, che suddivide la varianza totale in:
   • $V_1$: La componente di varianza basata sul disegno (analogamente alla varianza di Horvitz-Thompson dei valori imputati).
   • $V_2$: Una componente di varianza aggiuntiva derivante dalla casualità del processo di imputazione (selezione dei donatori e stima della regressione).
4. Stima della Varianza: Gli autori propongono:
   • Uno stimatore parzialmente analitico per $V_1$.
   • Una procedura di "mini-bootstrap" (Algoritmo 2) per stimare i termini di covarianza richiesti per $V_2$.
   • Una procedura di bootstrap completa (Algoritmo 3) che combina entrambe le componenti.
   • Dimostrano che l'espressione analitica proposta per la varianza di $V_1$ può essere applicata anche allo standard stimatore Nearest Neighbour (NN), estendendo i risultati precedenti.
5. Distinzione da NN: Il documento distingue rigorosamente PMM da NN, notando che sono identici solo nel caso specifico di un modello lineare con una singola covariata. PMM è mostrato essere meno suscettibile alla "maledizione della dimensionalità" e non richiede la rigorosa assunzione di positività.

Risultati

• Studi di Simulazione: Simulazioni estese con $N=10^5$ hanno confrontato gli stimatori PMM con gli stimatori Nearest Neighbour (NN) e Regression Prediction (GLM) sotto campionamento casuale semplice.
  • Modelli Correttamente Specificati: Gli stimatori PMM hanno performato in modo simile a GLM. PMM B ($\hat{y}-y$) ha generalmente mostrato errori standard inferiori rispetto a PMM A ($\hat{y}-\hat{y}$).
  • Misspecificazione del Modello: PMM A ha dimostrato una superiore robustezza, mantenendo un bias inferiore rispetto a NN e GLM quando il modello lineare era misspecificato per un processo generatore di dati non lineare.
  • Componenti della Varianza: Si è scoperto che il contributo della componente $V_2$ (incertezza dell'imputazione) era non trascurabile nei campioni finiti, aumentando la varianza totale degli stimatori di appaiamento di circa il 40–60% nello studio empirico.
  • Tassi di Copertura: Gli stimatori della varianza analitica e del bootstrap hanno raggiunto i tassi di copertura nominali del 95%.
• Studio Empirico: I metodi sono stati applicati per integrare un Job Vacancy Survey (campione di probabilità) con un Central Job Offers Database (campione di non-probabilità) in Polonia per stimare la quota di posti vacanti per i lavoratori ucraini.
  • Gli stimatori puntuali attraverso i metodi (GLM, NN, PMM, IPW, DR) sono stati consistenti, attestandosi intorno al 22%.
  • L'inclusione della componente $V_2$ tramite mini-bootstrap ha aumentato significativamente gli errori standard, evidenziando l'importanza di tenere conto dell'incertezza dell'appaiamento.
  • PMM A e PMM B hanno prodotto risultati indistinguibili in questa specifica applicazione.

Significato e Rivendicazioni
Il documento sostiene che il PMM deterministico offre un'alternativa robusta per l'integrazione dei dati, in particolare la variante PMM A che mantiene la consistenza sotto misspecificazione del modello—una proprietà non garantita per l'imputazione per regressione standard o per NN in alte dimensioni. Gli autori sottolineano che il loro approccio rigoroso alla decomposizione e alla stima della varianza fornisce un quadro pratico per la quantificazione dell'incertezza nella mass imputation, affrontando una lacuna nella letteratura esistente dove la varianza degli stimatori NN e PMM in contesti di non-probabilità era o sconosciuta o priva di una decomposizione che separasse gli errori di disegno e di imputazione. La disponibilità di software open-source (nonprobsvy package) facilita l'applicazione di questi metodi. Gli autori rimangono modesti riguardo al "mini-bootstrap" per $V_2$, descrivendolo come una correzione euristica per campioni finiti piuttosto che come uno stimatore generalmente consistente, e notano che sono necessarie ulteriori ricerche per procedure PMM multiplamente robuste e per la selezione ottimale dell'iperparametro $k$.