Data integration of non-probability and probability samples with deterministic predictive mean matching

Resumo Técnico: Integração de Dados de Amostras de Não-Probabilidade e Probabilidade com Correspondência de Média Preditiva Determinística

Definição do Problema
O artigo aborda o desafio de estimar características populacionais integrando dados de amostras de probabilidade (que possuem probabilidades de inclusão conhecidas, mas frequentemente carecem da variável alvo $Y$) e amostras de não-probabilidade (que contêm a variável alvo $Y$, mas carecem de um mecanismo de amostragem conhecido). Embora a literatura existente proponha estimadores de Ponderação por Probabilidade Inversa (IPW), Estimadores de Predição (PE) e métodos Duplamente Robustos (DR), este estudo foca em estimadores de Imputação em Massa (MI). Especificamente, investiga-se a Correspondência de Média Preditiva Determinística (PMM) como uma técnica para imputar valores para unidades em uma amostra de probabilidade utilizando valores observados de uma amostra de não-probabilidade. Os autores visam preencher a lacuna entre a imputação por regressão paramétrica/não-paramétrica e a imputação por Vizinho Mais Próximo (NN), fornecendo propriedades teóricas rigorosas para contextos de integração de dados que não foram totalmente explorados na literatura anterior.

Metodologia
Os autores propõem e analisam dois algoritmos de PMM determinísticos semi-paramétricos para realizar a correspondência de unidades de uma amostra de probabilidade ($S_P$) com uma amostra de não-probabilidade ($S_{NP}$):

1. PMM A (correspondência $\hat{y}-\hat{y}$): As unidades em $S_P$ são pareadas com unidades em $S_{NP}$ com base na similaridade de seus valores preditos ($\hat{y}$) derivados de um modelo de regressão $E[Y|X] = m(X, \beta)$. A distância de correspondência é $d(\hat{y}_i, \hat{y}_j)$.
2. PMM B (correspondência $\hat{y}-y$): As unidades em $S_P$ são pareadas com unidades em $S_{NP}$ com base na similaridade do valor predito da unidade de $S_P$ e o valor observado da unidade de $S_{NP}$. A distância de correspondência é $d(\hat{y}_i, y_j)$.

Em ambas as abordagens, para cada unidade $i \in S_P$, os $k$ vizinhos mais próximos em $S_{NP}$ são identificados, e o valor imputado é a média dos valores observados de $Y$ desses vizinhos. O estimador final para a média populacional é uma média ponderada desses valores imputados utilizando pesos de desenho da amostra de probabilidade.

A análise teórica baseia-se em um modelo de superpopulação e em uma sequência de populações finitas. As principais premissas incluem:

• Existência de um estimador consistente $\hat{\beta}$ para os parâmetros de regressão.
• Desvanecimento assintótico dos resíduos de regressão (A2).
• Continuidade de Lipschitz local da função de regressão (A3).
• Uma condição de regularidade suave (A4) em relação à representatividade da amostra de não-probabilidade, substituindo a estrita suposição de "positividade" frequentemente exigida em métodos NN.
• Condições específicas para PMM A em relação à estabilidade dos pesos dos doadores (B3) e à função de influência de $\hat{\beta}$ (B2).

Principais Contribuições

1. Consistência Teórica: Os autores provam a consistência de ambos os estimadores PMM A e PMM B sob especificação correta do modelo. Crucialmente, estabelecem a consistência do estimador PMM A ($\hat{y}-\hat{y}$) mesmo sob especificação incorreta do modelo, desde que o modelo de trabalho satisfaça certas condições de convexidade e compacidade no suporte.
2. Extensão para Modelos Não-Paramétricos: O artigo demonstra que a consistência do estimador PMM B ($\hat{y}-y$) se estende a técnicas de regressão não-paramétricas (ex: regressão de kernel de Nadaraya–Watson, redes neurais), desde que o estimador da função de regressão convirja uniformemente.
3. Decomposição de Variância: Uma nova decomposição de variância é derivada, dividindo a variância total em:
   • $V_1$: O componente de variância baseado no desenho (análogo à variância de Horvitz-Thompson dos valores imputados).
   • $V_2$: Um componente de variância adicional decorrente da aleatoriedade do processo de imputação (seleção de doadores e estimação de regressão).
4. Estimação de Variância: Os autores propõem:
   • Um estimador parcialmente analítico para $V_1$.
   • Um procedimento de "mini-bootstrap" (Algoritmo 2) para estimar os termos de covariância necessários para $V_2$.
   • Um procedimento de bootstrap completo (Algoritmo 3) combinando ambos os componentes.
   • Demonstram que a expressão analítica proposta para a variância de $V_1$ também pode ser aplicada ao estimador padrão de Vizinho Mais Próximo (NN), estendendo resultados anteriores.
5. Distinção de NN: O artigo distingue rigorosamente PMM de NN, observando que são idênticos apenas no caso específico de um modelo linear com uma única covariável. O PMM mostra-se menos suscetível à "maldição da dimensionalidade" e não exige a estrita suposição de positividade.

Resultos

• Estudos de Simulação: Simulações extensas com $N=10^5$ compararam estimadores PMM contra estimadores de Vizinho Mais Próximo (NN) e de Predição de Regressão (GLM) sob Amostragem Aleatória Simples.
  • Modelos Corretamente Especificados: Os estimadores PMM apresentaram desempenho semelhante ao GLM. O PMM B ($\hat{y}-y$) geralmente exibiu erros padrão menores do que o PMM A ($\hat{y}-\hat{y}$).
  • Especificação Incorreta do Modelo: O PMM A demonstrou robustez superior, mantendo um viés menor em comparação ao NN e GLM quando o modelo linear foi mal especificado para um processo gerador de dados não-linear.
  • Componentes de Variância: A contribuição do componente $V_2$ (incerteza de imputação) foi considerada não negligenciável em amostras finitas, aumentando a variância total dos estimadores de correspondência em aproximadamente 40–60% no estudo empírico.
  • Taxas de Cobertura: Os estimadores de variância analíticos e de bootstrap alcançaram taxas de cobertura nominais de 95%.
• Estudo Empírico: Os métodos foram aplicados para integrar uma Pesquisa de Vagas de Emprego (amostra de probabilidade) com um Banco de Dados Central de Ofertas de Emprego (amostra de não-probabilidade) na Polônia para estimar a parcela de vagas para trabalhadores ucranianos.
  • Estimativas de ponto através de diferentes métodos (GLM, NN, PMM, IPW, DR) foram consistentes, situando-se em torno de 22%.
  • A inclusão do componente $V_2$ via mini-bootstrap aumentou significativamente os erros padrão, destacando a importância de contabilizar a incerteza da correspondência.
  • PMM A e PMM B produziram resultados indistinguíveis nesta aplicação específica.

Significância e Alegações
O artigo alega que o PMM determinístico oferece uma alternativa robusta para integração de dados, particularmente a variante PMM A, que retém a consistência sob especificação incorreta do modelo — uma propriedade não garantida para a imputação por regressão padrão ou NN em altas dimensões. Os autores enfatizam que sua abordagem rigorosa de decomposição e estimação de variância fornece um quadro prático para quantificação de incerteza na imputação em massa, abordando uma lacuna na literatura existente onde a variância dos estimadores NN e PMM em contextos de não-probabilidade era desconhecida ou carecia de uma decomposição que separasse erros de desenho e de imputação. A disponibilidade de software de código aberto (pacote nonprobsvy) facilita a aplicação destes métodos. Os autores mantêm-se modestos quanto ao "mini-bootstrap" para $V_2$, caracterizando-o como uma correção heurística para amostras finitas em vez de um estimador genericamente consistente, e observam que pesquisas adicionais são necessárias para procedimentos PMM multiplamente robustos e para a seleção ótima do hiperparâmetro $k$.