Toward design-based inference for data integration

Resumo Técnico: Rumo à Inferência Baseada em Desenho para Integração de Dados

Enunciado do Problema
A integração de amostras não probabilísticas (por exemplo, respostas voluntárias, dados administrativos) na inferência para populações finitas é um desafio crescente nas estatísticas oficiais. As abordagens tradicionais geralmente dependem da modelagem de probabilidades de seleção desconhecidas sob uma suposição de Ausência Aleatória de Dados (MAR), frequentemente utilizando ponderação por probabilidade inversa (IPW) ou estimadores duplamente robustos (DR). No entanto, esses métodos enfrentam três limitações críticas:

1. Suposições Inverificáveis: A suposição MAR e a condição de positividade são difíceis de verificar na prática, particularmente quando a seleção depende de variáveis não observadas ou do próprio resultado do estudo (Não Ausência Aleatória de Dados, ou NMAR).
2. Redundância e Eficiência: Em frameworks de amostragem independente onde amostras probabilísticas e não probabilísticas são extraídas separadamente da mesma população, a sobreposição é inevitável. Isso leva a observações duplicadas e redução da eficiência de estimação.
3. Complexidade de Fusão: A combinação de amostras independentes frequentemente requer um parâmetro de ajuste de fusão (por exemplo, um peso $\alpha$) que raramente é escolhido de forma ótima e depende de variâncias estimadas que são difíceis de minimizar na prática.

Metodologia: Um Framework Sequencial Baseado em Desenho
Os autores propõem um framework de amostragem sequencial que trata a amostra não probabilística ($S_{np}$) como um estrato de certeza totalmente observado. A amostra probabilística ($S_p$) é então extraída exclusivamente do conjunto complementar de unidades ($U_1 = U \setminus S_{np}$) que não foram incluídas na amostra não probabilística.

Esta abordagem elimina a necessidade de modelar o mecanismo de seleção de $S_{np}$ inteiramente, pois suas probabilidades de inclusão são efetivamente 1. Dentro deste framework, dois estimadores de Regressão Generalizada (GREG) são desenvolvidos:

1. Estimador GREG Separado ($\hat{Y}_{sepDI}$): Ajusta o modelo de regressão do resultado separadamente dentro do estrato complementar $U_1$.
2. Estimador GREG Combinado ($\hat{Y}_{comDI}$): Agrupa tanto $S_{np}$ quanto $S_p$ para estimar um único coeficiente de regressão, assumindo homogeneidade entre os estratos.

Para aumentar a eficiência, a amostra não probabilística serve como um piloto para estimar componentes de variância. Sob um modelo de superpopulação de trabalho, essas estimativas são usadas para construir probabilidades de inclusão de segunda etapa para $S_p$ que são proporcionais ao desvio padrão condicional do resultado (optimalidade de Isaki–Fuller). Um teste diagnóstico para homogeneidade de coeficientes é proposto para orientar a escolha entre os estimadores separado e combinado.

Contribuições Principais
O artigo faz duas contribuições teóricas distintas e estratificadas:

1. Robustez da Inferência (Consistência de Desenho):
   Os autores estabelecem que tanto os estimadores GREG separados quanto combinados são consistentes de desenho sob condições de regularidade padrão no desenho de probabilidade de segunda etapa. Crucialmente, essa consistência mantém-se sem qualquer suposição regarding o mecanismo de seleção da amostra não probabilística. Os estimadores permanecem válidos sob condições tanto MAR quanto NMAR. Essa robustez é estrutural: ao tratar $S_{np}$ como um estrato de certeza, as probabilidades de seleção desconhecidas nunca entram no estimador, tornando desnecessária a modelagem do mecanismo não probabilístico. Estimadores de variância plug-in consistentes também são fornecidos.

2. Optimalidade Assintótica do Desenho:
   Sob um modelo de superpopulação de trabalho que se mantém em ambos os estratos (uma condição estritamente mais forte que MAR), a amostra não probabilística piloto permite a construção de probabilidades de inclusão de segunda etapa que alcançam optimalidade assintótica de Isaki–Fuller para o estimador separado. Os autores enfatizam que, embora essa optimalidade dependa de fortes suposições de modelo, a falha dessas suposições não invalida os resultados de consistência de desenho ou de estimação de variância da primeira contribuição. Assim, o desenho baseado em piloto oferece ganhos potenciais de eficiência sem comprometer a validade da inferência.

Resultados
O artigo valida essas contribuições através de estudos de simulação extensivos e duas aplicações com dados reais utilizando estatísticas oficiais da Lituânia (faturamento de empresas de serviços e vendas de medicamentos em farmácias).

• Achados de Simulação:

  • Sob MAR: Ambos os estimadores sequenciais e concorrentes padrão ajustados por propensão (IPW, DR) performam bem, embora os estimadores sequenciais geralmente alcancem menor erro quadrático médio (RMSE) e evitem a redundância da amostragem independente.
  • Sob NMAR: Os estimadores sequenciais permanecem essencialmente não tendenciosos com estimativas de variância bem calibradas e cobertura nominal de 95% do intervalo de confiança. Em contraste gritante, concorrentes baseados em propensão (IPW, DR e estimadores de fusão) exibem viés severo (excedendo 4,5% de viés relativo) quando o mecanismo de seleção depende do resultado.
  • Eficiência de Desenho: O desenho ótimo estimado (usando estimativas de variância do piloto) supera significativamente desenhos de probabilidade igual e é vastamente superior a desenhos Proporcionais ao Tamanho (PPS), que mostraram instabilidade e alto RMSE.

• Aplicações com Dados Reais:

  • Dados de Faturamento (Alta Heterogeneidade): Em uma aplicação onde a amostra piloto administrativa super-representou grandes empresas, o estimador de regressão separado foi preferido. O estimador combinado foi menos eficiente devido à forte heterogeneidade entre os estratos.
  • Dados de Farmácia (Baixa Heterogeneidade): Em uma aplicação onde a amostra voluntária e o complemento eram semelhantes, o estimador combinado ofereceu um ganho modesto de eficiência sobre o estimador separado, apesar do teste estatístico rejeitar a homogeneidade de coeficientes (um evento comum em grandes amostras onde até diferenças negligenciáveis são detectadas).

Significado e Alegações
O artigo alega que seu framework sequencial fornece uma alternativa robusta aos métodos de integração de dados dependentes de modelo. Ao deslocar o foco da modelagem de probabilidades de seleção desconhecidas para uma abordagem estratificada baseada em desenho, o método garante inferência válida mesmo quando a seleção é NMAR.

Os autores posicionam as duas contribuições como "estratificadas e não acopladas": a validade da inferência (consistência de desenho) é garantida independentemente do mecanismo de seleção, enquanto os ganhos de eficiência (optimalidade de Isaki–Fuller) são condicionais a um modelo de trabalho. O artigo conclui que a abordagem sequencial elimina a necessidade de suposições inverificáveis e parâmetros de ajuste, oferecendo uma solução transparente e implementável para integrar dados não probabilísticos nas estatísticas oficiais, particularmente em cenários onde a fonte não probabilística é grande e o mecanismo de seleção é desconhecido ou complexo.