Small area estimation using incomplete auxiliary information

Resumo Técnico: Estimação de Pequenas Áreas com Informação Auxiliar Incompleta

1. O Problema

Na estatística oficial e em pesquisas de amostragem probabilística, a estimativa direta de totais para domínios pequenos (subpopulações) frequentemente falha devido a tamanhos de amostra insuficientes, resultando em variâncias elevadas e estimativas pouco confiáveis.
Simultaneamente, fontes de dados alternativas (registros administrativos, big data, raspagem da web) tornam-se cada vez mais disponíveis. No entanto, esses dados apresentam desafios críticos:

• São frequentemente incompletos (cobrem apenas uma parte da população).
• Originam-se de amostras não probabilísticas (mecanismos de seleção desconhecidos).
• Contêm variáveis proxy ($y^*$) que são versões ruidosas ou com definições diferentes da variável de estudo ($y$).

A abordagem clássica de calibração ou métodos de imputação massiva muitas vezes exigem suposições de "ausência aleatória" (MAR) sobre o mecanismo de seleção da amostra não probabilística, o que é difícil de verificar e pode levar a inferências inválidas. O objetivo deste trabalho é desenvolver um método que integre essas fontes de dados incompletas para melhorar a precisão na estimativa de domínios, sem depender de suposições de ignorabilidade sobre o mecanismo de seleção da amostra não probabilística.

2. Metodologia Proposta

Os autores propõem uma abordagem de dois passos baseada em calibração de modelo e modelos de área (Fay-Herriot), que integra dados de uma amostra probabilística ($A$) com uma fonte externa não probabilística ($B$).

Passo 1: Calibração de Modelo em Nível de Unidade

• Modelo de Erro de Medição: Utiliza-se a interseção $A \cap B$ (unidades presentes em ambas as amostras) para ajustar um modelo de trabalho de erro de medição: $y_i = g(y^*_i, x_i) + \varepsilon_i$. Aqui, $g(\cdot)$ pode ser linear, não linear ou não paramétrico (ex: k-NN), dependendo da relação entre a variável de estudo e a proxy.
• Predição: O modelo ajustado gera predições $\hat{y}_i$ para as unidades em $B \setminus A$.
• Restrições de Calibração: Pesos de calibração ($w_i$) são calculados para a amostra probabilística $A$ dentro de cada domínio. O objetivo é minimizar a distância entre os pesos de calibração e os pesos de desenho originais, sujeito a restrições que alinham a amostra $A$ com a estrutura da fonte $B$:
  1. Igualar o tamanho da população nos estratos de "dados faltantes" e "big data".
  2. Alinhar o total de predições do modelo ($\sum \hat{y}_i$) entre a amostra e a fonte externa.
• Resultado: Obtém-se um estimador de total do domínio ($\hat{t}^{MC}_m$) que é aproximadamente não tendencioso em relação ao desenho de amostragem e incorpora a informação da fonte não probabilística.
• Estimação de Variância: Utiliza-se o bootstrap de Rao-Wu-Yue (baseado no desenho) para estimar a variância, tratando o modelo de predição como fixo, garantindo consistência sob o desenho de amostragem.

Passo 2: Modelagem em Nível de Área (Fay-Herriot)

• Os totais estimados no Passo 1 ($\hat{t}^{MC}_m$) e suas variâncias são usados como entrada para um modelo de área do tipo Fay-Herriot (FH).
• O modelo FH utiliza covariáveis de nível de área que são exatamente conhecidas (livres de erro) para "emprestar força" entre domínios, produzindo preditores lineares não tendenciosos empíricos (EBLUP).
• Para lidar com a assimetria e variância heterocedástica típicas de dados econômicos, aplica-se uma transformação logarítmica antes da modelagem e uma correção de viés log-normal na retransformação.

Abordagem Comparativa (Benchmark)
O artigo compara a metodologia proposta com uma extensão do modelo FH de Ybarra e Lohr (2008), que incorpora a informação proxy diretamente como uma covariável com erro de medição no nível de área. Essa abordagem alternativa depende da suposição MAR para ser válida.

3. Contribuições Principais

1. Integração sem Assunção MAR: Desenvolvimento de um método que integra amostras não probabilísticas usando calibração de modelo, evitando a necessidade de modelar o mecanismo de seleção da amostra não probabilística (suposição de ignorabilidade).
2. Flexibilidade do Modelo de Trabalho: A abordagem permite relações complexas (lineares, não lineares, não paramétricas) entre a variável de estudo e a proxy, adaptando-se a diferentes estruturas de dados.
3. Estimadores Aproximadamente Não Tendenciosos: Gera estimadores de totais de domínio que mantêm as propriedades de desenho da amostra probabilística, servindo como entrada robusta para modelos de pequenas áreas.
4. Validação Empírica Robusta: Demonstração prática em três cenários distintos da estatística oficial da Lituânia, superando métodos diretos e o benchmark de Ybarra-Lohr.

4. Resultados Empíricos

O método foi aplicado em três estudos de caso da Agência de Dados da Lituânia:

1. Faturamento Mensal (Turnover): Integração com dados de declarações de IVA.
   • Resultado: Redução drástica no erro quadrático médio relativo (RRMSE). O número de domínios classificados como "inconfiáveis" caiu de 2,1 (estimador direto GREG) para 0,2. O passo de calibração (MC) foi responsável pela maior parte do ganho.
2. Investimento Anual em Ativos Tangíveis: Integração com uma amostra de corte (cut-off) de outra pesquisa.
   • Resultado: Melhoria significativa na confiabilidade, especialmente para domínios com muitos zeros (modelo de duas partes utilizado). O método MC/EBLUP reduziu o RRMSE na cauda superior da distribuição.
3. Vagas de Emprego Trimestrais: Integração com dados de anúncios de emprego raspados da web (OJA).
   • Resultado: O impacto prático foi o mais forte. O número de municípios "inconfiáveis" caiu de 10,8 (estimador direto Hájek) para 0,5 após a aplicação do método proposto.

Comparação Geral:

• O método proposto (MC + FH) superou consistentemente o estimador direto e o benchmark de Ybarra-Lohr em todos os cenários.
• O ganho de precisão foi maior onde a fonte não probabilística era maior em relação à amostra probabilística ($|B|/|A|$) e onde a correlação entre a proxy e a variável de estudo era forte.
• O benchmark de Ybarra-Lohr mostrou desempenho heterogêneo, sendo menos eficaz em cenários onde a proxy não era perfeitamente alinhada ou a amostra era pequena.

5. Significado e Implicações

Este trabalho oferece um quadro metodológico robusto para a estatística oficial moderna, onde a integração de dados administrativos e big data é crucial, mas desafiadora.

• Viabilidade Prática: Permite que estatísticos utilizem fontes de dados massivas e não probabilísticas para melhorar estimativas de pequenas áreas sem precisar validar mecanismos de seleção complexos.
• Eficiência: A abordagem de dois passos (calibração unitária seguida de modelagem de área) maximiza a precisão, estabilizando especialmente os domínios mais problemáticos (com maior variabilidade).
• Futuro: O método é flexível o suficiente para acomodar diferentes tipos de modelos de erro de medição, tornando-o aplicável a uma vasta gama de problemas de integração de dados em estatística oficial.

Em resumo, a proposta transforma dados auxiliares incompletos e ruidosos em estimativas de alta precisão, superando as limitações dos métodos tradicionais de amostragem em domínios pequenos.