Diagnostics-guided variance-inflated Fay-Herriot estimation from non-probability samples

Resumo Técnico: Estimativa de Fay–Herriot com inflação de variância guiada por diagnósticos a partir de amostras de não-probabilidade

Definição do Problema
O artigo aborda o desafio da estimativa de pequenas áreas (SAE - Small Area Estimation) utilizando fontes de dados de não-probabilidade, como registros administrativos ou dados de plataformas. Embora o ponderamento por probabilidade inversa (IPW) e a calibração sejam técnicas padrão para reduzir o viés de seleção nesses contextos, a confiabilidade dos estimadores de domínio resultantes varia significamente entre diferentes pequenas áreas. Uma limitação crítica do modelo Fay–Herriot (FH) padrão neste contexto é sua dependência de estimativas de variância em nível de domínio ($\hat{V}_d$) fornecidas como única medida de incerteza. Os autores argumentam que $\hat{V}_d$ frequentemente falha em capturar os riscos associados à cobertura fraca do domínio, pesos instáveis ou equilíbrio auxiliar deficiente. Consequentemente, o suavizamento (smoothing) FH padrão pode confiar inapropriadamente em entradas não confiáveis, levando a estimativas enganosas.

Metodologia
A abordagem proposta introduz um estimador FH com inflação de variância guiado por diagnósticos para totais de população finita em nível de domínio. O método procede em três estáções:

1. Estimativa IPW Calibrada:
   Os totais de domínio são primeiro estimados usando IPW calibrado. Um modelo de participação logística é ajustado para estimar as probabilidades de inclusão ($\hat{\pi}_i$), gerando pesos IPW brutos. Esses pesos são então calibrados dentro de cada domínio para totais populacionais conhecidos (ex: tamanho do domínio ou totais auxiliares) usando uma abordagem de minimização de distância quadrática. A variância dos estimadores calibrados é estimada via um bootstrap de multiplicador generalizado que reajusta o modelo de participação e recalibra os pesos em cada réplica.

2. Diagnósticos de Domínio e Pontuação de Confiabilidade:
   Para avaliar a qualidade do input IPW, o método calcula três diagnósticos em nível de domínio:

   • Taxa de Cobertura ($c_d$): A proporção da população do domínio representada na amostra.
   • Variabilidade de Peso ($CV_{w,d}$): O coeficiente de variação dos pesos calibrados, indicando a estabilidade do estimador (alta variabilidade sugere dependência de poucas unidades).
   • Equilíbrio Auxiliar ($B_d$): A distância euclidiana entre as médias amostrais ponderadas e as médias populacionais conhecidas de variáveis auxiliares padronizadas.

   Esses diagnósticos são normalizados e combinados em uma única pontuação de confiabilidade ($Q_d$) para cada domínio elegível. Domínios com pontuações baixas são sinalizados como tendo informações mais fracas.

3. Modelo FH de Mistura com Inflação de Variância:
   A inovação central é um modelo de mistura aplicado à equação de observação FH. Um indicador latente $\xi_d \in \{0, 1\}$ determina se um domínio segue um componente "ordinário" ou um componente de "inflação de variância".

   • A probabilidade do componente ordinário ($\pi_d$) é definida como igual à pontuação de confiabilidade normalizada $Q_d$.
   • A equação de observação é definida como:
     $$\hat{Y}^{IPW}_d | \theta_d, \xi_d \sim N\{\theta_d, \hat{V}_d + (1-\xi_d)\tau\}$$
     onde $\tau \geq 0$ é um parâmetro de inflação.
   • Domínios com pontuações de confiabilidade baixas (baixo $\pi_d$) são atribuídos ao componente inflacionado, aumentando efetivamente a variância de observação de seus dados. Isso faz com que o shrinkage (contração) do FH puxe essas estimativas mais fortemente em direção à média de regressão ($\theta_d$), reduzindo a influência de entradas potencialmente enviesadas ou instáveis.

   Os parâmetros do modelo ($\beta, A, \tau$) e as probabilidades a posteriori são estimados via um algoritmo iterativo.

Principais Contribuições
O artigo apresenta três contribuições específicas:

1. Construção de Diagnósticos Compactos: Propõe uma pontuação de confiabilidade unificada baseada em cobertura, estabilidade de peso e equilíbrio auxiliar para quantificar a qualidade dos inputs de não-probabilidade IPW.
2. Inflação de Variância por Mistura: Incorpora essa pontuação de confiabilidade em um modelo de mistura FH, permitindo a inflação baseada em dados da variância de observação para domínios não confiáveis, em vez de tratar todos os inputs como igualmente confiáveis.
3. Validação com Verdade Conhecida: Valida o método usando uma população pseudo-real de empresas de negócios lituanas onde os totais reais de domínio são conhecidos, permitindo uma avaliação direta do erro de estimativa.

Resultados
A validação foi conduzida em uma população de 2.839 empresas lituanas distribuídas em 23 domínios econômicos, utilizando o faturamento mensal como variável de estudo. O estimador proposto foi comparado contra:

1. Estimadores IPW calibrados.
2. Estimadores FH padrão (sem inflação de variância).

Os resultados demonstraram uma redução substancial no erro de estimativa para o método proposto:

• Erro Relativo Agregado: Reduzido de 14,56% (IPW Calibrado) e 12,83% (FH Padrão) para 2,67% (VI-FH Proposto) sob calibração de tamanho de domínio.
• RMSE de Domínio: Reduzido de 7,87 milhões (IPW) e 7,59 milhões (FH Padrão) para 1,31 milhão (Proposto).
• MAPE: Reduzido de 61,22% (IPW) e 57,68% (FH Padrão) para 13,39% (Proposto).

Além disso, o estudo confirmou que as pontuações diagnósticas estavam empiricamente correlacionadas com os erros relativos absolutos reais dos estimadores IPW, validando sua utilidade como indicadores de confiabilidade pré-smoothing. Os autores também observaram que adicionar informações de calibração auxiliar mais ricas (além do tamanho do domínio) não melhorou automaticamente o desempenho, sugerindo que os conjuntos de calibração devem ser tratados como especificações estatísticas e não como melhorias monotônicas.

Significância e Alegações
O artigo alega que seu método fornece um mecanismo transparente para propagar evidências diagnósticas sobre o suporte fraco de não-probabilidade para a análise FH em nível de área. Ele afirma explicitamente que o método não identifica vieses de seleção arbitrários não medidos sem benchmarks externos. Em vez disso, sua significância reside em evitar que o modelo de nível de área trate todos os inputs de IPW de não-probabilidade como igualmente confiáveis quando suas estimativas de variância sozinhas são insuficientes para descrever a incerteza. Os autores apresentam isso como uma evidência direcionada da eficácia do mecanismo de inflação de variância, em vez de uma avaliação exaustiva de todos os mecanismos de seleção de não-probabilidade.