Horseshoe Priors for Spatial Small Area Estimation: Regular Variation, Tail Robustness, and Deep Learning

Resumo Técnico: Priores de Ferradura para Estimativa de Pequenas Áreas Espaciais

Definição do Problema
A estimativa de pequenas áreas (SAE, do inglês Small Area Estimation) aborda o problema da baixa precisão dos estimadores diretos de levantamentos para domínios com tamanhos de amostra reduzidos, ao "tomar emprestada a força" (borrowing strength) entre as áreas. A literatura é dominada por duas filosofias distintas:

1. Suavização Estruturada: Modela os efeitos das áreas como uma superfície latente suave (ex: modelos de autorregressão condicional intrínseca ou priores BYM2), agrupando as estimativas em direção aos vizinhos geográficos. Isso é ideal quando a verdade subjacente é espacialmente coerente.
2. Contração Global-Local: Aplica priores de caudas pesadas aos efeitos das áreas para contrair a maioria das áreas em direção a uma superfície de regressão, enquanto permite que áreas genuinamente desviantes escapem da contração. A priore de ferradura (horseshoe) é o exemplo canônico.

Embora métodos global-locais tenham sido aplicados à SAE (ex: Tang et al., 2018), os trabalhos existentes trataram amplamente as variâncias de amostragem conhecidas e desiguais ($D_i$) dos estimadores diretos como parâmetros de incerteza (nuisance parameters), em vez de aproveitá-las para garantias teóricas. Além disso, faltava uma comparação teórica rigorosa entre a suavização estruturada e a contração global-local no regime realista de variâncias heterocedásticas conhecidas.

Metodologia
Os autores estudam o modelo Fay–Herriot de ferradura, onde os efeitos das áreas $v_i$ seguem uma priore de ferradura:
$$v_i | \lambda_i, \tau \sim N(0, \tau^2 \lambda_i^2), \quad \lambda_i \sim C^+(0, 1), \quad \tau \sim C^+(0, 1)$$
onde $C^+(0, 1)$ é a distribuição half-Cauchy padrão. O modelo assume variâncias de amostragem conhecidas e desiguais $D_i$ para os estimadores diretos $y_i = x_i^\top \beta + v_i + e_i$.

Principais inovações metodológicas incluem:

• Padronização Heterocedástica: Os autores padronizam o problema por $s_i = (y_i - x_i^\top \beta)/\sqrt{D_i}$, transformando o modelo Fay–Herriot heterocedástico em um modelo de sequência de variância unitária. Isso permite a transferência da teoria de contração minimax do modelo de sequência homocedástica (van der Pas et al., 2014, 2017) para o cenário de SAE.
• Análise de Variação Regular: As propriedades teóricas são derivadas do fato de que a priore de ferradura é regularmente variante no infinito (com índice $-2$). Esta propriedade é distinta das priores Gaussianas ou de Laplace, e é o motor por trás da robustez de cauda.
• Computação: Um amostrador de Gibbs $O(m)$ é desenvolvido usando uma representação de variável auxiliar (aumento de gamma-inversa) para as escalas half-Cauchy, evitando a complexidade computacional das fatorações de matrizes de precisão espacial densas exigidas por suavizadores espaciais.

Principais Contribuições
O artigo apresenta quatro contribuições teóricas e empíricas específicas:

1. Robustez de Cauda e Influência Limitada:
   Utilizando uma identidade de Tweedie–Brown heterocedástica, os autores provam que a média posterior do estimador de ferradura possui um score redescendente. Para uma área com sinal forte (estimativa direta grande), a média posterior permanece essencialmente sem contração ($E(\theta_i | y_i) \approx y_i$).

   • Contraste: Modelos de efeito aleatório Gaussianos (EBLUP, BYM2) aplicam uma contração linear fixa, levando a uma influência ilimitada onde um único valor atípico (outlier) pode distorcer arbitrariamente a estimativa. A influência da ferradura é limitada, restringindo o dano de estimativas diretas corrompidas.

2. Minimaxidade Heterocedástica Aguçada:
   Ao padronizar com $D_i$ conhecido, os autores mostram que a posterior da ferradura contrai na taxa minimax para classes de verdade "quase-pretas" (esparsas).

   • A posterior alcança a taxa $O(q_m \log(m/q_m))$, onde $q_m$ é o número de áreas excepcionais.
   • Uma cota inferior correspondente é estabelecida, fixando a constante nítida na perda ponderada por $D$.
   • Esta otimalidade ocorre de forma adaptativa sem conhecimento oracle do número de áreas excepcionais, utilizando tanto o método Bayes Empírico quanto uma hiperprior half-Cauchy para a escala global $\tau$.

3. Separação de Regimes:
   O artigo delineia teoricamente quando cada filosofia vence:

   • Verdade Suave: Se os efeitos das áreas variam suavemente através de um grafo espacial, a suavização estruturada (BYM/ICAR) alcança uma taxa de convergência superior.
   • Verdade Esparsa: Se apenas uma minoria das áreas é excepcional (picos), a ferradura é quase-minimax. Suavizadores lineares incorrem em um viés de excesso de suavização (oversmoothing) irreversível nesses picos, que cresce com a magnitude do pico, enquanto a ferradura os protege.

4. Evidência Empírica e Diagnósticos:

   • Simulação: Estudos de Monte Carlo confirmam o cruzamento teórico. Em regimes esparsos, a ferradura supera significativamente o EBLUP e o BYM em termos de MSE e cobertura de intervalos. Em regimes suaves, o BYM supera a ferradura.
   • Dados de Câncer de Colo do Útero na Escócia: Aplicado a um conjunto de dados espaciais canônicos, o suavizador BY2 forneceu o melhor desempenho preditivo para os distritos retidos (consistente com a natureza espacial suave dos dados). No entanto, os coeficientes de contração da ferradura ($\kappa_i$) identificaram com sucesso distritos de alta e baixa incidência que o suavizador suprimiu, atuando como uma ferramenta de triagem calibrada para anomalias.

Significância e Alegações
O artigo argumenta que a priore de ferradura serve como uma priore padrão sólida para efeitos de área em SAE, particularmente quando a geometria da verdade subjacente é desconhecida. Sua significância reside em:

• Robustez: Ela "deixa os dados falarem por si mesmos" ao agrupar agressivamente áreas comuns enquanto deixa áreas excepcionais sem contração, sem exigir que o analista identifique previamente os outliers.
• Sem Ajuste ou Grafo Necessário: Ao contrário da suavização estruturada, não requer um grafo de vizinhança e adapta-se ao número de áreas excepcionais via uma única escala global.
• Garantias Teóricas: Fornece a primeira prova de minimaxidade e conjuntos de credibilidade honestos para o modelo Fay–Herriot com variâncias desiguais conhecidas.
• Utilidade Diagnóstica: Os coeficientes de contração posterior fornecem um escore contínuo e interpretável para detecção de anomalias, unindo a lacuna entre estimativa e triagem.

Os autores concluem que a escolha entre suavização e contração é uma escolha sobre a geometria da superfície desconhecida. Embora a suavização estruturada seja ideal para campos espaciais suaves, a ferradura oferece uma alternativa robusta e minimax-otimizada para dados esparsos e propensos a outliers, com o benefício adicional de identificar áreas excepcionais que os suavizadores lineares obscureceriam.