Design Effect Ratios for Bayesian Survey Models: A Diagnostic Framework for Identifying Survey-Sensitive Parameters

1. O Problema

A inferência bayesiana hierárquica aplicada a dados de pesquisas complexas (com amostragem estratificada, conglomerados e pesos) enfrenta um dilema fundamental: quando e como corrigir os intervalos de credibilidade para o efeito do desenho amostral?

• Contexto: Modelos hierárquicos (ex: efeitos aleatórios) são frequentemente usados para analisar dados de pesquisas. A abordagem padrão para lidar com pesos amostrais é a "pseudo-posterior" (exponenciando a verossimilhança pelos pesos). No entanto, isso distorce a curvatura da verossimilhança, levando a uma matriz de covariância posterior mal calibrada.
• A Solução Existente (e seus defeitos): Métodos anteriores (como a correção de Cholesky de Williams & Savitsky, 2021) aplicam uma correção uniforme ("blanket correction") a todos os parâmetros do modelo para alinhar a covariância posterior à variância "sanduíche" (design-consistente).
• O Conflito: A correção uniforme é computacionalmente custosa ($O(d^3)$) e, mais importante, prejudicial. Parâmetros protegidos pela estrutura hierárquica (como efeitos aleatórios fortemente encolhidos ou efeitos fixos identificados por variação entre grupos) já possuem uma variância posterior adequada ou até superestimada devido ao prior. Aplicar uma correção de desenho a esses parâmetros "protegidos" reduz artificialmente seus intervalos de credibilidade, destruindo a cobertura nominal (ex: caindo de 90% para ~20%).

Pergunta Central: Como identificar quais parâmetros específicos necessitam de correção baseada no desenho e quais já estão bem calibrados pela estrutura do modelo, sem aplicar uma correção cega a todos?

2. Metodologia: A Abordagem Proposta

O autor propõe o Razão do Efeito de Desenho (Design Effect Ratio - DER) como uma ferramenta de diagnóstico por parâmetro.

2.1. Definição do DER

O DER para o $k$-ésimo parâmetro é definido como a razão entre a variância consistente com o desenho (variância sanduíche, $V_{sand}$) e a variância posterior obtida via MCMC ($\Sigma_{MCMC}$):
$$DER_k = \frac{[V_{sand}]_{kk}}{[\Sigma_{MCMC}]_{kk}}$$

• DER = 1: O posterior está calibrado; nenhuma correção necessária.
• DER > 1: O posterior está sub-disperso (intervalos muito estreitos); requer correção para alargar os intervalos.
• DER < 1: O posterior está super-disperso (intervalos muito largos); correção seria prejudicial (estreitaria indevidamente).

2.2. Teoremas de Decomposição

O cerne teórico do artigo são teoremas que decompõem o DER em fatores interpretáveis, ligando o efeito de desenho clássico (Kish) ao encolhimento hierárquico (shrinkage):

1. Efeitos Fixos (Fixed Effects):
   • A sensibilidade ao desenho depende da fonte de variação identificadora da covariável.
   • Variação dentro de conglomerados (Within-cluster): Sofrem o efeito de desenho completo ($DER \approx DEFF$).
   • Variação entre conglomerados (Between-cluster): São protegidos pela estrutura hierárquica. O DER é atenuado pelo fator de encolhimento ($DER \approx DEFF \cdot (1-B)$), onde $B$ é o fator de shrinkage.
2. Efeitos Aleatórios (Random Effects):
   • O prior hierárquico atua como um escudo. O DER é governado pelo produto do fator de encolhimento ($B_j$) e o efeito de desenho ($DEFF_j$).
   • Forte encolhimento ($B_j$ pequeno): O estimador depende mais do prior global do que dos dados locais; o DER tende a zero (proteção total).
   • Fraco encolhimento ($B_j$ próximo de 1): O estimador depende dos dados locais; o DER aproxima-se do $DEFF$.
   • Lei de Conservação: A sensibilidade ao desenho não é eliminada, mas redistribuída. O prior absorve a sensibilidade dos efeitos aleatórios e a transfere para a média global e efeitos fixos entre grupos.

2.3. Algoritmo Compute-Classify-Correct (CCC)

Um fluxo de trabalho prático que adiciona custo computacional insignificante:

1. Compute: Calcule a matriz de variância sanduíche e a covariância MCMC para obter o DER de cada parâmetro.
2. Classify: Aplique um limiar (sugerido $\tau = 1.2$). Parâmetros com $DER > \tau$ são sinalizados como "sensíveis ao desenho".
3. Correct: Aplique a correção de Cholesky seletiva apenas aos parâmetros sinalizados.
   • Vantagem Computacional: Reduz a complexidade de $O(d^3)$ para $O(|F|^3)$, onde $|F|$ é o número de parâmetros sinalizados (frequentemente muito menor que $d$).

3. Contribuições Principais

1. Diagnóstico Específico por Parâmetro: Pela primeira vez, oferece uma decomposição teórica que explica por que alguns parâmetros são sensíveis ao desenho e outros não, baseando-se na estrutura do modelo (variação dentro/entre grupos e shrinkage).
2. Prevenção de Danos à Inferência: Demonstra que a correção uniforme ("blanket") destrói a cobertura de intervalos para parâmetros protegidos (reduzindo a cobertura de 90% para ~20% em simulações), enquanto a correção seletiva preserva a cobertura nominal.
3. Eficiência Computacional: O pipeline completo (cálculo do DER + classificação + correção seletiva) é extremamente rápido (< 0,03 segundos em dados reais), tornando-se viável para modelos com milhares de parâmetros.
4. Integração de Paradigmas: Opera dentro do paradigma "Bayes Calibrado" (Little, 2004), especificando quais aspectos da inferência bayesiana precisam de calibração frequentista e quais são intrinsecamente bem calibrados pela estrutura hierárquica.

4. Resultados

4.1. Estudo de Simulação

• Escopo: 54 cenários experimentais, 10.800 réplicas, usando regressão logística hierárquica.
• Separação Clara: Houve uma "fenda de separação" (separation gap) distinta entre os DERs de parâmetros sensíveis (efeitos fixos dentro de grupos, DER médio ~1.7) e parâmetros protegidos (efeitos entre grupos e aleatórios, DER < 0.25).
• Desempenho de Cobertura:
  • Estratégia Ingênua (sem correção): Cobertura de ~65-77% para parâmetros sensíveis.
  • Correção Uniforme: Restaurou a cobertura para parâmetros sensíveis (87%), mas colapsou a cobertura para parâmetros protegidos para **20-21%**.
  • Correção Seletiva (DER): Restaurou a cobertura para parâmetros sensíveis (87%) e preservou a cobertura nominal (90%) para parâmetros protegidos.
• Robustez: O limiar $\tau = 1.2$ produziu zero falsos positivos em todas as réplicas.

4.2. Aplicação Real: NSECE 2019

• Dados: Pesquisa Nacional de Cuidado e Educação Infantil (6.785 provedores, 51 estados).
• Modelo: Regressão logística hierárquica com 54 parâmetros (3 efeitos fixos + 51 efeitos aleatórios).
• Resultado do Diagnóstico:
  • Apenas 1 de 54 parâmetros (o coeficiente de pobreza dentro do estado, com DER = 2.643) foi sinalizado para correção.
  • A correção seletiva aumentou a largura do intervalo de credibilidade desse único parâmetro em 62,6%.
  • Cenário Contrário: Se a correção uniforme fosse aplicada, 53 dos 54 intervalos seriam indevidamente estreitados, com o pior caso reduzindo o intervalo para apenas 4,3% da sua largura original, destruindo a inferência.
• Tempo de Processamento: O pipeline de diagnóstico completou em 0,028 segundos após a amostragem MCMC.

5. Significado e Implicações

Este trabalho resolve uma tensão histórica de décadas na metodologia de pesquisas (entre as abordagens baseadas em desenho e baseadas em modelo) ao fornecer uma ferramenta prática e teórica para a inferência calibrada.

• Mudança de Paradigma: Em vez de tratar a correção de desenho como uma "caixa preta" aplicada a todo o vetor de parâmetros, o DER permite uma abordagem cirúrgica.
• Preservação da Estrutura Hierárquica: Permite que os pesquisadores mantenham os benefícios estatísticos do encolhimento hierárquico (shrinkage) sem sacrificar a validade frequentista dos parâmetros que realmente dependem do desenho amostral.
• Viabilidade Prática: A implementação no pacote R svyder e a velocidade do algoritmo tornam essa abordagem acessível para analistas de dados complexos, eliminando o custo computacional e o risco estatístico de correções cegas.

Em resumo, o artigo estabelece que a sensibilidade ao desenho não é uma propriedade fixa de um parâmetro, mas sim uma função dinâmica da interação entre o efeito de desenho do survey e o fator de encolhimento do modelo hierárquico. O DER é a métrica que quantifica essa interação, permitindo uma inferência bayesiana mais precisa e eficiente.