Uncertainty Quantification for Multi-level Models Using the Survey-Weighted Pseudo-Posterior

Resumo Técnico: Quantificação de Incerteza para Modelos Multinível Usando a Pseudo-Posterior Ponderada por Pesquisa

Declaração do Problema
A inferência estatística para dados de pesquisas complexas tipicamente depende de pesos de pesquisa para corrigir probabilidades de seleção desiguais e características do desenho (agrupamento, estratificação). Embora softwares padrão possam incorporar esses pesos em modelos Bayesianos multinível (hierárquicos) para produzir estimativas pontuais consistentes para parâmetros globais (por exemplo, efeitos fixos), a quantificação de incerteza resultante é frequentemente incorreta. Especificamente, as variâncias posteriores e os intervalos de credibilidade derivados de uma pseudo-posterior ponderada por pesquisa não alcançam taxas de cobertura assintoticamente corretas (por exemplo, um intervalo nominal de 95% pode não conter o parâmetro verdadeiro 95% das vezes).

Esse problema é exacerbado em modelos multinível que contêm tanto parâmetros globais (que se beneficiam do aumento de informações à medida que o tamanho da amostra $n \to \infty$) quanto parâmetros locais (por exemplo, efeitos aleatórios ao nível de grupo). Parâmetros locais frequentemente dependem de subconjuntos menores de dados, levando a taxas mais lentas de redução de variância (por exemplo, $\propto n^{-1/2}$ ou até constantes) em comparação com parâmetros globais. Suposições padrão de normalidade assintótica, que fundamentam os ajustes de variância "sanduíche", podem falhar para esses parâmetros locais, particularmente em amostras pequenas ou sob desenhos de amostragem fortemente informativos onde a distribuição da amostra difere significativamente da população.

Metodologia
Os autores propõem e avaliam modificações em um framework existente de pós-processamento automatizado (originalmente desenvolvido por Williams e Savitsky, 2021) projetado para ajustar a pseudo-posterior ponderada por pesquisa. O objetivo central é alinhar a variância da posterior Bayesiana com a variância assintótica do Estimador de Máxima Verossimilhança (MLE) ponderado por pesquisa, que segue uma forma "sanduíche": $H^{-1} J H^{-1}$.

O artigo avalia três estratégias de ajuste específicas aplicadas às amostras da pseudo-posterior:

1. Ajuste Ingênuo (Linha de Base): Esta abordagem utiliza os gradientes do log-posterior (que incluem o prior) no lugar dos gradientes da log-verossimilhança para estimar a matriz de curvatura ($H$) e o produto externo dos gradientes ($J$). Assume-se que a curvatura do prior é desprezível, uma suposição que vale para parâmetros globais, mas é duvidosa para parâmetros locais e hiperparâmetros.
2. Ajuste de Curvatura do Prior: Reconhecendo que o prior contribui para a curvatura posterior, mas não para a variância orientada pelos dados ($J$), este método estima explicitamente a matriz de curvatura do prior ($H_0$). Ajusta-se o estimador sanduíche adicionando $H_0$ de volta à estimação da matriz $J$ ($J^* = J_{\xi} + H_0$) para prevenir a redução artificial de escala para parâmetros fortemente influenciados pelo prior.
3. Transformação + Curvatura do Prior (Yeo-Johnson): Esta abordagem aborda a não-normalidade das distribuições de parâmetros (comum em componentes de variância e parâmetros hierárquicos). Aplica-se a transformação Yeo-Johnson para mapear os parâmetros para um espaço mais próximo da normalidade. O ajuste sanduíche é então realizado nos parâmetros transformados, e os resultados são retro-transformados para a escala original. Este método também incorpora a correção de curvatura do prior.

Para estimar os componentes de variância necessários ($J$) sem reexecutar o MCMC computacionalmente caro para cada réplica, os autores utilizam uma abordagem híbrida combinando um jackknife delete-a-group (para pesos de réplica) com linearização de Taylor. Isso permite a estimação do efeito de desenho e da matriz de variância sanduíche usando um único conjunto de draws posteriores.

Principais Contribuições

• Identificação de Limitações: O artigo demonstra que ajustes sanduíche "ingênuos" padrão, que funcionam bem para efeitos fixos globais, falham em fornecer quantificação de incerteza correta para efeitos aleatórios locais e componentes de variância em modelos multinível, frequentemente levando a subcobertura severa.
• Modificações Propostas: Os autores introduzem dois refinamentos específicos ao processo de ajuste automatizado: (1) corrigir a curvatura do prior para estabilizar estimativas de parâmetros locais, e (2) aplicar transformações Yeo-Johnson para mitigar o impacto da não-normalidade no espaço de parâmetros.
• Eficiência Computacional: Os métodos propostos operam como uma correção post-hoc a uma única execução de MCMC, evitando o ônus computacional de métodos de replicação "força bruta" (que exigem reestimar o modelo para centenas de conjuntos de dados de réplica).
• Validação Empírica: Os métodos são validados através de estudos de simulação (Amostragem Aleatória Simples, Probabilidade Proporcional ao Tamanho e Amostragem em Dois Estágios por Agrupamento) e uma aplicação à Pesquisa Nacional sobre Uso de Drogas e Saúde (NSDUH).

Resultados

• Simulações:
  • Em cenários de Amostragem Aleatória Simples (AAS), o ajuste ingênuo subcobriu severamente efeitos aleatórios e parâmetros de variância. A abordagem Yeo-Johnson (YJ) com curvatura do prior alcançou cobertura próxima ao nominal para efeitos aleatórios, superando tanto os métodos ingênuo quanto o de apenas curvatura do prior.
  • Em desenhos de amostragem informativa (PPT e Dois Estágios), todos os métodos lutaram para atingir a cobertura nominal de 95% devido à forte informatividade do desenho e tamanhos de amostra pequenos. No entanto, a abordagem YJ forneceu consistentemente a melhor cobertura para efeitos aleatórios e componentes de variância, superando significativamente a abordagem ingênua.
• Aplicação NSDUH:
  • Aplicado a uma regressão logística multinível para prevalência de depressão através de grupos interseccionais (raça, gênero, orientação sexual), o ajuste YJ produziu intervalos de credibilidade mais amplos e conservadores em comparação com a pseudo-posterior não ajustada, refletindo a penalidade necessária do "efeito de desenho".
  • A abordagem YJ forneceu intervalos mais eficientes do que um método de replicação força bruta aplicado a um conjunto de dados subamostrado, mantendo desempenho similar para domínios pequenos.
  • Limitação em Hierarquias Profundas: Quando aplicado a um modelo hierárquico "mais profundo" com priores globais-locais (penalizando interações de ordem superior), o ajuste YJ tornou-se extremamente instável, produzindo intervalos inutilizáveis. Isso sugere que o ajuste automático tem limites quando aplicado a estruturas hierárquicas complexas e profundas.

Significado e Alegações
O artigo alega que, embora a inferência Bayesiana para dados de pesquisas complexas seja viável, ajustes automatizados padrão são insuficientes para modelos multinível contendo parâmetros locais. As modificações propostas (especificamente a transformação Yeo-Johnson combinada com correção de curvatura do prior) oferecem uma maneira computacionalmente eficiente de melhorar a quantificação de incerteza para parâmetros globais e locais em modelos hierárquicos "rasos".

Os autores concluem modestamente que, embora sua abordagem melhore os métodos existentes para modelos multinível padrão, não é uma solução universal. A instabilidade observada em modelos hierárquicos profundos indica a necessidade de trabalhos futuros para diagnosticar quando os parâmetros estão "muito profundos" ou quando o ajuste sanduíche é inadequado, potencialmente exigindo estratégias de ajuste diferenciadas ou diagnósticos (como clonagem de dados) para identificar parâmetros estimáveis. O trabalho fornece uma ferramenta prática e automatizada para pesquisadores usando dados de pesquisa em frameworks Bayesianos hierárquicos, particularmente para estudos de interseccionalidade e decomposição de variância.