LOO-PIT predictive model checking

Resumo Técnico: LOO-PIT Predictive Model Checking

1. O Problema

A análise bayesiana responsável exige a avaliação da adequação do modelo especificado. Uma abordagem comum é o verificação preditiva pontual (pointwise predictive checking), que utiliza a Transformada Integral de Probabilidade (PIT). Para um modelo bem calibrado, os valores PIT devem seguir uma distribuição uniforme entre 0 e 1.

O método LOO-PIT (Leave-One-Out Probability Integral Transform) é amplamente utilizado no fluxo de trabalho bayesiano. Ele calcula a probabilidade cumulativa preditiva de cada observação $y_i$ condicionada a todos os dados exceto $y_i$ (ou seja, $p(y_i | y_{-i})$). Isso evita o problema da "dupla utilização dos dados" presente nas verificações preditivas posteriores (Posterior Predictive Checks - PPC).

O Desafio Central:
Embora os valores PIT sejam marginalmente uniformes assintoticamente, eles não são independentes em amostras finitas. Como cada distribuição preditiva LOO é determinada por quase os mesmos dados (todos exceto uma observação), existe uma dependência estrutural entre os valores LOO-PIT.

• Testes de uniformidade padrão (como Kolmogorov-Smirnov ou Anderson-Darling) assumem independência.
• Quando aplicados a dados dependentes, esses testes tornam-se excessivamente conservadores, resultando em uma taxa de rejeição muito menor do que o esperado (baixo poder estatístico), falhando em detectar má calibração do modelo.
• Métodos gráficos existentes (como faixas de confiança baseadas na independência) são muito largos, mascarando desvios locais.

2. Fundamentação Teórica

Os autores estabelecem a base teórica para a dependência dos valores LOO-PIT:

• Origem da Dependência: A dependência surge da incerteza compartilhada na média do posterior. Usando o Teorema de Bernstein-von Mises e a função de influência (Influence Function), eles demonstram que a correlação entre dois valores LOO-PIT ($p_{loo, i}$ e $p_{loo, j}$) decai na taxa de $1/n$, mas permanece não negligenciável em amostras finitas.
• Complexidade do Modelo: A força da dependência depende da complexidade do modelo (número de parâmetros efetivos, $\hat{p}_{loo}$) em relação ao tamanho da amostra ($n$).
  • Para modelos simples ($\hat{p}_{loo}/n \to 0$), a dependência é fraca e os valores parecem independentes.
  • Para modelos complexos (hierárquicos, com muitos parâmetros), a dependência é forte e estruturada, ocupando um subespaço de dimensão $p$ no espaço dos PITs.
• Caso de Má Especificação: Sob má especificação do modelo, os valores convergem para uma distribuição não uniforme, revelando o desajuste, mas a dependência ainda afeta a validade dos testes de uniformidade padrão.

3. Metodologia Proposta

Os autores propõem três novos procedimentos de teste de uniformidade que lidam explicitamente com valores dependentes, combinando testes pontuais com uma técnica de agregação robusta.

A. Testes Pontuais Individuais
Em vez de testar a distribuição conjunta (intratável), realizam-se testes marginais para cada ponto:

1. POT-C (Pointwise Order Tests Combination): Baseado em estatísticas de ordem. Para valores contínuos, compara a estatística de ordem $i$-ésima com uma distribuição Beta($i, n+1-i$).
2. PRIT-C (Pointwise Rank-based Individual Tests Combination): Baseado em ranks. Usa a distribuição Binomial para valores discretos ou baseados em ranks (ECDF escalado).
3. PIET-C (Pointwise Inverse-CDF Evaluation Tests Combination): Transforma os valores PIT uniformes hipotéticos através da função inversa de uma distribuição contínua de referência (ex: Exponencial) e testa se os valores resultantes seguem essa distribuição.

B. Agregação de $p$-valores (Cauchy Combination Test)
Como os $p$-valores individuais são dependentes, não podem ser combinados por métodos padrão. Os autores utilizam o Teste de Combinação de Cauchy (CCT):

• Transforma cada $p$-valor individual $p_i$ em uma variável Cauchy: $t_i = \tan((0.5 - p_i)\pi)$.
• Soma as variáveis transformadas. Devido à "cauda pesada" da distribuição Cauchy, a estatística de teste resultante mantém uma distribuição de cauda aproximadamente Cauchy, mesmo sob dependência arbitrária.
• Isso permite calcular um $p$-valor global válido sem precisar especificar a estrutura de dependência exata.
• Uma variação, o TCCT (Truncated Cauchy Combination Test), também é mencionada para melhorar o poder.

C. Visualização Automática
Para identificar onde o modelo falha, propõem um método gráfico baseado em Valores de Shapley:

• Calculam a contribuição marginal de cada ponto individual para a estatística de teste global.
• Pontos com alta contribuição (influência) são destacados em cores (ex: vermelho) no gráfico da ECDF (Função de Distribuição Acumulada Empírica).
• Isso oferece uma visualização mais sensível e computacionalmente eficiente do que as faixas de confiança tradicionais.

4. Resultados Empíricos

Os autores realizaram extensas simulações com dados sintéticos e reais (incluindo modelos hierárquicos complexos, dados contínuos e contagens).

• Controle de Erro Tipo I:

  • PIET-C: Mantém controle rigoroso do erro Tipo I (taxa de rejeição próxima de 0.05) em todas as condições de dependência.
  • POT-C e PRIT-C: Tendem a ser conservadores (erro Tipo I < 0.05) quando a dependência é muito forte (modelos complexos em relação à amostra), mas melhoram conforme a amostra cresce.
  • Métodos Padrão (KS, AD): Tornam-se extremamente conservadores (erro Tipo I $\approx$ 0) na presença de dependência, falhando em detectar problemas.
  • UPC (Uniform Parameterization Checks): Mostram taxas de erro Tipo I infladas quando combinadas com testes padrão.

• Poder Estatístico (Detecção de Má Calibração):

  • Os métodos propostos (especialmente PIET-C e POT-C) demonstraram poder significativamente superior aos métodos concorrentes (SPP, UPC, KS, AD) em cenários de alta complexidade e dependência.
  • PIET-C foi particularmente eficaz na detecção de caudas pesadas (heavy-tailed) e assimetria.
  • Em cenários onde a incerteza aleatória (ruído dos dados) domina a incerteza epistêmica, o método SPP + POT-C mostrou-se uma alternativa computacionalmente eficiente e poderosa.

• Dados Reais:

  • Aplicação em dados clínicos (estudo sobre uso de cannabis) confirmou que, para modelos complexos com alta dependência, os testes propostos detectam desajustes que os métodos tradicionais ignoram.

5. Contribuições Principais

1. Prova Teórica: Clarificação formal de como a dependência surge no LOO-PIT e sua relação com a complexidade do modelo e tamanho da amostra.
2. Novos Testes: Desenvolvimento de três procedimentos (POT-C, PRIT-C, PIET-C) robustos a dependências arbitrárias, superando a limitação de assumir independência.
3. Visualização Avançada: Introdução de um método gráfico automatizado usando Valores de Shapley para destacar regiões locais de má calibração na ECDF.
4. Validação Empírica: Demonstração de que os métodos propostos são competitivos e frequentemente superiores em poder estatístico, evitando a falsa segurança de testes conservadores.

6. Significado e Recomendações

Este trabalho resolve uma lacuna crítica no fluxo de trabalho bayesiano: a falta de testes de uniformidade válidos para LOO-PIT em amostras finitas e modelos complexos.

Recomendações dos Autores:

• PIT Contínuos: Sempre que possível, calcular PITs usando a CDF paramétrica do modelo (em vez de ranks) para melhor precisão nas caudas.
• Fluxo de Trabalho:
  1. Começar com SPP (Sampled Posterior p-value) para verificação rápida.
  2. Se necessário, usar LOO-PIT.
  3. Para testar LOO-PIT, usar POT-C como escolha padrão devido ao seu bom poder contra diversos tipos de desvios.
  4. Usar PIET-C especificamente se houver suspeita de problemas nas caudas da distribuição.
  5. Usar PRIT-C apenas para dados estritamente discretos/ranks, reconhecendo que pode ser menos poderoso que POT-C em cenários de LOO-PIT ponderado.

Em suma, o artigo fornece ferramentas essenciais para que analistas bayesianos possam confiar nos resultados de suas verificações de modelo, especialmente em cenários modernos de alta dimensionalidade e complexidade.