Resumo Técnico: Weighted Bayesian Conformal Prediction (WBCP)

1. Problema e Motivação

O artigo aborda duas lacunas críticas na área de Predição Conformal (CP) e quantificação de incerteza:

1. Violação da Hipótese i.i.d. (Independência e Identicamente Distribuída): A Predição Conformal padrão e sua variante Bayesiana recente (BQ-CP, de Snell & Griffiths, 2025) dependem fortemente da suposição de que os dados de calibração e teste são i.i.d. Em cenários reais, como previsão espacial, adaptação de domínio ou mudança de covariáveis (covariate shift), essa suposição falha. Métodos existentes que lidam com mudança de distribuição (Predição Conformal Ponderada) são puramente frequentistas e fornecem apenas um limite de confiança pontual (determinístico), sem indicar a confiabilidade desse limite.
2. Falta de "Meta-Incerteza": Métodos tradicionais de CP produzem um único limiar $\hat{q}$ para definir o intervalo de previsão. Eles não quantificam a incerteza sobre o próprio limiar (meta-incerteza). Por exemplo, um intervalo calculado com 200 pontos de calibração relevantes é estatisticamente mais confiável do que um calculado com 5 pontos distantes, mas o CP padrão trata ambos da mesma forma.

O objetivo do trabalho é preencher essa lacuna, criando um método que seja robusto a mudanças de distribuição (através de pesos de importância) e que, simultaneamente, forneça uma distribuição posterior completa sobre o limiar de previsão, quantificando a meta-incerteza.

2. Metodologia: Weighted Bayesian Conformal Prediction (WBCP)

Os autores propõem o WBCP, que generaliza a abordagem de BQ-CP para cenários ponderados. A inovação central reside na reformulação da distribuição de Dirichlet utilizada para modelar os espaçamentos dos quantis.

2.1. Do Dirichlet Uniforme ao Dirichlet Ponderado

• BQ-CP (i.i.d.): Assume que os espaçamentos entre os escores de não-conformidade seguem uma distribuição Dirichlet uniforme: $Dir(1, \dots, 1)$.
• WBCP (Ponderado): Substitui essa distribuição por uma Dirichlet ponderada:
  $$Dir(n_{eff} \cdot \tilde{w}_1, \dots, n_{eff} \cdot \tilde{w}_n)$$
  Onde:
  • $\tilde{w}_i$ são os pesos de importância normalizados (derivados de mudança de covariáveis, kernels espaciais, etc.).
  • $n_{eff}$ é o Tamanho de Amostra Efetivo de Kish, calculado como:
    $$n_{eff} = \frac{(\sum w_i)^2}{\sum w_i^2}$$

2.2. Justificativa Teórica

A escolha de $n_{eff}$ como parâmetro de concentração não é arbitrária. O artigo prova que $n_{eff}$ é o único parâmetro que garante a consistência de calibração:

• A variância da posteriori Bayesiana sob este modelo corresponde exatamente à variância de amostragem frequentista do estimador ponderado.
• Quando os pesos são uniformes ($w_i = 1/n$), $n_{eff} = n$ e o método recupera exatamente o BQ-CP original.
• Quando os pesos são altamente não uniformes (poucos pontos relevantes), $n_{eff} \ll n$, resultando em uma posteriori mais difusa (maior incerteza), refletindo honestamente a escassez de informação efetiva.

2.3. Algoritmo e Saídas

O algoritmo (Algoritmo 1 no paper) utiliza amostragem de Monte Carlo (MC) para gerar a distribuição posterior do limiar $\lambda$:

1. Ordena os escores de calibração e calcula $n_{eff}$.
2. Amostra vetores de Dirichlet com parâmetros baseados em $n_{eff}$ e $\tilde{w}$.
3. Calcula o limiar para cada amostra e constrói a distribuição posterior $p(\lambda | D, w)$.
4. Saídas Principais:
   • Limiar HPD (Highest Posterior Density): Um limiar conservador que garante cobertura condicional.
   • Desvio Padrão Posterior ($\sigma_{post}$): Medida direta da meta-incerteza (confiabilidade do intervalo).
   • $n_{eff}$: Número de amostras de calibração efetivas que suportam a estimativa.

2.4. Aplicação: GeoBCP

Os autores instanciam o método para previsão espacial (Geographical BQ-CP). Utilizam kernels gaussianos para definir pesos baseados na distância geográfica entre o ponto de teste e os pontos de calibração. Isso gera mapas de diagnóstico espacial, incluindo mapas de $n_{eff}$ e $\sigma_{post}$.

3. Principais Contribuições Teóricas

O artigo estabelece quatro resultados teóricos fundamentais:

1. Consistência de Calibração de $n_{eff}$ (Teorema 1): Prova que $n_{eff}$ é o parâmetro de concentração assintoticamente único que iguala a variância da posteriori Bayesiana à variância frequentista do estimador ponderado.
2. Taxa de Concentração da Posteriori (Teorema 2): Demonstra que o desvio padrão da posteriori decai na taxa $O(1/\sqrt{n_{eff}})$. Isso significa que regiões com alta densidade de dados efetivos têm intervalos mais estreitos e confiáveis, enquanto regiões com poucos dados têm intervalos mais largos e incertos.
3. Dominância Estocástica Ponderada (Teorema 3): Estende a garantia de dominância estocástica do BQ-CP para cenários ponderados, provando que o limite superior estocástico calculado via Dirichlet ponderado controla o risco esperado sob a distribuição de teste ponderada.
4. Limite de Cobertura Condicional (Teorema 5): Mostra que o limiar HPD fornece uma melhoria de $O(1/\sqrt{n_{eff}})$ na cobertura condicional em relação à taxa marginal $\alpha$. A melhoria é automática e adaptativa: é maior onde $n_{eff}$ é pequeno (onde a incerteza é maior).

4. Resultados Experimentais

Os autores validaram o WBCP em dados sintéticos e reais (preços de imóveis em Seattle).

• Dados Sintéticos: Em um cenário com ruído espacial variável e densidade de dados heterogênea, o WBCP manteve a cobertura garantida (acima de 90% para $\alpha=0.1$) enquanto fornecia diagnósticos precisos. O desvio padrão posterior ($\sigma_{post}$) correlacionou-se fortemente ($r < -0.9$) com a estrutura de ruído conhecida, confirmando que o método detecta corretamente onde a qualidade dos dados é baixa.
• Dados Reais (Seattle House Prices):
  • O GeoBCP (WBCP espacial) manteve a cobertura de 95% (acima do alvo de 90%) com um aumento moderado na largura do intervalo em comparação ao CP Ponderado padrão.
  • Diagnósticos Espaciais: O método revelou que locais urbanos centrais têm alta $n_{eff}$ (>240) e baixa incerteza meta ($\sigma_{post} < 1.8$), enquanto locais periféricos têm baixa $n_{eff}$ (<120) e alta incerteza meta ($\sigma_{post} > 2.4$).
  • Métodos tradicionais (CP Padrão e GeoCP) não conseguiram distinguir essas diferenças de confiabilidade, fornecendo apenas intervalos determinísticos.

5. Significado e Impacto

O WBCP representa um avanço significativo na interseção entre inferência Bayesiana e métodos de cobertura livre de distribuição:

• Unificação de Abordagens: Conecta a robustez da Predição Conformal Ponderada (frequentista) com a riqueza informativa da inferência Bayesiana (distribuições posteriores).
• Quantificação de Meta-Incerteza: Pela primeira vez, é possível quantificar não apenas a incerteza da previsão, mas a confiabilidade do próprio intervalo de confiança em cenários com mudança de distribuição.
• Aplicabilidade Prática: É particularmente valioso para previsão espacial, adaptação de domínio e predição justa, onde a densidade e a relevância dos dados de calibração variam drasticamente.
• Diagnóstico de Dados: A métrica $n_{eff}$ e os mapas de incerteza permitem identificar onde os modelos carecem de suporte estatístico, guiando a coleta de dados direcionada.

Em resumo, o WBCP transforma a Predição Conformal de uma ferramenta que fornece apenas "caixas de segurança" (intervalos) para uma que oferece "caixas de segurança com medidores de confiança", adaptando-se dinamicamente à qualidade e relevância dos dados disponíveis.