Resumo Técnico: Predição Conformal Bayesiana via Seleção de Limiar Baseada em Teoria de Decisão

1. Formulação do Problema

A quantificação de incerteza em aprendizado de máquina enfrenta um trade-off entre validade estatística e eficiência, particularmente quando os modelos probabilísticos subjacentes estão mal especificados. Métodos Bayesianos padrão fornecem incerteza posterior, mas podem falhar em manter a cobertura nominal quando o modelo está incorreto. Por outro lado, a Predição Conformal (CP) padrão oferece garantias de cobertura livre de distribuição e para amostras finitas sob troca, mas frequentemente depende de um único limiar de quantil fixo. Esse limiar fixo tipicamente produz conjuntos de predição conectados (intervalos), que podem ser ineficientes quando a distribuição preditiva posterior é multimodal. Nesses casos, métodos padrão são forçados a abranger regiões de baixa densidade entre modos separados para manter a validade, resultando em conjuntos de predição desnecessariamente grandes.

O problema central abordado é se os limiares conformais podem ser otimizados usando distribuições preditivas Bayesianas posteriores para produzir conjuntos de predição geometricamente adaptativos (especificamente, conjuntos de Densidade Posterior Máxima ou HPD) que permaneçam válidos mesmo sob má especificação do modelo.

2. Metodologia: Predição Conformal Bayesiana (BCP)

Os autores propõem a Predição Conformal Bayesiana (BCP), um framework que reformula a predição conformal como um problema de otimização de risco-decisão. Em vez de aceitar um limiar de quantil fixo, a BCP trata o limiar $\lambda$ como uma variável de decisão para minimizar o tamanho esperado do conjunto de predição enquanto satisfaz uma restrição de cobertura no estilo PAC (Provavelmente Corretamente Aproximado).

Componentes Chave

1. Pontuações de Não Conformidade Bayesianas:
   A BCP utiliza pontuações derivadas da densidade preditiva posterior:
   $$s(x, y) = -\log \hat{p}(y \mid x, D_{tr})$$
   Essas pontuações incorporam tanto a incerteza paramétrica quanto a preditiva. Para computá-las eficientemente sem reajustar o modelo para cada ponto de calibração, os autores empregam amostragem por importância Adicionar-Um (AOI). Isso repondera amostras posteriores existentes para aproximar a densidade preditiva em $(x, y)$ arbitrários, garantindo que a função de pontuação permaneça fixa em relação aos rótulos de calibração para preservar a troca.

2. Controle de Risco no Estilo PAC (Estatística $L_+$):
   Para impor validade, a BCP adota o framework de Controle de Risco Conformal (CRC). Utiliza a estatística $L_+$, que limita estocasticamente superiormente o risco real de não cobertura. O limiar $\lambda^*$ é selecionado de modo que:
   $$P_D(P_{(X,Y)}(Y \notin C(X; \lambda)) \le \alpha) \ge 1 - \beta$$
   Isso garante uma cobertura de $1-\alpha$ com probabilidade de pelo menos $1-\beta$ sobre a aleatoriedade dos dados de calibração, fornecendo robustez mesmo se o modelo Bayesiano estiver mal especificado.

3. Quadratura Bayesiana (BQ) para Estimativa de Eficiência:
   A função objetivo $g(\lambda) = E_X[|C(X; \lambda)|]$ (tamanho esperado do conjunto) é frequentemente intratável. A BCP aproxima isso usando Quadratura Bayesiana, colocando uma priori de Processo Gaussiano sobre o mapeamento $\lambda \mapsto g(\lambda)$.

   • Papel em configurações baseadas em limiar: A BQ reduz o ruído de estimativa ao identificar o menor limiar viável.
   • Papel em configurações HPD: Em distribuições multimodais, a geometria dos conjuntos HPD muda abruptamente (componentes desconectados aparecem/desaparecem) à medida que $\lambda$ cruza níveis de densidade de fronteira de modo. Isso causa alta variância em estimativas ingênuas de Monte Carlo. A BQ estabiliza a estimativa de $g(\lambda)$ perto dessas descontinuidades, permitindo a seleção confiável do limiar ótimo.

4. Geometria Adaptativa (Conjuntos HPD):
   Diferentemente da CP Dividida padrão ou da Regressão de Quantis Conformalizada (CQR), que impõem intervalos conectados, a BCP constrói conjuntos de predição baseados nos conjuntos de nível superior da densidade preditiva posterior:
   $$C_{HPD}(x; \lambda) = \{y : \hat{p}(y \mid x, D_{tr}) \ge e^{-\lambda}\}$$
   Sob posteriores multimodais, esses conjuntos podem ser disjuntos, concentrando massa de probabilidade em regiões de alta densidade separadas e evitando vales de baixa densidade.

3. Contribuições Principais

• Formulação Baseada em Teoria de Decisão: O artigo apresenta a CP como um problema de otimização onde o limiar é uma variável de decisão que minimiza o tamanho esperado do conjunto sujeito a uma restrição de cobertura PAC.
• Adaptabilidade Geométrica: Ao utilizar densidades preditivas posteriores, a BCP gera conjuntos de predição HPD que podem ser disjuntos sob distribuições multimodais, melhorando significativamente a eficiência em comparação com métodos de intervalo conectado.
• Robustez à Má Especificação: O framework desacopla a validade da correção do modelo. Enquanto Intervalos Credíveis Bayesianos (BCI) falham sob má especificação de priori, a BCP restaura a cobertura quase nominal via a restrição $L_+$.
• Seleção Estável de Limiar: A integração da Quadratura Bayesiana aborda a instabilidade da estimativa de funções objetivo perto de fronteiras de modo em configurações multimodais.

4. Resultados Experimentais

Os autores avaliam a BCP em tarefas de regressão, classificação e deslocamento de distribuição contra baselines incluindo CP Dividida, CQR, Intervalos Credíveis Bayesianos (BCI), Computação Bayesiana Conformal (CB) e Snell-HPD.

• Regressão (Conjunto de Dados Diabetes): Sob má especificação de priori ($c=0.02$), a cobertura do BCI colapsou para 49,2%, enquanto a BCP manteve 80,0% de cobertura. A BCP atingiu a cobertura alvo com um intervalo ligeiramente mais amplo que o Snell-HPD devido à otimização explícita de eficiência, mas superou significativamente o BCI em validade.
• Classificação (Câncer de Mama): O BCI supercobriu severamente (98,9% vs. 80% alvo). A BCP atingiu 82,5% de cobertura com um tamanho médio de conjunto de 0,829, demonstrando controle eficaz de eficiência-validade.
• Regressão Multimodal Sintética: Essa configuração destaca a vantagem primária da BCP. Métodos de intervalo padrão (CP Dividida, CQR) produziram conjuntos conectados abrangendo o vale de baixa densidade entre modos, resultando em tamanhos médios de ~4,8. A BCP e o Snell-HPD utilizaram conjuntos HPD disjuntos, reduzindo o tamanho médio para 2,07 (uma melhoria estatisticamente significativa, $p < 0,0001$). A BCP atingiu uma taxa de aprovação PAC de 0,80, atendendo ao alvo, enquanto o Snell-HPD ficou ligeiramente aquém (0,78).
• Classificação de Alta Dimensão (ImageNet-A): Em uma configuração unimodal onde o tamanho esperado do conjunto é monótono no limiar, a BCP recuperou a mesma solução que o Snell-HPD (tamanho médio de conjunto 40,3 vs. 122+ para métodos marginais). Isso confirma que os ganhos de eficiência da BCP são impulsionados pela capacidade de lidar com geometrias complexas e multimodais, e não apenas pela restrição PAC.

5. Significado e Alegações

O artigo alega que a BCP fornece um framework robusto para quantificação de incerteza que combina as garantias de validade da predição conformal com a adaptabilidade geométrica da inferência Bayesiana.

• Validade: O método garante cobertura para amostras finitas sob troca, independente da correção do modelo.
• Eficiência: A contribuição primária para a eficiência é a capacidade de construir conjuntos de predição disjuntos em cenários multimodais, evitando a "penalidade de baixa densidade" inerente a métodos de intervalo conectado.
• Escopo: Os autores notam que, em configurações padrão de limiar aninhado (regressão unimodal, classificação padrão), a BCP recupera o menor limiar viável e alinha-se com métodos existentes baseados em PAC. A vantagem distinta surge especificamente quando a distribuição preditiva é multimodal.
• Limitações: O método herda o custo computacional da inferência posterior (requerendo amostras MCMC e reponderação AOI). Os autores reconhecem que a escalabilidade para conjuntos de dados muito grandes ou espaços de rótulos de alta dimensão permanece um desafio aberto.

Em resumo, a BCP oferece uma abordagem principiante para construir conjuntos de predição que são estatisticamente válidos sob má especificação do modelo e geometricamente eficientes em paisagens preditivas complexas e multimodais.