CP4SBI: Local Conformal Calibration of Credible Sets in Simulation-Based Inference

Resumo Técnico: CP4SBI – Calibração Conforme Local de Conjuntos de Credibilidade em Inferência Baseada em Simulação

1. Definição do Problema

A Inferência Baseada em Simulação (SBI) tornou-se um framework padrão para inferência Bayesiana livre de verossimilhança em campos como astrofísica, neurociência e dinâmica de fluidos, onde simuladores estocásticos complexos geram dados $x$ dado parâmetros $\theta$, mas carecem de funções de verossimilhança tratáveis. Embora modelos generativos profundos (ex: fluxos de normalização, modelos de difusão) tenham permitido aproximações de posteriors eficientes, essas aproximações frequentemente sofrem de descalibração estatística. Especificamente, regiões de credibilidade construídas a partir de posteriors aproximados $\hat{p}(\theta|x)$ frequentemente falham em atingir seus níveis nominais de cobertura, levando a inferências excessivamente confiantes.

Tentativas existentes de corrigir isso usando Predição Conforme (CP) tipicamente oferecem apenas cobertura marginal ($P(\theta \in C(X)) = 1-\alpha$), que é média sobre todos os possíveis dados e parâmetros. Isso é insuficiente para a inferência Bayesiana, que requer cobertura condicional ($P(\theta \in C(X) | X = x_{obs}) = 1-\alpha$) para observações específicas. Além disso, muitos métodos atuais de CP para SBI exigem densidades de posterior de forma fechada, uma restrição que exclui modelos generativos baseados em amostras modernos, como modelos de difusão.

2. Metodologia: CP4SBI

Os autores propõem o CP4SBI, um framework pós-hoc, agnóstico ao modelo, que integra a predição conforme no pipeline de SBI para construir conjuntos de credibilidade com garantias de amostra finita. O insight central é reinterpretar a função de pontuação $s(\theta; x)$ (derivada do posterior aproximado) como uma pontuação de não conformidade dentro de um framework de inferência conforme.

O framework requer um conjunto de calibração $D_{cal} = \{(\theta_i, x_i)\}_{i=1}^B$, onde os pares são simulados a partir da prior e do modelo direto. O CP4SBI oferece duas variantes distintas para alcançar cobertura local e condicional:

A. LoCart CP4SBI (Calibração Local via Árvores de Regressão)

• Mecanismo: Este método particiona o espaço de características $\mathcal{X}$ usando uma árvore de regressão treinada para prever a pontuação de conformidade $s(\theta; x)$ a partir da observação $x$. A árvore é aumentada com uma estimativa da variância condicional da pontuação para melhorar o particionamento.
• Calibração: Para uma nova observação $x_{obs}$, o método identifica o nó folha (região $A_j$) contendo $x_{obs}$. Em seguida, computa um limiar conforme local $t_{1-\alpha}$ usando apenas as pontuações de calibração que caem dentro dessa região específica.
• Garantia: Isso garante cobertura local ($P(\theta \in C(X) | X \in A_j) \geq 1-\alpha$). Sob condições de regularidade, conforme o tamanho do conjunto de calibração $B \to \infty$, o particionamento torna-se mais fino e o método atinge cobertura condicional assintótica ($P(\theta \in C(X) | X = x) \to 1-\alpha$).

B. CDF CP4SBI (Calibração Baseada em CDF)

• Mecanismo: Esta variante transforma a pontuação de não conformidade bruta $s(\theta; x)$ usando uma estimativa de sua função de distribuição acumulada (CDF) condicional, $\hat{F}(s | x)$. A pontuação transformada é $s'(\theta; x) = \hat{F}(s(\theta; x) | x)$.
• Implementação: Diferente de configurações padrão onde a CDF condicional deve ser estimada do zero, o CP4SBI aproveita o aproximador de posterior já treinado. Ele estima $\hat{F}$ via uma abordagem de Monte Carlo: extraindo $M$ amostras $\{\theta_j\}_{j=1}^M \sim \hat{p}(\theta|x)$ e computando a CDF empírica das pontuações.
• Calibração: Um único limiar global é computado nas pontuações transformadas $s'$. Como a transformação visa tornar as pontuações uniformemente distribuídas condicionais a $x$, o conjunto de credibilidade resultante atinge cobertura condicional assintótica conforme o tamanho de treinamento $K$, o tamanho de calibração $B$ e as amostras de Monte Carlo $M$ todos se aproximam do infinito.

Flexibilidade:

• Agnóstico ao Modelo: Funciona com estimadores de densidade (ex: Estimativa de Posterior Neural - NPE) e modelos generativos baseados em amostras (ex: Difusão, Flow Matching). Para modelos baseados em amostras, as pontuações são aproximadas usando estimativa de densidade de kernel ou momentos empíricos.
• Funções de Pontuação: Compatível com regiões de Densidade Posterior Mais Alta (HPD), simétricas e baseadas em quantis.
• Transformações: Lida naturalmente com parâmetros de confusão ou transformações $\phi = g(\theta)$ aplicando o método ao espaço transformado.

3. Principais Contribuições

1. Cobertura Marginal Garantida: Ao contrário dos conjuntos de credibilidade aproximados padrão, o CP4SBI fornece garantias de cobertura marginal não assintóticas ao reinterpretar pontuações Bayesianas como pontuações de não conformidade.
2. Adaptabilidade Local/Condicional Aprimorada:
   • O LoCart CP4SBI fornece cobertura local de amostra finita e cobertura condicional assintótica ao adaptar o tamanho das regiões à dificuldade da inferência via árvores de regressão.
   • O CDF CP4SBI atinge cobertura condicional assintótica ao utilizar o aproximador de posterior para transformar as pontuações, melhorando a calibração sem exigir densidades de forma fechada.
3. Generalidade: O framework é compatível com qualquer aproximador de posterior (densidade ou baseado em amostras) e várias funções de pontuação, abordando uma lacuna onde métodos de CP anteriores exigiam posteriors de forma fechada, indisponíveis em modelos de SBI modernos.

4. Resultados Experimentais

Os autores avaliaram o CP4SBI em dez benchmarks de SBI (ex: Two Moons, Gaussian Mixture, Lotka-Volterra) e um Modelo de Massa Neural (NMM) de neurociência computacional.

• Métricas: O desempenho foi medido pelo Erro Absoluto Médio (MAE) da cobertura condicional e pela Cobertura Marginal Média (AMC).
• Baselines: Comparado contra Self-calibration, Global Conformal Prediction e recalibração HDR.
• Descobertas:
  • Cobertura Condicional: Ambas as variantes LoCart e CDF superaram significativamente os baselines em 8 de 10 benchmarks ao usar Estimativa de Posterior Neural (NPE). O LoCart CP4SBI foi particularmente eficaz para modelos de difusão de escore (NPSE), classificando-se melhor em 7 de 10 tarefas.
  • Cobertura Marginal: Os métodos propostos mantiveram consistentemente a cobertura próxima ao nível nominal (0.9), enquanto baselines como Self-calibration e HDR frequentemente falharam em manter a validade marginal.
  • Adaptabilidade: No estudo de caso NMM, o LoCart CP4SBI produziu regiões de credibilidade adaptativas que variavam de tamanho com base na combinação específica de parâmetros, enquanto métodos globais produziram regiões uniformemente grandes e o self-calibration produziu regiões uniformemente pequenas.
  • Robustez: Os métodos performaram bem através de diferentes orçamentos de simulação, embora o LoCart exija dados de calibração suficientes para popular efetivamente as partições da árvore.

5. Significância e Alegações

O artigo afirma que o CP4SBI representa um avanço significativo na quantificação de incerteza para a ciência computacional. Ao fornecer garantias de amostra finita e cobertura local/condicional, ele aborda o problema crítico da descalibração em SBI, que compromete a confiabilidade da tomada de decisão subsequente.

Os autores enfatizam que sua abordagem é modesta quanto à precisão (tightness) das regiões resultantes: a qualidade dos conjuntos de credibilidade ainda depende da qualidade inicial da aproximação do posterior. Aproximações ruins resultarão em conjuntos mais amplos, embora calibrados. No entanto, o framework garante que a cobertura seja estatisticamente válida, evitando a excessiva confiança comum nas práticas atuais de SBI.

O trabalho posiciona o CP4SBI como uma ferramenta de propósito geral que pode ser aplicada a qualquer método de SBI (incluindo aqueles que utilizam modelos de difusão ou flow matching) para aumentar a confiabilidade. Os autores observam que, embora tenham focado em dois métodos específicos de cobertura condicional local, o framework está aberto a outras técnicas de cobertura condicional e futuras extensões para configurações de parâmetros hierárquicos ou discretos.