CP4SBI: Local Conformal Calibration of Credible Sets in Simulation-Based Inference

Resumen Técnico: CP4SBI – Calibración Conforme Local de Conjuntos de Credibilidad en la Inferencia Basada en Simulación

1. Declaración del Problema

La Inferencia Basada en Simulación (SBI, por sus siglas en inglés) se ha convertido en un marco estándar para la inferencia bayesiana libre de verosimilitud en campos como la astrofísica, la neurociencia y la dinámica de fluidos, donde simuladores estocásticos complejos generan datos $x$ dados unos parámetros $\theta$, pero carecen de funciones de verosimilitud tratables. Aunque los modelos generativos profundos (por ejemplo, flujos de normalización, modelos de difusión) han permitido aproximaciones posteriores eficientes, estas aproximaciones suelen sufrir de descalibración estadística. Específicamente, las regiones de credibilidad construidas a partir de posteriores aproximadas $\hat{p}(\theta|x)$ frecuentemente fallan en alcanzar sus niveles de cobertura nominales, lo que conduce a inferencias excesivamente confiadas.

Los intentos existentes para corregir esto utilizando Predicción Conforme (CP) suelen ofrecer únicamente cobertura marginal ($P(\theta \in C(X)) = 1-\alpha$), la cual promedia sobre todos los posibles datos y parámetros. Esto es insuficiente para la inferencia bayesiana, que requiere cobertura condicional ($P(\theta \in C(X) | X = x_{obs}) = 1-\alpha$) para observaciones específicas. Además, muchos métodos actuales de CP para SBI requieren densidades posteriores de forma cerrada, una restricción que excluye a los modelos generativos modernos basados en muestras, como los modelos de difusión.

2. Metodología: CP4SBI

Los autores proponen CP4SBI, un marco de post-procesamiento agnóstico al modelo que integra la predicción conforme en el flujo de trabajo de SBI para construir conjuntos de credibilidad con garantías de muestra finita. La idea central es reinterpretar la función de puntuación $s(\theta; x)$ (derivada de la posterior aproximada) como una puntuación de no conformidad dentro de un marco de inferencia conforme.

El marco requiere un conjunto de datos de calibración $D_{cal} = \{(\theta_i, x_i)\}_{i=1}^B$, donde los pares son simulados a partir del prior y el modelo directo. CP4SBI ofrece dos variantes distintas para lograr cobertura local y condicional:

A. LoCart CP4SBI (Calibración Local mediante Árboles de Regresión)

• Mecanismo: Este método particiona el espacio de características $\mathcal{X}$ utilizando un árbol de regresión entrenado para predecir la puntuación de conformidad $s(\theta; x)$ a partir de la observación $x$. El árbol se aumenta con una estimación de la varianza condicional de la puntuación para mejorar la partición.
• Calibración: Para una nueva observación $x_{obs}$, el método identifica el nodo hoja (región $A_j$) que contiene a $x_{obs}$. Luego, calcula un umbral de conformidad local $t_{1-\alpha}$ utilizando solo las puntuaciones de calibración que caen dentro de esa región específica.
• Garantía: Esto asegura la cobertura local ($P(\theta \in C(X) | X \in A_j) \geq 1-\alpha$). Bajo condiciones de regularidad, a medida que el tamaño del conjunto de calibración $B \to \infty$, la partición se vuelve más fina y el método logra la cobertura condicional asintótica ($P(\theta \in C(X) | X = x) \to 1-\alpha$).

B. CDF CP4SBI (Calibración basada en CDF)

• Mecánica: Esta variante transforma la puntuación de no conformidad bruta $s(\theta; x)$ utilizando una estimación de su función de distribución acumulada (CDF) condicional, $\hat{F}(s | x)$. La puntuación transformada es $s'(\theta; x) = \hat{F}(s(\theta; x) | x)$.
• Implementación: A diferencia de los entornos estándar donde la CDF condicional debe estimarse desde cero, CP4SBI aprovecha el aproximador de la posterior ya entrenado. Estima $\hat{F}$ mediante un enfoque de Monte Carlo: extrayendo $M$ muestras $\{\theta_j\}_{j=1}^M \sim \hat{p}(\theta|x)$ y computando la CDF empírica de las puntuaciones.
• Calibración: Se calcula un único umbral global sobre las puntuaciones transformadas $s'$. Debido a que la transformación busca que las puntuaciones sean uniformemente distribuidas condicionalmente a $x$, el conjunto de credibilidad resultante logra la cobertura condicional asintótica a medida que el tamaño de entrenamiento $K$, el tamaño de calibración $B$ y las muestras de Monte Carlo $M$ tienden todos a infinito.

Flexibilidad:

• Agnóstico al Modelo: Funciona con estimadores basados en densidad (por ejemplo, Estimación de la Posterior Neuronal - NPE) y modelos generativos basados en muestras (por ejemplo, Difusión, Flow Matching). Para modelos basados en muestras, las puntuaciones se aproximan mediante estimación de densidad de kernel o momentos empíricos.
• Funciones de Puntuación: Compatible con regiones de Densidad Posterior Más Alta (HPD), simétricas y basadas en cuantiles.
• Transformaciones: Maneja naturalmente los parámetros de molestia o transformaciones $\phi = g(\theta)$ aplicando el método al espacio transformado.

3. Contribuciones Clave

1. Cobertura Marginal Garantizada: A diferencia de los conjuntos de credibilidad aproximados estándar, CP4SBI proporciona garantías de cobertura marginal no asintóticas al reinterpretar las puntuaciones bayesianas como puntuaciones de no conformidad.
2. Adaptabilidad Local/Condicional Mejorada:
   • LoCart CP4SBI proporciona cobertura local de muestra finita y cobertura condicional asintótica mediante el uso de árboles de regresión que adaptan el tamaño de las regiones según la dificultad de la inferencia.
   • CDF CP4SBI logra la cobertura condicional asintótica aprovechando el aproximador de la posterior para transformar las puntuaciones, mejorando la calibración sin requerir densidades de forma cerrada.
3. Generalidad: El marco es compatible con cualquier aproximador de la posterior (basado en densidad o en muestras) y diversas funciones de puntuación, abordando una brecha donde los métodos de CP anteriores requerían posteriores de forma cerrada, no disponibles en la SBI moderna.

4. Resultados Experimentales

Los autores evaluaron CP4SBI en diez bancos de pruebas de SBI (por ejemplo, Two Moons, Mezcla Gaussiana, Lotka-Volterra) y un Modelo de Masa Neuronal (NMM) de la neurociencia computacional.

• Métricas: El rendimiento se midió mediante el Error Absoluto Medio (MAE) de la cobertura condicional y la Cobertura Marginal Promedio (AMC).
• Líneas Base: Comparación contra Autocalibración (Self-calibration), Predicción Conforme Global y recalibración de HDR (Highest Density Region).
• Hallazgos:
  • Cobertura Condicional: Ambas variantes, LoCart y CDF, superaron significativamente a las líneas base en 8 de 10 bancos de pruebas al utilizar la Estimación de la Posterior Neuronal (NPE). LoCart CP4SBI fue particularmente efectivo para los modelos de difusión de puntuación (NPSE), ocupando el primer lugar en 7 de 10 tareas.
  • Cobertura Marginal: Los métodos propuestos mantuvieron consistentemente la cobertura cerca del nivel nominal (0.9), mientras que las líneas base como Autocalibración y HDR a menudo fallaron en mantener la validez marginal.
  • Adaptabilidad: En el caso de estudio del NMM, LoCart CP4SBI produjo regiones de credibilidad adaptativas que variaban en tamaño según la combinación específica de parámetros, mientras que los métodos globales produjeron regiones uniformemente grandes y la autocalibración produjo regiones uniformemente pequeñas.
  • Robustez: Los métodos funcionaron bien a través de diferentes presupuestos de simulación, aunque LoCart requirió suficientes datos de calibración para poblar eficazmente las particiones del árbol.

5. Significación y Reivindicaciones

El artículo sostiene que CP4SBI representa un avance significativo en la cuantificación de la incertidumbre para la ciencia computacional. Al proporcionar garantías de muestra finita y cobertura local/condicional, aborda el problema crítico de la descalibración en la SBI, la cual socava la fiabilidad de la toma de decisiones posterior.

Los autores enfatizan que su enfoque es modesto respecto a la estrechez de las regiones resultantes: la calidad de los conjuntos de credibilidad sigue dependiendo de la calidad inicial de la aproximación de la posterior. Las aproximaciones pobres producirán conjuntos más amplios, aunque calibrados. Sin embargo, el marco asegura que la cobertura sea estadísticamente válida, evitando la excesiva confianza común en las prácticas actuales de SBI.

El trabajo posiciona a CP4SBI como una herramienta de propósito general que puede aplicarse a cualquier método de SBI (incluyendo aquellos que utilizan modelos de difusión o flow matching) para mejorar la confiabilidad. Los autores señalan que, aunque se centraron en dos enfoques específicos de predicción conforme local, el marco está abierto a otras técnicas de cobertura condicional y futuras extensiones a entornos jerárquicos o discretos.