Constrained Weighted Bayesian Bootstrap

Resumen Técnico: Bootstrap Bayesiano Ponderado con Restricciones

Planteamiento del Problema
Las tareas de aprendizaje estadístico a menudo implican la maximización de una medida de ajuste sujeta a restricciones (por ejemplo, dispersión, restricciones de orden, restricciones de forma o límites físicos). Si bien la literatura clásica de optimización proporciona algoritmos eficientes para obtener estimaciones puntuales bajo tales restricciones, la construcción de una cuantificación de la incertididad válida (por ejemplo, intervalos de confianza) sigue siendo un desafío. La teoría asintótica estándar suele fallar o requiere procedimientos complejos de inferencia post-selección cuando las restricciones están activas.

Los métodos bayesianos ofrecen un marco natural para la cuantificación de la incertidencia a través de la distribución posterior. Sin embargo, el muestreo de una distribución posterior con soporte restringido a un conjunto restringido general $\tilde{\Theta} \subset \Theta$ es computacionalmente difícil. Los muestreadores genéricos populares como el MCMC Hamiltoniano (HMC) tienen dificultades con las restricciones no suaves, y el muestreo por rechazo post-hoc suele ser ineficiente si el conjunto restringido tiene una masa de probabilidad baja bajo la posterior no restringida. Los enfoques de muestreo restringido existentes, como la relajación de restricciones (añadir términos de penalización) o los métodos de proyección, suelen sufrir de compensaciones: los métodos de relajación pueden generar muestras fuera del conjunto de restricciones o no capturar la covarianza asintótica correcta, mientras que los métodos de proyección pueden ignorar la geometría de la posterior o requerir mapeos proximales costosos.

Metodología
Los autores proponen el Bootstrap Bayesiano Ponderado con Restricciones (CWBB), una adaptación del bootstrap de verosimilitud ponderada (Newton y Raftery, 1994) y del bootstrap bayesiano ponderado (Newton et al., 2021). La idea central transforma el problema de muestrear de una posterior restringida en una secuencia de problemas de optimización restringidos.

Dados los datos $x$ generados de $f_\theta$ y una previa $\pi(\theta)$, la posterior restringida $\tilde{\pi}(\theta | x) \propto f_\theta(x)\pi(\theta) \mathbb{1}(\theta \in \tilde{\Theta})$. El CWBB genera muestras $\theta^{(t)}$ mediante:

1. Dibujar pesos aleatorios $w_n \sim n \times \text{Dirichlet}(1, \dots, 1)$.
2. Resolver el siguiente problema de optimización restringida:
   $$\theta^{(t)} = \arg \max_{\theta \in \Theta} \sum_{i=1}^n w_{n,i} \ell(x_i | \theta) + \log \pi(\theta) \quad \text{sujeto a} \quad h(\theta) = 0$$
   donde $h(\theta) = 0$ define el conjunto de restricciones $\tilde{\Theta}$.

Este enfoque aprovecha los resolvedores de optimización convexa rápidos y listos para usar (por ejemplo, OSQP, descenso de coordenadas) para manejar las restricciones. A diferencia de los métodos de relajación que modifican la función objetivo con un parámetro de penalización $\rho$, el CWBB impone las restricciones directamente mediante restricciones de igualdad en el paso de optimización.

Contribuciones Teóricas
El artículo establece dos resultados teóricos primarios bajo condiciones de regularidad estándar (incluyendo identificabilidad, suavidad de la log-verosimilitud y restricciones, y Jacobiano de rango completo de las restricciones en el verdadero $\theta_0$):

1. Consistencia (Teorema 1): Las muestras de CWBB son condicionalmente consistentes para el verdadero parámetro $\theta_0$. A medida que el tamaño de la muestra $n \to \infty$, la probabilidad de que la solución de CWBB se encuentre dentro de una vecindad $\delta$ de $\theta_0$ converge a 1 casi seguramente.
2. Distribución Asintótica (Teorema 2): La distribución asintótica de las muestras escaladas de CWBB, $\sqrt{n}(\check{\theta}_n - \hat{\theta}_n)$, converge a una distribución normal multivariante centrada en el Estimador de Máxima Verosimilitud Restringido (RMLE) $\hat{\theta}_n$. La matriz de covarianza asintótica es:
   $$\Sigma_{CWBB} = J(\theta_0)^{-1} \{ I - U(\theta_0) \}$$
   donde $J(\theta_0)$ es la información de Fisher y $U(\theta_0)$ es una matriz de proyección derivada del Jacobiano de las restricciones. Esta covarianza coincide con la del RMLE eficiente, lo que implica que el CWBB proporciona intervalos de confianza frecuentistas válidos y captura correctamente la reducción de la varianza debida a las restricciones.

Los autores contrastan esto con los métodos de relajación de restricciones (por ejemplo, $\pi_\rho(\theta) \propto \exp(\sum \log f - \rho q(\theta))$). Demuestran (Proposición 1) que para una penalización $\rho$ fija, los métodos de relajación pueden fallar en alcanzar la covarianza asintótica restringida correcta a medida que $n \to \infty$, ignorando efectivamente las restricciones en el límite a menos que la penalización escale con $n$.

Resultados Empíricos
El método se evalúa en tres problemas bayesianos restringidos distintos:

1. Regresión con Orden No Negativo Restringido: En un entorno donde los coeficientes deben ser no negativos y no decrecientes, el CWBB demuestra probabilidades de cobertura comparables a las de un muestreador de Gibbs sin restricciones (que ignora las restricciones) pero con intervalos significativamente más estrechos que respetan las restricciones. Crucialmente, el CWBB logra esto con tiempos de ejecución órdenes de magnitud más rápidos que los métodos competidores como ProxMCMC o la relajación de restricciones, que luchan con la mezcla o requieren un ajuste extensivo.
2. Estimación de Matriz de Precisión Dispersa: Aplicando CWBB a la Lasso Gráfica Bayesiana (y variantes con penalizaciones SCAD/MCP), los autores muestran que el uso de la distribución posterior completa de CWBB para clasificar entradas no nulas (vía intervalos de credibilidad) produce un rendimiento de clasificación superior (F1-score, precisión, exhaustividad) en comparación con las estimaciones puntuales únicas. El método es competitivo con los muestreadores bayesianos especializados (por ejemplo, BDGraph, ssgraph) pero requiere menos hiperparámetros y evita el complejo ajuste de burn-in.
3. Superficies de Precios de Opciones: Un estudio de caso sobre opciones de compra tipo europeo requiere satisfacer restricciones de convexidad, monotonicidad y de diferencial de compra-venta (bid-ask spread). Los métodos de muestreo estándar fallan en producir muestras factibles o mezclan mal debido a la compleja geometría del conjunto de restricciones. El CWBB genera con éxito 1,000 muestras independientes factibles en menos de 10 minutos, proporcionando estimaciones de incertidumbre válidas para la superficie de precios de opciones que respetan las restricciones del mercado.

Significancia y Reivindicaciones
El artículo afirma que el CWBB ofrece un puente "simple pero efectivo" entre la expedición computacional de la optimización restringida y la cuantificación de la incertidumbre de la inferencia bayesiana. Su significancia radica en:

• Generalidad: Se aplica a una amplia clase de restricciones (igualdad y desigualdad) sin requerir maquinaria de muestreo especializada como mapeos proximales o HMC de variedad.
• Eficiencia: Aprovecha herramientas de optimización convexa rápidas, lo que resulta en tiempos de ejecución significativamente más rápidos que los métodos de muestreo restringido existentes.
• Validez Teórica: Proporciona muestras con una distribución asintótica que coincide con el RMLE eficiente, asegurando una cuantificación de la incertidumbre válida que refleja correctamente la información ganada por las restricciones.
• Utilidad Práctica: Resuelve problemas del mundo real difíciles (como el precio de opciones) donde otros métodos fallan en producir muestras factibles o sufren de tiempos de ejecución intratables.

Los autores señalan que, si bien su teoría actual se centra en restricciones de igualdad y aproximaciones de primer orden, la facilidad de implementación del método lo convierte en una solución práctica de tipo "plug-in" para cualquier tarea estadística formulable como un problema de optimización restringida. Sugieren que el trabajo futuro podría extender la teoría a entornos más amplios y aproximaciones de orden superior.