SunBURST: Deterministic GPU-Accelerated Bayesian Evidence via Mode-Centric Laplace Integration

Resumen Técnico: SunBURST

1. El Problema: La Maldición de la Dimensionalidad en la Evidencia Bayesiana

El cálculo de la evidencia bayesiana (o verosimilitud marginal, $Z$) es fundamental para la comparación de modelos, pero se vuelve computacionalmente prohibitivo a medida que aumenta la dimensionalidad ($d$).

• La Maldición de la Dimensionalidad: El volumen del espacio de parámetros crece exponencialmente, mientras que la masa de la probabilidad posterior se concentra en regiones infinitesimales.
• Limitaciones de los Métodos Actuales: Los métodos basados en muestreo, como el Nested Sampling (ej. MultiNest, PolyChord, dynesty), sufren de escalado secuencial. Su costo computacional escala típicamente como $O(K \cdot d^2)$ o peor, donde $K$ es el número de modos y $d$ la dimensión. Esto los hace inviables para dimensiones superiores a $d \approx 50-100$.
• El Desafío: La necesidad de integrar sobre un volumen de prior enorme donde la posterior ocupa una fracción exponencialmente pequeña (ej. $10^{-100}$ en 100 dimensiones), lo que hace que el muestreo aleatorio sea ineficiente.

2. Metodología: SunBURST

SunBURST es un algoritmo determinista y nativo de GPU que abandona la exploración global del volumen a favor de una integración geométrica centrada en modos. Asume que la masa posterior está bien aproximada por estructuras gaussianas locales alrededor de un número finito de modos.

El pipeline consta de cuatro módulos principales (nombres inspirados en formas de Tai Chi):

1. Preprocesamiento (Detección de Patologías):

   • Identifica dimensiones "planas" (sin sensibilidad) y "suaves" (nuisance) mediante sondeos de sensibilidad.
   • Marginaliza analíticamente estas dimensiones para reducir el problema a las dimensiones "activas".

2. Módulo 1: CarryTiger (Descubrimiento de Modos):

   • Utiliza ray casting (lanzado de rayos) desde el centro y bordes del hipercubo de prior en múltiples direcciones.
   • Emplea una estrategia de exploración llamada ChiSao ("Manos Pegajosas"), que combina optimización L-BFGS con oscilaciones de convergencia/anti-convergencia.
   • Las muestras que encuentran picos reales se "pegan" (se congelan), mientras que otras continúan explorando para evitar quedar atrapadas en óptimos locales.
   • Detecta modos sin conocimiento previo de su número o ubicación.

3. Módulo 2: GreenDragon (Refinamiento de Picos):

   • Refina las ubicaciones de los modos descubiertos hasta una precisión de máquina ($< 10^{-12}$) utilizando L-BFGS en lotes (batched) en GPU.
   • Estima la curvatura local (Hessiana diagonal) y filtra puntos de silla.
   • Almacena las trayectorias de optimización en un TrajectoryBank para su reutilización.

4. Módulo 3: BendTheBow (Cálculo de Evidencia):

   • Calcula la contribución de evidencia de cada modo mediante la Aproximación de Laplace.
   • Detección Automática de Geometría: Utiliza las trayectorias guardadas para detectar si la posterior tiene correlaciones fuera de la diagonal (rotación).
     • Si es axis-alineada: Calcula solo la Hessiana diagonal ($O(d)$).
     • Si es rotada: Calcula la Hessiana completa ($O(d^2)$) usando diferencias finitas masivamente paralelas en GPU.
   • Suma las contribuciones de todos los modos usando logsumexp.

5. Módulo 4 (Opcional): GraspBirdsTail:

   • Realiza reducción de dimensionalidad basada en descomposición espectral para pasar la información a muestreadores posteriores si se requiere caracterización completa de la posterior.

3. Contribuciones Clave

• Escalado $O(K)$: La complejidad depende del número de modos, no del número de puntos vivos escalado con la dimensión ($O(K \cdot d)$).
• Escalado Sub-lineal en Tiempo de Pared: Gracias a la paralelización masiva en GPU, el tiempo de ejecución escala como $O(d^{0.7})$ en lugar de $O(d^2)$ o $O(d^3)$.
• Precisión Numérica: Para distribuciones gaussianas (o cercanas), la aproximación de Laplace es exacta, logrando errores relativos menores a $10^{-12}$ hasta 1024 dimensiones.
• Detección Automática de Modos: No requiere especificar el número de modos ni sus ubicaciones iniciales.
• Reutilización de Muestras: Todas las evaluaciones de verosimilitud se almacenan en memoria GPU, permitiendo detección de geometría sin cálculos redundantes.

4. Resultados Experimentales

Los autores compararon SunBURST con implementaciones de Nested Sampling (dynesty, UltraNest, JAXNS) en un GPU NVIDIA RTX 3080.

• Rendimiento en Dimensiones Altas:
  • SunBURST calcula la evidencia para una distribución gaussiana de 1024 dimensiones en 6.8 segundos con precisión de máquina.
  • Los métodos competidores (dynesty) fallan o se agotan (timeout) más allá de 64-128 dimensiones.
• Aceleración:
  • Se observan aceleraciones de 73x a 7865x en comparación con dynesty-parallel (20 hilos CPU) y JAXNS (GPU), dependiendo de la dimensión.
  • En 64D, SunBURST es ~600-8000 veces más rápido que las alternativas.
• Precisión:
  • Gaussianas: Error < $10^{-12}$ (precisión de punto flotante).
  • Mezclas Gaussianas: Error < 1% con configuraciones conservadoras.
  • No Gaussianas: El método falla sistemáticamente en distribuciones con colas pesadas (Student-t, Cauchy), asimetría fuerte o estructuras de "anillo" (saddle points), ya que la aproximación de Laplace no captura estas geometrías. Sin embargo, la detección de los picos (modos) sigue siendo 100% fiable.

5. Significado e Implicaciones

• Cambio de Paradigma: SunBURST demuestra que la integración bayesiana de alta precisión en dimensiones muy altas es tratable mediante la combinación de integración determinista centrada en modos y paralelismo masivo en GPU, superando las limitaciones de los métodos de muestreo secuencial.
• Aplicabilidad: Es ideal para problemas de estimación de parámetros físicos, calibración de modelos y problemas inversos donde la posterior es localmente gaussiana.
• Limitaciones: No es un reemplazo universal para el muestreo bayesiano. No es adecuado para posteriors fuertemente no gaussianas, multimodales con superposición significativa o estructuras complejas (como embudos de Neal), donde se requieren métodos híbridos o correcciones de muestreo.
• Futuro: El trabajo sugiere que el diseño de algoritmos para hardware acelerador debe reevaluar la complejidad computacional clásica, ya que operaciones $O(d^2)$ en llamadas a verosimilitud pueden convertirse en $O(1)$ en tiempo de pared si el hardware tiene suficiente paralelismo ($P > d^2$).

En resumen, SunBURST habilita la comparación de modelos basada en evidencia en regímenes de dimensionalidad (hasta 1024D) que eran previamente computacionalmente inaccesibles, ofreciendo una precisión sin precedentes para una clase amplia de problemas científicos.