Mode Collapse in Nested Sampling

Resumen Técnico: Colapso de Modos en el Muestreo Anidado

Planteamiento del Problema
El muestreo anidado es un algoritmo de Monte Carlo ampliamente utilizado para la comparación de modelos bayesianos e inferencia posterior, valorado particularmente por su robustez al manejar posteriores multimodales. El algoritmo mantiene una población de $K$ "puntos vivos" muestreados de la distribución previa (prior). En cada iteración, el punto con la menor verosimilitud se descarta y se reemplaza por una nueva muestra extraída de la previa, condicionada a tener una verosimilitud mayor que el punto descartado.

Aunque el algoritmo está diseñado para eliminar naturalmente los modos descartados por los datos, este artículo identifica un modo de fallo específico: el agotamiento accidental de modos (o colapso de modos). Esto ocurre cuando la naturaleza estocástica del reabastecimiento de puntos causa que un modo válido sea abandonado involuntariamente, incluso si los datos lo respaldan. Este riesgo es particularmente agudo en entornos de alta dimensionalidad y multimodales, donde las cadenas de Markov utilizadas para el reemplazo (por ejemplo, el muestreo por rebanadas o slice sampling, o hit-and-run) tienen dificultades para atravesar modos desconectados. Si un modo pierde todos sus puntos vivos, el muestreador no puede redescubrirlo, lo que conduce a una posterior sesgada y a una estimación incorrecta de la evidencia.

Metodología
El autor desarrolla un modelo probabilístico para cuantificar la probabilidad de este colapso accidental, trazando una analogía con el proceso de Moran neutral en genética de poblaciones.

1. Supuestos y Modelo de Estado:

   • El sistema se modela con dos modos (0 y 1) que poseen masas de la previa restringida fraccionarias $p$ y $1-p$.
   • La población consiste en $K$ puntos vivos. El estado se define por $i$, el número de puntos vivos en el modo 1.
   • El análisis asume que el muestreador de la previa restringida por verosimilitud (LRPS) es fiel (muestrea proporcional a la masa restante) y que el redescubrimiento de modos es insignificante una vez que un modo queda vacío.
   • Para proporcionar una estimación conservadora, el modelo asume gradientes de verosimilitud iguales en ambos modos. Esto simplifica la probabilidad de eliminación para que sea proporcional a la ocupación actual ($i/K$), ignorando el hecho de que gradientes más pronunciados podrían, de hecho, proteger un modo de ser eliminado.

2. Dinámica de Transición:

   • En cada iteración, se elimina un punto y se genera un reemplazo basado en una semilla extraída uniformemente de los $K$ puntos vivos actuales.
   • Bajo el supuesto de gradiente igual, la probabilidad de que el estado $i$ cambie a $i+1$, $i-1$, o permanezca en $i$ sigue un paseo aleatorio simétrico sobre el conjunto $\{0, 1, \dots, K\}$.
   • Los estados $0$y$K$ son absorbentes (una vez que un modo queda vacío o totalmente ocupado, permanece así).

3. Evaluación Numérica:

   • La distribución de probabilidad de los estados a lo largo del tiempo se calcula multiplicando iterativamente la distribución binomial inicial (Ec. 1) por la matriz de transición definida por las probabilidades del paseo aleatorio (Ecs. 2–4).
   • La "probabilidad de colapso evolucionada" $P_{evol}(t)$ se calcula como la probabilidad condicional de alcanzar un estado absorbente en la iteración $t$, dado que ambos modos estaban inicialmente poblados.

Resultados Clave
La evaluación numérica revela que la probabilidad de colapso de modo sigue una curva sigmoidea cuando se grafica frente al número de iteraciones. Crucialmente, las curvas para diferentes valores de $K$ y $p$ se alinean cuando el conteo de iteraciones se normaliza por el factor $K^2 \times \min(p, 1-p)$.

• Ley de Escalamiento: La probabilidad de colapso de modo evolucionado se mantiene por debajo del 50% siempre que el número de iteraciones $t$ satisfaga $t \lesssim K^2 \times \min(p, 1-p)$.
• Regla Heurística: Dado que el número total de iteraciones requeridas para actualizar de la previa a la posterior es aproximadamente $K \times H$ (donde $H$ es la ganancia de información o divergencia KL), el artículo deriva una regla empírica para el número mínimo de puntos vivos requerido para que el colapso accidental sea poco probable:
  $$K \gtrsim \frac{H}{\min(p, 1-p)}$$
  Para lograr una probabilidad de colapso notablemente inferior al 50%, $K$ debe exceder cómodamente este límite inferior por un factor de algunos puntos.

Significancia y Reivindicaciones
El artículo afirma proporcionar un marco general e independiente de la dimensión para comprender el riesgo de colapso de modos en el muestreo anidado. Su contribución principal es la derivación de una heurística simple (Ec. 10) que vincula el tamaño de población necesario $K$ con la ganancia de información $H$ y la fracción de masa del modo más pequeño $p$.

El autor señala que para ganancias de información típicas ($H \sim 10\text{--}1000$ nats) y una fracción de modo más pequeño modesta ($p=0.1$), la regla sugiere valores de $K$ en el rango de 100–10,000. Sin embargo, el artículo concluye modestamente que, bajo las configuraciones comúnmente utilizadas en la literatura, el agotamiento accidental de modos es probablemente "excepcionalmente raro". El análisis sirve como una herramienta de diagnóstico: tras una ejecución inicial, la Ec. 10 puede usarse para estimar la probabilidad de que haya ocurrido un agotamiento de modo involuntario.

El artículo también contextualiza sus hallazgos frente a los métodos de prevención dinámica existentes (por ejemplo, el agrupamiento de MultiNest o el muestreo anidado reactivo de UltraNest), señalando que, mientras esos métodos dependen de la detección de modos para asignar recursos, la ley de escalamiento derivada ofrece una línea base fundamental para establecer $K$ para asegurar la retención sin necesidad de un agrupamiento explícito.