Resumen Técnico: Muestreo de Importancia e Independent Metropolis–Hastings con una Función de Peso No Acotada

1. Planteamiento del Problema

Los métodos de Monte Carlo, específicamente el Muestreo de Importancia (IS) y el Independent Metropolis–Hastings (IMH), dependen de una distribución de propuesta $q$ para aproximar una distribución objetivo $\pi$. Un componente crítico es la función de peso $\omega(x) = \pi(x)/q(x)$. Mientras que los análisis teóricos suelen asumir que $\omega$ es acotada, las aplicaciones prácticas frecuentemente involucran pesos no acotados.

El artículo aborda dos brechas principales en la literatura respecto a los pesos no acotados:

1. Análisis de Sesgo: El sesgo no asintótico de los estimadores de Muestreo de Importancia Auto-Normalizado (SNIS) e IMH a menudo se ignora en favor de la varianza asintótica, pero este impacta significativamente en tareas posteriores como la optimización de gradientes estocásticos, las expectativas anidadas y la estimación robusta de medias.
2. Tasas de Convergencia: Los límites existentes para IMH con pesos no acotados a menudo carecen de una dependencia explícita con el número de partículas $N$ (en la variante de partícula IMH) o dependen de supuestos difíciles de verificar.

Los autores investigan el sesgo de estos estimadores sin asumir pesos acotados, apoyándose en su lugar en el supuesto de que $\omega$ posee momentos finitos de orden $p > 1$ bajo $q$.

2. Metodología y Marco Teórico

2.1. Condiciones de Momento

El supuesto central (Supuesto 2) es que la función de peso tiene un momento $p$-ésimo finito bajo la propuesta: $q(\omega^p) < \infty$ para algún $p > 1$. Esta es una condición más débil que la acotación que suele asumirse en los análisis de ergodicidad geométrica.

2.2. Acoplamiento y Tiempos de Encuentro

Para analizar la convergencia de IMH, los autores emplean un acoplamiento de números aleatorios comunes (Algoritmo 4). Demuestran que este acoplamiento es maximal (Teorema 3.1), lo que significa que la probabilidad de que dos cadenas se encuentren en el tiempo $t$ es exactamente igual a $1 - |P^t(x, \cdot) - P^t(y, \cdot)|_{TV}$.

• Se muestra que el tiempo de encuentro $\tau$ sigue una distribución geométrica condicionada en las probabilidades de rechazo.
• Los autores derivan límites polinomiales explícitos sobre las probabilidades de cola de $\tau$ (Proposición 4.3), vinculándolos con los momentos del peso promedio $\hat{Z}_N$.

2.3. Eliminación de Sesgo mediante Acoplamiento

Basándose en el trabajo de Glynn & Rhee (2014) y Middleton et al. (2019), el artículo utiliza el acoplamiento de cadenas PIMH rezagadas (Algoritmo 5) para construir estimadores no sesgados (Coupling-UIS). El estimador se define como una suma telescópica:
$$\hat{F}^u_N = \hat{F}_N(X^N_0) + \sum_{t=1}^{\tau-1} \{ \hat{F}_N(X^N_t) - \hat{F}_N(Y^N_{t-1}) \}$$
El artículo introduce una versión de Rao–Blackwellizada de este estimador (Algoritmo 6) para mejorar la eficiencia.

3. Contribuciones Clave y Resultados

3.1. Sesgo de Muestreo de Importancia Auto-Normalizado (SNIS)

• Sesgo Asintótico: El Teorema 2.1 establece que el sesgo asintótico del estimador SNIS es de orden $O(N^{-1})$, específicamente:
  $$\lim_{N \to \infty} N \times E[\hat{F}_N - \pi(f)] = -\int (f(x) - \pi(f)) \omega^2(x) q(dx)$$
  Este resultado se sostiene bajo condiciones que requieren momentos inversos finitos de $\omega$ y condiciones de momento específicas sobre $f$.
• Límites de Momentos: El Teorema 2.2 y la Proposición 2.1 proporcionan límites para los momentos $s$-ésimos del error para funciones de prueba no acotadas, extendiendo los resultados previos a casos donde $p < 2$ (pesos de cola pesada).

3.2. Tasas de Convergencia de IMH

• Convergencia Polinomial: El Teorema 4.1 y el Corolario 4.1 proporcionan límites explícitos en la distancia de variación total entre la cadena PIMH y el objetivo $\bar{\pi}$.
  • Para $p \ge 2$, la distancia decae como $O(N^{-1/2} (1+t)^{-(p-1)})$.
  • Para $1 < p < 2$, la caída es $O(N^{-(p-1)/p} (1+t)^{-(p-1)})$.
• Optimalidad: El Ejemplo 3 proporciona un límite inferior que muestra que la tasa $t^{-(p-1)}$ es esencialmente óptima (salvo por factores logarítmicos) sin supuestos adicionales, sugiriendo que la condición de momento es casi necesaria para la convergencia polinomial.
• Comparación de Sesgo: La Sección 4.6 compara el sesgo de IMH y SNIS. Para $p > 2$, el sesgo de IMH (después de un periodo de calentamiento o burn-in) decae como $O(N^{-(p-1)})$, lo cual es más rápido que el sesgo $O(N^{-1})$ de SNIS. Sin embargo, si $p \le 2$, SNIS puede tener un sesgo menor.

3.3. Estimadores No Sesgados (Coupling-UIS)

• Momentos Finitos: La Proposición 5.3 establece las condiciones bajo las cuales el estimador no sesgado Coupling-UIS tiene momentos finitos. Específicamente, si $p > 2$ y $r > 2$ (donde $r$ es el momento de $f$), el estimador tiene varianza finita.
• Eficiencia Asintótica: La Proposición 5.5 y el Teorema 5.6 muestran que la ineficiencia (varianza $\times$ costo) del estimador no sesgado es asintóticamente equivalente a la de SNIS cuando $N \to \infty$, siempre que $p > 4$ (o condiciones ligeramente más débiles para funciones de prueba específicas como $1/Z$).
• Mejora: El estimador de Rao–Blackwellizado (Algoritmo 6) reduce la ineficiencia asintótica por un factor de dos en comparación con el enfoque de acoplamiento estándar, lo que lo hace dos veces más eficiente cuando $N \to \infty$.

3.4. Estimación No Sesgada de Constantes de Normalización

La Sección 5.6 y la Proposición 5.7 abordan específicamente la estimación no sesgada de $1/Z$ (donde $Z = q(\omega)$). Al establecer la función de prueba $f = 1/\omega$, los autores derivan condiciones donde el estimador no sesgado tiene momentos finitos y logra la equivalencia asintótica con el estimador natural SNIS $1/\hat{Z}_N$, incluso cuando $p$ no es estrictamente mayor que 4 (una condición requerida para una $f$ general).

4. Significado y Aplicaciones

El artículo argumenta que, si bien SNIS es asintóticamente más eficiente en términos de varianza, IMH (y sus variantes no sesgadas) ofrece propiedades de sesgo superiores en escenarios específicos, lo que lo convierte en una alternativa viable para tareas donde el sesgo es perjudicial.

Los autores ilustran estos hallazgos a través de tres aplicaciones:

1. Constantes de Normalización Inversas: Comparando Coupling-UIS contra métodos MLMC-UIS y Taylor-UIS. Los resultados muestran que Coupling-UIS logra la misma ineficiencia asintótica que SNIS pero con una carga computacional menor que otros métodos no sesgados.
2. Expectativas Anidadas: En el contexto de la inferencia bayesiana con datos faltantes, el artículo demuestra que el uso de estimadores no sesgados (Coupling-UIS) para la expectativa interna permite una asignación de presupuesto óptima, recuperando la tasa de convergencia canónica de Monte Carlo ($O(C^{-1})$) para la expectativa anidada, mientras que los estimadores sesgados sufren de tasas más lentas ($O(C^{-2/3})$ o $O(C^{-4/5})$).
3. Estimación Robusta de Medias: El artículo aplica Coupling-UIS a los estimadores de Mediana de Medias (MoM). Dado que MoM requiere entradas no sesgadas para garantizar desigualdades de concentración sub-gaussianas, la naturaleza no sesgada de las entradas de Coupling-UIS permite la aplicación directa de MoM sin los ajustes teóricos requeridos para las entradas sesgadas de SNIS.

5. Conclusión

El artículo proporciona una base teórica rigurosa para el uso de IMH y el muestreo de importancia (IS) no sesgado cuando las funciones de peso son no acotadas. Establece que:

• IMH converge polinomialmente con tasas determinadas por los momentos de la función de peso.
• Las técnicas de eliminación de sesgo basadas en acoplamiento pueden eliminar por completo el sesgo de IS manteniendo una eficiencia asintótica comparable a la de SNIS.
• Estos estimadores no sesgados son particularmente valiosos para tareas posteriores como las expectativas anidadas y la estadística robusta, donde el sesgo no puede ser tolerado.

El trabajo se distingue por proporcionar dependencias explícitas tanto del número de iteraciones $t$ como del número de partículas $N$, y por ofrecer un algoritmo práctico de Rao–Blackwellizado (Algoritmo 6) que es implementable bajo las mismas condiciones que el SNIS estándar.