Résumé technique : Échantillonnage préférentiel et Metropolis-Hastings indépendant avec une fonction de poids non bornée

1. Énoncé du problème

Les méthodes de Monte Carlo, spécifiquement l'échantillonnage préférentiel (Importance Sampling - IS) et le Metropolis-Hastings indépendant (IMH), reposent sur une distribution de proposition $q$ pour approximer une distribution cible $\pi$. Un composant critique est la fonction de poids $\omega(x) = \pi(x)/q(x)$. Alors que les analyses théoriques supposent souvent que $\omega$ est bornée, les applications pratiques impliquent fréquemment des poids non bornés.

L'article traite deux lacunes primaires dans la littérature concernant les poids non bornés :

1. Analyse du biais : Le biais non asymptotique de l'estimateur d'échantillonnage préférentiel auto-normalisé (SNIS) et de l'IMH est souvent ignoré au profit de la variance asymptotique, alors qu'il impacte significativement les tâches en aval telles que l'optimisation de gradients stochastiques, les espérances imbriquées et l'estimation de moyenne robuste.
2. Taux de convergence : Les bornes existantes pour l'IMH avec des poids non bornés manquent souvent de dépendance explicite vis-à-vis du nombre de particules $N$ (dans la variante de l'IMH particulaire) ou reposent sur des hypothèses difficiles à vérifier.

Les auteurs étudient le biais de ces estimateurs sans supposer des poids bornés, en s'appuyant plutôt sur l'hypothèse que $\omega$ possède des moments finis d'ordre $p > 1$ sous $q$.

2. Méthodologie et cadre théorique

2.1. Conditions de moment

L'hypothèse centrale (Hypothèse 2) est que la fonction de poids possède un moment d'ordre $p$ fini sous la proposition : $q(\omega^p) < \infty$ pour un certain $p > 1$. Il s'agit d'une condition plus faible que la bornée souvent supposée dans les analyses d'ergodicité géométrique.

2.2. Couplage et temps de rencontre

Pour analyser la convergence de l'IMH, les auteurs emploient un couplage par nombres aléatoires communs (Algorithme 4). Ils démontrent que ce couplage est maximal (Théorème 3.1), ce qui signifie que la probabilité que deux chaînes se rencontrent au temps $t$ est exactement égale à $1 - |P^t(x, \cdot) - P^t(y, \cdot)|_{TV}$.

• Le temps de rencontre $\tau$ est montré comme suivant une distribution géométrique conditionnée par les probabilités de rejet.
• Les auteurs dérivent des bornes polynomiales explicites sur les probabilités de queue de $\tau$ (Proposition 4.3), liant ces dernières aux moments de la moyenne des poids $\hat{Z}_N$.

2.3. Suppression du biais via le couplage

S'appuyant sur les travaux de Glynn & Rhee (2014) et Middleton et al. (2019), l'article utilise le couplage de chaînes PIMH décalées (Algorithme 5) pour construire des estimateurs sans biais (Coupling-UIS). L'estimateur est défini comme une somme télescopique :
$$\hat{F}^u_N = \hat{F}_N(X^N_0) + \sum_{t=1}^{\tau-1} \{ \hat{F}_N(X^N_t) - \hat{F}_N(Y^N_{t-1}) \}$$
L'article introduit une version de Rao–Blackwellisée de cet estimateur (Algorithme 6) pour améliorer l'efficacité.

3. Contributions clés et résultats

3.1. Biais de l'échantillonnage préférentiel auto-normalisé (SNIS)

• Biais asymptotique : Le Théorème 2.1 établit que le biais asymptotique de l'estimateur SNIS est d'ordre $O(N^{-1})$, spécifiquement :
  $$\lim_{N \to \infty} N \times E[\hat{F}_N - \pi(f)] = -\int (f(x) - \pi(f)) \omega^2(x) q(dx)$$
  Ce résultat est valable sous des conditions exigeant des moments inverses finis de $\omega$ et des conditions de moment spécifiques sur $f$.
• Bornes de moments : Le Théorème 2.2 et la Proposition 2.1 fournissent des bornes sur les $s$-ièmes moments de l'erreur pour des fonctions de test non bornées, étendant les résultats précédents aux cas où $p < 2$ (poids à queue lourde).

3.2. Taux de convergence de l'IMH

• Convergence polynomiale : Le Théorème 4.1 et le Corollaire 4.1 fournissent des bornes explicites sur la distance de variation totale entre la chaîne PIMH et la cible $\bar{\pi}$.
  • Pour $p \ge 2$, la distance décroît comme $O(N^{-1/2} (1+t)^{-(p-1)})$.
  • Pour $1 < p < 2$, la décroissance est de $O(N^{-(p-1)/p} (1+t)^{-(p-1)})$.
• Optimalité : L'Exemple 3 fournit une borne inférieure montrant que le taux $t^{-(p-1)}$ est essentiellement optimal (à un facteur logarithmique près) sans hypothèses supplémentaires, suggérant que la condition de moment est presque nécessaire pour une convergence polynomiale.
• Comparaison de biais : La section 4.6 compare le biais de l'IMH et du SNIS. Pour $p > 2$, le biais de l'IMH (après une période de chauffe/burn-in) décroît comme $O(N^{-(p-1)})$, ce qui est plus rapide que le biais $O(N^{-1})$ du SNIS. Cependant, si $p \le 2$, le SNIS peut présenter un biais plus faible.

3.3. Estimateurs sans biais (Coupling-UIS)

• Moments finis : La Proposition 5.3 établit les conditions sous lesquelles l'estimateur sans biais Coupling-UIS possède des moments finis. Spécifiquement, si $p > 2$ et $r > 2$ (où $r$ est le moment de $f$), l'estimateur possède une variance finie.
• Efficacité asymptotique : La Proposition 5.5 et le Théorème 5.6 montrent que l'inefficacité (variance $\times$ coût) de l'estimateur sans biais est asymptotiquement équivalente à celle du SNIS lorsque $N \to \infty$, pourvu que $p > 4$ (ou des conditions légèrement plus faibles pour des fonctions de test spécifiques comme $1/Z$).
• Amélioration : L'estimateur de Rao–Blackwellisé (Algorithme 6) réduit l'inefficacité asymptotique d'un facteur deux par rapport à l'approche de couplage standard, le rendant deux fois plus efficace quand $N \to \infty$.

3.4. Estimation sans biais des constantes de normalisation

La section 5.6 et la Proposition 5.7 traitent spécifiquement de l'estimation sans biais de $1/Z$ (où $Z = q(\omega)$). En fixant la fonction de test $f = 1/\omega$, les auteurs dérivent les conditions où l'estimateur sans biais possède des moments finis et atteint une équivalence asymptotique avec l'estimateur naturel SNIS $1/\hat{Z}_N$, même lorsque $p$ n'est pas strictement supérieur à 4 (une condition requise pour un $f$ général).

4. Signification et applications

L'article soutient que bien que le SNIS soit asymptotiquement plus efficace en termes de variance, l'IMH (et ses variantes sans biais) offre des propriétés de biais supérieures dans des régimes spécifiques, ce qui en fait une alternative viable pour les tâches où le biais est préjudiciable.

Les auteurs illustrent ces conclusions à travers trois applications :

1. Constantes de normalisation inverses : Comparaison du Coupling-UIS contre les méthodes MLMC-UIS et Taylor-UIS. Les résultats montrent que le Coupling-UIS atteint la même inefficacité asymptotique que le SNIS mais avec un surcoût de calcul inférieur aux autres méthodes sans biais.
2. Espérances imbriquées : Dans le contexte de l'inférence bayésienne avec données manquantes, l'article démontre que l'utilisation d'estimateurs sans biais (Coupling-UIS) pour l'espérance interne permet une allocation de budget optimale, retrouvant le taux de convergence de Monte Carlo canonique ($O(C^{-1})$) pour l'espérance imbriquée, alors que les estimateurs biaisés souffrent de taux plus lents ($O(C^{-2/3})$ ou $O(C^{-4/5})$).
3. Estimation de moyenne robuste : L'article applique le Coupling-UIS aux estimateurs de type Médiane-de-Moyennes (MoM). Puisque le MoM nécessite des entrées sans biais pour garantir des inégalités de concentration de type sous-gaussien, la nature sans biais du Coupling-UIS permet l'application directe du MoM sans les ajustements théoriques requis pour les entrées biaisées du SNIS.

5. Conclusion

L'article fournit un fondement théorique rigoureux pour l'utilisation de l'IMH et de l'IS sans biais lorsque les fonctions de poids sont non bornées. Il établit que :

• L'IMH converge polynomialement avec des taux déterminés par les moments de la fonction de poids.
• Les techniques de débiaisage par couplage peuvent éliminer entièrement le biais de l'IS tout en maintenant une efficacité asymptotique comparable au SNIS.
• Ces estimateurs sans biais sont particulièrement précieux pour les tâches en aval comme les espérances imbriquées et les statistiques robustes où le biais ne peut être toléré.

Le travail se distingue en fournissant des dépendances explicites tant sur le nombre d'itérations $t$ que sur le nombre de particules $N$, et en proposant un algorithme pratique, de type Rao–Blackwellisé (Algorithme 6), qui est implémentable sous les mêmes conditions que le SNIS standard.