Asymptotics for parametric martingale posteriors

1. Problématique et Contexte

Le papier s'inscrit dans le cadre des posteriors de martingale, une généralisation de l'inférence bayésienne où l'on ne spécifie pas de vraisemblance ni de loi a priori, mais plutôt une séquence de densités prédictives un pas en avant. L'inférence repose sur l'imputation séquentielle de données non observées ($Y_{n+1}, Y_{n+2}, \dots$) pour estimer la distribution du paramètre d'intérêt $\theta$.

Bien que cette approche offre une grande flexibilité de modélisation et évite les méthodes de Monte Carlo par chaînes de Markov (MCMC), la mise en œuvre pratique, notamment pour les posteriors de martingale paramétriques (où les densités prédictives sont paramétriques, ex: $p_{\theta}(y)$), pose deux défis majeurs :

1. Coût computationnel : L'échantillonnage par « rééchantillonnage prédictif » (predictive resampling) nécessite de simuler un nombre infini de données pour converger vers la limite $\theta_\infty$. En pratique, on doit tronquer la séquence à un $N$ fini, ce qui peut être coûteux et introduire un biais si $N$ est trop petit.
2. Propriétés fréquentistes : Il manque une théorie asymptotique rigoureuse garantissant que ces posteriors possèdent de bonnes propriétés fréquentistes (comme la couverture des intervalles de crédibilité) et qu'ils se comportent comme des posteriors bayésiens classiques lorsque la taille de l'échantillon $n$ tend vers l'infini.

2. Méthodologie

Les auteurs étudient les propriétés asymptotiques d'une classe spécifique de posteriors de martingale paramétriques définie par une règle d'apprentissage récursive (mise à jour stochastique) :

$$\theta_N = \theta_{N-1} + N^{-1} I(\theta_{N-1})^{-1} s(\theta_{N-1}, Y_N)$$

Où :

• $Y_N$ est une donnée simulée (imputée) tirée de $p_{\theta_{N-1}}$.
• $s(\theta, y) = \nabla_\theta \log p_\theta(y)$ est la fonction de score.
• $I(\theta)$ est l'information de Fisher.
• Le terme $N^{-1}$ est le taux d'apprentissage, et $I(\theta)^{-1}$ agit comme un préconditionneur (gradient naturel).

L'approche repose sur deux régimes asymptotiques distincts :

1. Asymptotique prédictive : $n$ (données réelles) est fixe, et $N \to \infty$ (taille de la population imputée).
2. Asymptotique fréquentiste : $n \to \infty$ (nombre de données réelles), avec une étude du comportement du posterior conditionnel à $Y_{1:n}$.

3. Contributions Clés

Le papier apporte deux théorèmes centraux (Central Limit Theorems - CLT) basés sur la théorie des martingales :

A. Théorème Central Limite Prédictif (Predictive CLT)

Ce théorème décrit la distribution de la différence entre le paramètre limite $\theta_\infty$ et l'estimateur actuel $\theta_N$ lorsque $N \to \infty$.

• Résultat : La variable normalisée $V_N^{-1}(\theta_\infty - \theta_N)$ converge en loi vers une loi normale standard $\mathcal{N}(0, 1)$.
• Particularité : La variance de normalisation $V_N^2$ est aléatoire et converge vers $I(\theta_\infty)^{-1}$, contrairement aux CLT classiques où la variance est déterministe. Cela découle de la convergence stable des martingales.
• Application pratique : Ce résultat permet de concevoir un algorithme hybride d'échantillonnage. Au lieu de simuler jusqu'à un $N$ très grand, on simule jusqu'à un $N$ modeste, puis on approxime le reste de la trajectoire par un bruit gaussien :
  $$\hat{\theta}_\infty \approx \theta_N + \hat{V}_N \epsilon, \quad \epsilon \sim \mathcal{N}(0, 1)$$
  où $\hat{V}_N$ est une estimation de la variance basée sur $I(\theta_N)^{-1}$. Cela accélère considérablement le calcul.

B. Théorème de Bernstein-von Mises (BvM) pour les Martingales

Ce théorème établit la convergence fréquentiste du posterior de martingale lorsque $n \to \infty$.

• Résultat : Sous des conditions de régularité et si l'estimateur initial $\theta_n$ est fortement consistant, le posterior de martingale centré en $\theta_n$ converge vers une loi normale :
  $$r_n^{-1}(\theta_{n\infty} - \theta_n) \xrightarrow{d} \mathcal{N}(0, I(\theta^*)^{-1})$$
  où $r_n \approx n^{-1/2}$.
• Signification : Cela garantit que les intervalles de crédibilité du posterior de martingale ont une couverture fréquentiste correcte (asymptotiquement), à condition que l'estimateur initial $\theta_n$ (par exemple, le MLE) ait les bonnes propriétés asymptotiques.
• Robustesse : Contrairement au Bayésien classique où la variance asymptotique dépend de la vraisemblance et de l'a priori, ici la variance est purement déterminée par l'information de Fisher du modèle, offrant une séparation claire entre le centrage (dépendant de l'estimateur) et l'incertitude.

4. Résultats Expérimentaux

Les auteurs valident leurs résultats théoriques via des simulations et une étude sur données réelles :

• Accélération computationnelle : Dans une simulation sur un modèle gaussien bivarié, l'algorithme hybride (utilisant le CLT prédictif) est des ordres de grandeur plus rapide que le MCMC (No-U-Turn Sampler) et que l'échantillonnage par troncation pure.
  • Exemple : Temps de calcul par échantillon de 0.003s pour le posterior de martingale (hybride) contre 14.7s pour le Bayésien MCMC.
  • Les échantillons sont indépendants (contrairement au MCMC) et parallélisables.
• Couverture et Précision : Pour des tailles d'échantillon modérées à grandes ($n=100, 500$), les intervalles de crédibilité du posterior de martingale ont une couverture proche de 95%, comparable au Bayésien avec des a priori faiblement informatifs. Pour $n$ très petit, le Bayésien peut être plus stable, mais le posterior de martingale reste compétitif sans nécessiter de spécification d'a priori.
• Données réelles (AIDS Clinical Trials) : Application à une régression robuste (modèle Student-t) sur 2139 patients. Le posterior de martingale hybride reproduit fidèlement les contours de probabilité du Bayésien tout en réduisant le temps de calcul de 132s à 0.03s.

5. Signification et Impact

Ce travail est significatif pour plusieurs raisons :

1. Théorique : Il comble un vide dans la littérature en fournissant les premières preuves rigoureuses de type Bernstein-von Mises pour les posteriors de martingale paramétriques, reliant ainsi l'inférence prédictive aux garanties fréquentistes classiques.
2. Pratique : Il propose une méthode d'échantillonnage hybride qui résout le problème de la convergence lente des méthodes de rééchantillonnage prédictif. En combinant une simulation courte avec une approximation gaussienne basée sur la théorie des martingales, on obtient une précision quasi-exacte avec un coût computationnel minimal.
3. Flexibilité : La méthode permet d'effectuer une inférence bayésienne « sans a priori » (prior-free) tout en conservant les propriétés de couverture fréquentiste, ce qui est particulièrement utile lorsque l'information a priori est faible ou difficile à spécifier.
4. Extensibilité : Les auteurs montrent que ces résultats s'étendent aux paramètres multivariés et aux modèles de régression (y compris les designs aléatoires et fixes), ouvrant la voie à des applications dans des modèles hiérarchiques et complexes.

En résumé, ce papier transforme le posterior de martingale d'une curiosité théorique en un outil pratique, rapide et théoriquement fondé pour l'inférence statistique moderne.