Résumé Technique : Pondération par l'Inverse de la Probabilité dans un Monde Post-Bayésien

Énoncé du Problème

L'article traite du défi du biais de sélection dans l'inférence bayésienne. Dans de nombreux scénarios pratiques, les chercheurs possèdent un ensemble de données à grande échelle ($X$, taille $n$) issu d'une distribution biaisée $G$ (par exemple, des données de registres), tandis qu'un ensemble de données plus petit et de haute qualité ($X'$, taille $m$) est disponible à partir d'une distribution cible non biaisée $Q$ (par exemple, une cohorte clinique).

La mise à jour bayésienne standard sur le grand ensemble de données $X$ minimise la divergence de Kullback-Leibler (KL) entre le modèle et la distribution biaisée $G$, conduisant à des estimations postérieures qui sont systématiquement biaisées par rapport à la population cible $Q$. Bien que la pondération par l'inverse de la probabilité (IPW) soit une technique fréquentiste bien établie pour corriger ces biais, son intégration dans les cadres bayésiens a été historiquement difficile. Les méthodes bayésiennes traditionnelles reposent sur une vraisemblance et des priors purs, et l'introduction de poids externes semble contredire la règle de Bayes et ses garanties théoriques (ex: cohérence, normalité asymptotique).

Méthodologie

Les auteurs proposent un cadre Bayésien Généralisé qui incorpore l'IPW pour redéfinir la cible inférentielle. La méthodologie centrale comprend trois étapes :

1. Estimation du Ratio via la Classification :
   Au lieu de supposer des densités connues, les auteurs entraînent un classificateur (par exemple, une régression logistique) pour distinguer les échantillons provenant de la distribution biaisée $G$ de ceux provenant de la distribution non biaisée $Q$. Ce classificateur estime le ratio de densité $r(x) = q(x)/g(x)$ pour chaque point de donnée $x_i$. Ce ratio représente les chances qu'un point de donnée appartienne à la population idéale par rapport à la population biaisée.

2. Mise à jour de la Vraisemblance Pondérée :
   La distribution postérieure bayésienne standard est modifiée en repondérant la contribution de la vraisemblance de chaque point de donnée $x_i$ par le ratio estimé $w_i = r(x_i)$. La distribution postérieure généralisée $\pi_n(\theta)$ est définie par :
   $$\pi_n(\theta) \propto \pi(\theta) \prod_{i=1}^n p(x_i|\theta)^{w_i}$$
   À l'échelle logarithmique, cela correspond à la minimisation d'un risque empirique pondéré :
   $$\log \pi_n(\theta) = \log \pi(\theta) - n L_n(\theta; w)$$
   où $L_n(\theta; w)$ est la log-vraisemblance négative pondérée.

3. Justification Théorique (Projection KL) :
   Les auteurs démontrent que ce repondérage est mathématiquement équivalent à un déplacement de la cible d'inférence. L'inférence bayésienne conventionnelle minimise $KL(g(\cdot) || p(\cdot|\theta))$. En appliquant les poids $w_i \approx q(x_i)/g(x_i)$, la procédure minimise :
   $$L(\theta; w) = E_G [r(X)(-\ell_\theta(X))] = -E_Q[\ell_\theta(X)] = KL(q(\cdot) || p(\cdot|\theta)) + c$$
   Ainsi, la distribution postérieure converge vers le paramètre $\theta^*$ qui minimise la divergence KL entre le modèle et la distribution cible non biaisée $Q$, plutôt que la source biaisée $G$.

4. Stabilisation Pratique :
   Pour remédier à l'instabilité causée par des poids extrêmes (qui peuvent réduire la Taille Effective des Données, EDS), les auteurs recommandent :

   • Le Tronquage (Clipping) : Limiter les log-odds extrêmes (ex: $\pm 10$).
   • Le Tempérage (Tempering) : Utiliser un ratio tempéré $r(x)^\alpha$ (avec $0 < \alpha < 1$) pour stabiliser l'inférence, bien que cela se fasse au prix d'une cible légèrement différente.
   • Le Cross-fitting : Utiliser une validation croisée K-fold pour estimer les poids afin d'éviter le surapprentissage et garantir l'indépendance des données entre l'estimation des poids et la mise à jour de la distribution postérieure.

Principales Contributions Théoriques

L'article fournit des résultats théoriques rigoureux sous les hypothèses standards de l'estimation-M (régularité, identifiabilité, conditions de Glivenko-Cantelli) :

• Existence et Unicité : La fonction de risque de population repondérée atteint un minimum global unique sous des conditions de convexité et de coercitivité.
• Concentration de la Postérieure : La distribution postérieure se concentre asymptotiquement autour du véritable minimiseur $\theta^*$ du risque repondéré.
• Normalité Asymptotique (Théorème de Bernstein-von Mises) : La distribution postérieure est asymptotiquement normale. Crucialement, les auteurs distinguent la variance de la postérieure de la variance d'échantillonnage fréquentiste :
  • La covariance de la postérieure est $I^{-1}/n$ (où $I$ est l'Hessien attendu).
  • La variance "sandwich" fréquentiste de l'estimateur est $I^{-1}JI^{-1}/n$ (où $J$ implique la variance des scores pondérés).
  • Avec le repondérage, $J \neq I$ en général. Par conséquent, pour obtenir des intervalles de crédibilité fréquentistes valides, les auteurs préconisent d'utiliser la covariance corrigée par le sandwich plutôt que la variance brute de la postérieure.
• Effets de l'Injection des Poids (Plug-in Weights) : L'article analyse l'impact de l'estimation des poids à partir d'un échantillon fini de taille $m$. Si $m/n \to \infty$, le bruit d'estimation des poids est négligeable. Si $m/n \to c \in (0, \infty)$, un terme supplémentaire d'inflation de la variance $K_c$ apparaît dans la distribution asymptotique, lequel doit être pris en compte.

Résultats Empiriques

Les auteurs valident leur approche à travers trois exemples :

1. Simulation Gaussienne : Inférence sur la moyenne et la variance d'un modèle gaussien où les données sont tirées d'une distribution biaisée.

   • Résultat : Le Bayes standard présentait un biais significatif. Le repondérage par les odds exacts a réussi à débiaser les estimations mais a montré une variance plus élevée et une stabilité moindre (EDS plus faible). Les odds tempérés ($\alpha=0,75$) ont offert un compromis avec un biais légèrement plus élevé mais une meilleure stabilité.

2. Régression Multivariée (Registre Simulé) : Un modèle de régression linéaire avec un biais de sélection où les patients ayant des résultats plus élevés étaient moins susceptibles d'être inclus dans le registre.

   • Résultat : Le repondérage par les odds a produit de manière constante le plus faible biais pour les coefficients de régression, correspondant étroitement à la vérité terrain dérivée de l'échantillon non biaisé. Il a obtenu une couverture quasi parfaite pour certains paramètres, bien qu'avec une variance plus élevée que les méthodes tempérées.

3. Application au Monde Réel (Cancer de la Prostate) : Prédiction de la mortalité par cancer de la prostate à 10 ans en utilisant les niveaux de PSA à partir de données de registres norvégiens.

   • Contexte : Les données du registre étaient biaisées vers les hommes plus âgés, alors que la cible était la population générale d'hommes de plus de 39 ans.
   • Résultat : La méthode a réussi à projeter l'inférence du registre biaisé vers la distribution de la population générale. Les auteurs notent que bien que la véritable distribution sous-jacente de l'apparition du cancer soit inobservée, la méthode a fourni une limite supérieure principielle sur l'influence prédictive du PSA, complétant la limite inférieure fournie par les données brutes du registre.

Signification et Revendications

L'article affirme fournir une justification cohérente pour l'utilisation de l'IPW dans un cadre post-bayésien. Ses principales contributions sont :

• Recadrage de la Correction de Biais : Il réinterprète l'IPW fréquentiste non pas comme une modification ad hoc de la règle de Bayes, mais comme un mécanisme pour déplacer la cible de minimisation de la divergence KL de la distribution des données observées vers une distribution cible spécifiée par l'utilisateur.
• Réconciliation des Paradigmes : Il unifie l'inférence bayésienne généralisée (qui assouplit les hypothèses de modèle strictes) avec les techniques de correction de biais fréquentistes, permettant aux méthodes bayésiennes de gérer le biais de sélection dans les ensembles de données massifs ("Big N").
• Utilité Pratique : Les auteurs démontrent que la méthode est immédiatement applicable en utilisant des logiciels standards (ex: brms en R) et des classificateurs prêts à l'emploi, la rendant accessible pour les problèmes d'épidémiologie et d'inférence causale auparavant considérés comme intraitables pour les approches bayésiennes en raison du biais de sélection.
• Rigueur Théorique : En établissant la normalité asymptotique et en fournissant la variance sandwich correcte pour les intervalles de crédibilité, l'article garantit que la méthode conserve sa validité fréquentiste tout en conservant l'interprétabilité des postérieures bayésiennes.

Les auteurs restent modestes quant à la portée de leurs travaux, reconnaissant que la conception optimale des classificateurs, la stabilité des poids dans les petits échantillons et les extensions aux modèles non i.i.d. (ex: séries temporelles) nécessitent des recherches supplémentaires. Ils positionnent ce travail comme une étape fondamentale vers l'extension du raisonnement bayésien au-delà de la simple erreur de spécification de modèle pour inclure les biais de collecte de données.