Regularized Exponentially Tilted Empirical Likelihood for Bayesian Inference

1. Problématique : La contrainte de l'enveloppe convexe

L'inférence bayésienne utilisant la vraisemblance empirique (EL) et la vraisemblance empirique exponentiellement inclinée (ETEL) se heurte à un défi fondamental : la contrainte de l'enveloppe convexe (convex hull constraint).

• Le mécanisme du problème : Pour que l'ETEL soit définie, l'origine (0) doit appartenir à l'enveloppe convexe des fonctions d'estimation $\{g(X_i, \theta)\}$ calculées sur l'échantillon observé.
• Conséquences : Cela restreint le domaine de la vraisemblance (et donc de la distribution a posteriori) à un sous-ensemble propre de l'espace des paramètres $\Theta$. Si la condition n'est pas satisfaite pour une valeur de $\theta$, la vraisemblance est nulle.
• Impact sur l'inférence bayésienne :
  • Des régions entières de l'espace des paramètres peuvent être « annulées » (probabilité nulle) dans la distribution a posteriori, même si elles étaient possibles sous l'a priori.
  • Ces régions « zéro » peuvent réapparaître avec l'ajout de nouvelles données, ce qui viole la cohérence logique des méthodes bayésiennes.
  • L'espace restreint est souvent non convexe, rendant l'échantillonnage de la distribution a posteriori (via MCMC ou Hamiltonian Monte Carlo) difficile, instable et sujet à des problèmes de couverture.

Les méthodes existantes, comme la vraisemblance empirique ajustée (AEL/AETEL), tentent de résoudre ce problème en ajoutant une ou plusieurs « pseudo-observations » dépendantes du paramètre $\theta$. Cependant, cette approche introduit des irrégularités et s'éloigne des principes bayésiens standards.

2. Méthodologie proposée : Vraisemblance Empirique Exponentiellement Inclinée Régularisée (RETEL)

Les auteurs proposent une nouvelle méthode, la RETEL, qui élimine la contrainte de l'enveloppe convexe sans recourir à des pseudo-données dépendantes du paramètre de manière ad hoc. La méthode repose sur deux approches équivalentes :

A. Approche par limite de pseudo-données fractionnaires

1. Extension pondérée (WETEL) : Les auteurs commencent par généraliser l'ETEL en introduisant $m$ pseudo-données avec des poids fractionnaires, utilisant un schéma de rééquilibrage d'entropie (entropy balancing).
2. Passage à la limite : Au lieu de fixer un nombre fini $m$, ils considèrent la limite lorsque $m \to \infty$. Les pseudo-données convergent vers une distribution continue de la famille exponentielle (généralement une distribution normale $N(\mu, \Sigma)$).
3. Régularisation : Cette limite transforme le problème d'optimisation. Le terme de vraisemblance empirique est combiné avec la fonction génératrice des moments de la distribution auxiliaire continue. Cela agit comme un terme de régularisation qui pénalise les valeurs de $\lambda$ (le multiplicateur de Lagrange) qui divergent, garantissant l'existence d'une solution unique et finie pour tout $\theta \in \Theta$.

B. Approche par divergence de Kullback-Leibler (Dualité)

La méthode peut être dérivée directement comme la solution à un problème de minimisation de la divergence de Kullback-Leibler (DKL) entre :

• Une distribution de référence mixte $\tilde{P}_n$ (mélange de la distribution empirique et d'une distribution auxiliaire continue).
• Une distribution inclinée $\tilde{P}_\lambda$.

Cette formulation assure que le problème d'optimisation duale est bien posé sur tout $\mathbb{R}^p$, éliminant la nécessité que 0 soit dans l'enveloppe convexe des données observées.

Versions de la méthode

Les auteurs définissent deux versions de la vraisemblance :

• RETELf (Full) : Inclut le terme de probabilité associé à la composante continue ($p_c(\theta)$) dans la vraisemblance.
• RETELr (Reduced) : Omet ce terme dans le calcul final de la vraisemblance, bien que l'influence de la régularisation reste présente via les poids des observations.

Les paramètres de régularisation ($\mu_{n,\theta}, \Sigma_{n,\theta}, \tau_n$) peuvent être fixés ou traités de manière bayésienne (en leur attribuant des a priori), offrant une grande flexibilité.

3. Contributions Clés

1. Résolution de la contrainte de l'enveloppe convexe : La RETEL garantit que la vraisemblance est strictement positive sur tout l'espace des paramètres, éliminant les zones de probabilité nulle arbitraires.
2. Stabilité asymptotique et finie : La méthode préserve les propriétés asymptotiques désirables de l'ETEL (théorème de Wilks, théorème de Bernstein-von Mises) tout en offrant des performances nettement supérieures en échantillons finis.
3. Cohérence bayésienne : Contrairement aux méthodes avec pseudo-données fixes, la RETEL évite les irrégularités dans la distribution a posteriori et permet un échantillonnage MCMC robuste.
4. Flexibilité de modélisation : La méthode permet d'incorporer des informations a priori via les paramètres de la distribution auxiliaire (moyenne, covariance, poids $\tau_n$).

4. Résultats et Évaluations

Les auteurs valident la méthode via des simulations et des analyses de données réelles :

• Couverture des intervalles de crédibilité :
  • En petits échantillons ($n=5$), l'ETEL et l'AETEL montrent des taux de couverture inférieurs ou supérieurs à la valeur nominale (95 %) et des intervalles instables.
  • La RETEL (surtout la version $r$) fournit des taux de couverture très proches de 95 % et des intervalles plus courts et précis que l'AETEL.
• Divergence de Kullback-Leibler attendue :
  • L'étude de l'information obtenue montre que l'ETEL et l'EL peuvent produire des distributions a posteriori bimodales pathologiques (surtout quand $n$ est petit), conduisant à une divergence KL artificiellement élevée.
  • La RETEL préserve la monotonie de l'information et évite ces artefacts, produisant des distributions a posteriori plus lisses et logiques.
• Régions de confiance fréquentistes :
  • Dans des scénarios où le nombre de paramètres $p$ est grand par rapport à $n$, la RETEL maintient des taux de couverture stables, là où les méthodes ajustées (AETEL, AEL) échouent souvent ou produisent des taux de couverture inflationnistes.
• Applications réelles :
  • Revenu médian : Sur des données de revenus par État, la RETEL améliore la précision des estimations bayésiennes par rapport à l'EL et l'ETEL.
  • Espérance de vie égyptienne : L'article illustre l'utilisation d'une distribution auxiliaire non-normale (Bernoulli décalée) et d'un traitement bayésien du paramètre de régularisation $\tau$, démontrant la flexibilité de la méthode.

5. Signification et Perspectives

La RETEL représente une avancée significative pour l'inférence bayésienne semi-paramétrique. Elle résout le problème structurel de la contrainte géométrique de l'ETEL en le remplaçant par une régularisation probabiliste cohérente.

• Impact pratique : Elle rend l'inférence bayésienne basée sur les équations d'estimation viable pour de petits échantillons et des espaces de paramètres complexes, là où les méthodes précédentes échouaient.
• Futur de la recherche : Les auteurs suggèrent d'explorer des extensions bayésiennes complètes (hiérarchiques) des paramètres de régularisation et d'étudier les propriétés asymptotiques d'ordre supérieur de la RETEL sous mauvaise spécification du modèle.

En résumé, la RETEL fournit une « pseudo-vraisemblance » robuste et logiquement cohérente, permettant d'appliquer les principes bayésiens à des modèles définis par des moments sans les artefacts géométriques qui limitaient les approches antérieures.