Regularized Exponentially Tilted Empirical Likelihood for Bayesian Inference

1. Problemstellung

Das Paper adressiert ein fundamentales Problem bei der Anwendung der empirischen Likelihood (EL) und der exponentiell geneigten empirischen Likelihood (ETEL) im Rahmen der Bayesschen Inferenz.

• Die Konvexhüllen-Bedingung (Convex Hull Constraint): Bei der Konstruktion von EL und ETEL wird die Likelihood-Funktion durch Minimierung der Kullback-Leibler-Divergenz unter Momentenbedingungen definiert. Dies führt dazu, dass die Likelihood nur dann positiv ist, wenn der Nullpunkt im Inneren der Konvexhülle der Stichprobenvektoren $\{g(X_i, \theta)\}$ liegt.
• Folgen für die Bayessche Inferenz:
  • Der Posterior-Definitionsbereich ist eine echte Teilmenge des ursprünglichen Parameterraums $\Theta$.
  • Regionen des Parameterraums, die die Konvexhüllen-Bedingung verletzen, erhalten eine Likelihood von Null. Dies führt dazu, dass diese Regionen im Posterior „ausgelöscht" werden, selbst wenn sie durch die Prior-Verteilung unterstützt werden.
  • Mit zunehmender Stichprobengröße kann sich die Konvexhülle erweitern, was dazu führt, dass zuvor „ausgelöschte" Bereiche wieder positiv werden. Dieses Verhalten widerspricht der Logik der Bayesschen Aktualisierung und führt zu inkonsistenten Inferenzergebnissen.
  • Die Nicht-Konvexität des zulässigen Bereichs erschwert die Anwendung von MCMC-Sampling-Verfahren erheblich.
• Bestehende Lösungen und deren Mängel: Bisherige Ansätze wie die Adjustierte Empirische Likelihood (AEL) oder Adjustierte Exponentiell Geneigte EL (AETEL) fügen Pseudo-Beobachtungen hinzu, um die Konvexhüllen-Bedingung zu erfüllen. Diese Methoden sind jedoch oft unregelmäßig, da die Pseudo-Daten vom Parameter $\theta$ abhängen, was zu Problemen bei der Bayesschen Konsistenz und der Stabilität führt.

2. Methodik

Die Autoren schlagen eine neue Methode vor, die Regularisierte Exponentiell Geneigte Empirische Likelihood (RETEL), um die Konvexhüllen-Bedingung ohne parameterabhängige Pseudo-Daten zu umgehen.

A. Von gewichteter EL zur Regularisierung

Der Ansatz beginnt mit einer Erweiterung der AEL-Methode:

1. Weighted ETEL (WETEL): Es werden mehrere Pseudo-Daten mit fraktionalen Gewichten eingeführt. Dies kombiniert die Logik der gewichteten EL mit einem Entropy-Balancing-Schema.
2. Grenzübergang (Limiting Procedure): Anstatt eine feste Anzahl von Pseudo-Daten zu verwenden, betrachten die Autoren den Grenzübergang, wenn die Anzahl der Pseudo-Daten $m \to \infty$ geht.
3. Kontinuierliche Verteilung: Im Grenzübergang repräsentieren die Pseudo-Daten eine kontinuierliche Verteilung, typischerweise eine Normalverteilung $N(\mu, \Sigma)$. Dies führt zu einer Regularisierung des Optimierungsproblems.

B. Das Regularisierte Optimierungsproblem

Statt das duale Problem der ETEL direkt zu lösen, wird ein Strafterm (Penalty) hinzugefügt, der aus der Momentengenerierenden Funktion der Hilfsverteilung stammt. Das Minimierungsproblem für den Lagrange-Multiplikator $\lambda$ lautet:

$$\min_{\lambda \in \mathbb{R}^p} \left\{ \sum_{i=1}^n \exp(\lambda^\top g_i(\theta)) + \tau_n \exp\left(\lambda^\top \mu_{n,\theta} + \frac{1}{2}\lambda^\top \Sigma_{n,\theta} \lambda\right) \right\}$$

• Der erste Term entspricht der Standard-ETEL.
• Der zweite Term (die Regularisierung) stellt sicher, dass das Problem für alle $\theta \in \Theta$ strikt konvex und koerziv ist.
• Konsequenz: Der Lagrange-Multiplikator $\lambda$ existiert immer und ist endlich, unabhängig davon, ob die Konvexhüllen-Bedingung erfüllt ist. Die Likelihood wird nie null.

C. Zwei Varianten der RETEL

Die Autoren definieren zwei Versionen der Likelihood-Funktion:

1. RETELf (Full): Beinhaltet den Anteil der Hilfsverteilung explizit in der Likelihood-Ratio.
2. RETELr (Reduced): Ignoriert den expliziten Anteil der Hilfsverteilung in der Likelihood-Ratio, behält aber den Regularisierungseffekt auf die Gewichte bei.

Beide Varianten nutzen die Parameter $\mu_{n,\theta}$, $\Sigma_{n,\theta}$ und $\tau_n$, die als „Unit Information Prior" interpretiert werden können (entsprechend einem Pseudo-Beobachtung).

3. Wichtige Beiträge

1. Lösung des Konvexhüllen-Problems: RETEL beseitigt die Notwendigkeit, den Parameterraum einzuschränken, indem es die Likelihood durch Regularisierung für alle $\theta$ definiert.
2. Theoretische Eigenschaften:
   • Asymptotik: Es wird gezeigt, dass RETEL die ersten Ordnungs-Asymptotiken der ETEL beibehält.
   • Wilks-Theorem: Die Likelihood-Ratio-Statistik konvergiert asymptotisch zu einer $\chi^2$-Verteilung.
   • Bernstein-von Mises-Theorem: Der Posterior konvergiert gegen eine Normalverteilung um den wahren Parameterwert, was die Gültigkeit der Bayesschen Inferenz mit RETEL unterstreicht.
3. Verbesserte Endstichproben-Performance: Im Gegensatz zu AEL/AETEL vermeidet RETEL die Irregularitäten durch parameterabhängige Pseudo-Daten und bietet stabilere Ergebnisse bei kleinen Stichproben.
4. Flexibilität: Der Rahmen erlaubt die Integration von Vorwissen durch die Wahl der Hilfsverteilung (z.B. nicht-normale Verteilungen) und die Behandlung von Regularisierungsparametern als hyperparameter mit eigenen Priors.

4. Ergebnisse (Simulation und Datenanalyse)

Die Autoren evaluieren RETEL durch umfangreiche Simulationen und reale Datenanalysen:

• Posterior-Abdeckung (Coverage):
  • Bei kleinen Stichproben ($n=5$) liefern ETEL und AETEL oft suboptimale Abdeckungsraten (zu niedrig bei ETEL, zu hoch und zu breite Intervalle bei AETEL).
  • RETEL (sowohl Full als auch Reduced) liefert Abdeckungsraten, die sehr nahe am nominalen Niveau liegen (z.B. 95%), selbst bei kleinen Stichproben und starken Priors.
• Erwartete Kullback-Leibler-Divergenz:
  • ETEL und EL zeigen bei kleinen Stichproben oft eine nicht-monotone Zunahme der erwarteten Information (aufgrund von Multimodalität im Posterior durch die Konvexhüllen-Beschränkung).
  • RETEL zeigt das erwartete monotone Verhalten der Informationsgewinnung mit wachsender Stichprobengröße.
• Konfidenzbereiche (Frequentistische Kalibrierung):
  • In Szenarien mit hoher Dimensionalität ($p$ groß relativ zu $n$) leiden AETEL und AEL unter starken Unterabdeckungen oder sind durch Obergrenzen der Statistik begrenzt.
  • RETEL bleibt robust und liefert stabile Abdeckungsraten, die denen der Extended Empirical Likelihood (EEL) nahekommen oder diese übertreffen.
• Anwendungsfälle:
  1. Medianeinkommen: Bei der Schätzung des Medianeinkommens für Vier-Personen-Familien in den USA (Small Area Estimation) liefert RETEL genauere Schätzungen mit geringeren Abweichungen als EL und ETEL.
  2. Römisch-Ägyptische Lebensdauer: In einer Analyse von Mumien-Lebensdaten wird RETEL mit einer nicht-normalen (binären) Hilfsverteilung und einem Hyperprior für den Regularisierungsparameter $\tau$ verwendet. Dies demonstriert die Flexibilität des Ansatzes, Vorwissen in die Regularisierung zu integrieren.

5. Bedeutung und Fazit

Das Paper stellt einen bedeutenden Fortschritt für die Bayessche Inferenz mit momentenbasierten Methoden dar.

• Theoretische Konsistenz: RETEL löst das logische Problem der „ausgelöschten" Parameterräume, das bei der direkten Anwendung von EL/ETEL in der Bayesschen Statistik auftritt. Es stellt sicher, dass der Posterior gut definiert ist und die gewünschten asymptotischen Eigenschaften (Bernstein-von Mises) erfüllt.
• Praktische Anwendbarkeit: Durch die Stabilisierung der Likelihood-Funktion ermöglicht RETEL die Verwendung standardmäßiger MCMC-Algorithmen ohne komplexe Anpassungen für nicht-konvexe Bereiche.
• Robustheit: Die Methode ist besonders vorteilhaft bei kleinen Stichproben und in hochdimensionalen Settings, wo herkömmliche EL-Methoden versagen.

Zusammenfassend bietet RETEL eine robuste, theoretisch fundierte und praktisch anwendbare pseudo-Likelihood für die Bayessche Inferenz, die die Nachteile der Konvexhüllen-Beschränkung eliminiert, ohne dabei die Vorteile der empirischen Likelihood (keine parametrischen Verteilungsannahmen) zu verlieren.