Regularized Exponentially Tilted Empirical Likelihood for Bayesian Inference

1. Il Problema: Il Vincolo dell'Inviluppo Convesso nell'Inferenza Bayesiana

Il lavoro affronta una sfida fondamentale nell'inferenza bayesiana basata sulla Verosimiglianza Empirica (EL) e sulla Verosimiglianza Empirica Esporzialmente Inclinata (ETEL).

• Contesto: L'EL e l'ETEL sono metodi semiparametrici che permettono inferenze basate su equazioni di stima o condizioni di momento senza assumere una distribuzione parametrica completa per i dati. Sono stati adattati per l'inferenza bayesiana sostituendo la funzione di verosimiglianza parametrica con una pseudo-verosimiglianza basata su EL/ETEL.
• La Sfida (Il Vincolo dell'Inviluppo Convesso): Un problema critico sorge perché il dominio della distribuzione a posteriori è limitato a un sottoinsieme proprio dello spazio dei parametri originale. Questo è dovuto al vincolo dell'inviluppo convesso: affinché la verosimiglianza sia definita, lo zero deve appartenere all'inviluppo convesso delle funzioni di stima $g(X_i, \theta)$ calcolate sui dati osservati.
• Conseguenze:
  • Se il vincolo non è soddisfatto per un certo $\theta$, la verosimiglianza diventa zero, "azzerando" intere regioni dello spazio dei parametri.
  • Questo comportamento è concettualmente insoddisfacente per un approccio bayesiano: regioni che hanno probabilità zero a causa di un campione limitato potrebbero diventare probabili con più dati, ma il modello bayesiano standard non può "ripristinarle" facilmente.
  • Il dominio a posteriori risultante è spesso non convesso, rendendo difficile l'uso di algoritmi di campionamento standard (come MCMC o Hamiltonian Monte Carlo) e portando a problemi di copertura e inferenza inaffidabile, specialmente con campioni piccoli.

2. Metodologia Proposta: RETEL (Regularized Exponentially Tilted Empirical Likelihood)

Gli autori propongono un nuovo metodo, la RETEL, che risolve il problema del vincolo dell'inviluppo convesso attraverso una tecnica di regolarizzazione innovativa, evitando l'uso di dati pseudo-dipendenti dal parametro in modo irregolare.

Sviluppo Concettuale

1. WETEL (Weighted ETEL) con Dati Pseudo-Frazionali:

   • Gli autori estendono prima l'approccio della Adjusted Empirical Likelihood (AEL), che aggiunge un'osservazione pseudo per soddisfare il vincolo.
   • Introducono WETEL, che incorpora $m$ osservazioni pseudo con pesi frazionari e utilizza uno schema di entropy balancing. Questo permette di trattare i dati pseudo come un'unica entità con peso ridotto, riducendo l'irregolarità rispetto ai metodi precedenti.

2. Il Limite e la Regolarizzazione (RETEL):

   • Il passo cruciale è far tendere il numero di osservazioni pseudo ($m$) all'infinito. Invece di aggiungere dati discreti specifici, si introduce una distribuzione continua della famiglia esponenziale (tipicamente una distribuzione Normale $N(\mu, \Sigma)$) come limite dei dati pseudo.
   • Questo processo trasforma il problema di ottimizzazione in un problema di minimizzazione regolarizzata. La funzione obiettivo diventa la somma della parte empirica (basata sui dati osservati) e di una parte di penalità basata sulla distribuzione ausiliaria continua.
   • Matematicamente, si minimizza:
     $$\min_{\lambda} \left\{ \sum_{i=1}^n \exp(\lambda^\top g_i(\theta)) + p(\lambda) \right\}$$
     dove $p(\lambda)$ è la funzione generatrice dei momenti della distribuzione ausiliaria (es. $e^{\lambda^\top \mu + \lambda^\top \Sigma \lambda / 2}$).

3. Dualità e Proprietà:

   • La regolarizzazione garantisce che il problema duale abbia una soluzione unica e finita per qualsiasi valore di $\theta$, anche quando il vincolo dell'inviluppo convesso non è soddisfatto dai dati osservati.
   • Viene proposta una derivazione alternativa basata sulla minimizzazione della Divergenza di Kullback-Leibler tra una miscela di distribuzioni (dati empirici + distribuzione continua ausiliaria). Questo collega il metodo a principi di massima entropia.
   • Vengono definiti due versioni: RETELf (versione completa, che include il termine di probabilità della componente continua) e RETELr (versione ridotta).

3. Contributi Chiave

1. Rimozione del Vincolo dell'Inviluppo Convesso: Il metodo elimina la necessità che lo zero sia contenuto nell'inviluppo convesso dei dati osservati, garantendo che la verosimiglianza sia definita e positiva su tutto lo spazio dei parametri.
2. Coerenza Bayesiana: A differenza dei metodi AEL/AETEL che introducono dati pseudo dipendenti dal parametro in modo "ad-hoc", la RETEL deriva da un limite matematico rigoroso, preservando la coerenza logica dell'inferenza bayesiana (nessuna regione di parametri viene arbitrariamente azzerata).
3. Proprietà Asintotiche: Gli autori dimostrano che la RETEL mantiene le proprietà asintotiche desiderate dell'EL e dell'ETEL, inclusi:
   • Il Teorema di Wilks (la statistica del rapporto di verosimiglianza converge a una distribuzione $\chi^2$).
   • Il Teorema di Bernstein-von Mises (la distribuzione a posteriori converge a una normale asintoticamente).
4. Flessibilità: Il metodo permette di incorporare informazioni a priori attraverso la scelta dei parametri della distribuzione ausiliaria ($\mu, \Sigma$) e del parametro di regolarizzazione $\tau_n$.

4. Risultati Sperimentali

Gli autori valutano il metodo attraverso simulazioni e analisi di dati reali.

• Copertura degli Intervalli Credibili:
  • In scenari con campioni piccoli ($n=5$), l'ETEL e l'AETEL mostrano tassi di copertura significativamente inferiori al livello nominale (sotto-copertura) o intervalli eccessivamente ampi (nel caso di AETEL).
  • La RETEL mostra tassi di copertura molto più vicini al livello nominale (es. 95%) e intervalli più stabili, specialmente quando la varianza a priori è alta o il campione è piccolo.
• Divergenza di Kullback-Leibler Attesa:
  • L'analisi della quantità di informazione ottenuta mostra che l'ETEL può produrre valori anomali (bimodalità nella distribuzione marginale) a causa del dominio ristretto. La RETEL mantiene una monotonicità più naturale nell'accumulo di informazione al crescere del campione.
• Regioni di Confidenza (Frequenziste):
  • In simulazioni con dimensioni elevate ($p$ grande rispetto a $n$), la RETEL supera l'ETEL e l'AETEL, mantenendo tassi di copertura stabili. L'ETEL soffre di una forte sotto-copertura quando $p$ cresce.
• Applicazioni Reali:
  1. Reddito Mediano: Stima del reddito mediano per famiglie di quattro persone negli USA. La RETEL fornisce stime più accurate (minori deviazioni assolute e quadratiche) rispetto a EL e ETEL in un modello gerarchico bayesiano.
  2. Aspettativa di Vita Egizia: Analisi di dati storici su mummie egizie. Qui gli autori dimostrano l'estensione del metodo utilizzando una distribuzione ausiliaria non normale (Bernoulli spostata) e assegnando un prior iper al parametro di regolarizzazione $\tau$, mostrando la flessibilità del framework bayesiano completo.

5. Significato e Implicazioni

Il lavoro di Kim, MacEachern e Peruggia è significativo perché:

• Risolve un ostacolo teorico: Fornisce una soluzione elegante e matematicamente fondata al problema del vincolo dell'inviluppo convesso, che ha limitato l'uso dell'EL in contesti bayesiani per decenni.
• Migliora la robustezza: Rende l'inferenza bayesiana basata su momenti più robusta per campioni piccoli e per problemi ad alta dimensionalità, dove i metodi tradizionali falliscono o producono risultati patologici.
• Ponte tra Frequentismo e Bayesiano: Dimostra come tecniche di regolarizzazione (spesso usate in statistica frequentista) possano essere integrate organicamente in un framework bayesiano per migliorare la stabilità senza sacrificare le proprietà asintotiche.
• Futuri sviluppi: Apre la strada a estensioni completamente bayesiane, dove i parametri di regolarizzazione possono essere trattati come variabili casuali con le proprie distribuzioni a priori, permettendo un'adattabilità automatica alla complessità del modello e alla qualità dei dati.

In sintesi, la RETEL rappresenta un avanzamento sostanziale nell'uso della verosimiglianza empirica per l'inferenza bayesiana, offrendo un metodo pratico, teoricamente solido e computazionalmente efficiente che supera le limitazioni geometriche dei metodi precedenti.