Regularized Exponentially Tilted Empirical Likelihood for Bayesian Inference

Título: Verossimilhança Empírica Exponencialmente Inclinada Regularizada para Inferência Bayesiana

Autores: Eunseop Kim, Steven N. MacEachern e Mario Peruggia (Departamento de Estatística, Universidade Estadual de Ohio).

---

1. O Problema

A inferência bayesiana baseada em Verossimilhança Empírica (EL) e Verossimilhança Empírica Exponencialmente Inclinada (ETEL) enfrenta um obstáculo fundamental conhecido como restrição da casca convexa (convex hull constraint).

• Natureza do Problema: Para que a função de verossimilhança empírica seja definida, o vetor de momentos zero (derivado das equações de estimação) deve estar contido no interior da casca convexa formada pelas funções de momento dos dados observados.
• Consequência Bayesiana: Isso restringe o domínio da distribuição posterior a um subconjunto próprio do espaço de parâmetros. Se um valor de parâmetro $\theta$ viola essa restrição, a verossimilhança torna-se zero, resultando em uma posterior nula.
• Impacto Prático:
  • Regiões do espaço de parâmetros que deveriam ter probabilidade positiva (especialmente em amostras pequenas) são "zeradas".
  • O domínio posterior torna-se frequentemente não convexo, dificultando a amostragem via métodos como MCMC (Monte Carlo via Cadeias de Markov) ou HMC (Hamiltonian Monte Carlo).
  • Métodos existentes que tentam corrigir isso (como a Verossimilhança Empírica Ajustada - AEL/AETEL) introduzem pseudo-observações que dependem do parâmetro $\theta$, criando irregularidades e violando princípios bayesianos ao tratar dados fictícios como reais de forma variável.

2. Metodologia Proposta

Os autores propõem a Verossimilhança Empírica Exponencialmente Inclinada Regularizada (RETEL). A abordagem evolui em duas etapas principais:

A. Verossimilhança Exponencialmente Inclinada Ponderada (WETEL)

• Introduz um número fixo $m$ de pseudo-dados com pesos fracionários.
• Utiliza um esquema de reponderação de máxima entropia (Entropy Balancing) para garantir que os dados aumentados (reais + pseudo) satisfaçam a restrição da casca convexa.
• Embora útil, esta abordagem ainda depende de $m$ finito e da especificação dos pseudo-dados, mantendo uma dependência do parâmetro.

B. O Limite e a Regularização (RETEL)

• A inovação central é levar o número de pseudo-dados $m$ ao infinito, fazendo com que eles representem uma distribuição contínua (especificamente uma distribuição da família exponencial, como uma Normal).
• Em vez de adicionar dados discretos, o método adiciona um termo de penalidade ao problema de otimização dual (minimização da divergência de Kullback-Leibler).
• Formulação: O problema de minimização para o multiplicador de Lagrange $\lambda$ torna-se:
  $$\min_{\lambda} \left\{ \sum_{i=1}^n \exp(\lambda^\top g_i(\theta)) + p(\lambda) \right\}$$
  Onde $p(\lambda)$ é a função geradora de momentos de uma distribuição auxiliar contínua (ex: Normal com média $\mu$ e covariância $\Sigma$).
• Propriedades da Regularização:
  • O termo $p(\lambda)$ atua como uma penalidade estritamente convexa, garantindo que o multiplicador $\lambda$ seja finito e único para qualquer $\theta$, independentemente de a restrição da casca convexa ser satisfeita pelos dados observados.
  • Isso remove a necessidade de a casca convexa conter o zero, permitindo que a verossimilhança seja definida em todo o espaço de parâmetros.
• Versões:
  • RETELf (Full): Inclui o termo de probabilidade da distribuição auxiliar na verossimilhança.
  • RETELr (Reduced): Remove o termo explícito da distribuição auxiliar da verossimilhança final, mas mantém seu efeito na reponderação dos dados originais.

3. Contribuições Chave

1. Solução para a Restrição da Casca Convexa: Elimina o problema do "conjunto vazio" e das regiões zeradas na posterior, permitindo inferência bayesiana válida em todo o espaço de parâmetros.
2. Regularização Estruturada: Substitui a adição ad-hoc de pseudo-observações dependentes do parâmetro por uma regularização contínua derivada de princípios de informação (divergência KL).
3. Propriedades Assintóticas: Demonstra que o RETEL preserva as propriedades desejáveis da EL/ETEL:
   • Teorema de Wilks: A estatística de razão de verossimilhança converge para uma distribuição Qui-quadrado ($\chi^2$).
   • Teorema de Bernstein-von Mises: A distribuição posterior converge para uma distribuição Normal centrada no estimador de máxima verossimilhança, com variância inversa à informação de Fisher.
4. Flexibilidade: Permite a incorporação de informações a priori através dos parâmetros da distribuição auxiliar ($\mu, \Sigma$) e do parâmetro de força de regularização ($\tau$), que podem até receber priors hierárquicos.

4. Resultados (Simulações e Aplicações)

Simulações

• Cobertura de Intervalos Credíveis: Em amostras pequenas ($n=5, 20$), o RETEL apresenta taxas de cobertura muito próximas do nível nominal (95%), enquanto o ETEL sofre de subcobertura severa e o AETEL tende a supercobrir com intervalos excessivamente largos.
• Estabilidade: O RETEL evita o comportamento patológico onde a posterior colapsa ou se torna bimodal indevidamente devido a restrições geométricas.
• Divergência KL Esperada: O método preserva a monotonicidade da informação obtida com o aumento da amostra, ao contrário do ETEL, que pode inflar artificialmente a informação em amostras pequenas devido à restrição da casca convexa.
• Regiões de Confiança: Em cenários de alta dimensão ($p$ grande relativo a $n$), o RETEL mantém taxas de cobertura estáveis, superando o AETEL e o AEL, que falham drasticamente à medida que $p$ cresce.

Aplicações Reais

1. Renda Média Familiar (EUA): Estimativa de renda mediana em áreas pequenas. O RETEL forneceu estimativas mais precisas e intervalos credíveis mais estáveis comparado a EL e ETEL em um modelo hierárquico bayesiano.
2. Expectativa de Vida no Egito Romano: Análise de dados de idades ao falecer. O estudo demonstrou a flexibilidade do método ao usar uma distribuição auxiliar não-normal (Bernoulli deslocada) e ao tratar o parâmetro de regularização $\tau$ como uma variável aleatória com prior Gamma, permitindo uma inferência totalmente bayesiana sobre a força da regularização.

5. Significância

O artigo oferece uma solução robusta e teoricamente fundamentada para um dos maiores gargalos na aplicação de métodos de verossimilhança empírica na inferência bayesiana. Ao transformar a restrição geométrica (casca convexa) em um problema de regularização suave, os autores permitem que:

• A inferência bayesiana seja realizada sem a necessidade de truncar o espaço de parâmetros.
• Métodos de amostragem padrão (como MCMC) funcionem eficientemente.
• A robustez de pequenas amostras seja significativamente melhorada em comparação com as abordagens atuais.

O RETEL representa um avanço na unificação entre métodos de momentos (frequentistas) e inferência bayesiana, fornecendo uma pseudo-verossimilhança que é matematicamente bem-comportada e estatisticamente eficiente.