Regularized Exponentially Tilted Empirical Likelihood for Bayesian Inference

A continuación presento un resumen técnico detallado del artículo "Regularized exponentially tilted empirical likelihood for Bayesian inference" (Verosimilitud empírica exponencialmente inclinada regularizada para inferencia bayesiana), escrito por Eunseop Kim, Steven N. MacEachern y Mario Peruggia.

1. El Problema: La Restricción del Envoltorio Convexo

La inferencia bayesiana basada en la Verosimilitud Empírica (EL) y la Verosimilitud Empírica Exponencialmente Inclinada (ETEL) enfrenta un obstáculo fundamental conocido como el problema del envoltorio convexo (convex hull constraint).

• Naturaleza del problema: En los métodos EL/ETEL, la distribución de probabilidad se define sobre las observaciones muestrales sujetas a restricciones de momentos. Matemáticamente, esto requiere que el cero esté contenido en el interior del envoltorio convexo de las funciones de estimación $g(X_i, \theta)$.
• Consecuencias:
  • El dominio posterior se convierte en un subconjunto propio del espacio de parámetros original. Si una región del espacio de parámetros no satisface la condición del envoltorio convexo, la verosimilitud se vuelve cero.
  • Esto genera regiones de probabilidad cero en la distribución posterior, lo cual es conceptualmente insatisfactorio en el enfoque bayesiano, ya que se espera que con más datos estas regiones puedan recuperar probabilidad positiva.
  • La no convexidad del dominio restringido complica el muestreo posterior (ej. MCMC), llevando a problemas de cobertura y resultados poco fiables, especialmente en muestras pequeñas.
• Limitaciones de soluciones anteriores: Métodos previos como la Verosimilitud Empírica Ajustada (AEL) o la AETEL introducen "pseudo-observaciones" que dependen del parámetro $\theta$. Aunque resuelven la restricción geométrica, introducen irregularidades en la función de verosimilitud y se desvían de los principios bayesianos estándar al tratar datos ficticios dependientes del parámetro como datos reales.

2. Metodología Propuesta: RETEL

Los autores proponen un nuevo método llamado Verosimilitud Empírica Exponencialmente Inclinada Regularizada (RETEL). La metodología se desarrolla en dos etapas principales:

A. Verosimilitud Empírica Exponencialmente Inclinada Ponderada (WETEL)

Como paso intermedio, se extiende el marco de AEL incorporando múltiples pseudo-observaciones con pesos fraccionarios.

• Se introduce un conjunto de datos pseudo ($g_{n+j}$) y se utiliza un esquema de reponderización de máxima entropía (entropy balancing).
• Los pesos se asignan de tal manera que los datos pseudo actúan como una sola observación con peso fraccionario, equilibrando su contribución con los datos reales.
• Esto permite una generalización de la ETEL, pero aún sufre de la dependencia de un número finito de pseudo-datos.

B. El Procedimiento de Regularización (RETEL)

La contribución central es pasar al límite donde el número de pseudo-datos ($m$) tiende a infinito.

• Distribución Auxiliar Continua: En lugar de pseudo-datos discretos, se asume una distribución auxiliar continua de la familia exponencial (específicamente una distribución Normal $N(\mu, \Sigma)$) que representa el límite de los pseudo-datos.
• Formulación Dual: El problema se formula como la minimización de la divergencia de Kullback-Leibler (KL) entre una mezcla de la distribución empírica y la distribución auxiliar continua.
  • Se define un problema de minimización para el multiplicador de Lagrange $\lambda$:
    $$\min_{\lambda} \left\{ \sum_{i=1}^n e^{\lambda^\top g_i(\theta)} + \tau_n e^{\lambda^\top \mu + \lambda^\top \Sigma \lambda / 2} \right\}$$
  • El segundo término actúa como un término de regularización (penalización) que asegura que el problema de optimización esté bien planteado y tenga una solución única y finita para cualquier valor de $\theta$, eliminando la necesidad de que $0$ esté en el envoltorio convexo de los datos observados.
• Versiones del Método:
  • RETELf (Completa): Incluye el término de probabilidad de la distribución auxiliar ($p_c(\theta)$) en la función de verosimilitud.
  • RETELr (Reducida): Elimina el término explícito $p_c(\theta)$ de la verosimilitud, pero mantiene su efecto en la reponderización de los datos observados.

3. Contribuciones Clave

1. Eliminación de la Restricción del Envoltorio Convexo: RETEL elimina la necesidad de que el cero esté dentro del envoltorio convexo de las funciones de estimación, permitiendo que la verosimilitud sea positiva en todo el espacio de parámetros.
2. Regularización Estructurada: Introduce una regularización basada en la divergencia de KL y una familia exponencial continua, evitando la irregularidad de los pseudo-datos dependientes del parámetro utilizados en métodos anteriores.
3. Propiedades Asintóticas Deseables: Se demuestra teóricamente que RETEL conserva las propiedades asintóticas clave de la EL y ETEL:
   • Teorema de Wilks: El estadístico de razón de verosimilitudes sigue una distribución $\chi^2$.
   • Teorema de Bernstein-von Mises: La distribución posterior converge a una normal asintótica, garantizando la validez de la inferencia bayesiana.
4. Flexibilidad Bayesiana: Permite incorporar información previa a través de los parámetros de la distribución auxiliar ($\mu, \Sigma$) y el parámetro de regularización $\tau_n$, e incluso asignar hiperpriors a estos parámetros.

4. Resultados Empíricos

Los autores evalúan el método mediante simulaciones y análisis de datos reales:

• Cobertura Posterior: En simulaciones con tamaños de muestra pequeños ($n=5, 20$), RETEL muestra tasas de cobertura de intervalos creíbles mucho más cercanas al nivel nominal (95%) en comparación con ETEL y AETEL. ETEL tiende a tener una cobertura muy baja debido a la restricción del envoltorio convexo, mientras que AETEL produce intervalos excesivamente anchos.
• Divergencia de Kullback-Leibler Esperada: Se analiza la monotonicidad de la información obtenida al aumentar el tamaño de la muestra. ETEL y EL fallan en mantener esta monotonicidad en muestras pequeñas debido a la bimodalidad inducida por la restricción del dominio. RETEL preserva esta propiedad, comportándose como una verosimilitud válida.
• Regiones de Confianza: En escenarios de alta dimensionalidad ($p$ grande relativo a $n$), RETEL mantiene tasas de cobertura estables y superiores a las de AETEL y AEL, que sufren de problemas de subcobertura o sobreestimación.
• Aplicaciones Reales:
  • Ingresos Medianos: Estimación de ingresos en áreas pequeñas, donde RETEL proporciona estimaciones más precisas y menores desviaciones que los métodos tradicionales.
  • Esperanza de Vida Egipcia: Se demuestra la flexibilidad del método utilizando una distribución auxiliar no normal (Bernoulli desplazada) y priores jerárquicos para el parámetro de regularización, validando la extensión del marco teórico.

5. Significado e Impacto

El trabajo de Kim et al. es significativo porque resuelve una de las barreras teóricas y prácticas más importantes para el uso de la verosimilitud empírica en inferencia bayesiana.

• Viabilidad Bayesiana: Al eliminar las regiones de probabilidad cero arbitrarias, RETEL hace que los métodos basados en ecuaciones de estimación sean compatibles con los principios fundamentales de la inferencia bayesiana (condicionamiento completo y soporte del posterior).
• Rendimiento en Muestras Pequeñas: Ofrece una solución robusta para problemas donde la dimensión del parámetro es alta o el tamaño de la muestra es limitado, situaciones donde los métodos estándar fallan.
• Marco General: Proporciona un marco unificado que conecta la optimización de verosimilitud empírica con la regularización estadística, abriendo la puerta a extensiones futuras como formulaciones jerárquicas completas y el uso de otras familias exponenciales para adaptarse a diferentes tipos de datos.

En resumen, RETEL transforma la verosimilitud empírica en una pseudo-verosimilitud robusta y teóricamente fundamentada para la inferencia bayesiana, superando las limitaciones geométricas que han impedido su adopción generalizada en el pasado.