Sub-Gaussian Concentration and Entropic Normality of the Maximum Likelihood Estimator

Resumen Técnico: Concentración Sub-Gaussiana y Normalidad Entrópica del Estimador de Máxima Verosimilitud

Definición del Problema
Este artículo investiga el comportamiento asintótico del Estimador de Máxima Verosimilitud (MLE) para un parámetro $\theta \in \Theta \subset \mathbb{R}$ basado en muestras i.i.d. $X_1, \dots, X_n$ extraídas de una densidad $f(x|\theta)$. El objeto principal de estudio es el error de estimación normalizado $Z_n = \sqrt{n}(\hat{\theta}_n - \theta_0)$, donde $\hat{\theta}_n$ es el MLE y $\theta_0$ es el parámetro verdadero.

Mientras que la teoría estadística clásica establece que $Z_n$ converge en distribución a una variable aleatoria gaussiana estándar $Z \sim \mathcal{N}(0,1)$ bajo condiciones de regularidad estándar, este artículo busca fortalecer este resultado. Específicamente, los autores pretenden elevar la convergencia en distribución a modos de convergencia más fuertes, incluyendo la convergencia de momentos y la convergencia en entropía relativa (divergencia de Kullback-Leibler).

Metodología y Supuestos
Los autores emplean un enfoque de momentos combinado con argumentos de control de entropía, en lugar de depender de métodos de convolución o de monotonía de entropía típicamente utilizados para sumas de variables independientes (los cuales no se aplican directamente al MLE debido a su dependencia no lineal de los datos).

Para lograr estos resultados más fuertes, el artículo introduce tres condiciones de regularidad específicas más allá de los supuestos estándar del MLE:

1. Envoltura Lipschitz Sub-Gaussiana (Supuesto 1): La diferencia de log-verosimilitud está acotada por una variable aleatoria sub-Gaussiana $H(X)$ multiplicada por la diferencia de parámetros. Esto asegura consistencia exponencial y controla el comportamiento de la cola de la función de puntuación.
2. Control Sub-Exponencial de la Derivada de la Puntuación (Supuesto 2): La derivada de la función de puntuación satisface una condición Lipschitz controlada por una variable aleatoria sub-exponencial $\bar{H}(X)$. Este supuesto es crucial para establecer cotas de momentos altos y controlar la expansión de Taylor de segundo orden de la verosimilitud.
3. Suavidad de la Densidad del Estimador (Supuesto 3): Para eliminar un paso de suavizado requerido para el resultado principal de entropía, el artículo asume ya sea que la información de Fisher de la densidad de $Z_n$ está uniformemente acotada o que la primera derivada de la densidad está uniformemente acotada. Esto descarta comportamientos singulares, como átomos discretos en el borde del espacio de parámetros, que de otro modo causarían que la entropía relativa fuera infinita.

Contribuciones y Resultados Clave
El artículo establece tres teoremas principales:

1. Concentración Sub-Gaussiana y Convergencia de Momentos (Teorema 1): Bajo los Supuestos 1 y 2, se demuestra que el error normalizado $Z_n$ es sub-Gaussiano $O(1)$. En consecuencia, el artículo prueba que todos los momentos de $Z_n$ convergen a los momentos correspondientes de la distribución gaussiana límite ($E|Z_n|^m \to E|Z|^m$ para todo $m \ge 1$). Esto es un fortalecimiento significativo del Teorema del Límite Central (CLT) clásico, que solo garantiza convergencia en distribución.

2. CLT Entrópico para Estimador Suavizado (Teorema 2): Los autores prueban que una versión suavizada del estimador, definida como $\tilde{Z}_n = \sqrt{1-\epsilon}Z_n + \sqrt{\epsilon}Z$ (donde $Z$ es una normal estándar independiente), converge en entropía relativa al límite gaussiano. Es decir, $\lim_{n \to \infty} D(\tilde{Z}_n \| Z) = 0$. Este resultado se mantiene bajo los Supuestos 1 y 2. El suavizado es necesario porque el MLE crudo puede colocar masa de probabilidad en el borde del espacio de parámetros compacto, lo que lleva a una distribución que no es absolutamente continua con respecto al límite gaussiano.

3. Normalidad Entrópica del MLE (Corolario 1): Al invocar el Supuesto 3 (información de Fisher acotada o derivada de densidad acotada), los autores demuestran que el parámetro de suavizado $\epsilon$ puede eliminarse. Esto produce el resultado principal: el error del MLE no suavizado $Z_n$ en sí mismo converge en entropía relativa a la gaussiana estándar, es decir, $\lim_{n \to \infty} D(Z_n \| Z) = 0$.

Significado y Alcance
El artículo afirma que la convergencia en entropía relativa es un modo de convergencia significativamente más fuerte que la convergencia en distribución. Por la desigualdad de Pinsker, implica convergencia en distancia de variación total, y por la desigualdad de Talagrand, implica convergencia en distancia de Wasserstein.

Los autores señalan que, si bien el CLT entrópico es bien conocido para medias muestrales y estadísticos de orden centrales, extender estos resultados al MLE no es trivial porque el MLE no es generalmente una suma de variables independientes. El artículo proporciona un marco para establecer la normalidad entrópica para una amplia clase de modelos estadísticos, incluidos aquellos fuera de la familia exponencial (por ejemplo, modelos de Tipo IV de Pearson, Logístico y Cauchy con escala desconocida), siempre que la función de puntuación y sus derivadas satisfagan las condiciones especificadas de acotación y cola.

El trabajo se distingue de la literatura previa sobre MLEs en la teoría del aprendizaje, que a menudo se centra en la divergencia KL entre distribuciones inducidas por parámetros estimados y verdaderos sobre el espacio muestral. En contraste, este artículo se centra en la convergencia de la distribución del propio estimador hacia una ley gaussiana. Las pruebas dependen de herramientas auxiliares, incluidas cotas de consistencia exponencial y estimaciones de momentos altos, que los autores sugieren pueden ser de interés independiente.