Asymptotic theory and bias correction for the Wallace--Freeman estimator

Resumen Técnico: Teoría Asintótica y Corrección de Sesgo para el Estimador Wallace–Freeman

1. Planteamiento del Problema

El estimador Wallace–Freeman (WFE) es un estimador puntual clásico e invariante que surge del principio de Longitud Mínima de Mensaje (MML, por sus siglas en inglés). Aunque está motivado teóricamente por argumentos de teoría de la información y codificación, sus propiedades a gran muestra no han sido completamente integradas en el marco moderno de la teoría asintótica de la estimación estadística.

El problema central abordado en el artículo es la falta de un desarrollo formal que:

• Establezca la existencia, consistencia y normalidad asintótica del estimador bajo condiciones de regularidad estándar.
• Cuantifique explícitamente la diferencia de orden $O(n^{-1})$ entre el WFE y el Estimador de Máxima Verosimilitud (MLE).
• Derive una fórmula de corrección de sesgo que extienda la fórmula clásica de Cox–Snell (diseñada para MLE) al contexto del WFE.

2. Metodología

Los autores desarrollan un marco unificado basándose en la teoría de M-estimación penalizada.

• Formulación como M-estimador Penalizado:
  Demuestran que el criterio de Wallace–Freeman puede reescribirse (salvo una constante aditiva) como la minimización de un riesgo empírico penalizado:
  $$Q_n(\theta) = \frac{1}{n} \sum_{i=1}^n \rho(x_i, \theta) + \lambda_n \text{pen}(\theta)$$
  Donde:

  • $\rho(x, \theta) = -\log p(x|\theta)$ es la pérdida log-verosimilitud.
  • $\lambda_n = 1/n$ es el peso de la penalización.
  • La función de penalización es $\text{pen}(\theta) = -\log \pi(\theta) + \frac{1}{2} \log |I(\theta)|$, donde $\pi(\theta)$ es la densidad previa y $I(\theta)$ es la información de Fisher.

• Derivación Asintótica:
  Utilizan expansiones de Taylor de primer y segundo orden alrededor del verdadero parámetro $\theta_0$. Aprovechan que la penalización es de orden $O(n^{-1})$, lo que implica que el WFE es asintóticamente equivalente al MLE en el primer orden, pero difiere en el orden $n^{-1}$ mediante una corrección determinista.

• Análisis de Sesgo:
  Derivan la expansión del sesgo de primer orden comparando las ecuaciones de puntuación del WFE y del MLE. Esto permite aislar un término de corrección adicional impulsado por el gradiente de la penalización.

• Ejemplo Ilustrativo:
  Aplican la teoría general al modelo de distribución Weibull, conocido por tener un estimador de máxima verosimilitud con un sesgo no despreciable (especialmente en el parámetro de forma). Utilizan previas de media-Cauchy para calcular explícitamente la corrección de sesgo.

3. Contribuciones Clave

1. Unificación Teórica: Se establece que el estimador Wallace–Freeman es un caso particular de un M-estimador penalizado con un peso de penalización específico que tiende a cero ($1/n$). Esto conecta el principio MML con la teoría estándar de verosimilitud penalizada.
2. Propiedades Asintóticas Rigurosas: Bajo condiciones de regularidad estándar (diferenciabilidad, información de Fisher definida positiva, etc.), se prueban:
   • Existencia: Un minimizador global existe con probabilidad tendiendo a 1.
   • Consistencia: $\hat{\theta}_{WFE} \xrightarrow{p} \theta_0$.
   • Distribución Asintótica: $\sqrt{n}(\hat{\theta}_{WFE} - \theta_0) \xrightarrow{d} N(0, I(\theta_0)^{-1})$. Es decir, comparte la misma distribución límite que el MLE.
3. Fórmula de Sesgo Extendida: Se deriva una expresión explícita para el sesgo de orden $O(n^{-1})$ del WFE:
   $$\text{Sesgo}(\hat{\theta}_{WFE}) = \text{Sesgo}(\hat{\theta}_{MLE}) + K(\theta_0)^{-1} a(\theta_0) + o(n^{-1})$$
   Donde $a(\theta) = \nabla_\theta \log \pi(\theta) - \frac{1}{2} \nabla_\theta \log |I(\theta)|$.
   Esto demuestra que el WFE corrige el sesgo del MLE mediante un término dependiente de la previa y la curvatura de la información de Fisher.
4. Relación con Criterios de Información: Se muestra que, para muestras grandes, el criterio de Wallace–Freeman es asintóticamente equivalente al Criterio de Información Bayesiano (BIC), pero con términos de orden inferior que capturan la estructura de la previa y la información de Fisher.

4. Resultados Principales

• Teorema 3.2 (Propiedades Asintóticas): Establece la consistencia y la normalidad asintótica del estimador, confirmando que la penalización no altera la eficiencia asintótica de primer orden.
• Teorema 3.3 (Corrección de Sesgo): Proporciona la fórmula exacta para la diferencia entre el WFE y el MLE. El resultado clave es que el WFE introduce un desplazamiento de orden $n^{-1}$ que depende del gradiente de la penalización.
• Caso Weibull:
  • Se calcula explícitamente el sesgo del MLE para la distribución Weibull, el cual es positivo para el parámetro de forma $k$.
  • Se demuestra que el término de corrección del WFE (bajo previas de media-Cauchy) contrarresta este sesgo positivo.
  • Se define una razón $R(k, \lambda)$ que cuantifica la reducción del sesgo. El análisis muestra que $R > 1$, lo que implica que el WFE tiene un sesgo de orden $O(n^{-1})$ menor que el MLE en un amplio rango de parámetros.

5. Significado e Impacto

Este trabajo es fundamental porque:

1. Legitima el uso del WFE en inferencia paramétrica: Proporciona una base teórica rigurosa que justifica el uso del estimador Wallace–Freeman más allá de sus orígenes en teoría de la información, situándolo firmemente dentro de la estadística asintótica moderna.
2. Mejora la inferencia de pequeña muestra: Al ofrecer una corrección de sesgo explícita de orden $O(n^{-1})$, el WFE se presenta como una alternativa superior al MLE en escenarios donde el tamaño de muestra es moderado y el sesgo del MLE es problemático (como en el modelo Weibull).
3. Conexión entre Paradigmas: Une el enfoque de codificación (MML) con la inferencia bayesiana y la verosimilitud penalizada, mostrando cómo la elección de la previa y la información de Fisher interactúan para reducir el sesgo sistemático.
4. Generalización de Cox-Snell: Extiende la famosa fórmula de corrección de sesgo de Cox y Snell (originalmente para MLE) a una clase más amplia de estimadores penalizados, ofreciendo una herramienta teórica para analizar otros estimadores similares.

En conclusión, el artículo transforma al estimador Wallace–Freeman de una heurística basada en codificación a un procedimiento de inferencia estadística bien fundamentado, con propiedades de sesgo conocidas y controladas, lo que lo hace altamente relevante para la práctica estadística en modelos paramétricos regulares.