Asymptotic theory and bias correction for the Wallace--Freeman estimator

Titel: Asymptotische theorie en bias-correctie voor de Wallace–Freeman-schatter

1. Probleemstelling

De Wallace–Freeman-schatter is een klassieke, invariante punt-schatter die voortkomt uit het principe van de Minimum Message Length (MML). Hoewel deze schatter al lang wordt gemotiveerd door informatie-theoretische en coderingsargumenten, zijn de eigenschappen voor grote steekproeven (asymptotische eigenschappen) niet volledig geïntegreerd in de moderne theorie van statistische schatting.

• Er ontbreekt een eenduidig kader om de relatie tussen de Wallace–Freeman-schatter en standaard op likelihood gebaseerde methoden (zoals Maximum Likelihood Estimation - MLE) te begrijpen.
• De specifieke bijdrage van de "penalty" (strafterm) in de schatter aan de bias (systematische fout) van de schatter was niet formeel afgeleid binnen een asymptotisch raamwerk.
• Het doel van het artikel is om de Wallace–Freeman-schatter te plaatsen binnen het kader van gepenaliseerde M-schatting, de asymptotische eigenschappen af te leiden en een expliciete bias-correctieformule te ontwikkelen.

2. Methodologie

De auteurs hanteren een gestructureerde aanpak die de schatter herschrijft in termen van moderne statistische theorie:

• Penalized M-estimation Formulering:
  De Wallace–Freeman-criteriumfunctie wordt herschreven als een gepenaliseerde empirische risico-functie:
  $$Q_n(\theta) = \frac{1}{n} \sum_{i=1}^n \rho(x_i, \theta) + \lambda_n \text{pen}(\theta)$$
  Waarbij:

  • $\rho(x_i, \theta) = -\log p(x_i|\theta)$ (de negatieve log-likelihood).
  • $\text{pen}(\theta) = -\log \pi(\theta) + \frac{1}{2} \log |I(\theta)|$ (een strafterm die de prior $\pi(\theta)$ en de Fisher-informatie $I(\theta)$ combineert).
  • $\lambda_n = 1/n$ (de straffactor die afneemt met de steekproefgrootte).

• Asymptotische Analyse:
  De auteurs gebruiken standaard tools uit de theorie van likelihood en schattingsvergelijkingen. Ze tonen aan dat de strafterm van orde $O(n^{-1})$ is. Dit impliceert dat de schatter asymptotisch equivalent is aan de MLE (eerste orde), maar verschilt op de tweede orde ($O(n^{-1})$) door een deterministische correctie.

• Bias-Afleiding:
  Door een Taylor-ontwikkeling van de stationariteitsvergelijking rondom de MLE en de ware parameter $\theta_0$, leiden ze een uitdrukking af voor het verschil tussen de Wallace–Freeman-schatter en de MLE. Hieruit volgt een uitbreiding van de klassieke Cox-Snell bias-formule.

• Case Study (Weibull-verdeling):
  De theorie wordt geïllustreerd met de Weibull-verdeling, een model waarvan bekend is dat de MLE een aanzienlijke eerste-orde bias vertoont, vooral voor de vormparameter. Er worden half-Cauchy priors gebruikt om de specifieke bias-correctie te berekenen.

3. Belangrijkste Bijdragen en Resultaten

A. Asymptotische Eigenschappen (Stelling 3.2)

Onder standaard regulariteitsvoorwaarden bewijzen de auteurs dat de Wallace–Freeman-schatter:

1. Bestaan: Een globale minimizer bestaat met waarschijnlijkheid die naar 1 convergeert.
2. Consistentie: De schatter convergeert in waarschijnlijkheid naar de ware parameter $\theta_0$.
3. Convergentiesnelheid: De schatter convergeert met snelheid $O_p(n^{-1/2} + \lambda_n)$.
4. Asymptotische Normaliteit: De schatter is asymptotisch normaal verdeeld met dezelfde variantie als de MLE (onder correcte specificatie):
   $$\sqrt{n}(\hat{\theta}_{MML} - \theta_0) \xrightarrow{d} N(0, I(\theta_0)^{-1})$$
   Dit bevestigt dat de schatter eerste-orde equivalent is aan de MLE.

B. Bias-Correctie en de Cox-Snell Uitbreiding (Stelling 3.3)

Dit is de kernbijdrage van het artikel. De auteurs leiden af dat de Wallace–Freeman-schatter verschilt van de MLE door een expliciete verschuiving van orde $O(n^{-1})$:
$$\hat{\theta}_{MML} - \hat{\theta}_{MLE} = K(\theta_0)^{-1} a(\theta_0) + o_p(n^{-1})$$
Waarbij $a(\theta) = -\nabla_\theta \text{pen}(\theta)$ de gradiënt van de strafterm is.

De totale bias wordt hierdoor:
$$\text{Bias}(\hat{\theta}_{MML}) = \text{Bias}(\hat{\theta}_{MLE}) + K(\theta_0)^{-1} a(\theta_0) + o(n^{-1})$$
Dit betekent dat de klassieke Cox-Snell bias voor de MLE wordt uitgebreid met een strafgedreven correctieterm.

• Als de prior evenredig is met de vierkantswortel van de Fisher-informatie ($\pi(\theta) \propto |I(\theta)|^{1/2}$), is $a(\theta) \equiv 0$ en hebben beide schatters dezelfde bias.
• Als de prior evenredig is met de Fisher-informatie ($\pi(\theta) \propto |I(\theta)|$), komt de schatter overeen met het maximaliseren van Firth's gepenaliseerde likelihood.

C. Toepassing op de Weibull-verdeling

Voor de Weibull-verdeling (met vormparameter $k$ en schaalparameter $\lambda$) tonen de auteurs aan:

• De MLE voor de vormparameter $k$ is positief bevooroordeeld (upward bias).
• De Wallace–Freeman-correctie, bepaald door de prior en de Fisher-informatie, vermindert deze upward bias.
• De verhouding tussen de MLE-bias en de Wallace–Freeman-bias is groter dan 1, wat aangeeft dat de Wallace–Freeman-schatter een kleinere eerste-orde bias heeft voor een breed scala aan parameterwaarden.

4. Significatie en Conclusie

Dit artikel plaatst de Wallace–Freeman-schatter formeel binnen de algemene theorie van gepenaliseerde likelihood. De belangrijkste implicaties zijn:

1. Theoretische Unificatie: Het biedt een brug tussen informatie-theoretische methoden (MML) en klassieke frequentistische asymptotische theorie.
2. Bias-Verlaging: Het toont aan dat de Wallace–Freeman-schatter niet alleen een coderingscriterium is, maar ook een procedure voor bias-correctie die de bekende tekortkomingen van de MLE (zoals bij de Weibull-verdeling) kan verhelpen.
3. Rigoureuze Basis: Het levert een strikte asymptotische basis voor het gebruik van deze schatter in parametrische inferentie, inclusief bewijzen voor consistentie en asymptotische normaliteit.

Samenvattend transformeert dit artikel de Wallace–Freeman-schatter van een "heuristische" coderingsoplossing naar een schatter met een volledig uitgewerkte asymptotische theorie, waarbij de specifieke bijdrage van de penalty-term aan de nauwkeurigheid van de schatting kwantitatief is vastgelegd.