Asymptotic theory and bias correction for the Wallace--Freeman estimator

Titel: Asymptotische Theorie und Bias-Korrektur für den Wallace–Freeman-Schätzer

1. Problemstellung

Der Wallace–Freeman-Schätzer ist ein klassischer, invarianter Punktschätzer, der aus dem Prinzip der „Minimum Message Length" (MML) abgeleitet wird. Obwohl er in der Informationstheorie und Kodierungstheorie gut etabliert ist, fehlte bisher eine vollständige Integration seiner asymptotischen Eigenschaften (Large-Sample-Eigenschaften) in den modernen Rahmen der statistischen Schätzungstheorie.
Die zentrale Lücke bestand darin, dass die Beziehung zwischen dem Wallace–Freeman-Schätzer und Standardverfahren wie der Maximum-Likelihood-Schätzung (MLE) oder penalisierten M-Verfahren nicht hinreichend formalisiert war. Insbesondere waren die Existenz, Konsistenz, die asymptotische Verteilung und die Bias-Eigenschaften (Verzerrung) in einem rigorosen asymptotischen Kontext nicht vollständig entwickelt.

2. Methodik

Die Autoren entwickeln eine neue theoretische Perspektive, indem sie den Wallace–Freeman-Schätzer als einen strafbehafteten M-Schätzer (penalised M-estimator) formulieren.

• Penalisierte Darstellung: Sie zeigen, dass das Wallace–Freeman-Kriterium (basierend auf der Codelänge) äquivalent zur Minimierung einer penalisierten empirischen Risiko-Funktion ist:
  $$Q_n(\theta) = \frac{1}{n} \sum_{i=1}^n \rho(x_i, \theta) + \lambda_n \cdot \text{pen}(\theta)$$
  Dabei ist $\rho(x, \theta) = -\log p(x|\theta)$ der negative Log-Likelihood, $\lambda_n = 1/n$ das Strafgewicht und der Strafterm $\text{pen}(\theta)$ setzt sich aus dem Logarithmus der Prior-Dichte und dem Logarithmus der Determinante der Fisher-Information zusammen:
  $$\text{pen}(\theta) = -\log \pi(\theta) + \frac{1}{2} \log |I(\theta)|$$
• Asymptotische Analyse: Unter Standard-Regularitätsbedingungen (Identifizierbarkeit, Differenzierbarkeit, Existenz der Fisher-Information) wird eine asymptotische lineare Expansion des Schätzers hergeleitet.
• Bias-Entwicklung: Die Autoren leiten eine explizite Formel für die Verzerrung (Bias) erster Ordnung ($O(n^{-1})$) her. Sie vergleichen diese mit der klassischen Cox–Snell-Formel für den Maximum-Likelihood-Schätzer (MLE) und zeigen, wie der Strafterm die Bias-Komponente modifiziert.

3. Wichtige Beiträge

1. Einheitliche Formulierung: Der Wallace–Freeman-Schätzer wird erstmals rigoros in das allgemeine Rahmenwerk der penalisierten M-Schätzung eingebettet. Dies ermöglicht die Anwendung etablierter Werkzeuge aus der Likelihood-Theorie.
2. Asymptotische Äquivalenz und Differenzierung: Es wird bewiesen, dass der Schätzer asymptotisch erster Ordnung äquivalent zum MLE ist (da der Strafterm mit $O(n^{-1})$ verschwindet), sich jedoch in der zweiten Ordnung durch einen deterministischen Korrekturterm unterscheidet.
3. Erweiterung der Cox–Snell-Formel: Die klassische Bias-Formel für den MLE wird um einen durch den Strafterm getriebenen Korrekturterm erweitert. Dies liefert eine explizite Formel für die $O(n^{-1})$-Bias des Wallace–Freeman-Schätzers.
4. Anwendung auf das Weibull-Modell: Die Theorie wird am Beispiel der Weibull-Verteilung illustriert. Da der MLE für den Formparameter der Weibull-Verteilung bekanntermaßen eine signifikante positive Verzerrung aufweist, wird gezeigt, wie der Wallace–Freeman-Schätzer diese Verzerrung durch die spezifische Kombination aus Prior und Fisher-Information reduziert.

4. Ergebnisse

• Existenz und Konsistenz: Unter den gegebenen Regularitätsbedingungen existiert ein globaler Minimierer der Zielfunktion mit Wahrscheinlichkeit gegen 1, und der Schätzer ist konsistent gegen den wahren Parameter $\theta_0$.
• Asymptotische Normalität: Der Schätzer ist asymptotisch normalverteilt mit der gleichen Kovarianzmatrix wie der MLE ($I(\theta_0)^{-1}$), sofern das Modell korrekt spezifiziert ist.
• Bias-Korrektur: Der Unterschied zwischen dem Wallace–Freeman-Schätzer ($\hat{\theta}_{MML}$) und dem MLE ($\hat{\theta}_{MLE}$) ist gegeben durch:
  $$\hat{\theta}_{MML} - \hat{\theta}_{MLE} = \frac{1}{n} I(\theta_0)^{-1} a(\theta_0) + o_p(n^{-1})$$
  wobei $a(\theta) = \nabla \log \pi(\theta) - \frac{1}{2} \nabla \log |I(\theta)|$ der Gradient des Strafterms ist.
• Spezialfall Jeffreys-Prior: Wenn der Prior proportional zur Wurzel der Fisher-Information gewählt wird ($\pi(\theta) \propto |I(\theta)|^{1/2}$), verschwindet der Bias-Korrekturterm ($a(\theta) \equiv 0$), und der Wallace–Freeman-Schätzer stimmt bis auf Terme höherer Ordnung mit dem MLE überein.
• Weibull-Ergebnis: Für das Weibull-Modell mit einem schwach informativen Half-Cauchy-Prior zeigt die Analyse, dass der Wallace–Freeman-Schätzer die bekannte positive Verzerrung des Formparameters $k$ des MLE reduziert. Das Verhältnis der Bias-Terme ist größer als 1, was eine Verbesserung der Schätzung erster Ordnung bedeutet.

5. Bedeutung und Relevanz

Diese Arbeit stellt einen Meilenstein für die theoretische Fundierung des Wallace–Freeman-Schätzers dar.

• Theoretische Verankerung: Sie verlagert den Schätzer von einer rein informationstheoretischen Konstruktion in den rigorosen Bereich der parametrischen Inferenz und der asymptotischen Statistik.
• Praktische Implikationen: Die explizite Bias-Formel ermöglicht es Anwendern, die Verzerrungseigenschaften des Schätzers vorherzusagen und zu verstehen, wie die Wahl des Priors und die Fisher-Information die Schätzung beeinflussen.
• Verbindung zu Firths Methode: Die Arbeit zeigt eine Verbindung zu Firths penalisierter Likelihood (insbesondere bei exponentiellen Familien), was die Interpretation des Wallace–Freeman-Schätzers als eine Methode zur Reduktion von Bias in kleinen Stichproben untermauert.

Zusammenfassend liefert das Paper einen rigorosen asymptotischen Unterbau für den Wallace–Freeman-Schätzer, beweist seine statistischen Eigenschaften und quantifiziert seinen Vorteil gegenüber dem MLE durch eine gezielte Bias-Korrektur.