Second order asymptotics for the number of times an estimator is more than epsilon from its target value

Diese Arbeit untersucht zweite Ordnungs-Asymptotiken für die Anzahl der Abweichungen eines Schätzers von seinem Zielwert, um konkurrierende Schätzer mit identischen Grenzverteilungen durch das Konzept der „asymptotischen relativen Defizienz" zu unterscheiden und zeigt beispielsweise, dass die Schätzung der Normalvarianz mit dem Nenner $n-1/3$ optimal ist.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Navigator auf einem Schiff, das durch einen dichten Nebel fährt. Ihr Ziel ist eine unsichtbare Insel (der wahre Wert, den Sie schätzen wollen). Sie haben einen Kompass (Ihren Schätzer), der Ihnen sagt, wo Sie sind. Aber der Kompass ist nicht perfekt; er zittert und zeigt manchmal in die falsche Richtung.

Die Frage, die sich die Autoren dieses Papiers stellen, lautet: Wie oft verirrt sich Ihr Kompass so stark, dass Sie den Kurs um mehr als eine bestimmte Distanz (nennen wir es $\epsilon$) verfehlen?

Hier ist eine einfache Erklärung der Kernideen des Papers, verpackt in Alltagsbilder:

1. Das Problem: Der "Fehler-Zähler"

In der Statistik versuchen wir oft, unbekannte Werte (wie den Durchschnitt aller Menschen in einem Land) zu berechnen. Wir sammeln Daten (Beobachtungen) und verbessern unsere Schätzung mit jeder neuen Zahl.

• Der erste Blick (Erste Ordnung): Früher wussten wir bereits, dass zwei verschiedene Kompass-Modelle (Schätzer) im Großen und Ganzen gleich gut funktionieren. Wenn man sehr viele Daten hat, nähern sie sich beide dem wahren Ziel an. Man nannte das "asymptotische Effizienz".
• Das Problem: Was passiert, wenn zwei Kompass-Modelle exakt gleich gut sind? Wie entscheidet man, welches besser ist? Das ist wie zwei Läufer, die im Ziel fast gleichzeitig ankommen. Wer hat wirklich gewonnen?

2. Die neue Methode: Der "Fehler-Tagebuch"

Die Autoren führen ein neues Maß ein: $Q_\epsilon$.
Stellen Sie sich vor, Sie führen ein Tagebuch. Jedes Mal, wenn Ihre Schätzung um mehr als $\epsilon$ (eine kleine Toleranzgrenze) vom wahren Wert abweicht, machen Sie einen Strich.

• $Q_\epsilon$ ist die Gesamtzahl der Striche im Tagebuch.
• Je weniger Striche, desto besser ist der Schätzer.

Die Autoren haben bereits gezeigt, dass wenn man den Fehler $\epsilon$ sehr klein macht, die Zahl der Striche ($Q_\epsilon$) mit einer bestimmten Geschwindigkeit wächst. Aber wenn zwei Schätzer gleich schnell wachsen, hilft das nicht weiter.

3. Die zweite Ordnung: Der feine Unterschied

Hier kommt die eigentliche Genialität des Papers ins Spiel. Sie schauen sich nicht mehr nur die Geschwindigkeit an, sondern den feinen Unterschied im Tagebuch.

Stellen Sie sich vor, zwei Läufer laufen eine sehr lange Strecke.

• Läufer A macht bei jeder Kurve einen winzigen, fast unsichtbaren Schritt zur Seite.
• Läufer B macht bei jeder Kurve einen noch kleineren Schritt.
  Auf den ersten Blick laufen sie gleich schnell. Aber wenn man über die gesamte Strecke summiert, hat Läufer B am Ende vielleicht 10 Meter weniger "Schlamm" an den Schuhen als Läufer A.

Die Autoren berechnen genau diesen "Schlamm-Unterschied". Sie entwickeln Formeln, um zu sagen: "Wenn wir zwischen Schätzer X und Schätzer Y wählen, wird Schätzer Y im Durchschnitt weniger Fehler machen, auch wenn beide theoretisch gleich gut sind."

4. Die überraschenden Gewinner (Die Analogie der Gewichte)

Das Papier testet diese Methode an klassischen statistischen Problemen und findet überraschende Gewinner, die man sonst nicht gewählt hätte.

• Beispiel: Die Varianz (Streuung) berechnen.
  Wenn man die Streuung von Daten berechnet, gibt es eine berühmte Formel. Man muss entscheiden, ob man durch $N$ (Anzahl der Daten), $N-1$ oder $N-2$ teilt.

  • Die meisten Statistiker nutzen $N-1$ (das ist der "Unvoreingenommene").
  • Die Autoren zeigen jedoch: Wenn man das Ziel hat, so selten wie möglich den Kurs zu verfehlen (also die wenigsten Striche im Tagebuch), ist $N - 1/3$ der beste Divisor!
  • Die Metapher: Es ist, als ob Sie beim Kochen nicht genau 100g Mehl nehmen, sondern 99,6g, damit der Kuchen am Ende perfekt wird. Der "offizielle" Standard ($N-1$) ist nicht immer der, der am wenigsten Fehler macht.

• Beispiel: Der Mittelwert.
  Bei der Schätzung von Durchschnitten zeigt sich, dass man manchmal den aktuellen Durchschnitt leicht in Richtung eines "Vorwissens" (einer Priori-Annahme) ziehen sollte, um Fehler zu minimieren.

5. Die Brown'sche Bewegung: Ein zufälliger Spaziergang

Im Hintergrund dieser ganzen Mathematik steht ein Bild aus der Physik: Die Brown'sche Bewegung.
Stellen Sie sich ein Staubkorn vor, das im Wasser von Molekülen herumgestoßen wird. Es läuft völlig zufällig.
Die Autoren zeigen, dass die Anzahl der Fehler ($Q_\epsilon$) mathematisch genau so funktioniert wie die Zeit, die dieses Staubkorn braucht, um bestimmte Grenzen zu überschreiten.

• Wenn zwei Schätzer fast gleich sind, ist der Unterschied in ihren Fehler-Zahlen wie der Unterschied zwischen zwei Staubkörnchen, die fast parallel laufen, aber eines ein winziges bisschen mehr "Staub" aufnimmt.
• Diese winzigen Unterschiede lassen sich beschreiben, indem man betrachtet, wie lange das Staubkorn an den Rändern des "Sicherheitsbereichs" entlangwandert.

Zusammenfassung für den Alltag

Dieses Papier sagt uns: In der Welt der Statistik reicht es oft nicht aus, nur zu wissen, dass zwei Methoden "gut" sind.

Wenn zwei Methoden fast identisch sind, gibt es immer noch einen "Königsweg", der minimal weniger Fehler macht. Die Autoren haben ein Werkzeug entwickelt, um diesen winzigen, aber entscheidenden Unterschied zu finden.

• Die Botschaft: Wenn Sie zwei Schätzer haben, die auf den ersten Blick gleich gut aussehen, schauen Sie genauer hin. Oft ist die "perfekte" Formel nicht die, die in jedem Lehrbuch steht (wie $N-1$), sondern eine leicht angepasste Version (wie $N-1/3$), die im langfristigen Rennen die wenigsten Fehler macht.

Es ist wie beim Autofahren: Zwei Autos haben die gleiche Höchstgeschwindigkeit. Aber eines verbraucht bei jeder Kurve ein winziges bisschen weniger Benzin. Auf einer 10.000-Kilometer-Reise ist das der entscheidende Unterschied. Dieses Papier hilft uns, das sparsamere Auto zu finden.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des vorliegenden Artikels von Nils Lid Hjort und Grete Fenstad auf Deutsch.

Titel und Kontext

Titel: Second order asymptotics for the number of times an estimator is more than ε from its target value (Zweite Ordnung Asymptotik für die Anzahl der Male, die ein Schätzer mehr als ε von seinem Zielwert entfernt ist).
Autoren: Nils Lid Hjort und Grete Fenstad (Universität Oslo).
Kontext: Der Artikel baut auf einer früheren Arbeit (Hjort & Fenstad, 1992) auf, die die erste Ordnung Asymptotik der Zufallsvariablen $Q_\varepsilon$ untersuchte, welche die Anzahl der Fälle zählt, in denen ein Schätzer $\hat{\theta}_n$ um mindestens $\varepsilon$ vom wahren Parameter $\theta$ abweicht ($|\hat{\theta}_n - \theta| \ge \varepsilon$).

---

1. Problemstellung

Das zentrale Problem besteht darin, Schätzersequenzen zu vergleichen, die identische asymptotische Verteilungen (gleiche erste Ordnung) aufweisen.

• Erste Ordnung: Für zwei konkurrierende Schätzer $\hat{\theta}_{1,n}$ und $\hat{\theta}_{2,n}$ mit asymptotischer Varianz $\sigma_1^2$ und $\sigma_2^2$ gilt für die erwartete Anzahl der $\varepsilon$-Fehler ($Q_{j,\varepsilon}$):
  $$\lim_{\varepsilon \to 0} \frac{E Q_{1,\varepsilon}}{E Q_{2,\varepsilon}} = \frac{\sigma_1^2}{\sigma_2^2}$$
  Dies entspricht dem klassischen Maß der asymptotischen relativen Effizienz (a.r.e.).
• Das Dilemma: Wenn $\sigma_1^2 = \sigma_2^2$ (z. B. bei Maximum-Likelihood (ML), Minimum-Variance-Unbiased (UMV) und Bayes-Schätzern in bestimmten Szenarien), konvergiert das Verhältnis der erwarteten Fehler gegen 1. Die erste Ordnung kann diese Schätzer nicht unterscheiden.
• Ziel: Entwicklung einer zweiten Ordnung Asymptotik, um den "besten" Schätzer in einer Klasse von Schätzern mit identischer Grenzverteilung zu identifizieren. Der "beste" Schätzer ist definiert als derjenige, der im Grenzwert ($\varepsilon \to 0$) die kleinste erwartete Anzahl an $\varepsilon$-Fehlern aufweist.

---

2. Methodik

Die Autoren verwenden eine Kombination aus stochastischen Prozessen und klassischen asymptotischen Entwicklungen:

1. Brown'sche Bewegung Approximation:
   Die Variable $Q_\varepsilon$ wird mit der Lebesgue-Maßmenge der Zeit in Verbindung gebracht, die ein Brownscher Prozess $W(s)$ außerhalb eines Kegels verbringt:
   $$\varepsilon^2 Q_\varepsilon \xrightarrow{d} \int_0^\infty \mathbb{I}\{|W(s)| \ge s/\sigma\} ds$$
   Für den Vergleich zweier Schätzer wird die Differenz $Q_{1,\varepsilon} - Q_{2,\varepsilon}$ betrachtet.

2. Edgeworth-Entwicklungen:
   Um die Erwartungswerte der Differenzen zu berechnen, nutzen die Autoren Cramér-Edgeworth-Entwicklungen für die Verteilungsfunktionen der standardisierten Schätzer. Dies ermöglicht die Einbeziehung von höheren Momenten, insbesondere der Schiefe ($\gamma$) der zugrunde liegenden Verteilung.

3. Taylor-Approximationen:
   Die Indikatoren der Fehlerereignisse werden in Bezug auf die Parameter der Schätzer (z. B. Konstanten $c$ in verallgemeinerten Schätzern) entwickelt, um die führenden Terme der Differenz zu isolieren.

4. Asymptotische Relative Defizienz (a.r.d.):
   Anstelle des Verhältnisses der Erwartungswerte wird die Differenz der Erwartungswerte untersucht:
   $$\text{a.r.d.} = \lim_{\varepsilon \to 0} E(Q_{1,\varepsilon} - Q_{2,\varepsilon})$$
   Ein negativer Wert zeigt an, dass Schätzer 1 weniger Fehler macht als Schätzer 2.

---

3. Wichtige Beiträge und Ergebnisse

A. Allgemeine Formeln für Mittelwertschätzung (Abschnitt 2)

Für i.i.d. Beobachtungen $X_i$ mit Mittelwert $\xi$, Varianz $\sigma^2$ und Schiefe $\gamma$ betrachten sie Schätzer der Form:
$$\hat{\xi}_n(c, d) = \frac{n}{n+c}\bar{X}_n + \frac{c}{n+c}d$$
Dabei ist $d$ ein Prior-Wert und $c$ ein Gewichtungsfaktor.
Die Grenzfunktion für die erwartete Differenz der Fehleranzahl (im Vergleich zum Standardmittelwert $\bar{X}_n$, d.h. $c=0$) lautet:
$$\lambda_0(c, d) = \frac{(\xi - d)^2}{\sigma^2}c^2 - 2\left(1 - \frac{\gamma}{3}\frac{\xi - d}{\sigma}\right)c$$

• Erkenntnis: Die Schiefe $\gamma$ der Datenverteilung geht direkt in die optimale Wahl von $c$ ein. Dies unterscheidet sich von der klassischen Hodges-Lehmann-Defizienz, bei der die Schiefe keine Rolle spielt.

B. Anwendung auf spezifische Probleme (Abschnitt 3)

1. Normalverteiltes Mittel (Known Variance):

   • Schätzer: $\hat{\theta}_n(c, d) = \frac{n}{n+c}\bar{X}_n + \frac{c}{n+c}d$.
   • Bei Normalverteilung ist $\gamma = 0$.
   • Ergebnis: Unter Berücksichtigung einer Prior-Verteilung (Mittelwert $\theta_0$, Varianz $\tau^2$) minimiert der Schätzer mit $d=\theta_0$ und $c=1/\tau^2$ die erwarteten Fehler. Dies bestätigt die klassische Bayes-Lösung und die Credibility-Formel aus der Versicherungsmathematik.

2. Exponentialverteiltes Mittel:

   • Hier ist $\gamma = 2$.
   • Der optimale Schätzer hat $c = 1/3$.
   • Vergleich: Der ML-Schätzer ($c=0$) macht im Mittel $1/9$mehr Fehler, der unter quadratischem Verlust optimale Schätzer ($c=1$) macht$4/9$mehr Fehler als der hier gefundene optimale Schätzer ($c=1/3$).

3. Varianz der Normalverteilung (Kritischer Befund):

   • Schätzerform: $\hat{\sigma}^2_N(c) = \frac{\sum (Y_i - \bar{Y})^2}{N - 1 + c}$.
   • Die zugrundeliegende Verteilung ist $\chi^2_1$-skaliert, mit $\gamma = 2\sqrt{2}$.
   • Ergebnis: Der optimale Nenner ist $N - 1/3$ (d.h. $c = 2/3$).
   • Bedeutung: Der Schätzer mit Nenner $N - 1/3$ macht weniger erwartete $\varepsilon$-Fehler als der ML-Schätzer ($N$), der UMV-Schätzer ($N-1$) und alle anderen Wahlmöglichkeiten. Dies ist ein starkes Argument für die Verwendung von $N-1/3$ in der Varianzschätzung.

4. Binomialwahrscheinlichkeit:

   • Der Schätzer $(Y_n + 2/3) / (n + 4/3)$ wird als "second order minimax" identifiziert. Er macht unabhängig vom wahren $p$ weniger Fehler als der Standard-Schätzer $Y_n/n$.

C. Weiterführende Beispiele (Abschnitt 4)

• Quadratischer Mittelwert (Normalverteilung):
  Für die Schätzung von $\theta = \xi^2$ wird gezeigt, dass der Schätzer $(\bar{X}_n)^2 + \sigma^2/n$ (entspricht $d=-1$ in der allgemeinen Form) besser ist als der ML-Schätzer $(\bar{X}_n)^2$ und der UMV-Schätzer $(\bar{X}_n)^2 - \sigma^2/n$.
• Standardabweichung:
  Bei der Schätzung von $\sigma$ (nicht $\sigma^2$) auf natürlicher Skala ergibt sich ein optimaler Nenner von $N - 5/6$. Auf logarithmischer Skala ergibt sich ein optimaler Nenner von $N - 0.695$.

D. Verteilungstheoretische Ergebnisse (Abschnitt 6)

Neben den Erwartungswerten untersuchen die Autoren auch die Verteilung der Differenz $Q_{1,\varepsilon} - Q_{2,\varepsilon}$.

• Es zeigt sich, dass $\varepsilon(Q_{1,\varepsilon} - Q_{2,\varepsilon})$ gegen eine Differenz von Zufallsvariablen $A - B$ konvergiert.
• Diese Variablen hängen mit der Zeit zusammen, die der Brownsche Prozess entlang der Grenzlinien $\pm s/\sigma$ verbringt. Die Verteilungen sind Mischungen aus Exponentialverteilungen und Punktmasse bei Null.

---

4. Signifikanz und Fazit

1. Unterscheidung identischer Schätzer: Die Arbeit liefert ein rigoroses Werkzeug, um zwischen Schätzern zu unterscheiden, die in der ersten Ordnung (asymptotische Effizienz) gleichwertig sind.
2. Neue Optimalitätskriterien: Die Autoren etablieren das Kriterium der "minimierten erwarteten Anzahl von $\varepsilon$-Fehlern" als sinnvolles Maß für die zweite Ordnung Optimalität.
3. Praktische Implikationen:
   • Für die Varianzschätzung normalverteilter Daten wird der Nenner $N - 1/3$ als überlegen gegenüber $N$ (ML) und $N-1$ (UMV) identifiziert.
   • Die Schiefe der Datenverteilung ist ein entscheidender Faktor für die Wahl des optimalen Schätzers, was in der klassischen asymptotischen Theorie oft ignoriert wird.
4. Verbindung zur Brownschen Bewegung: Die Ergebnisse verknüpfen diskrete Schätzprobleme tiefgehend mit der Theorie der Brownschen Bewegung und der lokalen Zeit (local time) von Diffusionsprozessen.

Zusammenfassend erweitert dieser Artikel die Theorie der Schätzervergleichung um eine wichtige zweite Ordnung, die nicht nur auf Varianzen, sondern auf die gesamte Verteilungsform (insbesondere Schiefe) und die spezifische Verlustfunktion (Anzahl der Fehler) eingeht.