On the last time and the number of times an estimator is more than epsilon from its target value

Diese Arbeit leitet unter schwachen Bedingungen die Grenzwertverteilungen für die letzte Zeit und die Gesamtanzahl der Abweichungen eines stark konsistenten Schätzers von seinem Zielwert ab, wodurch neue Optimalitätseigenschaften für Maximum-Likelihood-Schätzer sowie Methoden für sequenzielle Konfidenzmengen und Tests in parametrischen, nichtparametrischen und nicht-i.i.d.-Szenarien etabliert werden.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Architekt, der einen Turm baut. Ihr Ziel ist es, dass der Turm perfekt gerade steht (das ist Ihr wahrer Wert, nennen wir ihn $\theta_0$). Aber während Sie bauen, nutzen Sie immer neue Messgeräte und Techniken, um die Ausrichtung zu korrigieren. Mit jeder neuen Ebene ($n$) wird Ihre Schätzung ($\hat{\theta}_n$) genauer und näher an der perfekten Geraden.

Die Frage, die sich Nils Lid Hjort und Grete Fenstad in diesem Papier stellen, ist nicht: „Wie genau ist mein Turm nach 1000 Steinen?" (Das wissen wir schon). Die Frage ist vielmehr:

1. Wann hört das Wackeln auf? Wie viele Steine ($N_\varepsilon$) muss ich mindestens verlegen, bis mein Turm niemals wieder mehr als einen bestimmten kleinen Betrag ($\varepsilon$) von der perfekten Linie abweicht?
2. Wie oft hat er gewackelt? Wie viele Steine insgesamt ($Q_\varepsilon$) habe ich verlegt, bei denen der Turm noch zu sehr gewackelt hat, bevor er endlich stabil wurde?

Das Papier ist eine mathematische Reise, um genau diese beiden Fragen zu beantworten, wenn man sehr, sehr kleine Toleranzen ($\varepsilon$) betrachtet.

Hier ist die Erklärung in einfachen Bildern:

1. Das große Wackeln und das „Letzte Mal"

Stellen Sie sich vor, Sie laufen durch einen Wald und versuchen, einen geraden Pfad zu finden. Manchmal weichen Sie links, manchmal rechts ab. Da Sie aber sehr gut darin sind, finden Sie den Pfad früher oder später.

• $N_\varepsilon$ (Das letzte Mal): Dies ist der Zeitpunkt, an dem Sie zum letzten Mal vom Pfad abgewichen sind. Danach laufen Sie für immer geradeaus. Das Papier sagt uns: Wenn Sie sehr genau sein wollen (kleines $\varepsilon$), lässt sich die Verteilung dieses „letzten Abweichungs-Moments" vorhersagen. Es folgt einem bestimmten Muster, das mit einer Art „Zufalls-Brown-Bewegung" (wie ein betrunkenes Insekt, das sich aber langsam beruhigt) zu tun hat.
• $Q_\varepsilon$ (Die Anzahl der Wackler): Dies ist die Gesamtzahl der Momente, in denen Sie vom Pfad abgewichen sind. Auch hier gibt es eine Vorhersage: Wie oft wackelt man im Durchschnitt, bevor man stabil ist?

2. Der Vergleich: Wer ist der bessere Architekt?

Stellen Sie sich zwei Architekten vor:

• Architekt A nutzt eine alte, robuste Methode (z. B. den klassischen Durchschnitt).
• Architekt B nutzt eine neue, raffinierte Methode (z. B. den Maximum-Likelihood-Schätzer).

Das Papier zeigt, dass man diese beiden nicht nur danach vergleicht, wie schnell sie im Durchschnitt den Turm gerade bekommen, sondern danach, wer früher aufhört zu wackeln.

• Das Ergebnis ist überraschend: Der Maximum-Likelihood-Schätzer (eine sehr verbreitete statistische Methode) ist der „König". Er hat die beste Eigenschaft: Er ist derjenige, der mit der höchsten Wahrscheinlichkeit früher aufhört, vom Pfad abzuweichen, als jeder andere vernünftige Schätzer. Er macht die „letzte Abweichung" statistisch gesehen am schnellsten hinter sich.

3. Die Magie der Skalierung (Warum $\varepsilon^2$?)

Warum multiplizieren die Autoren ihre Ergebnisse mit $\varepsilon^2$?
Stellen Sie sich vor, $\varepsilon$ ist die Größe eines Kratzers auf Ihrem Turm.

• Wenn Sie einen winzigen Kratzer zulassen (sehr kleines $\varepsilon$), müssen Sie extrem viele Steine verlegen, bis der Turm perfekt ist. Die Anzahl der Steine ($N$) explodiert quasi.
• Aber wenn Sie die Anzahl der Steine durch die Größe des Kratzers im Quadrat teilen ($\varepsilon^2 \cdot N$), erhalten Sie eine konstante Zahl. Es ist, als würde man die Geschwindigkeit messen, mit der sich der Turm stabilisiert, unabhängig davon, wie klein die Toleranz ist. Das Papier findet heraus, dass diese „stabilisierte Geschwindigkeit" immer derselben mathematischen Formel folgt.

4. Besondere Fälle: Nicht nur Türme, sondern auch Wolken

Das Papier geht über einfache Türme hinaus:

• Der Glivenko-Cantelli-Fall: Hier geht es nicht um einen einzelnen Wert, sondern um die Form einer ganzen Wolke von Daten (eine Verteilung). Die Frage ist: Wann sieht die Wolke der Daten so aus wie die wahre Wolke? Das Papier zeigt, dass auch hier eine Art „letzter Moment" existiert, an dem die Wolke endlich perfekt passt.
• Dichteschätzung (Das Bild schärfen): Stellen Sie sich vor, Sie versuchen, ein unscharfes Foto ($f(x)$) zu rekonstruieren. Je mehr Pixel ($n$) Sie haben, desto schärfer wird es. Aber wie viele Pixel braucht man, bis das Bild niemals wieder unscharf ist? Hier zeigt das Papier, dass die Mathematik etwas anders funktioniert (man braucht $\varepsilon^{5/2}$ statt $\varepsilon^2$), und findet sogar den perfekten „Schärfegrad" für die Algorithmen, der etwas anders ist als das, was man bisher dachte (ein Faktor von 1,008).

5. Warum ist das wichtig? (Die praktische Anwendung)

Warum interessiert sich jemand dafür, wie oft ein Schätzer noch einen Fehler macht, bevor er aufhört?

1. Vergleich von Methoden: Es gibt einen neuen, fairen Weg, statistische Methoden zu vergleichen. Wer macht weniger Fehler, bevor er „sicher" ist?
2. Sichere Grenzen: Man kann damit Sequenzen bauen, bei denen man garantiert weiß: „Ab jetzt ist mein Ergebnis mit 95% Sicherheit gut genug." Das ist wie ein Sicherheitsgurt, der sich automatisch anlegt, sobald der Turm stabil ist.
3. Tests mit 100% Sicherheit: Man kann Tests entwickeln, die mit Wahrscheinlichkeit 1 funktionieren, wenn man genug Zeit hat.

Zusammenfassung in einem Satz

Dieses Papier ist wie ein Handbuch für Architekten, das berechnet, wie lange man warten muss, bis ein Gebäude (ein statistischer Schätzer) endgültig stabil steht, und beweist, dass die besten Baumeister (Maximum-Likelihood-Schätzer) nicht nur schneller bauen, sondern auch die wenigsten „Wackel-Momente" haben, bevor sie fertig sind.

Es verbindet tiefe Wahrscheinlichkeitstheorie (wie sich Zufallsprozesse verhalten) mit praktischer Statistik, um uns zu sagen: Vertraue dem Maximum-Likelihood-Schätzer, er wird als Erster aufhören, Fehler zu machen.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des vorliegenden Papiers von Nils Lid Hjort und Grete Fenstad auf Deutsch.

Titel und Kontext

Titel: On the last time and the number of times an estimator is more than ε from its target value (Über die letzte Zeit und die Anzahl der Male, bei denen ein Schätzer mehr als ε von seinem Zielwert entfernt ist).
Veröffentlichung: Statistical Research Report, April 1991, Universität Oslo.
Kernproblem: Die Untersuchung der Konvergenzgeschwindigkeit von Schätzern $\hat{\theta}_n$ gegen einen wahren Parameter $\theta_0$ in i.i.d.-Szenarien (unabhängig und identisch verteilt). Während die starke Konsistenz ($\hat{\theta}_n \to \theta_0$ fast sicher) bekannt ist, fehlt oft eine quantitative Beschreibung, wie schnell diese Konvergenz erfolgt.

1. Problemstellung und Motivation

Das Papier adressiert zwei spezifische, bisher kaum untersuchte Zufallsvariablen, die die Konvergenzgeschwindigkeit charakterisieren:

1. $N_\varepsilon$ (Die letzte Zeit): Die letzte Indizes $n$, für den der Schätzer noch außerhalb eines $\varepsilon$-Korridors liegt:
   $$N_\varepsilon = \sup \{n \ge 1 : |\hat{\theta}_n - \theta_0| \ge \varepsilon\}$$
   Da der Schätzer stark konsistent ist, ist $N_\varepsilon$ fast sicher endlich. Die Frage ist nach der Verteilung und dem Erwartungswert von $N_\varepsilon$ für kleine $\varepsilon$.
2. $Q_\varepsilon$ (Die Anzahl der Verfehlungen): Die Gesamtzahl der Indizes $n$, für die $|\hat{\theta}_n - \theta_0| \ge \varepsilon$ gilt.

Motivation:

• Probabilistisch: Verständnis der "Tail"-Verhalten von Schätzsequenzen.
• Statistisch: Vergleich konkurrierender Schätzer. Ein Schätzer, der $N_\varepsilon$ und $Q_\varepsilon$ stochastisch kleiner macht, konvergiert "schneller" in den $\varepsilon$-Nachbarbereich. Dies bietet eine neue Perspektive auf asymptotische relative Effizienz (a.r.e.).
• Anwendung: Konstruktion von sequentiellen Konfidenzmengen mit festem Volumen oder schrumpfendem Volumen sowie sequentielle Tests mit Power 1.

2. Methodik und Theoretischer Rahmen

Die Autoren nutzen Methoden der stochastischen Prozesse, insbesondere die Konvergenz von Partialsummenprozessen gegen Brownsche Bewegungen.

• Grundlegende Darstellung: Für viele Schätzer gilt eine Darstellung der Form:
  $$\hat{\theta}_n - \theta_0 = \sigma_0 \frac{S_n}{n} + R_n$$
  wobei $S_n = \sum Z_i$ eine Partialsumme i.i.d. Variablen mit Mittelwert 0 und Varianz 1 ist, $\sigma_0$ die asymptotische Standardabweichung ist und $R_n$ ein Restterm (Noise) ist, der schnell genug gegen 0 konvergiert (Bedingung: $\sqrt{m} \sup_{n \ge m} |R_n| \xrightarrow{p} 0$).
• Skalierung: Die zentrale Idee ist die Skalierung mit $\varepsilon^2$. Es wird gezeigt, dass für $\varepsilon \to 0$ (was $m \to \infty$ entspricht) die Variable $\varepsilon^2 N_\varepsilon$ eine Grenzverteilung besitzt.
• Limiting Process: Die Analyse führt auf das Supremum eines skalierten Brownschen Prozesses. Für den eindimensionalen Fall ist der Grenzprozess $\sigma_0 \sup_{t \ge 1} |W(t)/t|$, wobei $W(t)$ eine Brownsche Bewegung ist.
• Technische Werkzeuge:
  • Donsker's Theorem (Invarianzprinzip).
  • Stetige Abbildungssätze (Continuous Mapping Theorem) auf Funktionenräumen (Skorohod-Metrik).
  • Ungleichungen für Maxima von Partialsummen (Verallgemeinerung der Kolmogorov-Ungleichung) zur Kontrolle der "Tails" (für $n > cm$).

3. Hauptergebnisse

A. Asymptotische Verteilungen (i.i.d. Fall)

• Eindimensionaler Fall: Unter regulären Bedingungen gilt:
  $$\varepsilon^2 N_\varepsilon \xrightarrow{d} \sigma_0^2 W_{max}^2$$
  wobei $W_{max} = \sup_{0 \le s \le 1} |W(s)|$ das Maximum einer Brownschen Bewegung auf dem Einheitsintervall ist.
  Die Grenzverteilung hängt nur von der asymptotischen Varianz $\sigma_0^2$ ab.

• Mehrdimensionaler Fall ($p$-Dimension): Für einen Abstand $\|\cdot\|$ (z.B. euklidisch oder Mahalanobis) gilt:
  $$\varepsilon^2 N_\varepsilon \xrightarrow{d} \left( \sup_{0 \le s \le 1} \|\Sigma_0^{1/2} W(s)\| \right)^2$$
  wobei $W(s)$ ein Vektor aus $p$ unabhängigen Brownschen Bewegungen ist.
  Für den Mahalanobis-Abstand mit der Fisher-Information $J_0$ als Metrik ergibt sich die Verteilung als Maximum eines $\chi^2_p$-Prozesses über $[0,1]$.

• Anzahl der Verfehlungen ($Q_\varepsilon$):
  $$\varepsilon^2 Q_\varepsilon \xrightarrow{d} \sigma_0^2 \mu\{t \ge 0 : |W(t)/t| \ge 1\}$$
  Der Erwartungswert ist proportional zu $\sigma_0^2$.

B. Anwendungen auf spezifische Schätzer

1. Glatte Funktionen von Durchschnitten: Die Ergebnisse gelten für Schätzer der Form $h(\bar{X}_n)$, wobei $h$ differenzierbar ist.
2. Maximum-Likelihood-Schätzer (MLE):
   • Unter Regularitätsbedingungen erfüllen MLEs die Voraussetzungen.
   • Optimalitätseigenschaft: Da MLEs die kleinste asymptotische Kovarianzmatrix $\Sigma_0$ (Cramér-Rao-Schranke) erreichen, minimieren sie stochastisch die Verteilung von $N_\varepsilon$ und den Erwartungswert von $Q_\varepsilon$. Kein anderer Schätzer konvergiert schneller in den $\varepsilon$-Nachbarbereich, unabhängig von der gewählten Distanzfunktion.
3. Nichtparametrische Dichteschätzung:
   • Hier ist die Konvergenzrate langsamer ($n^{-1/5}$ statt $n^{-1/2}$).
   • Die Skalierung ändert sich: $\varepsilon^{5/2} N_\varepsilon$ hat eine Grenzverteilung.
   • Optimale Bandbreite: Die Autoren leiten ab, dass die optimale Bandbreite $h_n$, um die Anzahl der Verfehlungen zu minimieren, ca. 1.008-mal größer sein sollte als diejenige, die den mittleren quadratischen Fehler (MSE) minimiert.
4. Glivenko-Cantelli (Empirische Verteilungsfunktion):
   • Für das Supremum $\|F_n - F\|_\infty$ wird die Grenzverteilung durch das Maximum eines Kiefer-Prozesses (Kiefer process) über dem Einheitsquadrat bestimmt.
   • $\varepsilon^2 N_\varepsilon \xrightarrow{d} K_{max}^2$.

C. Momente und Asymptotische Relative Effizienz (a.r.e.)

• Die Autoren zeigen die Konvergenz der Momente (unter Bedingungen der gleichmäßigen Integrierbarkeit).
• Neue a.r.e.-Definition: Das Verhältnis der Erwartungswerte der Verfehlungen zweier Schätzer liefert eine neue Definition der asymptotischen relativen Effizienz:
  $$\text{a.r.e.} = \lim_{\varepsilon \to 0} \frac{E[N_{\varepsilon,1}]}{E[N_{\varepsilon,2}]} = \frac{\sigma_1^2}{\sigma_2^2}$$
  Dies bestätigt die klassische Definition (Verhältnis der Varianzen) aus einer neuen, stochastischen Perspektive.
• Zweite Ordnung: Für Schätzer mit gleicher erster Ordnung (gleiche Varianz) werden in Anhang 8E Ergebnisse zur "asymptotischen relativen Defizienz" diskutiert, die feinere Unterschiede aufzeigen (z.B. bei Binomialverteilungen).

4. Bedeutung und Implikationen

1. Neue Optimalitätskriterien: Das Papier etabliert, dass der MLE nicht nur im Sinne der Varianz, sondern auch im Sinne der "Geschwindigkeit des Eintritts in den $\varepsilon$-Bereich" (stochastisch kleinste $N_\varepsilon$ und $Q_\varepsilon$) optimal ist.
2. Sequentielle Statistik: Die Ergebnisse liefern theoretische Grundlagen für die Konstruktion sequentieller Konfidenzmengen fester Breite oder schrumpfenden Volumens mit garantierter Überdeckungswahrscheinlichkeit (Power 1 Tests).
3. Vergleich von Schätzern: Es bietet ein quantitatives Werkzeug, um Schätzer nicht nur durch ihre asymptotische Verteilung, sondern durch ihre "Pfad-Eigenschaften" (wie oft sie den Zielwert verfehlen) zu vergleichen.
4. Erweiterbarkeit: Die Methoden werden auf nicht-i.i.d. Situationen (z.B. Regression, Autokorrelation) und andere Distanzmaße (Kullback-Leibler-Divergenz) erweitert.

Zusammenfassung

Hjort und Fenstad liefern eine umfassende probabilistische Analyse der Konvergenzgeschwindigkeit von Schätzern. Sie beweisen, dass die skalierten Variablen $\varepsilon^2 N_\varepsilon$ und $\varepsilon^2 Q_\varepsilon$ für eine breite Klasse von Schätzern (parametrisch, nichtparametrisch, multidimensional) gegen Verteilungen konvergieren, die durch Funktionale von Brownschen Bewegungen bestimmt sind. Das zentrale Ergebnis ist die Bestätigung der asymptotischen Optimalität des Maximum-Likelihood-Schätzers unter einem neuen, pfadbasierten Kriterium und die Herleitung praktischer Regeln für sequentielle Verfahren und die Optimierung von Dichteschätzern.