On the last time and the number of times an estimator is more than epsilon from its target value

Dit artikel leidt onder zwakke voorwaarden de limietverdelingen af voor de laatste keer en het totale aantal keren dat een sterk consistente schatter meer dan $\varepsilon$ van de ware parameterwaarde afwijkt, en toont aan hoe deze resultaten nuttig zijn voor het vergelijken van schatters, het opstellen van sequentiële betrouwbaarheidsintervallen en het analyseren van niet-parametrische dichtheidsschattingen.

De kern

Stel je voor dat je een schatting probeert te doen. Misschien schat je de gemiddelde lengte van mensen in een stad, of de kans dat het morgen regent. Je begint met een paar metingen, maar je weet dat je niet perfect bent. Naarmate je meer data verzamelt (meer metingen doet), wordt je schatting beter en komt hij dichter bij de "echte" waarde.

In de statistiek noemen we dit sterke consistentie: op een gegeven moment, als je maar lang genoeg kijkt, zit je schatting altijd heel dicht bij de waarheid.

Maar hier komt de vraag die dit paper beantwoordt: Hoe lang moet je wachten voordat je zeker weet dat je schatting goed genoeg is? En nog belangrijker: Hoe vaak maak je tussendoor nog een fout die te groot is?

De auteurs, Nils Lid Hjort en Grete Fenstad, kijken naar twee specifieke dingen:

1. De "Laatste Fout" ($N_\epsilon$): Op welk moment (na hoeveel metingen) maak je voor het laatste keer een fout die groter is dan een bepaalde maatstaf (laten we dat $\epsilon$ noemen)? Na dit moment maak je nooit meer zo'n grote fout.
2. Het "Aantal Fouten" ($Q_\epsilon$): Hoe vaak in totaal maak je een fout die groter is dan die maatstaf, voordat je eindelijk "op slot" gaat?

De Analogie: De Klimmer en de Mist

Stel je een klimmer voor die een berg opklimt (de bergtop is de echte waarde). De klimmer heeft een kompas dat soms een beetje dwaalt.

• $\epsilon$ is de "mistlaag". Als de klimmer binnen de mistlaag is, is hij "goed genoeg" bij de top.
• $N_\epsilon$ is het moment waarop de klimmer de mistlaag voor het laatst verlaat. Zodra hij daarboven is, blijft hij voor altijd in de zon (dicht bij de top).
• $Q_\epsilon$ is het totale aantal keren dat de klimmer de mistlaag in en uit is gevallen voordat hij eindelijk boven bleef.

Wat ontdekten de auteurs?

Deze wetenschappers hebben wiskundige formules gevonden die voorspellen hoe dit gedrag eruit ziet als je de "mistlaag" ($\epsilon$) heel klein maakt. Ze ontdekten verrassende patronen:

1. De "Gouden Regel" voor de snelheid
Als je de foutmarge ($\epsilon$) halveert, moet je niet twee keer zo lang wachten, maar vier keer zo lang (want $1/\epsilon^2$). De tijd die je nodig hebt om de "laatste fout" te bereiken, groeit dus met het kwadraat van hoe klein je de foutmarge wilt hebben.

2. De Wiskunde van het "Laatste Moment"
Ze ontdekten dat de verdeling van dit "laatste moment" ($N_\epsilon$) niet willekeurig is. Het volgt een heel specifiek patroon dat te maken heeft met een wiskundig concept dat "Brownse beweging" heet (denk aan de willekeurige dans van een stofje in water).
De verrassing? De verdeling van dit laatste moment is precies hetzelfde als de verdeling van het hoogste punt dat zo'n dansend deeltje bereikt in een bepaalde tijd.

3. De Winnaar: De Maximum Likelihood Schatter
In de statistiek zijn er veel manieren om een schatting te maken. De auteurs laten zien dat de Maximum Likelihood Estimator (MLE) – een zeer populaire en standaard methode – de "koning" is.

• Waarom? Omdat deze methode statistisch gezien de minste kans heeft om lang na de start nog grote fouten te maken.
• Analogie: Als je twee klimmers hebt die dezelfde berg beklimmen, is de klimmer die de MLE-methode gebruikt, statistisch gezien de snelste om de mist definitief te verlaten. Geen enkele andere methode doet het stochastisch (kansgewijs) beter.

4. Het Aantal Fouten
Ook voor het totale aantal fouten ($Q_\epsilon$) geldt dit: de MLE-methode maakt in de loop van de tijd het minste aantal "grote" fouten. Het is alsof de MLE-klimmer minder vaak struikelt voordat hij de top bereikt.

Speciale Gevallen

Het paper gaat ook dieper in op specifieke situaties:

• Dichtheidschatters (Non-parametrisch): Als je probeert de vorm van een onbekende grafiek te tekenen (in plaats van alleen een gemiddelde te schatten), werkt de wiskunde net iets anders. Hier moet je de "mistlaag" op een andere manier schalen, maar het principe blijft hetzelfde: er is een optimale manier om te schatten die het minst vaak fouten maakt.
• De Empirische Verdelingsfunctie: Dit gaat over het schatten van de hele verdeling van data (bijvoorbeeld: wat is de kans dat iemand tussen 170 en 180 cm is?). Ook hier geldt dat de standaard methode (de empirische verdeling) de beste is om de "laatste grote afwijking" zo snel mogelijk te elimineren.

Waarom is dit belangrijk voor de gemiddelde mens?

Hoewel dit klinkt als pure wiskunde voor specialisten, heeft het grote gevolgen:

1. Betrouwbaarheid: Het helpt wetenschappers en ingenieurs om te weten hoeveel data ze nodig hebben om een betrouwbaar resultaat te krijgen.
2. Vergelijking: Het geeft een objectieve manier om te zeggen: "Methode A is beter dan Methode B, omdat Methode A sneller stopt met het maken van grote fouten."
3. Volgorde van metingen: Het helpt bij het ontwerpen van experimenten waarbij je stopt zodra je zekerheid hebt (sequentiële tests), wat tijd en geld bespaart.

Kort samengevat:
Dit paper zegt: "Als je een schatting maakt, is er een moment waarop je voor het laatst een grote fout maakt. De auteurs hebben bewezen dat de standaard statistische methode (MLE) de snelste is om dat moment te bereiken en het minste aantal fouten maakt. Ze hebben ook de wiskundige formule gevonden om te voorspellen hoe lang je moet wachten, afhankelijk van hoe nauwkeurig je wilt zijn."

Het is als het vinden van de snelste route naar de top van de berg, waarbij je zeker weet dat je na een bepaald punt nooit meer in de mist zult raken.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "On the last time and the number of times an estimator is more than ε from its target value" van Nils Lid Hjort en Grete Fenstad, geschreven in het Nederlands.

Titel: Over de laatste keer en het aantal keren dat een schatter meer dan $\varepsilon$ van zijn doelwaarde afwijkt

Auteurs: Nils Lid Hjort en Grete Fenstad
Publicatie: Statistical Research Report, Universiteit van Oslo, april 1991.

---

1. Probleemstelling

Het artikel adresseert een fundamentele vraag in de statistiek en waarschijnlijkheidstheorie: hoe snel convergeert een sterk consistente schatter $\hat{\theta}_n$ naar de ware parameterwaarde $\theta_0$? Traditionele benaderingen focussen op:

1. Convergentie in verdeling: Het vinden van een $m$ zodat $P(|\hat{\theta}_n - \theta_0| \le \varepsilon) \ge 0.95$ voor alle $n \ge m$.
2. Gelijktijdige nauwkeurigheid: Het vinden van een $m$ zodat $P(\sup_{n \ge m} |\hat{\theta}_n - \theta_0| \le \varepsilon) \approx 0.95$.

De auteurs richten zich echter op twee specifieke, maar tot dan toe weinig onderzochte, stochastische variabelen die de snelheid van convergentie beter karakteriseren:

• $N_\varepsilon$: De laatste $n$ waarvoor de schatter meer dan $\varepsilon$ van $\theta_0$ afwijkt ($N_\varepsilon = \sup\{n \ge 1: |\hat{\theta}_n - \theta_0| \ge \varepsilon\}$). Door sterke consistentie is deze variabele bijna zeker eindig.
• $Q_\varepsilon$: Het totale aantal keren dat de schatter meer dan $\varepsilon$ van $\theta_0$ afwijkt.

De centrale vraag is: wat zijn de limietverdelingen van $\varepsilon^2 N_\varepsilon$ en $\varepsilon^2 Q_\varepsilon$ (of andere schalingen) wanneer $\varepsilon \to 0$?

2. Methodologie

De auteurs gebruiken een krachtige combinatie van stochastische procestheorie en asymptotische analyse:

• Donsker's Theorema en Brownse Beweging: De kern van de analyse ligt in het modelleren van de schatter als een gestoorde som van onafhankelijke variabelen. Voor een schatter met de vorm $\hat{\theta}_n - \theta_0 = \sigma_0 \bar{Z}_n + R_n$ (waarbij $\bar{Z}_n$ het gemiddelde is van i.i.d. variabelen en $R_n$ een restterm), convergeren de geschaalde processen $\sqrt{m}(\hat{\theta}_{[mt]} - \theta_0)$ naar een proces van de vorm $\sigma_0 W(t)/t$, waarbij $W(t)$ een standaard Brownse beweging is.
• Supremum van Stochastische Processen: De variabele $N_\varepsilon$ wordt gerelateerd aan het supremum van dit proces over $t \ge 1$. De limietverdeling van $\varepsilon^2 N_\varepsilon$ wordt dus de verdeling van het kwadraat van het supremum van een Brownse beweging gedeeld door tijd.
• Technische Voorwaarden: De auteurs stellen "natuurlijke" en zwakke voorwaarden (zoals de convergentie van de restterm $R_n$) die gelden voor een breed scala aan schatters, inclusief parametrische en niet-parametrische gevallen.
• Meerdimensionale Uitbreiding: De theorie wordt uitgebreid naar $p$-dimensionale parameters met algemene afstandsmaten (zoals de Mahalanobis-afstand), waarbij het proces convergeert naar een vector van onafhankelijke Brownse bewegingen.

3. Belangrijkste Resultaten

A. Asymptotische Verdelingen

• Unidimensionaal geval: Voor een schatter die voldoet aan de standaard regulariteitsvoorwaarden geldt:
  $$\varepsilon^2 N_\varepsilon \xrightarrow{d} \sigma_0^2 W_{\max}^2$$
  waarbij $W_{\max} = \sup_{0 \le s \le 1} |W(s)|$ en $W(s)$ een Brownse brug is (via de transformatie $W^*(s) = sW(1/s)$).
• Multidimensionaal geval: Voor een $p$-dimensionale parameter met covariantiematrix $\Sigma_0$:
  $$\varepsilon^2 N_\varepsilon \xrightarrow{d} \sup_{0 \le s \le 1} \| \Sigma_0^{1/2} W(s) \|^2$$
  Bij gebruik van de Mahalanobis-afstand wordt de limietverdeling $\chi^2_{p, \max} = \max_{0 \le s \le 1} \sum_{i=1}^p W_i(s)^2$.
• Niet-parametrische dichtheidschatting: Hier convergeren de schalingen anders. Voor een kernel-schatting $f_n(x)$ geldt dat $\varepsilon^{5/2} N_\varepsilon$ een limietverdeling heeft, in plaats van $\varepsilon^2$.

B. Aantal $\varepsilon$-fouten ($Q_\varepsilon$)

De auteurs leiden ook de limietverdeling af voor het totale aantal fouten $Q_\varepsilon$.

• In het unidimensionale geval convergeert $\varepsilon^2 Q_\varepsilon$ naar een variabele met verwachtingswaarde gerelateerd aan de covariantie.
• Voor de empirische verdelingsfunctie (Glivenko-Cantelli) geldt dat het totale aantal keren dat $\|F_n - F\| \ge \varepsilon$ ongeveer $0.822/\varepsilon^2$ is.

C. Convergentie van Momenten

Onder voorwaarden van uniforme integreerbaarheid (bijv. eindige momenten van orde $2+\lambda$) bewijzen de auteurs dat de momenten convergeren:
$$\varepsilon^2 E[N_\varepsilon] \to \sigma_0^2 E[W_{\max}^2] = 2G \sigma_0^2$$
waarbij $G \approx 0.916$ de constante van Catalan is. Dit betekent dat de verwachte laatste keer dat een fout optreedt lineair afhangt van de variantie van de schatter.

4. Bijdragen en Significatie

1. Nieuwe Maatstaven voor Asymptotische Efficiëntie

Het artikel biedt een nieuwe, probabilistische motivatie voor het concept van Asymptotische Relative Efficiëntie (ARE).

• Traditioneel wordt ARE gedefinieerd als de verhouding van varianties ($\sigma_1^2 / \sigma_2^2$).
• De auteurs tonen aan dat deze verhouding exact overeenkomt met de limietverhouding van de verwachte waarden (of medianen) van $N_\varepsilon$ en $Q_\varepsilon$:
  $$\lim_{\varepsilon \to 0} \frac{E[N_{\varepsilon,1}]}{E[N_{\varepsilon,2}]} = \frac{\sigma_1^2}{\sigma_2^2}$$
  Dit bevestigt dat de Maximum Likelihood Schatter (MLS) niet alleen asymptotisch efficiënt is in termen van variantie, maar ook stochastisch optimaal is: geen andere schatterreeks zal stochastisch sneller binnen een $\varepsilon$-omgeving van de ware parameter blijven.

2. Optimaliteit van de Maximum Likelihood Schatter

De resultaten bevestigen een nieuwe optimaliteitskarakteristiek voor de MLS: in de limiet ($\varepsilon \to 0$) heeft geen andere schatterreeks stochastisch minder $\varepsilon$-fouten ($Q_\varepsilon$) of een stochastisch kleinere laatste fout ($N_\varepsilon$), ongeacht de gebruikte afstandsmaat (zolang deze voldoet aan de eisen).

3. Toepassingen in de Praktijk

• Sequential Confidence Sets: De resultaten leiden tot methoden voor het construeren van sequentiële betrouwbaarheidsintervallen met vaste breedte of krimpende volume.
• Tests met Power 1: Het stelt onderzoekers in staat om sequentiële toetsen te ontwerpen die met zekerheid (power 1) de nulhypothese verwerpen als deze onwaar is.
• Niet-parametrische Optimalisatie: Voor dichtheidschatting wordt aangetoond dat de optimale bandbreedteparameter $h_n$ voor het minimaliseren van het aantal fouten $1.008$ keer de traditionele "optimaal" gekozen bandbreedte (gebaseerd op MSE) bedraagt.

4. Uitbreiding naar Complexere Situaties

De theorie is robuust en geldt ook voor:

• Meerdimensionale parameters.
• Niet-i.i.d. situaties (zoals lineaire regressie en autoregressie).
• Schatters die niet perfect zijn gespecificeerd (het "agnostic" perspectief, waarbij de MLS de "minst foutieve" parameter schat).

Conclusie

Dit artikel vult een belangrijke lacune in de statistische literatuur op door de exacte asymptotische verdelingen van de "laatste fout" en het "aantal fouten" af te leiden. Het verbindt de theorie van Brownse beweging met praktische statistische efficiëntie en biedt een dieper inzicht in de convergentiesnelheid van schatters, wat leidt tot nieuwe optimaliteitscriteria en verbeterde methoden voor sequentiële analyse.