Second order asymptotics for the number of times an estimator is more than epsilon from its target value

Dit artikel onderzoekt tweede-orde asymptotiek voor het aantal keren dat een schatter meer dan $\varepsilon$ van zijn doelwaarde afwijkt, en introduceert het concept van 'asymptotische relatieve tekortkoming' om concurrerende schatters met identieke limietverdelingen te onderscheiden, zoals aangetoond door de superioriteit van de variantie-schatting met noemer $n-1/3$.

De kern

Stel je voor dat je een schatting probeert te doen, bijvoorbeeld hoe lang een trein precies duurt om aan te komen, of hoe hoog de gemiddelde temperatuur is in een stad. Je hebt een reeks meetinstrumenten (estimators) die je elke dag een nieuwe schatting geven.

Soms zijn deze schattingen perfect, maar vaak zitten ze net iets naast de waarheid. De vraag die Nils Lid Hjort en Grete Fenstad in dit artikel stellen, is heel simpel maar diepgaand: Hoe vaak zitten we er in de loop der tijd naast?

Laten we dit uitleggen met een paar creatieve analogieën, zonder de moeilijke wiskunde.

1. De "Fouten-teller" (De Qε)

Stel je voor dat je een schatting doet. Je hebt een kleine tolerantie, laten we zeggen ε (epsilon). Als je schatting binnen dit kleine venster van de waarheid ligt, is het goed. Zit hij daarbuiten? Dan is het een "fout".

De auteurs kijken naar Qε: het totale aantal keren dat je in de toekomst (vanaf nu tot in het oneindige) buiten dit venster valt.

• Eerste orde (de oude manier): In de statistiek kijken we vaak naar de "grootte" van de fout. Als twee methoden even goed zijn, zeggen we: "Ze hebben dezelfde nauwkeurigheid." Maar dat is niet altijd genoeg.
• De nieuwe kijk: De auteurs zeggen: "Oké, ze zijn even nauwkeurig, maar welke methode maakt minder vaak een fout?" Zelfs als het verschil heel klein is, telt het op de lange termijn.

2. De "Tweede Orde": De kleine voorkeur

Stel je hebt twee renners, A en B. Ze lopen allebei precies even snel (hun gemiddelde snelheid is identiek). In de klassieke statistiek zouden we zeggen: "Ze zijn gelijk."

Maar Hjort en Fenstad kijken naar de second order (tweede orde). Ze vragen: "Wie struikelt minder vaak?"

• Renner A struikelt misschien 100 keer per uur.
• Renner B struikelt misschien 99,9 keer per uur.
• Op de lange termijn (als je urenlang loopt) maakt dat verschil enorm veel uit. Renner B heeft een "asymptotisch relatief tekort" (a.r.d.) van nul, maar is toch net iets beter.

Deze paper berekent precies hoeveel "struikelpunten" (fouten) je kunt verwachten bij verschillende methoden, zelfs als ze op het eerste gezicht identiek lijken.

3. De "Gouden Deler" in de Variansie (Het voorbeeld van de temperatuur)

Een van de coolste resultaten in het artikel gaat over het schatten van de variantie (hoeveel de temperatuur schommelt).
Er is een bekende formule om dit te berekenen. Je telt de afwijkingen op en deelt door een getal. De vraag is: Door welk getal deel je?

• Optie 1: Deel door $N$ (het aantal metingen). (Dit is de "Maximum Likelihood" methode, populair maar niet perfect).
• Optie 2: Deel door $N - 1$. (Dit is de "onbevooroordeelde" methode, heel gebruikelijk in schoolboeken).
• Optie 3 (De winnaar): Deel door $N - 1/3$.

Volgens de berekeningen in dit artikel is $N - 1/3$ de winnaar.
Waarom? Omdat als je deze specifieke deler gebruikt, je in de loop der tijd het minste aantal fouten maakt. Het is alsof je een racefiets hebt die net iets minder luchtweerstand heeft dan de anderen. Het verschil is miniem, maar op de lange termijn wint deze fiets.

4. Waarom is dit belangrijk? (De "Beste" methode vinden)

In de statistiek hebben we vaak te maken met methoden die allemaal "goed" zijn.

• Soms kiezen we voor de methode die het minst gemiddeld fout is (MSE).
• Soms kiezen we voor de methode die het minst vaak extreem fout is.

De auteurs tonen aan dat je door te kijken naar het aantal fouten (in plaats van alleen de grootte ervan), je methoden kunt onderscheiden die anders ononderscheidbaar lijken.

Voorbeelden uit de tekst:

• Normale verdeling: Als je de gemiddelde temperatuur schat, is er een specifieke manier om de data te wegen (Bayesiaanse methode) die het minst fouten maakt, afhankelijk van wat je al weet (je "voorafgaande kennis").
• Exponentiële verdeling: Voor bepaalde soorten data (zoals wachttijden) is een deler van $N - 1/3$ weer de beste keuze, terwijl de standaard methode ($N$) meer fouten maakt.
• Binomiale verdeling: Bij het schatten van kansen (zoals "kans op regen") is een formule met $N + 4/3$ in de noemer en $2/3$ in de teller de "meest robuuste" keuze.

5. De "Wiskundige Wiskunde" (Brownse Beweging)

Aan het einde van het artikel duiken ze in de diepte. Ze laten zien dat als je heel lang kijkt, het patroon van deze fouten lijkt op een willekeurige wandeling (wat wiskundigen "Brownse beweging" noemen).
Stel je een dronken man voor die op een rechte lijn loopt, maar steeds een beetje links of rechts afwijkt. De auteurs berekenen hoe vaak deze man de "veilige zone" verlaat. Ze ontdekken dat het verschil tussen twee methoden niet zomaar een getal is, maar een verdeling die te maken heeft met hoe lang deze "dronken wandelaar" in de gevaarlijke zone blijft hangen.

Samenvatting in één zin

Deze paper leert ons dat zelfs als twee statistische methoden "even goed" lijken, er vaak een geheime winnaar is die net iets minder vaak fouten maakt, en dat we deze winnaar kunnen vinden door te kijken naar de kleinste details (zoals het delen door $N - 1/3$ in plaats van $N$).

Het is alsof je twee auto's hebt die even snel rijden; de ene heeft net iets minder brandstofverbruik op de lange termijn. De auteurs hebben de formule gevonden om die besparing te meten.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Second order asymptotics for the number of times an estimator is more than ε from its target value" van Nils Lid Hjort en Grete Fenstad, vertaald en samengevat in het Nederlands.

Titel: Tweede-orde asymptotiek voor het aantal keren dat een schatter meer dan $\varepsilon$ afwijkt van zijn doelwaarde

1. Probleemstelling en Achtergrond

Het artikel bouwt voort op eerder werk (Hjort en Fenstad, 1992) waarin werd aangetoond dat voor een sterk consistente rij schatters $\hat{\theta}_n$ voor een parameter $\theta$, de variabele $Q_\varepsilon$ (het aantal keren dat $|\hat{\theta}_n - \theta| \ge \varepsilon$) een limietverdeling heeft zodra $\varepsilon \to 0$.

• Eerste-orde asymptotiek: Het is bekend dat $\varepsilon^2 Q_\varepsilon$ convergeert naar een verdeling die afhangt van de standaardafwijking $\sigma$ van de limietverdeling van $\sqrt{n}(\hat{\theta}_n - \theta)$.
• De beperking: De traditionele maatstaf voor asymptotische relatieve efficiëntie (a.r.e.), gedefinieerd als de limiet van de verhouding van de verwachte aantallen fouten ($\lim_{\varepsilon \to 0} E Q_{1,\varepsilon} / E Q_{2,\varepsilon}$), is een "eerste-orde" maatstaf. Deze kan geen onderscheid maken tussen schatters die dezelfde limietverdeling hebben (d.w.z. wanneer de verhouding naar 1 gaat).
• Het doel: Het artikel ontwikkelt een tweede-orde theorie om verschillen tussen dergelijke schatters te analyseren. Het doel is om de "beste" schatter te identificeren binnen een klasse van schatters met identieke eerste-orde eigenschappen, gedefinieerd als de schatter met het kleinste verwachte aantal $\varepsilon$-fouten in de limiet.

2. Methodologie

De auteurs gebruiken een combinatie van kansrekening, asymptotische analyse en decision-theoretische concepten:

• Definitie van Asymptotische Relatieve Deficiëntie (a.r.d.): In plaats van verhoudingen, kijken ze naar het verschil in verwachtingen:
  $$\text{a.r.d.} = \lim_{\varepsilon \to 0} E(Q_{1,\varepsilon} - Q_{2,\varepsilon})$$
  Dit is analoog aan de deficiëntie-maatstaf van Hodges en Lehmann, maar toegepast op het aantal fouten in plaats van steekproefgrootte.
• Wiskundige Hulpmiddelen:
  • Edgeworth-expansies: Om de verdelingen van de schatters te benaderen tot op een hogere orde dan de normale benadering.
  • Taylor-benaderingen: Om de effecten van kleine correcties in de schatters te analyseren.
  • Brownse beweging: De limietverdeling van het verschil $Q_{1,\varepsilon} - Q_{2,\varepsilon}$ wordt gerelateerd aan de tijd die een Brownse beweging doorbrengt buiten bepaalde grenzen.
• Verliesfunctie: De analyse wordt geformuleerd in een decision-theoretisch kader waarbij de verliesfunctie $L_\varepsilon$ het totale aantal $\varepsilon$-fouten is over de hele rij schatters.

3. Belangrijkste Resultaten en Bijdragen

A. Algemene Formules voor het Schatten van een Gemiddelde
Voor i.i.d. observaties $X_i$ met gemiddelde $\xi$, variantie $\sigma^2$ en scheefheid $\gamma$, wordt een schatter van de vorm $\hat{\xi}_n(c, d) = \frac{n}{n+c}\bar{X}_n + \frac{c}{n+c}d$ onderzocht.

• De auteurs leiden een formule af voor de limiet van het verwachte verschil in fouten ten opzichte van de standaard schatter ($c=0, d=0$):
  $$\lambda_0(c, d) = \frac{(\xi - d)^2}{\sigma^2}c^2 - 2\left(1 - \frac{\gamma}{3}\frac{\xi - d}{\sigma}\right)c$$
• Kerninzicht: De optimale keuze voor de correctieparameter $c$ hangt af van de scheefheid ($\gamma$) van de verdeling. Dit verschilt van de deficiëntie-analyse van Hodges en Lehmann, waar de scheefheid geen rol speelt.

B. Toepassingen op Bekende Schattingsproblemen
De theorie wordt toegepast op diverse klassieke problemen, wat leidt tot specifieke "optimale" correcties:

1. Normaal Gemiddelde: Bij gebruik van een Bayesiaanse prior wordt de schatter $\hat{\theta}_n$ geoptimaliseerd. De resultaten bevestigen de bekende Bayesiaanse schatters, maar tonen aan dat deze ook optimaal zijn onder de $\varepsilon$-fouten-criteria.
2. Exponentieel Gemiddelde: Voor $X_i \sim \text{Exp}(1/\theta)$ is de Maximum Likelihood (ML) schatter ($c=0$) niet optimaal. De schatter met $c=1/3$ (dus $\frac{n}{n+1/3}\bar{X}_n$) maakt het minste aantal $\varepsilon$-fouten. De ML-schatter maakt naar verwachting $1/9$ meer fouten dan de optimale.
3. Normale Variantie: Voor het schatten van $\sigma^2$ met de formule $\sum (Y_i - \bar{Y})^2 / (N - 1 + c)$:
   • De ML-schatter ($c=1$) en de onbevooroordeelde schatter ($c=0$) zijn niet optimaal.
   • De optimale schatter heeft $c = 2/3$, wat betekent dat de noemer $N - 1/3$ moet zijn. Dit leidt tot het minste aantal fouten.
4. Binomiale Kans: Voor het schatten van $p$ wordt de schatter $(Y_n + 2/3) / (n + 4/3)$ geïdentificeerd als de tweede-orde minimax-oplossing (minimale maximale risico).
5. Gekwadrateerd Gemiddelde (Normaal Model): Voor het schatten van $\xi^2$ (waar $\xi$ het gemiddelde is) is de ML-schatter $(\bar{X}_n)^2$ niet optimaal. De schatter $(\bar{X}_n)^2 + \sigma^2/n$ (dus met $d=-1$ in de vorm $(\bar{X}_n)^2 - d\sigma^2/n$) is de beste.
6. Standaardafwijking: Bij het schatten van $\sigma$ (in plaats van $\sigma^2$) of op log-schaal, leiden de berekeningen tot andere optimale noemers (bijv. $N - 5/6$ of $N - 0.695$), afhankelijk van de gebruikte schaal.

C. Verdeling van het Verschil (Tweede-orde Distributie)
Naast de verwachte waarden, onderzoekt het artikel de verdeling van het verschil zelf.

• Het blijkt dat $\varepsilon(Q_{1,\varepsilon} - Q_{2,\varepsilon})$ convergeert naar een variabele $A - B$.
• $A$ en $B$ zijn gerelateerd aan de tijd die Brownse beweging doorbrengt langs de grenslijnen $\pm s/\sigma$.
• Deze limietverdeling is een mengsel van exponentiële verdelingen en puntmassa's bij nul, wat inzicht geeft in de variabiliteit van het aantal fouten.

4. Significatie en Conclusie

• Nieuwe Optimaliteitscriterium: Het artikel introduceert een robuust alternatief voor traditionele efficiëntiemaatstaven. Het kan onderscheid maken tussen schatters die op eerste orde identiek zijn, door te kijken naar het totale aantal "missers" in de limiet.
• Praktische Implicaties: De resultaten tonen aan dat veel standaard schatters (zoals de ML-schatter of de onbevooroordeelde schatter) suboptimaal zijn als het gaat om het minimaliseren van het aantal grote afwijkingen. Specifiek wordt aangetoond dat het gebruik van $N - 1/3$ in de variantieschatting superieur is aan $N$ en $N-1$.
• Rol van Scheefheid: Een belangrijk theoretisch inzicht is dat de scheefheid van de onderliggende verdeling een cruciale rol speelt in de tweede-orde optimaliteit, iets dat in eerste-orde theorieën vaak wordt genegeerd.
• Decision Theory: De link met verliesfuncties die het totale aantal fouten tellen, biedt een nieuwe interpretatie van Bayesiaanse schatters en minimax-oplossingen.

Kortom, dit papier levert een verfijnde analyse van schattingskwaliteit die verder gaat dan de klassieke variantie-analyse, en biedt concrete, verbeterde formules voor veelvoorkomende statistische schattingsproblemen.