Simple approximations of some statistical functions

Titel: Eenvoudige benaderingen van enkele statistische functies

Auteur: Zinovy Malkin (Pulkovo-observatorium, Sint-Petersburg)

1. Probleemstelling

Statistische berekeningen spelen een cruciale rol bij het verwerken van metingen en observaties, met name bij het testen van statistische hypothesen. Hoewel geavanceerde statistische softwarepakketten beschikbaar zijn, wordt er in de praktijk vaak gebruikgemaakt van propriëtaire wiskundige software. Bij de ontwikkeling van dergelijke software, vooral voor geautomatiseerde en grootschalige verwerkingen onder beperkte rekenkracht of met hoge snelheidseisen, is het essentieel om eenvoudige algoritmen te hebben die voldoende nauwkeurig zijn voor de specifieke toepassing.

Bestaande literatuur bevat veel formules voor het benaderen van statistische verdelingen, maar deze zijn vaak te complex en te nauwkeurig voor de meeste praktische toepassingen. De auteurs van bestaande studies proberen vaak de verdeling over het volledige domein te benaderen, terwijl in de praktijk slechts een smal bereik van betrouwbaarheidskansen (vaak tussen 0,9 en 0,999) nodig is. Het doel van dit paper is het ontwikkelen van eenvoudige benaderingsformules die de rekentijd aanzienlijk reduceren zonder de voor de praktijk vereiste nauwkeurigheid te verliezen.

2. Methodologie

De auteur presenteert eenvoudige benaderingsformules voor drie specifieke statistische functies die veelvuldig worden gebruikt bij het verwerken van observatiegegevens. De methodiek baseert zich op het vinden van optimale coëfficiënten voor polynomen of rationale functies binnen specifieke intervallen van de betrouwbaarheid $p$ of het aantal vrijheidsgraden $m$.

De volgende drie functies worden behandeld:

A. Inverse normale verdeling ($\Psi(p)$)

Deze functie geeft de kwantiel $x$ terug voor een gegeven betrouwbaarheid $p$ in de standaardnormale verdeling.

• Benaderingsformule:
  $$\Psi(p) = a_1 + a_2 t + a_3 \sqrt{t} - a_4$$
  waarbij $t = -\ln(1 - p)$.
• Aanpak: De coëfficiënten $a_1$ tot $a_4$ worden geoptimaliseerd voor specifieke intervallen van $p$ (bijv. 0,95–0,999). De auteur gebruikt tabellen van Bol'shev en Smirnov (1983) en Owen (1962) als referentiedata.
• Voordeel: De formule is veel eenvoudiger dan complexe rational benaderingen (zoals die van Odeh en Evans of Wichura) die weliswaar iets nauwkeuriger zijn, maar voor praktische doeleinden overbodig complex.

B. Student's t-verdeling ($t(Q, m)$)

Deze verdeling wordt gebruikt voor het testen van significantie, het construeren van betrouwbaarheidsintervallen en het vergelijken van steekproefgemiddelden.

• Benaderingsformule:
  $$t(Q, m) = a_1 + \frac{a_2}{m + a_3}$$
  waarbij $Q$ het significantieniveau is en $m$ het aantal vrijheidsgraden.
• Aanpak: De coëfficiënten worden bepaald voor verschillende significantieniveaus (één- en tweezijdig). De formule is ontworpen om nauwkeurig te zijn voor $m > M$ (waarbij $M$ varieert per significantieniveau, vaak $M \ge 2$).
• Grensgeval: Voor $m \to \infty$ convergeert de formule naar $a_1$, wat overeenkomt met de waarde van de inverse normale verdeling, wat de consistentie van de methode bevestigt.

C. Criteria voor het verwerpen van uitbijters (Outlier rejection)

Bij het verwerken van data moet vaak worden bepaald of een datapunt een uitbijter is die verwijderd moet worden.

• Teststatistiek: Een datapunt $x_k$ met het grootste residu $v_k$ wordt verworpen als:
  $$\frac{|v_k|}{s} > \zeta(Q, n)$$
  waarbij $s$ de standaardafwijking is en $n$ het aantal datapunten.
• Benaderingsformule:
  $$\zeta(Q, n) = \Psi(p) \cdot \left( a_1 + \frac{a_2}{n} + \frac{a_3}{a_4 + n} \right)$$
  waarbij $p = 1 - Q/(200n)$.
• Aanpassing: De auteur past bestaande tabellen (Bol'shev en Smirnov) aan voor de berekening van de steekproefvariantie (met $n-1$ in de noemer) en gebruikt de eerder ontwikkelde benadering voor $\Psi(p)$.

3. Belangrijkste Resultaten

De paper levert de volgende specifieke resultaten en tabellen met coëfficiënten:

1. Inverse Normale Verdeling:

   • Tabel 1 bevat sets van coëfficiënten voor verschillende intervallen van $p$.
   • De maximale fout varieert van $0,00005$ (voor $p \in [0,95; 0,999]$) tot $0,0024$ (voor bredere intervallen tot $p=0,99999999$).
   • De fouten zijn verwaarloosbaar voor de meeste praktische toepassingen in de astronomie en data-analyse.

2. Student's t-verdeling:

   • Tabel 2 geeft coëfficiënten voor significante niveaus van 10% tot 0,05% (één- en tweezijdig).
   • De benadering is nauwkeurig voor $m > 2$ tot $m > 6$, afhankelijk van het vereiste significantieniveau.
   • De foutmarge is beperkt tot maximaal 0,05, 0,01 of 0,001, afhankelijk van de gekozen rij in de tabel.

3. Uitbijterverwijdering:

   • Tabel 3 presenteert coëfficiënten voor verschillende $Q$ (0,1% tot 10%) en $n$ (6 tot 500).
   • Er worden twee sets coëfficiënten aangeboden: één voor het bereik $n=6 \dots 500$ (fout < 0,007) en één voor $n=6 \dots 100$ (fout < 0,003).
   • De methode is specifiek getest en aangepast voor de gebruikelijke steekproefvariantie-berekening.

4. Significantie en Toepassing

De bijdrage van dit paper ligt in het vinden van een optimale balans tussen rekencomplexiteit en nauwkeurigheid:

• Rekensnelheid: De voorgestelde formules zijn aanzienlijk eenvoudiger dan bestaande, hoog-nauwkeurige algoritmen. Dit maakt ze ideaal voor real-time verwerking en grootschalige datasets, zoals die vaak voorkomen in de astronomie (bijv. bij het verwerken van sterrenposities of tijdsreeksen).
• Praktische relevantie: De auteur benadrukt dat de meeste praktische problemen niet de volledige nauwkeurigheid van complexe methoden vereisen, maar wel een betrouwbaarheidsinterval tussen 0,9 en 0,999. De voorgestelde benaderingen voldoen ruimschoots aan deze eisen.
• Implementatie: De auteur vermeldt dat Fortran-routines die deze algoritmen implementeren beschikbaar zijn op de website van het Pulkovo-observatorium, wat de directe bruikbaarheid voor ontwikkelaars vergroot.

Conclusie

Zinovy Malkin demonstreert dat het mogelijk is om statistische berekeningen voor de verwerking van observatiegegevens aanzienlijk te versnellen door het gebruik van eenvoudige, interval-specifieke benaderingsformules. Hoewel deze methoden niet de ultieme theoretische nauwkeurigheid bieden, zijn ze voor de overgrote meerderheid van de toegepaste statistische problemen (zoals het testen van hypothesen en het verwijderen van uitbijters) voldoende nauwkeurig en veel efficiënter in termen van rekentijd.