Simple approximations of some statistical functions

Sintesi Tecnica: Approssimazioni Semplici di Alcune Funzioni Statistiche

Autore: Zinovy Malkin (Osservatorio di Pulkovo, San Pietroburgo)
Oggetto: Sviluppo di algoritmi di approssimazione semplificati per funzioni statistiche critiche nell'elaborazione di dati osservativi.

1. Il Problema

L'elaborazione di misure e osservazioni scientifiche richiede il calcolo frequente di funzioni statistiche per testare ipotesi e valutare la significatività dei risultati. Sebbene esistano pacchetti statistici avanzati e software proprietari, l'implementazione di algoritmi complessi può essere un ostacolo in contesti di:

• Elaborazione automatizzata e su larga scala.
• Risorse computazionali limitate.
• Necessità di elaborazione ad alta velocità (real-time).

Le formule di approssimazione esistenti nella letteratura scientifica sono spesso progettate per coprire l'intero dominio di definizione delle funzioni statistiche, risultando eccessivamente complesse e computazionalmente costose per la maggior parte delle applicazioni pratiche. Nella pratica osservativa, è sufficiente operare su un intervallo ristretto di probabilità di confidenza (tipicamente 0.9 – 0.999), il che permette di semplificare drasticamente le formule mantenendo un'accuratezza sufficiente.

2. Metodologia

L'autore propone un approccio basato sull'identificazione di intervalli specifici di probabilità di confidenza e sull'adattamento di coefficienti per formule algebriche semplici. L'obiettivo è bilanciare la semplicità computazionale con un errore di approssimazione accettabile per le applicazioni pratiche.

I dati di riferimento e di test utilizzati per derivare e validare le approssimazioni provengono dalle tabelle classiche di Bol'shev e Smirnov (1983) e Owen (1962).

Le tre funzioni statistiche analizzate sono:

1. La distribuzione normale inversa.
2. La distribuzione t di Student.
3. Il criterio statistico per il rifiuto dei valori anomali (outliers).

3. Contributi Chiave e Risultati

L'articolo presenta formule di approssimazione specifiche per ciascuna delle tre funzioni:

A. Distribuzione Normale Inversa ($\Psi(p)$)

• Funzione: Restituisce il valore $x$ tale che $p = N(x)$, dove $N$ è la funzione di distribuzione cumulativa normale standard.
• Formula Proposta:
  $$\Psi(p) = a_1 + a_2 t + a_3 \sqrt{t} - a_4$$
  dove $t = -\ln(1 - p)$.
• Dettagli: I coefficienti $a_1 \dots a_4$ variano in base all'intervallo di $p$ considerato (es. $0.95-0.999$, $0.9-0.999$, ecc.).
• Accuratezza: L'errore massimo è contenuto tra $0.00005$e$0.0024$ a seconda dell'intervallo.
• Vantaggio: La formula è significativamente più semplice di algoritmi esistenti (come quello di Odeh e Evans, 1974) che, pur offrendo una precisione leggermente superiore ($10^{-6}$), richiedono calcoli molto più complessi. L'autore suggerisce inoltre di utilizzare valori esatti (tabulati) per le probabilità di confidenza più comuni (0.8, 0.9, 0.95, ecc.) all'interno del software.

B. Distribuzione t di Student ($t(Q, m)$)

• Funzione: Utilizzata per testare la significatività di coefficienti di correlazione, costruire intervalli di confidenza e confrontare medie. Dipende dal numero di gradi di libertà $m$.
• Formula Proposta:
  $$t(Q, m) = a_1 + \frac{a_2}{m + a_3}$$
  dove $Q$ è il livello di significatività e $m$ i gradi di libertà.
• Dettagli: I coefficienti sono forniti per diversi livelli di significatività (da 10% a 0.05%).
• Accuratezza: Per $m > M$ (dove $M$ varia da 2 a 6 a seconda del livello di precisione desiderata: 0.05, 0.01 o 0.001), l'errore assoluto è inferiore a questi valori.
• Comportamento Asintotico: La formula converge correttamente verso la distribuzione normale quando $m \to \infty$, rendendola valida anche per $m > 500$.

C. Criterio di Rifiuto degli Outliers ($\zeta(Q, n)$)

• Funzione: Determina se un punto dati con il residuo massimo $|v_k|$ deve essere scartato in base alla relazione $|v_k|/s > \zeta(Q, n)$.
• Formula Proposta:
  $$\zeta(Q, n) = \Psi(p) \cdot \left( a_1 + a_2 n + \frac{a_3}{a_4 + n} \right)$$
  dove $p = 1 - Q/(200n)$ e $Q$ è espresso in percentuale.
• Adattamento: L'autore ha corretto i dati originali di Bol'shev e Smirnov per adattarli alla varianza campionaria calcolata con $n-1$ al denominatore (invece di $n$).
• Accuratezza: L'errore di approssimazione è inferiore a 0.007 per $n \in [6, 500]$ e inferiore a 0.003 per $n \in [6, 100]$.
• Coefficients: Vengono forniti due set di coefficienti per ogni livello di significatività $Q$: uno ottimizzato per $n$ fino a 500 e uno per $n$ fino a 100.

4. Significatività e Conclusioni

• Efficienza Computazionale: Il principale contributo di questo lavoro non è la massima precisione matematica assoluta, ma l'ottimizzazione del rapporto tra accuratezza e complessità computazionale. Le formule proposte sono ideali per implementazioni software in ambienti con risorse limitate o per elaborazioni in tempo reale.
• Applicabilità Pratica: Le formule sono sufficientemente accurate per la stragrande maggioranza dei problemi applicativi nell'elaborazione di dati osservativi (astronomia, fisica, ecc.), dove raramente è necessario un errore inferiore a $10^{-3}$ o $10^{-4}$.
• Disponibilità: L'autore ha reso disponibili routine in Fortran che implementano questi algoritmi sul sito web dell'Osservatorio di Pulkovo, facilitando l'adozione immediata da parte della comunità scientifica.
• Visione Futura: L'autore riconosce che queste soluzioni non sono ottimali in senso assoluto e invita la comunità a proporre approssimazioni ancora più efficaci, sia per le funzioni trattate che per altre funzioni statistiche.

In sintesi, il paper offre un set di strumenti pratici per "snellire" i calcoli statistici senza compromettere la validità dei risultati nelle applicazioni ingegneristiche e scientifiche quotidiane.