Second order asymptotics for the number of times an estimator is more than epsilon from its target value

Questo articolo sviluppa un'analisi di secondo ordine per il numero di volte in cui un estimatore si discosta dal suo valore target, introducendo il concetto di "deficienza asintotica relativa" per distinguere tra stimatori con efficienza asintotica identica e dimostrando, ad esempio, che l'uso del denominatore $n-1/3$ nella varianza normale è ottimale rispetto ad altre scelte.

L'essenziale

Ecco una spiegazione semplice e creativa del lavoro di Hjort e Fenstad, pensata per chiunque, anche senza un background matematico.

Il Titolo: "Chi sbaglia meno? Un nuovo modo per guardare gli errori"

Immagina di essere un arciere che deve colpire il centro di un bersaglio (il valore vero, che chiameremo $\theta$). Hai a disposizione diverse frecce (i tuoi stimatori, ovvero i metodi matematici per fare una previsione).

Per molto tempo, gli statistici hanno guardato solo una cosa: "Quanto lontano finisce la freccia in media?". Se due arcieri hanno la stessa "media di distanza" dal centro, venivano considerati ugualmente bravi. Era come dire: "Entrambi mancano il bersaglio di 10 centimetri in media, quindi sono pari".

Ma Hjort e Fenstad si sono chiesti: "E se uno dei due manca il bersaglio di 10 cm per 100 volte, e l'altro lo manca di 10 cm solo per 10 volte, ma poi ne colpisce uno di 100 cm? Chi è davvero meglio?"

Il Concetto Chiave: "Il numero di errori $\epsilon$"

Invece di guardare la distanza media, questi ricercatori hanno deciso di contare quante volte l'arciere manca il bersaglio di più di una certa piccola quantità $\epsilon$ (una soglia di tolleranza).
Chiamiamo questo conteggio $Q_\epsilon$.

• Prima generazione (Primo ordine): Hanno scoperto che se guardi un arco di tempo lunghissimo e riduci la soglia di errore ($\epsilon$) sempre di più, il numero totale di errori è legato alla "varianza" (la disordine) della tua freccia. Se due arcieri hanno la stessa varianza, hanno lo stesso numero di errori. Punto e basta. Non si può distinguere tra loro.

• La novità di questo articolo (Secondo ordine): Loro dicono: "Aspetta! Anche se due arcieri hanno la stessa varianza, potrebbero esserci piccole differenze nella forma della loro distribuzione (ad esempio, se tendono a sbagliare più spesso a sinistra che a destra, o se la loro mano trema in modo asimmetrico)."

Hanno creato una nuova lente d'ingrandimento per vedere queste differenze sottili. Chiamano questo "Deficienza Asintotica Relativa". In parole povere: "Se due metodi sembrano uguali, quale dei due commetterà in assoluto il minor numero di errori piccoli nel lungo periodo?"

L'Analogia del "Passeggiatore Ubriaco" (Il Moto Browniano)

Per capire come funziona la loro matematica, immagina un passeggiatore ubriaco che cammina su una linea retta (il tempo).

• Se il passeggiatore si allontana troppo dal centro (il bersaglio), viene contato come un "errore".
• Hjort e Fenstad hanno scoperto che il numero totale di volte in cui questo ubriaco esce dalla zona sicura è legato a quanto tempo passa vicino ai bordi della strada.
• La loro "seconda generazione" di matematica guarda non solo se l'ubriaco esce, ma come esce e quanto tempo ci mette a rientrare, tenendo conto di piccoli dettagli come la sua "zoppia" (la asimmetria o skewness dei dati).

I Risultati Sorprendenti: "La Regola del Terzo"

Il paper prende problemi classici di statistica e mostra come cambiare leggermente una formula possa far risparmiare molti errori. Ecco gli esempi più famosi:

1. La Varianza (Il calcolo della dispersione):
   Quando calcoliamo quanto sono dispersi i dati (la varianza), la formula classica divide per $N$ (numero di dati) o $N-1$.

   • La formula classica ($N-1$) è quella "imparziale" (unbiased).
   • La formula di massima verosimiglianza ($N$) è quella più comune.
   • La scoperta di Hjort e Fenstad: Se il tuo obiettivo è commettere il minor numero possibile di piccoli errori, la formula migliore non è né $N$ né $N-1$, ma $N - 1/3$.
   • Metafora: È come se per fare la torta perfetta, invece di usare un bicchiere standard o uno leggermente più piccolo, dovessi usare un bicchiere che è esattamente un terzo di tazza più piccolo del normale. Sembra strano, ma è quello che minimizza gli errori di cottura.

2. La Media Esponenziale:
   Per stimare la media di certi processi (come il tempo di attesa), la formula migliore non è quella che tutti usano, ma una che divide per $N + 1/3$.

3. La Probabilità Binomiale (Lanci di moneta):
   Se vuoi stimare la probabilità di un evento raro, la formula migliore non è "teste diviso lanci", ma una formula che aggiunge un "fondo di sicurezza" di $2/3$** al numeratore e **$4/3$ al denominatore.

Perché è importante?

Immagina di dover costruire un ponte. Due ingegneri usano due metodi di calcolo che sembrano dare lo stesso risultato medio.

• Il Metodo A (quello classico) commetterà 100 piccoli errori di calcolo nel corso della vita del ponte.
• Il Metodo B (quello ottimizzato da Hjort e Fenstad) ne commetterà solo 90.

Sembra poco? In statistica, dove si fanno milioni di calcoli al secondo, risparmiare quel 10% di errori significa prendere decisioni migliori, previsioni più accurate e meno rischi.

In Sintesi

Questo articolo ci insegna che:

1. Non basta guardare la "media" degli errori; bisogna contare quanti errori si fanno.
2. Anche quando due metodi sembrano identici, c'è sempre un "segreto" nascosto (come la forma della distribuzione dei dati) che permette di scegliere quello perfetto.
3. A volte, la soluzione migliore non è quella che ci hanno insegnato a scuola ($N$ o $N-1$), ma una versione leggermente modificata (come $N - 1/3$) che tiene conto di come i dati si comportano realmente.

È come scoprire che per vincere una gara di corsa, non basta correre veloce in media, ma bisogna sapere esattamente come curvare per non perdere quel millisecondo che fa la differenza tra il primo e il secondo posto.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del lavoro di Nils Lid Hjort e Grete Fenstad, intitolato "Second order asymptotics for the number of times an estimator is more than ε from its target value".

1. Il Problema

Il paper affronta il problema di confrontare sequenze di stimatori $\{\hat{\theta}_n\}$ che sono asintoticamente equivalenti al primo ordine.
In molte situazioni statistiche, due stimatori competenti (ad esempio, lo stimatore a massima verosimiglianza ML, lo stimatore a varianza minima non distorto UMV, o stimatori Bayesiani) condividono la stessa distribuzione limite normale:
$$\sqrt{n}(\hat{\theta}_n - \theta) \xrightarrow{d} N(0, \sigma^2)$$
Di conseguenza, le misure tradizionali di efficienza asintotica (come l'Efficienza Relativa Asintotica, A.R.E., basata sul rapporto delle varianze $\sigma_1^2/\sigma_2^2$) falliscono nel distinguere tra questi stimatori, poiché risultano identiche.

L'obiettivo è sviluppare una teoria del secondo ordine per discriminare tra tali stimatori, identificando quale di essi commette il minor numero di errori di stima superiori a una soglia $\epsilon$ (dove $|\hat{\theta}_n - \theta| \ge \epsilon$) al tendere di $\epsilon$ a zero.

2. Metodologia

Gli autori definiscono una variabile casuale $Q_\epsilon$ come il numero di volte, lungo la sequenza di osservazioni $n \ge 1$, in cui l'errore assoluto dello stimatore supera una soglia $\epsilon$:
$$Q_\epsilon = \sum_{n \ge 1} \mathbb{I}\{|\hat{\theta}_n - \theta| \ge \epsilon\}$$
Dove $\mathbb{I}$ è la funzione indicatrice.

Approccio Asintotico:

1. Risultato di Primo Ordine (Precedente): In un lavoro precedente (Hjort & Fenstad, 1992), è stato dimostrato che $\epsilon^2 Q_\epsilon$ converge in distribuzione a una variabile legata al tempo che un moto browniano $W(s)$ trascorre fuori dalla regione $|W(s)| \le s/\sigma$. L'aspettativa è $\epsilon^2 E[Q_\epsilon] \to \sigma^2$.
2. Approccio del Secondo Ordine (Attuale): Poiché per stimatori con la stessa $\sigma^2$ il rapporto $E[Q_{1,\epsilon}]/E[Q_{2,\epsilon}] \to 1$, gli autori studiano la differenza delle aspettative:
   $$\text{A.R.D.} = \lim_{\epsilon \to 0} E[Q_{1,\epsilon} - Q_{2,\epsilon}]$$
   Questa quantità è definita come "Deficienza Relativa Asintotica" (Asymptotic Relative Deficiency, A.R.D.).

Strumenti Matematici:

• Espansioni di Edgeworth: Utilizzate per approssimare la funzione di distribuzione cumulativa di $\hat{\theta}_n$ fino a termini di ordine $O(n^{-3/2})$, catturando l'effetto dell'asimmetria (skewness) della distribuzione sottostante.
• Approssimazioni di Taylor: Per analizzare le differenze nelle probabilità di errore quando si modificano i parametri dello stimatore (es. coefficienti di correzione).
• Approssimazione Browniana: Il comportamento asintotico è collegato al moto browniano e ai tempi di permanenza su curve specifiche.

3. Risultati Chiave e Contributi

A. Formula Generale per la Stima della Media

Per una sequenza di stimatori della forma $\hat{\xi}_n(c, d) = \frac{n}{n+c}\bar{X}_n + \frac{c}{n+c}d$ (dove $c$ è un parametro di correzione e $d$ un valore a priori), gli autori derivano una formula esplicita per la differenza attesa di errori rispetto allo stimatore standard ($c=0, d=0$):
$$\lambda_0(c, d) = \frac{(\xi - d)^2}{\sigma^2}c^2 - 2\left(1 - \frac{\gamma}{3}\frac{\xi - d}{\sigma}\right)c$$
Dove:

• $\xi$ è la vera media.
• $\sigma^2$ è la varianza.
• $\gamma$ è l'asimmetria (skewness) della distribuzione dei dati ($E[(X-\xi)^3]/\sigma^3$).

Implicazione fondamentale: A differenza della deficienza di Hodges-Lehmann (basata sulla differenza di dimensione campionaria), la deficienza basata su $Q_\epsilon$ dipende naturalmente dall'asimmetria della distribuzione.

B. Applicazioni Specifiche

1. Media Normale:

   • Se si ha una conoscenza a priori (media $\theta_0$, varianza $\tau^2$), lo stimatore ottimale che minimizza gli errori $\epsilon$ è una combinazione lineare che coincide con la formula bayesiana standard: $\theta^*_n = \frac{n}{n+1/\tau^2}\bar{X}_n + \frac{1/\tau^2}{n+1/\tau^2}\theta_0$.

2. Media Esponenziale:

   • Per dati esponenziali (dove $\gamma=2$), lo stimatore ML ($c=0$) commette più errori rispetto allo stimatore con $c=1/3$. Lo stimatore ML commette $1/9$ di errori in più rispetto all'ottimo.

3. Varianza Normale (Risultato Sorprendente):

   • Considerando la stima della varianza $\sigma^2$ con denominatore $N-1+c$.
   • Lo stimatore ML usa $c=-1$ (denominatore $N$).
   • Lo stimatore non distorto (UMV) usa $c=0$ (denominatore $N-1$).
   • Risultato: Lo stimatore che minimizza il numero atteso di errori $\epsilon$ ha $c = -1/3$.
   • Formula Ottimale: $\hat{\sigma}^2 = \frac{\sum (X_i - \bar{X})^2}{N - 1/3}$.
   • Questo dimostra che il denominatore $N-1/3$ è superiore sia a $N$ che a $N-1$ in termini di frequenza degli errori di stima.

4. Quadrato della Media Normale:

   • Per stimare $\theta = \xi^2$, lo stimatore ML è $(\bar{X}_n)^2$ e l'UMV è $(\bar{X}_n)^2 - \sigma^2/n$.
   • L'analisi mostra che lo stimatore ottimale è $(\bar{X}_n)^2 + \sigma^2/n$ (corrispondente a un parametro di correzione $d=-1$ nella forma generale), che commette meno errori rispetto sia a ML che a UMV.

5. Probabilità Binomiale:

   • Viene identificata la sequenza minimax di secondo ordine: $\hat{p}_n = \frac{Y_n + 2/3}{n + 4/3}$, che supera la frequenza relativa standard $Y_n/n$.

C. Risultati Distribuzionali (Sezione 6)

Oltre alle aspettative, gli autori studiano la distribuzione limite della differenza $Q_{1,\epsilon} - Q_{2,\epsilon}$.

• Mentre $\epsilon^2(Q_{1,\epsilon} - Q_{2,\epsilon}) \to 0$ in probabilità, la quantità scalata $\epsilon(Q_{1,\epsilon} - Q_{2,\epsilon})$ converge in distribuzione a una variabile $A - B$.
• $A$ e $B$ sono legate ai tempi totali relativi che un moto browniano trascorre sulle linee di confine $\pm s/\sigma$.
• Queste variabili hanno distribuzioni esponenziali o miscele di esponenziali e masse puntuali.

4. Significato e Importanza

• Nuovo Criterio di Ottimalità: Il paper introduce un criterio di "secondo ordine" basato sul conteggio degli errori ($Q_\epsilon$) che è più sensibile delle misure tradizionali quando l'efficienza asintotica è identica.
• Ruolo dell'Asimmetria: Dimostra che l'asimmetria della distribuzione dei dati gioca un ruolo cruciale nella scelta dello stimatore ottimale, un fattore spesso ignorato nelle analisi di primo ordine.
• Correzioni Pratiche: Fornisce correzioni concrete e controintuitive per problemi classici (es. la varianza campionaria). Il suggerimento di usare $N-1/3$ invece di $N$ o $N-1$ offre una giustificazione teorica rigorosa basata sulla minimizzazione degli errori di stima, non solo sulla distorsione o sulla varianza.
• Connessione con il Moto Browniano: Stabilisce un legame profondo tra la statistica asintotica degli stimatori e la teoria del moto browniano (tempi di permanenza), collegando il lavoro a ricerche più ampie sui processi stocastici.

In sintesi, il lavoro fornisce un quadro teorico robusto per selezionare il "migliore" stimatore tra quelli asintoticamente equivalenti, dimostrando che piccole modifiche ai denominatori o ai coefficienti di correzione possono portare a riduzioni significative nel numero atteso di errori di stima su lunghe sequenze di dati.