Nonparametric Estimation via Expected Order Statistics

Sintesi Tecnica: Stima Non Parametrica tramite Statistiche Ordinate Attese

Enunciato del Problema
Il lavoro affronta la stima di una funzione di distribuzione cumulativa (CDF), $F$, basata su un campione indipendente e identicamente distribuito (iid) $X_1, \dots, X_n$. Lo stimatore non parametrico standard, la CDF empirica (ECDF), $F_n$, assegna una massa di $1/n$ a ciascuna statistica ordinata osservata $X_{i:n}$. Sebbene $F_n$ sia una pietra angolare dell'inferenza non parametrica, gli autori osservano che le statistiche ordinate stesse sono variabili casuali con variabilità intrinseca. Questa variabilità contribuisce all'errore di stima di $F_n$. La domanda centrale posta è se l'errore di stima possa essere ridotto sostituendo le statistiche ordinate casuali $X_{i:n}$ con stimatori dei loro valori attesi, $\mu_{i:n} = E[X_{i:n}]$, creando così un'approssimazione "più liscia" o meno variabile della distribuzione sottostante.

Metodologia
Gli autori propongono una nuova famiglia di stimatori chiamata CDF Empirica di Hoeffding (EHCDF), indicata come $F_{n,m}$. Questo stimatore è costruito applicando un "operatore CDF di Hoeffding", $H_m$, alla distribuzione empirica $F_n$.

1. L'Operatore di Hoeffding: Per una data CDF $G$, l'operatore $H_m$ costruisce una nuova CDF che assegna una massa $1/m$ alle statistiche ordinate attese di un campione ipotetico di dimensione $m$ estratto da $G$. Nello specifico, se $\mu_{j:m}(G)$ denota la statistica ordinata attesa $j$-esima da un campione di dimensione $m$ estratto da $G$, allora:
   $$H_m(G)(x) = \frac{1}{m} \sum_{j=1}^m \mathbb{1}\{\mu_{j:m}(G) \le x\}$$
   La controparte deterministica, $F_m = H_m(F)$, è stata precedentemente studiata da Hoeffding (1953) ed è denominata CDF di Hoeffding (HCDF).

2. Lo Stimatore EHCDF: Poiché $F$ è sconosciuta, gli autori applicano l'operatore alla ECDF, $F_n$. Lo stimatore risultante è:
   $$F_{n,m} = H_m(F_n) = \frac{1}{m} \sum_{j=1}^m \mathbb{1}\{\hat{\mu}_{j:m} \le x\}$$
   dove $\hat{\mu}_{j:m}$ è lo stimatore "plug-in" della statistica ordinata attesa, calcolato come combinazione lineare delle statistiche ordinate osservate (una statistica L). Il parametro $m$ può essere scelto arbitrariamente e può differire dalla dimensione del campione $n$.

3. Rappresentazione Quantilica: Il lavoro utilizza un approccio basato sui quantili, definendo un operatore quantilico di Hoeffding $I_m$ che mappa la funzione quantilica $G^{-1}$ in una funzione a gradini. Ciò permette agli autori di sfruttare le proprietà degli spazi $L_p$ e della teoria della convergenza debole.

Contributi Chiave e Risultati Teorici

• Proprietà su Campioni Finiti:

  • Non espansività: L'operatore di Hoeffding $H_m$ è dimostrato essere non espansivo in $L_1$. Di conseguenza, la distanza tra l'EHCDF e la sua controparte deterministica ($F_m$) è limitata dall'errore $L_1$ della ECDF: $\|F_{n,m} - F_m\|_p^p \le \|F_n - F\|_1$.
  • Chiusura dei funzionali L: Il lavoro stabilisce che applicare l'operatore di Hoeffding a un funzionale L produce un altro funzionale L con pesi aggiornati. Nello specifico, l'EHCDF preserva la media campionaria ma riduce deterministicamente le misure di dispersione e forma. Ad esempio, la Differenza Assoluta Media (MAD) è scalata di $(m-1)/m$, e l'asimmetria L di $(m-2)/m$.

• Convergenza Asintotica:

  • Consistenza: Gli autori stabiliscono la convergenza quasi certa di $F_{n,m}$ alla vera CDF $F$ nella norma $L_p$ e nella distanza di Wasserstein ($W_p$) al tendere di $n, m \to \infty$. Ciò vale per $m$ fisso (convergenza stocastica verso $F_m$ seguita da convergenza deterministica di $F_m$ verso $F$) e nel limite congiunto.
  • Convergenza Debole dei Processi Quantilici: Il lavoro analizza il processo quantilico empirico $Q_{n,m} = \sqrt{n}(F_{n,m}^{-1} - F_m^{-1})$.
    • Per $m$ fisso, $Q_{n,m}$ converge debolmente in $L_p(0, 1)$ verso un processo gaussiano a gradini.
    • Nel regime congiunto $n, m \to \infty$ (specificamente se $n = o(m)$), il processo converge debolmente al limite standard del ponte browniano associato alla classica ECDF, stabilendo l'equivalenza asintotica con l'approccio classico in queste condizioni.
  • Validità del Bootstrap: La validità della procedura bootstrap è stabilita per l'EHCDF sia nel regime a $m$ fisso che nel limite congiunto.

• Distribuzioni Asintotiche dei Funzionali:

  • Il lavoro deriva le distribuzioni asintotiche per funzionali basati sulla distanza, inclusi le norme $L_p$ e le distanze di Wasserstein tra lo stimatore e la vera distribuzione. Questi risultati facilitano i test di bontà di adattamento.

Risultati delle Simulazioni
Gli autori conducono uno studio numerico confrontando l'EHCDF con la ECDF e stimatori basati su kernel (EKCDF ed EKCDFM) attraverso varie distribuzioni (Normale, Student's $t$, Weibull, Gamma, Beta, Mixture) e dimensioni campionarie.

• Prestazioni: L'EHCDF migliora generalmente la ECDF in termini di errore di stima $L_p$ (spesso del 5–15%).
• Confronto con i Kernel: Sebbene i metodi a kernel possano superare l'EHCDF in contesti specifici (ad esempio, distribuzioni Gaussiane con banda ottimale), l'EHCDF dimostra prestazioni più stabili attraverso diversi contesti distributivi, in particolare quando si affrontano code pesanti o problemi di confine dove i metodi a kernel potrebbero richiedere trasformazioni specifiche o selezione della banda.
• Comportamento MSE: La riduzione dell'errore è localizzata principalmente nel corpo della distribuzione. La stima nelle code rimane meno precisa, il che è attribuito alla natura di media dello stimatore che smussa le osservazioni estreme.

Significato e Affermazioni
Il lavoro afferma che l'EHCDF offre una nuova base per l'inferenza non parametrica che combina una costruzione semplice con una teoria asintotica trattabile.

• Vantaggio Teorico: A differenza dei metodi a kernel, la cui analisi asintotica dipende spesso pesantemente da contesti specifici (banda, effetti di confine) e può essere tecnicamente complessa, l'EHCDF ammette un trattamento più diretto tramite la sua rappresentazione quantilica, mantenendo al contempo forti proprietà statistiche.
• Utilità Pratica: Lo stimatore fornisce un'alternativa robusta che migliora la grezza ECDF e rimane competitiva con i metodi a kernel, offrendo maggiore stabilità attraverso scenari distributivi diversificati senza la necessità di complesse selezioni di banda o correzioni di confine.
• Novità: A conoscenza degli autori, $F_{n,m}$ è un nuovo stimatore. Sebbene Hoeffding (1953) abbia studiato la versione deterministica ($F_m$), questo lavoro estende il quadro al contesto stocastico ed empirico e fornisce la prima teoria asintotica completa e analisi su campioni finiti per questa famiglia di stimatori.