Spectrally Robust Covariance Shrinkage for Hotelling's $T^2$ in High Dimensions

Sintesi Tecnica: Contrazione Spettrale Robusta della Covarianza per il $T^2$ di Hotelling in Alta Dimensionalità

Definizione del Problema
Il documento affronta il problema fondamentale del rilevamento delle anomalie tramite il test $T^2$ di Hotelling nel regime di alta dimensionalità, in cui la dimensione dei dati $p$ e la dimensione del campione $n$ crescono tali che $p/n \to \phi \in (0,1)$. In questo scenario, la matrice di covarianza campionaria standard $S_n$ è inconsistente, rendendo inaffidabile il classico statistico $T^2$ di Hotelling basato sul plug-in. Sebbene siano stati proposti metodi di contrazione della covarianza (applicando una funzione agli autovalori di $S_n$), gli approoli esistenti spesso si basano su assunzioni restrittive, come modelli di covarianza "spiked", spettri ben condizionati o specifici prior del segnale. Inoltre, molti contrattori non lineari ottimali sono difficili da implementare o mancano di garanzie asintotiche rigorose per la potenza di rilevamento dello statistico di test risultante sotto condizioni spettrali generali e dati sub-gaussiani. La sfida specifica affrontata è la mancanza di un contrattore pratico e asintoticamente ottimale per il $T^2$ di Hotelling che rimanga robusto rispetto a numeri di condizionamento elevati, ordini di modello alti e deviazioni dalla gaussianità senza richiedere la conoscenza a priori della struttura fine dello spettro della popolazione.

Metodologia
Gli autori sviluppano un framework basato sulla teoria delle leggi locali anisotrope delle matrici casuali (Knowles e Yin) per derivare un contrattore spettralmente robusto.

1. Modello dei Dati e Assunzioni: Il documento assume un modello lineare sub-gaussiano in cui i vettori di dati sono generati come $x_{ni} = \Sigma_n^{1/2} w_{ni}$ con componenti i.i.d. sub-gaussiane. La covarianza della popolazione $\Sigma_n$ ha una distribuzione spettrale che converge a una misura limite $\pi_\infty$ con supporto compatto. Viene assunto un prior del segnale per il vettore di test $y_n$, specificamente un prior a massima entropia $N(0, \Omega_n)$, dove $\Omega_n$ si relaziona alla popolazione tramite una funzione regolare $h$.
2. Tassi di Convergenza: Gli autori stabiliscono tassi di convergenza stocastica per i risolventi generalizzati di Ledoit e Péché e per gli autovalori della contrazione non lineare di Ledoit e Wolf. Nello specifico, dimostrano che l'approssimazione osservabile $\tilde{d}_n(x)$ di Ledoit e Wolf converge alla densità deterministica $\delta(x)$ in $L^1(d\mu_n)$ con un tasso di $O_\prec(n^{-2/3})$. Questo tasso è critico per la standardizzazione dello statistico di test.
3. Formulazione dello Statistico di Test: Lo statistico proposto è un $T^2$ di Hotelling regolarizzato tramite contrazione (SRHT), definito come $\tilde{T}^2_n = (y_n - \bar{x}_n)' f_n(S_n) (y_n - \bar{x}_n)$, dove $f_n$ è un contrattore non lineare. Gli autori derivano la media e la varianza asintotica di questo statistico, mostrando che sotto l'ipotesi nulla, esso converge a una distribuzione gaussiana (o soddisfa i bound di concentrazione di Hanson-Wright) con parametri determinati dal contrattore e dalle proprietà spettrali.
4. Ottimizzazione Variazionale: Per ottimizzare la potenza di rilevamento, gli autori formulano un problema variazionale. Dimostrano che massimizzando il criterio di rilevamento asintotico (un surrogato della potenza) sotto il prior del segnale a massima entropia, si ottiene un contrattore ottimale $f^*$. Tale funzione ottimale è espressa esplicitamente in termini di trasformate di Hilbert della densità spettrale limite $w(x)$ e della funzione del prior del segnale $h(x)$.
5. Approssimazione a Campione Finito: Poiché il limite teorico $f^*$ dipende da quantità della popolazione sconosciute, gli autori propongono un estimatore pratico a campione finito $f_n$. Questo estimatore sostituisce la densità spettrale limite e le trasformate di Hilbert con le loro approssimazioni osservabili di Ledoit-Wolf ($\tilde{d}_n$, $\tilde{w}_n$, ecc.) e risolve una versione discreta dell'equazione integrale singolare che caratterizza $f^*$.

Contributi Chiave
Il documento presenta tre risultati teorici principali:

1. Controllo della Dimensione Asintotica: Il Teorema 5.5 stabilisce che lo statistico SRHT, quando opportunamente normalizzato utilizzando le approssimazioni a campione finito proposte, mantiene il controllo asintotico del tasso di errore di Tipo I (dimensione) per qualsiasi distribuzione di dati sub-gaussiani.
2. Caratterizzazione del Contrattore Ottimale: Il Teorema 5.6 caratterizza il contrattore ottimale $f^*$ che ottimizza asintoticamente la potenza (per dati gaussiani) o satura il limite inferiore di Hanson-Wright sulla potenza (per dati sub-gaussiani). Ciò viene ottenuto risolvendo un problema variazionale, producendo un'espressione in forma chiusa che coinvolge le trasformate di Hilbert.
3. Approssimazione Consistente a Campione Finito: Il Teorema 5.8 fornisce un contrattore pratico e computabile $f_n$ che approssima consistentemente il limite ottimale $f^*$. Gli autori dimostrano che questo metodo a campione finito raggiunge le stesse prestazioni di rilevamento asintotico dell'ottimo teorico.

Risultati Empirici
Gli autori validano il loro metodo attraverso simulazioni e analisi di dati reali:

• Dati Sintetici: Nelle simulazioni con $p=200$ e variabili numeri di condizionamento ($\kappa$ fino a $10^4$) e distribuzioni a code pesanti (Student-t), il metodo SRHT proposto dimostra un guadagno di potenza fino al 50% rispetto ai principali competitor (inclusi BS96, CQ10, LAPPW20, LW22 e CWH11) a un livello di significatività di $10^{-4}$. Il metodo mostra robustezza rispetto alla complessità spettrale e alla misspecificazione del prior del segnale $\Omega_n$.
• Dati del Mondo Reale: Utilizzando il dataset della rete di sensori CRAWDAD UMich/RSS (182 dimensioni), il metodo performa in modo competitivo. Nello specifico, assumendo un prior accoppiato alla covarianza ($\Omega \propto \Sigma$), il metodo SRHT pareggia approssimativamente l'estimatore allo stato dell'arte LW22, superando altri competitor lineari e non lineari.

Significatività e Rivendicazioni
Il documento rivendica di fornire il "primo contrattore utilizzabile che ottimizza asintoticamente il test $T^2$ di Hotelling — fino ai bound di concentrazione sub-gaussiani — attraverso un'ampia gamma di complessità spettrali". A differenza di metodi precedenti che si basano su forti assunzioni sul numero di condizionamento o sull'ordine del modello (ad esempio, modelli spiked), questo approccio è robusto rispetto a distribazioni spettrali generali. Gli autori sottolineano che il loro metodo non richiede che la covarianza della popolazione sia ben condizionata o "spiked", rendendolo applicabile a scenari complessi in finanza, genomica e processamento del segnale dove sono presenti molti segnali di disturbo fortemente correlati. Il lavoro colma il divario tra i limiti teorici delle matrici casuali e gli algoritmi di rilevamento pratici fornendo tassi di convergenza espliciti e un estimatore computabile che raggiunge l'ottimalità asintotica.