Limiting laws and consistent estimation criteria for fixed and diverging number of spiked eigenvalues

1. Il Problema

Il lavoro si concentra sull'analisi delle componenti principali (PCA) in contesti ad alta dimensionalità, dove la dimensione del vettore $p$ e la dimensione del campione $n$ tendono all'infinito. L'obiettivo principale è stimare il numero di "spike" (o segnali), denotato con $k$, in un modello di covarianza spiked.

Il modello considerato è una generalizzazione del classico modello spiked di Johnstone (2001):

• Modello Standard: Assume che gli autovalori del rumore ($\lambda_{k+1}, \dots, \lambda_p$) siano tutti uguali.
• Modello Generale (considerato in questo lavoro): Permette agli autovalori del "bulk" (rumore) di differire tra loro ($\lambda_{k+1} \ge \dots \ge \lambda_p$) e non richiede che gli autovalori degli spike ($\lambda_1, \dots, \lambda_k$) siano uniformemente limitati o tendano all'infinito.

La sfida principale risiede nello sviluppo di criteri di stima consistenti per $k$ sia quando $k$ è fissato, sia quando $k$ diverge (cresce) al crescere di $n$ e $p$, superando le limitazioni della letteratura esistente che spesso assume $k$ fissato o impone condizioni restrittive sugli autovalori.

2. Metodologia

Gli autori combinano la teoria delle matrici casuali (Random Matrix Theory - RMT) con l'analisi asintotica per derivare leggi limite e criteri di stima.

A. Leggi Limite per gli Autovalori Campionari

Sotto l'ipotesi che $n, p \to \infty$ con $p/n \to c > 0$, gli autori derivano le distribuzioni limite per gli autovalori campionari spiked ($d_1, \dots, d_k$):

1. Convergenza in Probabilità: Dimostrano che $d_i$ converge a una funzione deterministica $\psi_n(\lambda_i)$ che dipende dalla distribuzione spettrale del bulk e dal rapporto $c$.
2. Consistenza e Velocità: Stabiliscono che gli stimatori sono $\sqrt{n/k}$-consistenti.
3. Normalità Asintotica: Derivano la distribuzione normale asintotica per gli autovalori spiked, sia per distribuzioni Gaussiane che per distribuzioni generali con momenti finiti fino al quarto ordine.
4. Crescita di $k$: Un risultato chiave è che questi risultati valgono anche quando il numero di spike $k$ diverge, fino a un tasso di $o(n^{1/3})$ per dati Gaussiani e $o(n^{1/4})$ per distribuzioni generali. Questo rappresenta un miglioramento significativo rispetto ai lavori precedenti (es. Cai et al., 2020) che richiedevano $k = o(n^{1/6})$.

B. Criteri di Informazione Consistenti

Sulla base delle leggi limite, gli autori propongono nuovi criteri di informazione per stimare $k$:

1. Caso $p$ Fisso:

   • Analizzano i criteri AIC e BIC.
   • Propongono un Criterio di Informazione Generale (GIC) con un termine di penalità $C_n$.
   • Dimostrano che la consistenza è garantita se $C_n \to \infty$ e $C_n/n \to 0$. Questo rilassa le condizioni precedenti (es. $C_n/\log \log n \to \infty$) e permette l'uso di termini di penalità più deboli (come $\log \log n$), riducendo il rischio di sottostima in campioni finiti rispetto al BIC classico.

2. Caso $p$ Divergente (Modello Standard):

   • Propongono un GIC adattivo che include AIC e BIC come casi speciali.
   • Introducono una condizione di "gap" basata sulla funzione $\phi(x)$, legata alla differenza tra gli autovalori del segnale e del rumore.
   • Il criterio è consistente per $k$ fissato o divergente ($k = o(n^{1/3})$).

3. Caso $p$ Divergente (Modello Generale):

   • Poiché il log-verosimiglianza standard non è adatto quando gli autovalori del bulk sono diversi, gli autori propongono un GIC Aggiustato (AGIC).
   • L'AGIC utilizza una trasformazione degli autovalori campionari ($\frac{d_i}{1+\delta_i}$) per correggere l'effetto del bulk eterogeneo.
   • Questo metodo è consistente sotto distribuzioni generali con momenti di ordine superiore a 4, senza richiedere condizioni di "delocalizzazione" o sparsità sugli autovettori.

3. Contributi Chiave

1. Generalizzazione delle Leggi Limite: Estensione delle leggi limite per gli autovalori spiked a modelli con bulk eterogeneo e numero di spike divergente, con condizioni di regolarità più deboli sugli autovalori (non necessariamente limitati superiormente o tendenti a infinito).
2. Miglioramento dei Tassi di Convergenza: Dimostrazione che la consistenza e la normalità asintotica valgono per $k$ che cresce fino a $o(n^{1/3})$ (Gaussiano) e $o(n^{1/4})$ (generale), superando i limiti precedenti di $o(n^{1/6})$.
3. Nuovi Criteri di Stima:
   • Sviluppo di un GIC per $p$ fisso che funziona con termini di penalità più deboli del BIC, migliorando le prestazioni in campioni piccoli.
   • Introduzione di un GIC e di un AGIC per $p$ divergente, capaci di gestire sia modelli standard che generali, adattandosi al rapporto segnale-rumore (SNR).
4. Validazione Empirica: Dimostrazione attraverso simulazioni e dati reali che i nuovi criteri superano o sono competitivi rispetto a metodi esistenti (AIC, BIC, PC3, ON2, KN, DDPA, ACT, BEMA).

4. Risultati

• Simulazioni: Gli studi simulativi mostrano che i nuovi criteri (GIC e AGIC) hanno tassi di recupero corretto ($\hat{k} = k$) superiori rispetto ai metodi concorrenti, specialmente quando il rapporto segnale-rumore (SNR) è basso o quando $n$ e $p$ sono piccoli.
  • In scenari con $p$ fisso, i criteri con penalità iterata logaritmica (ILP) superano il BIC.
  • In scenari con $p$ divergente, AGIC supera metodi come ACT e BEMA, specialmente in presenza di rumore eterogeneo.
• Dati Reali: L'applicazione a tre dataset reali (portafogli Fama-French, dati genomici 1000 Genomes, e cellule PBMC) conferma l'efficacia del metodo. Ad esempio, nel dataset genomico, il metodo stima correttamente $k=4$ (corrispondente a 5 gruppi etnici), mentre altri metodi tendono a sovrastimare o sottostimare.

5. Significato

Questo lavoro è significativo perché colma un divario teorico importante nella PCA ad alta dimensionalità.

• Flessibilità: Rimuove assunzioni restrittive comuni (come l'omogeneità del rumore o la fissità di $k$), rendendo i metodi applicabili a scenari più realistici e complessi.
• Robustezza: Offre garanzie teoriche di consistenza anche quando il numero di fattori cresce con la dimensione del campione, un scenario sempre più comune nell'era dei Big Data.
• Praticità: Fornisce criteri di selezione del modello (GIC/AGIC) che sono teoricamente fondati e praticamente superiori, specialmente in situazioni con segnali deboli o dimensioni campionarie limitate, offrendo un'alternativa robusta ai classici AIC e BIC.

In sintesi, il paper fornisce un quadro teorico unificato e strumenti pratici avanzati per la stima del numero di componenti principali in modelli di covarianza complessi e ad alta dimensionalità.