Limiting laws and consistent estimation criteria for fixed and diverging number of spiked eigenvalues

Probleemstelling

Het artikel richt zich op het probleem van het schatten van het aantal significante componenten (spikes), aangeduid als $k$, in een gespikte covariantiemodel (spiked covariance model) binnen de context van Principal Component Analysis (PCA). Traditionele methoden voor het bepalen van $k$ (zoals AIC en BIC) zijn vaak ontwikkeld voor situaties waarbij de dimensie $p$ van de data klein is ten opzichte van de steekproefgrootte $n$, of waarbij $k$ vast is.

De auteurs adresseren echter de uitdagingen in het hoog-dimensionale regime, waarbij zowel $n$ als $p$ naar oneindig gaan ($n, p \to \infty$) met een verhouding $p/n \to c > 0$. Specifiek richten ze zich op twee beperkingen in bestaande literatuur:

1. De meeste bestaande theorieën veronderstellen dat het aantal spikes $k$ vast is, terwijl in veel moderne toepassingen $k$ kan divergeren (groeiend met $n$).
2. Bestaande resultaten vereisen vaak dat de gespikte eigenwaarden ($\lambda_1, \dots, \lambda_k$) uniform begrensd zijn of naar oneindig gaan, en dat de "bulk" eigenwaarden (de ruis) identiek zijn. De auteurs willen een meer algemeen model behandelen waarbij de bulk-eigenwaarden kunnen verschillen en de gespikte eigenwaarden geen specifieke limietgedragingen hoeven te vertonen.

Methodologie

De auteurs combineren technieken uit de Random Matrix Theory (RMT) met informatiecriteria om zowel de asymptotische wetten van de steekproef-eigenwaarden af te leiden als consistente schatters voor $k$ te ontwikkelen.

1. Asymptotische Wetten voor Gespikte Eigenwaarden:

• Ze analyseren de limietverdeling van de $k$ grootste steekproef-eigenwaarden ($d_1, \dots, d_k$) van de covariantiematrix.
• Ze gebruiken de Stieltjes-transformatie en de empirische spectrale verdeling van de bulk-eigenwaarden om de relatie tussen de populatie-eigenwaarden ($\lambda_i$) en de steekproef-eigenwaarden te karakteriseren.
• Ze bewijzen dat de steekproef-eigenwaarden consistent zijn en asymptotisch normaal verdeeld zijn, zelfs wanneer $k$ divergeert.

2. Ontwikkeling van Schattingscriteria:
De auteurs stellen twee nieuwe criteria voor, afhankelijk van het type model:

• GIC (General Information Criterion): Voor het standaard gespikte model (waarbij bulk-eigenwaarden gelijk zijn). Dit is een generalisatie van AIC en BIC die een straffingsparameter $\gamma$ bevat die zich aanpast aan het signaal-ruisverhouding (SNR).
• AGIC (Adjusted General Information Criterion): Voor het algemene gespikte model (waarbij bulk-eigenwaarden verschillend zijn). Omdat de log-likelihood in dit geval niet direct afhankelijk is van $k$, passen ze een gecorrigeerde eigenwaarde-drempel toe. Ze gebruiken de correlatiematrix in plaats van de covariantiematrix om de schatting robuuster te maken tegen heterogeniteit in de ruis.

3. Theoretische Aannames:

• De resultaten gelden voor zowel Gaussische verdelingen als algemene verdelingen met eindige vierde momenten.
• Ze stellen voorwaarden voor de groei van $k$: $k = o(n^{1/3})$ voor Gaussische data en $k = o(n^{1/4})$ voor data met eindige vierde momenten.

Belangrijkste Bijdragen

1. Uitbreiding van Divergerende $k$: Ze leiden limietwetten af voor $d_1, \dots, d_k$ waarbij $k$ niet vast is, maar kan groeien tot $o(n^{1/3})$ of $o(n^{1/4})$. Dit is een verbetering ten opzichte van eerdere werken (zoals Cai et al., 2020) die $k = o(n^{1/6})$ vereisten.
2. Verzwakking van Aannames: De resultaten gelden voor een algemeen gespikt model waarbij de bulk-eigenwaarden ($\lambda_{k+1}, \dots, \lambda_p$) niet noodzakelijk gelijk hoeven te zijn, en de gespikte eigenwaarden niet uniform begrensd of naar oneindig hoeven te gaan.
3. Consistente Criteria met Zwakkere Straffen: Voor het geval $p$ vast is, tonen ze aan dat consistentie bereikt kan worden met straffingsparameters $C_n$ die veel zwakker zijn dan die van BIC (bijv. $C_n = \log \log n$). Dit lost het probleem op dat BIC in eindige steekproeven vaak leidt tot onderschatting, vooral bij lage SNR.
4. Unificatie van Criteria: Ze introduceren een unificerend GIC dat consistent is onder bredere voorwaarden dan eerdere methoden voor AIC en BIC in hoog-dimensionale settings. Voor het algemene model introduceren ze een aangepaste versie (AGIC) die consistent blijft zonder delocalisatie- of sparsiteitsvoorwaarden voor de eigenvectoren.

Resultaten

• Theoretische Resultaten:
  • Theorema 1 & 2: Bewijzen de consistentie en convergentiesnelheid ($\sqrt{n/k}$-consistentie) van de geschatte eigenwaarden.
  • Theorema 3: Vestigt de asymptotische normaliteit van de geschatte eigenwaarden.
  • Theorema 4, 5, 6 & 7: Bewijzen de consistentie van de voorgestelde criteria (GIC en AGIC). Ze tonen aan dat de kans op het correct schatten van $k$ naar 1 convergeert wanneer $n \to \infty$, zelfs als $k$ meegroeit.
• Simulatiestudies:
  • De auteurs voeren uitgebreide simulaties uit voor zowel kleine als grote $p$, en voor standaard en algemene gespikte modellen.
  • De resultaten tonen aan dat GIC en AGIC over het algemeen beter presteren dan bestaande methoden (zoals AIC, BIC, PC3, ON2, KN, DDPA, ACT, BEMA), vooral bij lage signaal-ruisverhoudingen (SNR) en kleine steekproefgroottes.
  • Bestaande methoden zoals BIC hebben de neiging om $k$ te onderschatten bij lage SNR, terwijl AIC en andere methoden de neiging hebben tot overschatting. De nieuwe criteria vinden een betere balans.
• Toepassingen op Real-World Data:
  • Fama-French Portefeuilles: AGIC schatte correct $k=3$ (de bekende factoren), terwijl andere methoden varieerden van 1 tot 100.
  • 1000 Genomes Project: Zowel GIC als AGIC schatten correct $k=4$ (aantal etnische groepen), terwijl andere methoden overschattingen toonden.
  • PBMC (Single-cell RNA): Beide methoden schatten correct $k=6$ (celtypen), terwijl andere methoden extreme overschattingen (bijv. 2626) of onderschattingen toonden.

Significantie

Dit artikel is significant omdat het de theoretische basis voor het schatten van het aantal componenten in hoog-dimensionale data aanzienlijk verruimt.

• Praktische Toepasbaarheid: In moderne toepassingen (zoals genetica, finance en beeldverwerking) is het aantal relevante factoren vaak niet bekend en kan het groot zijn. De methode werkt ook wanneer de ruisstructuur complex is (geen uniforme bulk).
• Robuustheid: De voorgestelde criteria zijn robuust tegenover de verdeling van de data (niet alleen Gaussisch) en vereisen geen strenge voorwaarden aan de eigenvectoren.
• Verbeterde Prestaties: Door de straffingsparameter dynamisch in te stellen op basis van de SNR en de dimensie, vermijden ze de veelvoorkomende valkuil van overschatting of onderschatting die bij traditionele AIC/BIC methoden optreedt in hoog-dimensionale settings.

Kortom, het werk biedt een solide theoretisch kader en praktische tools voor het betrouwbaar bepalen van de dimensie van het signaal in complexe, hoog-dimensionale datasets.