Limiting laws and consistent estimation criteria for fixed and diverging number of spiked eigenvalues

1. Problema e Contexto

O artigo aborda o problema fundamental da Análise de Componentes Principais (PCA) em regimes de alta dimensão, onde o número de variáveis $p$ e o tamanho da amostra $n$ tendem ao infinito. O foco específico é o modelo de covariância picada (spiked covariance model), onde a matriz de covariância populacional $\Sigma$ possui $k$ autovalores "picados" ($\lambda_1, \dots, \lambda_k$) que são significativamente maiores que os demais autovalores de "bulk" ($\lambda_{k+1}, \dots, \lambda_p$).

O objetivo central é duplo:

1. Estabelecer as leis de limite (distribuições assintóticas) para os autovalores amostrais picados ($d_1, \dots, d_k$) quando $p \to \infty$.
2. Desenvolver critérios de estimação consistentes para determinar o número de picos ($k$), cobrindo cenários onde $k$ é fixo ou diverge (cresce com $n$), e onde $p$ pode ser fixo ou divergente.

Desafios existentes na literatura:

• Muitos trabalhos anteriores assumem que $k$ é fixo.
• Assumem frequentemente que os autovalores picados são uniformemente limitados ou tendem ao infinito de forma específica.
• Assumem que os autovalores de bulk são iguais (modelo padrão) ou impõem condições de "delocalização" ou esparsidade nos autovetores.
• Critérios como AIC e BIC podem falhar em consistência ou sofrer de subestimação em amostras finitas com baixa relação sinal-ruído (SNR).

2. Metodologia e Pressupostos

Os autores utilizam técnicas de Teoria de Matrizes Aleatórias para derivar resultados teóricos rigorosos.

Modelo e Pressupostos:

• Dados: $x_1, \dots, x_n$ são amostras i.i.d. de uma distribuição multivariada com média 0 e covariância $\Sigma$.
• Decomposição Espectral: $\Sigma = \Gamma \Lambda \Gamma^\top$, onde $\Lambda$ contém os autovalores picados e de bulk.
• Modelo Geral: Diferente do modelo padrão (onde $\lambda_{k+1} = \dots = \lambda_p$), este trabalho permite que os autovalores de bulk sejam distintos e que os autovalores picados não sejam uniformemente limitados nem necessariamente tendam ao infinito.
• Regimes de Divergência:
  • $n, p \to \infty$ com $p/n \to c > 0$.
  • O número de picos $k$ pode divergir, mas com restrições de taxa: $k = o(n^{1/3})$ para distribuições Gaussianas e $k = o(n^{1/4})$ para distribuições gerais com momentos de quarta ordem finitos.
• Condições de Separação: Assume-se que os autovalores picados são bem separados ($\lambda_i / \lambda_{i+1} \ge c_0 > 1$) e que a derivada da função de transformação $\psi'(\lambda_k) > 0$.

Ferramentas Matemáticas:

• Transformadas de Stieltjes para analisar a distribuição espectral empírica.
• Teoremas do Limite Central (CLT) para estatísticas espectrais lineares.
• Expansões de Taylor e desigualdades de concentração para controlar erros em matrizes aleatórias.

3. Principais Contribuições

A. Leis de Limite para Autovalores Picados

Os autores derivam a convergência e a normalidade assintótica dos autovalores amostrais picados $d_i$:

1. Convergência: Mostram que $d_i$ converge em probabilidade para $\psi_n(\lambda_i)$, onde $\psi_n$ é uma função dependente da distribuição espectral de bulk e da razão $c$.
2. Taxa de Consistência: Estabelecem que os estimadores são consistentes na taxa $\sqrt{n/k}$.
3. Normalidade Assintótica: Derivam a distribuição normal assintótica para $\sqrt{n}(d_i - \psi_n(\lambda_i))$, fornecendo a variância explícita tanto para o caso Gaussiano quanto para o caso geral (dependendo do momento de quarta ordem $\nu_4$ e dos autovetores).
4. Inovação: Estes resultados são válidos mesmo quando $k$ diverge, uma melhoria significativa sobre trabalhos anteriores que exigiam $k$ fixo ou taxas de divergência mais lentas (ex: $o(n^{1/6})$).

B. Critérios de Informação Consistentes (Estimação de $k$)

O artigo propõe e analisa critérios de informação generalizados para estimar $k$:

1. Caso $p$ Fixo:

   • Propõem um Critério de Informação Geral (GIC): $GIC(k') = -\log \tilde{L}_{k'} + k'(p - k'/2 + 1/2)C_n$.
   • Demonstram que a consistência é garantida se $C_n \to \infty$ e $C_n/n \to 0$.
   • Melhoria sobre BIC: O BIC usa $C_n = \log n / 2$, que pode ser muito grande em amostras finitas, levando à subestimação. O GIC permite penalidades mais fracas (ex: $C_n = \log \log n$), garantindo consistência teórica e melhor desempenho prático em SNR baixo.

2. Caso $p$ Divergente (Modelo Padrão):

   • Propõem um GIC adaptado que depende da relação sinal-ruído (SNR) através de um parâmetro $\gamma$.
   • O critério é consistente se $\gamma$ estiver dentro de um intervalo determinado por $\phi(\lambda_k)$ e $\phi(1+\sqrt{c})$.
   • Mostra-se que tanto AIC quanto BIC são casos especiais, mas o GIC proposto oferece consistência sob condições mais gerais (permitindo $k = o(n^{1/3})$).

3. Caso $p$ Divergente (Modelo Geral):

   • Para o modelo onde os autovalores de bulk não são iguais, propõem um GIC Ajustado (AGIC).
   • O AGIC utiliza uma transformação dos autovalores amostrais baseada na matriz de correlação para lidar com a heterogeneidade do bulk.
   • É consistente sob distribuições gerais com momentos de ordem superior a 4.

4. Resultados Empíricos e Simulações

Os autores validam suas propostas através de extensos estudos de simulação e aplicação a dados reais:

• Simulações:

  • Compararam GIC e AGIC com métodos existentes (AIC, BIC, PC3, ON2, KN, DDPA, ACT, BEMA).
  • Desempenho: Em cenários de baixa SNR e amostras finitas, os métodos propostos (especialmente GIC com penalidades log-log e AGIC) superaram consistentemente o BIC (que tende a subestimar) e o AIC (que tende a superestimar).
  • O AGIC demonstrou robustez superior em modelos de covariância geral (bulk heterogêneo), onde métodos baseados no modelo padrão falharam.
  • A taxa de sucesso na recuperação de $k$ foi alta mesmo quando $k$ crescia com $n$.

• Aplicações a Dados Reais:

  1. Portfólios Fama-French (Finanças): Dados de retornos de 100 portfólios. O AGIC identificou corretamente $k=3$ (fatores de mercado, tamanho e valor), enquanto outros métodos superestimaram significativamente (ex: GIC encontrou 47, KN encontrou 57).
  2. Projeto 1000 Genomas (Biologia): Dados de genótipos de 5 grupos étnicos. O modelo teórico prevê $k=4$. Tanto GIC quanto AGIC estimaram corretamente $k=4$, enquanto outros métodos (KN, DDPA) superestimaram.
  3. Células Mononucleares de Sangue Periférico (PBMC): Dados de RNA-seq de células únicas. O AGIC e GIC identificaram corretamente os 6 tipos celulares principais, enquanto métodos concorrentes variaram de subestimação a superestimação extrema (ex: DDPA estimou 2626).

5. Significado e Impacto

Este trabalho representa um avanço significativo na estatística de alta dimensão por várias razões:

1. Generalidade do Modelo: Remove restrições rígidas sobre a estrutura dos autovalores de bulk e a magnitude dos picos, tornando a teoria aplicável a cenários do mundo real mais complexos.
2. Divergência de $k$: É um dos primeiros trabalhos a fornecer leis de limite e critérios consistentes quando o número de fatores $k$ cresce com o tamanho da amostra, um cenário comum em Big Data.
3. Solução para o Problema de Penalização: Oferece uma solução teórica para o dilema de escolha de penalidade em critérios de informação, permitindo o uso de penalidades mais fracas que o BIC para evitar a subestimação em baixas SNR, sem sacrificar a consistência assintótica.
4. Robustez Prática: A proposta do AGIC para modelos gerais preenche uma lacuna importante, pois a maioria dos métodos existentes falha quando a suposição de autovalores de bulk iguais é violada.

Em resumo, o artigo fornece a base teórica e ferramentas práticas robustas para a seleção de componentes principais em regimes de alta dimensão, superando limitações de métodos clássicos e recentes.