A Robust Framework for Model Order Selection in Correlated Large-Dimensional CES Noise

Resumo Técnico: Um Estrutura Robusta para Seleção de Ordem de Modelo em Ruído CES de Grande Dimensionalidade Correlacionado

Definição do Problema
O artigo aborda o desafio fundamental de processamento de sinais de estimar o número de fontes estatisticamente significativas (ordem do modelo) em observações ruidosas. Embora métodos clássicos como o Critério de Informação de Akaike (AIC) e técnicas de subespaço funcionem bem em ruído branco e Gaussiano, eles tornam-se não confiáveis em configurações modernas de alta dimensionalidade caracterizadas por duas complexidades específicas:

1. Ruído Correlacionado: O ruído possui uma estrutura de correlação conhecida ou desconhecida (especificamente modelada aqui como uma matriz de dispersão de estrutura Toeplitz).
2. Não-Gaussianidade: O ruído segue uma distribuição Complexa Elípticamente Simétrica (CES), que inclui comportamentos de caudas pesadas e impulsivos (por exemplo, texturas K-distribuídas ou Student-t) que violam as suposições Gaussianas.

No regime de grande dimensionalidade, onde a dimensão da observação $m$ e o tamanho da amostra $N$ crescem proporcionalmente ($m/N \to c > 0$), a Matriz de Covariância Amostral (SCM) falha em fornecer estimativas consistentes, e os limiares de detecção baseados em autovalores padrão tornam-se inválidos devido à interação entre correlação e caudas pesadas.

Metodologia
Os autores propõem uma estrutura unificada de dois estágios, aplicável a três ramos distintos de estimativa. A filosofia central é primeiro "branquear" os dados para remover a estrutura de correlação desconhecida e, em seguida, aplicar a Teoria de Matrizes Aleatórias (RMT) para separar os autovalores do sinal do volume do ruído.

1. Estágio 1: Branqueamento Robusto via Retificação Toeplitz
   A estrutura estima a matriz de dispersão Toeplitz desconhecida $C$ do ruído e a inverte para branquear as observações. Três estimadores específicos foram desenvolvidos para este passo:

• Baseado em SCM: Utiliza a Matriz de Covariância Amostral retificada para uma estrutura Toeplitz.
• Baseado em Maronna: Utiliza o estimador M de Maronna (uma abordagem paramétrica robusta) retificada para a estrutura Toeplitz.
• Baseado em Tyler: Utiliza o estimador M de Tyler (uma abordagem livre de distribuição) retificada para a estrutura Toeplitz.

Uma inovação teórica chave é o operador de "retificação Toeplitz", que projeta a matriz de dispersão estimada no espaço das matrizes Toeplitz. Os autores provam que este passo suprime assintoticamente a contribuição de baixo posto do sinal, garantindo que o estimador permaneça consistente mesmo na presença de fontes.

2. Estágio 2: Limiarização de Autovalores Baseada em RMT
   Uma vez que os dados foram branqueados, uma matriz de dispersão robusta é estimada a partir das observações branqueadas. A ordem do modelo é determinada pela contagem de autovalores que excedem um limiar teórico específico derivado de RMT:

• Para os ramos SCM e Maronna: O limiar é uma expressão de forma fechada explícita $t = \frac{\Phi_\infty(1 + \sqrt{c})^2}{\xi (1 - c \Phi_\infty)}$, onde $\Phi_\infty$ e $\xi$ dependem da função de peso e da distribuição da textura.
• Para o ramo Tyler: O limiar simplifica-se para a borda superior da lei de Marčenko–Pastur, $(1 + \sqrt{c})^2$, tornando-o livre de distribuição.

Principais Contribuições
O artigo estabelece as seguintes contribuições teóricas e práticas:

• Consistência Quase Certa: Os autores provam que os estimadores retificados por Toeplitz (SCM, Maronna e Tyler) estimam consistentemente a verdadeira matriz de dispersão $C$ na presença de ruído CES correlacionado e fontes (Teoremas 1, 3 e 5).
• Limiares de RMT Explícitos: Eles derivam limiares de autovalores explícitos de forma fechada que separam o componente de sinal do componente de ruído no regime de crescimento proporcional. Isso inclui um novo limiar para o estimador de Maronna sob ruído correlacionado (Teoremas 2 e 4) e a adaptação do limite de Marčenko–Pastur para o estimador de Tyler (Teorema 6).
• Pipeline de Três Ramos: A estrutura oferece um pipeline flexível:
  • Ramo SCM: Uma abordagem de linha de base.
  • Ramo Maronna: Uma abordagem paramétrica robusta que oferece desempenho melhorado em amostras finitas quando a distribuição da textura é conhecida ou bem aproximada.
  • Ramo Tyler: Uma abordagem livre de distribuição que não requer conhecimento prévio da distribuição da textura do ruído, utilizando o limiar universal de Marčenko–Pastur.
• Estimativa de Parâmetros Baseada em Dados: O artigo fornece algoritmos práticos para estimar fatores de escala desconhecidos (como $\xi$ e a expectativa da textura) diretamente dos dados usando aproximações de "deixar um fora" (leave-one-out), permitendo a aplicação do método sem conhecimento distributivo prévio.

Resultados
A metodologia foi validada através de extensas simulações e aplicações de dados do mundo real:

• Dados Sintéticos: Simulações de Monte Carlo demonstram que os métodos propostos (M1 e M2) superam significativamente os métodos não branqueados (M3) e o AIC, particularmente em regimes de baixa Relação Sinal-Ruído (SNR) e quando as texturas do ruído se desviam de suposições Gaussianas. O ramo Maronna mostrou maior robustez ao desajuste de textura em comparação com o ramo SCM.
• Imagem Hiperespectral: Aplicado aos conjuntos de dados Indian Pines, SalinasA, PaviaU e Cars. Os métodos propostos identificaram consistentemente um número fisicamente plausível de fontes, enquanto o AIC e os métodos não branqueados superestimaram vastamente a ordem do modelo (por exemplo, estimando >200 fontes em vez de ~16).
• Detecção de Fonte de EEG: Aplicado ao conjunto de dados MAMEM EEG SSVEP ($m=256, N=500$), os critérios clássicos (AIC, MDL, KN) falharam, estimando ordens de modelo próximas à dimensionalidade dos dados ($\approx 255$). A estrutura robusta forneceu estimativas estáveis entre 6,7 e 7,8 fontes com baixa variância.
• Dados Financeiros: Aplicado a 100 portfólios Fama–French ($m=100, N=150$). Os métodos robustos identificaram entre 2 e 5 fatores dominantes, alinhando-se com estruturas de fatores financeiros conhecidas, enquanto o AIC e o MDL novamente superestimaram significativamente a contagem de fatores.

Significância e Alegações
O artigo alega que sua principal significância reside em fornecer a primeira estrutura rigorosa para seleção de ordem de modelo que lida simultaneamente com grande dimensionalidade, estruturas de correlação desconhecidas (Toeplitz) e ruído de cauda pesada não-Gaussiano sem exigir conhecimento prévio da distribuição do ruído (no ramo Tyler).

Os autores enfatizam que os métodos existentes assumem ou ruído branco, correlação conhecida ou gaussianidade, tornando-os ineficazes para aplicações práticas como imagem hiperespectral, análise de EEG e otimização de portfólio financeiro, onde essas suposições são rotineiramente violadas. Ao estabelecer a consistência quase certa e derivar limiares explícitos, o trabalho preenche a lacuna entre a Teoria de Matrizes Aleatórias teórica e o processamento de sinais robusto prático, oferecendo uma ferramenta principista para seleção de fatores e estimativa de covariância em regimes desafiadores de alta dimensionalidade.