Robust functional PCA for relative data

Resumo Técnico: PCA Funcional Robusto para Dados Relativos

Definição do Problema
A Análise de Dados Funcionais (FDA) tem se concentrado tradicionalmente na magnitude absoluta, mas muitos contextos aplicados envolvem dados funcionais "relativos", como funções de densidade de probabilidade (PDFs), taxas de fertilidade por idade ou curvas espectrais. Nesses contextos, a informação de interesse reside no padrão de distribuição ou na forma, e não na escala absoluta. As técnicas padrão de FDA frequentemente falham nesse domínio porque não respeitam a natureza composicional dos dados (restrições de não negatividade e de integral unitário).

Embora trabalhos recentes tenham estabelecido o arcabouço do espaço de Bayes para modelar tais dados como composições de dimensão infinita, as ferramentas de redução de dimensionalidade existentes dentro deste espaço, especificamente o PCA Funcional Simplicial (SFPCA), dependem de operadores de covariância amostrais. Esses estimadores padrão são altamente sensíveis a outliers e observações anômalas. Em dados relativos, os outliers frequentemente se manifestam como anomalias estruturais de forma (ex: redistribuição inesperada de massa) em vez de simples desvios de magnitude, tornando os métodos tradicionais (projetados para espaços euclidianos) ou o SFPCA padrão ineficazes. Há uma carência de metodologias robustas capazes de lidar com essas anomalias enquanto preservam a estrutura geométrica do espaço de Bayes.

Metodologia
O artigo propõe o PCA de Densidade Robusto (RDPCA), um método projetado para estimar componentes principais funcionais (FPCs) para dados de densidade na presença de outliers. A metodologia procede através dos seguintes passos teóricos e algorítmicos:

1. Arcabouço do Espaço de Bayes: Os dados $X$ são modelados como um elemento de um espaço de Hilbert $B^2(I)$ de densidades positivas com integral unitária. A análise utiliza a transformação de log-razão centrada (clr), que mapeia o espaço de Bayes isometricamente para um subespaço de $L^2(I)$ (funções que integram zero), permitindo o uso de ferramentas padrão de espaço de Hilbert enquanto respeita a natureza relativa dos dados.

2. Distância de Mahalanobis Regularizada (RDMD):

   • A inovação central é a extensão da distância de Mahalanobis para os espaços de Bayes. Em configurações de dimensão infinita, o operador de covariância não é invertível. Para abordar isso, os autores definem uma padronização regularizada de uma densidade $X$ resolvendo um problema de otimização do tipo Tikhonov:
     $$X^{\alpha, L}_{st} = \arg \min_{Y \in B^2(I)} \left\{ \|C^{1/2}_{B^2,X} Y \ominus X\|^2_{B} + \alpha \|LY\|^2_{B} \right\}$$
     onde $C_{B^2,X}$ é o operador de covariância, $\alpha > 0$ é um parâmetro de regularização e $L$ é um operador de regularização (ex: um projetor ortogonal sobre o complemento dos primeiros $k$ autofunções).
   • A Distância de Mahalanobis de Densidade Regularizada (RDMD) é então definida como a norma ao quadrado da diferença entre as densidades padronizadas: $M^2_{\alpha,k,B^2}(X, Y) = \|X^{\alpha,k}_{st} \ominus Y^{\alpha,k}_{st}\|^2_{B^2}$.
   • Esta distância generaliza conceitos anteriores de Mahalanobis funcional (distâncias de Mahalanobis truncadas e $\alpha$-Mahalanobis) e leva em conta as restrições específicas de dados de densidade.

3. Estimativa de Covariância Robusta:

   • Utilizando a RDMD como uma medida de centralidade, o método emprega um estimador de covariância podado (trimmed). Um subconjunto ótimo $H_0$ dos dados é identificado minimizando a média das distâncias RDMD ao quadrado das observações no subconjunto.
   • A média e a covariância robustas são calculadas utilizando apenas este subconjunto central. Um fator de escala é aplicado para garantir consistência sob suposições gaussianas, embora o método não exija estritamente gaussianidade para a estimativa em si.

4. Algoritmo (RDPCA):

   • O procedimento é iterativo. Ele alterna entre estimar a média/covariância robusta no subconjunto atual e reavaliar o subconjunto com base nas RDMDs atualizadas até a convergência.
   • O método suporta tanto dados discretizados (aproximados via somas integrais) quanto representações funcionais (projetadas em uma base, como splines composicionais). A Proposição 4.1 demonstra que, quando os dados são expressos em uma base ortonormal fixa, a RDMD pode ser computada exatamente usando operações matriciais nos coeficientes da base.

Principais Resultados
O desempenho do RDPCA foi avaliado através de estudos de simulação e aplicações de dados reais:

• Simulações:

  • Na presença de outliers (introduzidos via modelo de $\epsilon$-contaminação de Huber), o RDPça superou significativamente o SFPCA padrão na estimativa tanto do operador de covariância quanto dos componentes principais.
  • As métricas incluíram o Erro Quadrático Integrado (ISE) para estimativa de covariância e a similaridade de cosseno média para autofunções. O RDPCA manteve alta precisão mesmo com taxas de contaminação de até 20%.
  • Interessantemente, o RDPCA também mostrou desempenho superior ao SFPCA em configurações não contaminadas, particularmente quando a distribuição de escore subjacente era de cauda pesada (ex: distribuição $t$ multivariada).
  • O método identificou com sucesso outliers baseando-se na distribuição limite da RDMD, enquanto métodos não robustos falharam em distinguir curvas atípicas.

• Aplicações de Dados Reais:

  • Espectros EPXMA: Aplicado a espectros de vasos de vidro, o RDPCA distinguiu efetivamente diferentes tipos de vidro e identificou espectros discrepantes que métodos padrão perderam. A função de correlação robusta revelou diferenças estruturais obscurecidas pelo viés de métodos não robustos.
  • Dados de Fertilidade: Analisou as taxas de fertilidade por idade (ASFR) entre países e anos. O método identificou países com padrões de fertilidade incomuns (ex: Japão em 1956) e capturou a evolução da dinâmica da fertilidade (mudança de picos do início dos 20 anos para cerca de 30 anos) de forma mais robusta que abordagens padrão.

Significância e Alegações
O artigo afirma fornecer o primeiro arcabouço robusto para PCA especificamente adaptado para dados funcionais relativos dentro do espaço de Bayes. Suas principais contribuições são:

1. Extensão Teórica: Estende o conceito de distância de Mahalanobis regularizada para espaços de Bayes, abordando a não invertibilidade do operador de covariância em dimensões infinitas enquanto respeita a geometria composicional de dados de densidade.
2. Robustez a Anomalias Estruturais: Ao contrário dos métodos tradicionais de FDA que tratam outliers como desvios de magnitude, o RDPCA é projetado para detectar e reduzir o peso de anomalias de forma estrutural inerentes aos dados relativos.
3. Utilidade Prática: O método oferece um algoritmo computacionalmente viável (Algoritmo 1) que funciona tanto com dados discretizados quanto com expansão de base, fornecendo uma ferramenta viável para analisar funções de densidade na presença de ruído e outliers.

Os autores enfatizam que o objetivo não é meramente a detecção de outliers, mas a construção de métodos de PCA robustos que produzam estimativas precisas de covariância e componentes principais. Eles observam que, embora o trabalho atual se concentre em densidades univariadas, o arcabouço abre caminhos para futuras extensões para densidades multivariadas e superfícies aleatórias, embora estas permaneçam fora do escopo atual.