Resumo Técnico: PCA Não Linear via Estratégias de Evolução

Definição do Problema

A Análise de Componentes Principais (PCA) é uma técnica dominante de redução de dimensionalidade, valorizada por sua interpretabilidade e natureza determinística. No entanto, sua dependência de transformações lineares limita sua capacidade de capturar estruturas não lineares complexas inerentes a dados do mundo real. As extensões não lineares existentes enfrentam compromissos significativos:

• PCA de Kernel (kPCA): Embora capture a não linearidade, sacrifica a interpretabilidade (os componentes principais não mapeiam diretamente para as variáveis originais) e enfrenta dificuldades na seleção de hiperparâmetros.
• Autoencoders: Carecem da maximização intrínseca de variância e das propriedades de ortogonalidade do PCA, e suas variáveis latentes são frequentemente difíceis de interpretar.
• Tratamento de Dados Categóricos: O PCA padrão e muitos métodos de NLPCA falham em lidar nativamente com variáveis categóricas ou ordinais. A conversão desses dados para codificações one-hot causa uma "explosão dimensional", onde os níveis categóricos dominam a contribuição da variância, enviesando a análise. Além disso, métodos existentes como a Análise de Fatores Múltiplos (MFA) exigem codificação one-hot, o que leva à instabilidade em conjuntos de dados com muitos níveis únicos.

Os autores identificam uma lacuna para um framework que unifique a interpretabilidade do PCA com a flexibilidade das redes neurais, capaz de lidar com tipos de dados mistos sem explosão dimensional.

Metodologia

O framework proposto, PCA Não Linear via Estratégias de Evolução (ES), consiste em três componentes principais:

1. Parametrização de Transformações

Em vez de aprender um mapeamento não linear global, o método parametriza uma função de transformação separada $\Phi_l$ para cada variável original $X^{(l)}$.

• Arquitetura: Cada $\Phi_l$ é implementado como uma rede neural feed-forward simples.
• Tratamento de Categóricos: Para variáveis categóricas, a entrada é codificada como one-hot, mas a rede produz um único valor escalar. Isso garante que cada variável original (seja numérica ou categórica) mapeie para exatamente uma dimensão transformada, evitando a explosão dimensional associada ao one-hot encoding padrão no PCA ou MFA.
• Interpretabilidade: O mapeamento um-para-um permite que os componentes resultantes sejam rastreados até variáveis originais específicas.

2. Otimização via Estratégias de Evolução

A função objetivo envolve a decomposição em autovalores da matriz de covariância, que não é diferenciável. Consequentemente, o backpropagation padrão não pode ser utilizado.

• Algoritmo: Os autores empregam Estratégias de Evolução (ES), um método de otimização de caixa-preta livre de derivadas.
• Processo: Os parâmetros das redes neurais são perturbados com ruído Gaussiano. O valor da função objetivo é computado para cada perturbação, e os parâmetros são atualizados com base em uma aproximação de gradiente derivada das amostras de ruído ponderadas. Isso contorna as restrições de diferenciabilidade da decomposição em autovalores padrão.

3. Funções Objetivo Inovadoras

O artigo introduz duas funções objetivo para maximizar a variância explicada dos primeiros $k$ componentes principais:

• Objetivo Global ($F^k_{global}$): Maximiza a soma das variâncias dos primeiros $k$ componentes. Isso fornece um sinal escalar único para todo o sistema.
• Objetivo Parcial (Granular) ($F^k_l$): Uma contribuição inédita que decompõe a variância global para maximizar a contribuição de variância individual de cada variável transformada.
  • Com base na Proposição 3.1, a contribuição de variância $c_{j,l}$ da variável $l$ para o autovalor $j$ é calculada.
  • O objetivo maximiza a soma dessas contribuições individuais para cada variável separadamente.
  • Escalonamento: Para garantir uma comparação justa com o objetivo global, o objetivo global é reduzido pelo número de variáveis $p$ para igualar a magnitude do passo de aprendizado em ES.

Principais Contribuições

1. Extensão Não Linear via Neuroevolução: O artigo propõe um framework de NLPCA robusto onde as transformações de variáveis são parametrizadas por redes neurais e otimizadas usando ES. Isso permite mapeamentos complexos arbitrários enquanto evita os problemas de diferenciabilidade da decomposição em autovalores padrão.
2. Maximização de Variância Granular: A introdução da função objetivo parcial é uma contribuição primária. Ao isolar e maximizar a contribuição de variância específica de cada variável, o método fornece um sinal de aprendizado mais forte e robusto do que a maximização de variância global, particularmente em dimensões mais altas.
3. Tratamento Unificado de Dados: O método lida nativamente com variáveis numéricas, categóricas e ordinais simultaneamente. Ao mapear cada variável categórica para uma única coluna transformada, evita a explosão dimensional do one-hot encoding, preenchendo a lacuna entre o Kernel PCA e métodos tradicionais baseados em componentes, como o MFA.

Resultados Experimentais

O método foi avaliado em três conjuntos de dados sintéticos (círculos aninhados, esferas, listras alternadas) e cinco conjuntos de dados do mundo real (crédito, ionosfera, câncer de mama, coração, vinho) do OpenML.

• Variância Explicada: O método proposto (ES-PCA) superou consistentemente o PCA linear em todos os conjuntos de dados.
• Comparação com kPCA: O método ES-PCA, particularmente com o objetivo parcial (ES-Partial), superou significativamente o Kernel PCA (kPCA) em conjuntos de dados do mundo real para $k=2$ (variância cumulativa dos dois primeiros componentes).
  • Nota: A comparação com o kPCA foi favorável ao kPCA, pois o melhor resultado entre quatro kernels (rbf, cosseno, polinomial, sigmoide) foi relatado sem ajuste fino, enquanto o ES-PCA utilizou parâmetros padrão.
• Desempenho do Objetivo: O objetivo parcial produziu consistentemente uma maior variância explicada e uma convergência mais rápida em comparação com o objetivo global. O ganho de desempenho do objetivo parcial sobre o objetivo global correlacionou-se fortemente com a dimensionalidade do conjunto de dados ($\rho=0,87$ para $k=1$ e $\rho=0,98$ para $k=2$).
• Interpretabilidade: Resultados qualitativos em conjuntos de dados sintéticos demonstraram que as transformações aprendidas eram intuitivamente interpretáveis (por exemplo, capturando diferenças de raio em esferas ou periodicidade em listras). O método preservou a capacidade de usar ferramentas de visualização padrão do PCA, como biplots.

Significância e Alegações

O artigo afirma abordar a "lacuna" na pesquisa de NLPCA identificada em revisões anteriores: a necessidade de um framework geral com transformações parametrizadas que mantenha a interpretabilidade.

• Interpretabilidade: Diferente de autoencoders ou kPCA, este método preserva o mapeamento um-para-um entre as variáveis originais e transformadas, permitendo que analistas utilizem ferramentas padrão, como biplots, para visualizar contribuições de características e relações não lineares.
• Robustez aos Tipos de Dados: Ao lidar com variáveis categóricas sem one-hot encoding, o método oferece uma abordagem mais estável e eficiente para conjuntos de dados do mundo real não curados, onde os níveis categóricos podem ser numerosos ou inconsistentes.
• Sinal de Aprendizado: Os autores afirmam que o objetivo parcial granular fornece um sinal de aprendizado superior, permitindo que o modelo aprenda de forma mais eficaz em espaços de alta dimensão, onde objetivos globais podem ter dificuldade em fornecer orientação específica para transformações individuais.

Os autores mantêm modéstia quanto ao estado atual do trabalho, observando que a variância explicada ainda está aumentando com o número de gerações, sugerindo que ganhos adicionais são possíveis. Eles também reconhecem que, embora o método lide melhor com outliers do que o PCA padrão em alguns contextos, técnicas de PCA robusto poderiam ser integradas em trabalhos futuros.