기술 요약: 진화 전략을 통한 비선형 PCA

문제 정의

주성분 분석(PCA)은 해석 가능성과 결정론적 특성 덕분에 가치가 높은 지배적인 차원 축소 기법입니다. 그러나 선형 변환에 의존하는 이 방식은 실제 데이터에 내재된 복잡한 비선형 구조를 포착하는 데 한계가 있습니다. 기존의 비선형 확장 방식들은 다음과 같은 상당한 트레이드오프를 안고 있습니다:

• 커널 PCA (kPCA): 비선형성을 포착할 수는 있지만, 해석 가능성을 희생합니다(주성분이 원래 변수와 직접적으로 매핑되지 않음). 또한 하이퍼파라미터 선택에 어려움이 있습니다.
• 오토인코더 (Auto-encoders): 분산 극대화 및 직교성 속성이 결핍되어 있으며, 잠재 변수를 해석하기 어려운 경우가 많습니다.
• 범주형 데이터 처리: 표준 PCA 및 많은 NLPCA 방법론은 범주형 또는 순서형 변수를 기본적으로 처리하지 못합니다. 이를 원-핫 인코딩(one-hot encoding)으로 변환하면 "차원의 폭발(dimensional explosion)"이 발생하여, 범주형 레벨이 분산 기여도를 지배함으로써 분석을 왜곡하게 됩니다. 또한, 다중 요인 분석(MFA)과 같은 기존 방법들은 원-핫 인코딩을 필요로 하며, 이는 고유 레벨이 많은 데이터셋에서 불안정성을 초래합니다.

저자들은 PCA의 해석 가능성과 신경망의 유연성을 결합하면서도, 차원의 폭발 없이 혼합 데이터 유형을 처리할 수 있는 프레임워크에 대한 공백을 식별했습니다.

방법론

제안된 프레임워크인 진화 전략(ES)을 통한 비선형 PCA는 세 가지 핵심 구성 요소로 이루어집나다:

1. 변환의 파라미터화

전역적인 비선형 매핑을 학습하는 대신, 이 방법은 각 원래 변수 $X^{(l)}$에 대해 별도의 변환 함수 $\Phi_l$을 파라미터화합니다.

• 아키텍처: 각 $\Phi_l$은 단순한 피드포워드 신경망(feed-forward neural network)으로 구현됩니다.
• 범주형 처리: 범주형 변수의 경우, 입력은 원-핫 인코딩되지만 네트워크는 단일 스칼라 값을 출력합니다. 이를 통해 각 원래 변수(수치형 또는 범주형 모두)가 정확히 하나의 변환된 차원으로 매핑되도록 보장하며, 이는 PCA나 MFA에서 발생하는 차원의 폭발을 방지합니다.
• 해석 가능성: 일대일 매핑을 통해 결과 주성분을 특정 원래 변수로 추적할 수 있습니다.

2. 진화 전략(ES)을 통한 최적화

목적 함수는 공분산 행렬의 고윳값 분해(eigendecomposition)를 포함하는데, 이는 미분 불가능합니다. 따라서 표준 역전파(backpropagation)를 사용할 수 없습니다.

• 알고리즘: 저자들은 미분 불가능한 블랙박스 최적화 방법인 **진화 전략(ES)**을 채택합니다.
• 프로세스: 신경망의 파라미터는 가우시안 노이즈(Gaussian noise)를 통해 섭동(perturbation)됩니다. 각 섭동에 대한 목적 함수 값이 계산되며, 파라미터는 가중치가 부여된 노이즈 샘플로부터 유도된 기울기 근사치를 기반으로 업데이트됩니다. 이는 표준 고윳값 분해의 미분 가능성 제약을 우회합니다.

3. 새로운 목적 함수

본 논문은 처음 $k$개 주성분의 설명된 분산을 최대화하기 위해 두 가지 목적 함수를 도입합니다:

• 전역 목적 함수 ($F^k_{global}$): 처음 $k$개 성분의 분량 합을 최대화합니다. 이는 전체 시스템에 대한 단일 스칼라 신호를 제공합니다.
• 부분(Granular) 목적 함수 ($F^k_l$): 본 논문의 참신한 기여로서, 전역 분산을 분해하여 각 변환된 변수의 개별 분산 기여도를 최대화합니다.
  • 명제 3.1에 근거하여, 변수 $l$의 변수 $j$에 대한 분산 기여도 $c_{j,l}$을 계산합니다.
  • 이 목적 함수는 각 변수에 대해 개별적으로 이들의 개별 기여 합을 최대화합니다.
  • 스케일링: 전역 목적 함수와의 공정한 비교를 위해, ES의 학습 단계 크기에 맞추도록 전역 목적 함수를 변수의 수 $p$로 나누어 스케일을 조정합니다.

주요 기여

1. 뉴로에볼루션(Neuroevolution)을 통한 비선형 확장: 본 논문은 변환이 신경망에 의해 파라미터화되고 ES를 사용하여 최적화되는 견고한 NLPCA 프레임워크를 제안합니다. 이를 통해 임의의 복잡한 매핑이 가능하면서도 표준 고윳값 분해의 미분 가능성 문제를 피할 수 있습니다.
2. 세밀한 분산 극대화(Granular Variance Maximization): 부분 목적 함수의 도입은 주요 기여 중 하나입니다. 각 변수의 특정 분산 기여를 격리하고 최대화함으로써, 이 방법은 전역 분산 극대화보다 더 강력하고 견고한 학습 신호를 제공하며, 특히 고차원 공간에서 더욱 효과적입니다.
3. 통합된 데이터 처리: 이 방법은 수치형, 범주형, 순서형 변수를 동시에 자연스럽게 처리합니다. 각 범주형 변수를 단일 변환 열로 매핑함으로써 원-핫 인코딩에 따른 차원의 폭발을 방지하며, 이는 커널 PCA와 MFA 같은 전통적인 성분 기반 방법 사이의 간극을 메웁니다.

실험 결과

방법론은 세 가지 합성 데이터셋(중첩된 원, 구, 교차 스트라이프)과 OpenML의 다섯 가지 실세계 데이터셋(신용, 아이오스피어, 유방암, 심장, 와인)에서 평가되었습니다.

• 설명된 분산: 제안된 방법(ES-PCA)은 모든 데이터셋에서 선형 PCA보다 일관되게 우수한 성능을 보였습니다.
• kPCA와의 비교: ES-PCA 방법, 특히 **부분 목적 함수(ES-Partial)**를 사용했을 때, $k=2$ (처음 두 성분의 누적 분산)에 대해 실세계 데이터셋에서 커널 PCA(kPCA)를 크게 앞질렀습니다.
  • 참고: kPCA와의 비교에서 kPCA는 튜닝 없이 네 가지 커널(rbf, cosine, polynomial, sigmoid) 중 최선의 결과를 보고한 반면, ES-PCA는 기본 파라미터를 사용했음을 밝힙니다.
• 목적 함수 성능: 부분 목적 함수는 전역 목적 함수에 비해 일관되게 더 높은 설명된 분산과 더 빠른 수렴 속도를 보여주었습니다. 전역 목적 함수 대비 부분 목적 함수의 성능 향상은 데이터 차원과 강한 상관관계($k=1$에서 $\rho=0.87$, $k=2$에서 $\rho=0.98$)를 보였습니다.
• 해석 가능성: 합성 데이터셋에 대한 질적 결과는 학습된 변환이 직관적으로 해석 가능하다는 것을 보여주었습니다(예: 구(sphere)에서의 반지름 차이 또는 스트라이프에서의 주기성 포착). 또한 이 방법은 바이플롯(biplot)과 같은 표준 PCA 시각화 도구를 사용할 수 있는 능력을 유지했습니다.

의의 및 주장

본 논문은 이전 리뷰들에서 식별된 NLPCA 연구의 "공백", 즉 해석 가능성을 유지하면서 파라미터화된 변환을 가진 일반적인 프레임워크의 필요성을 해결한다고 주장합니다.

• 해석 가능성: 오토인코더나 kPCA와 달리, 이 방법은 원래 변수와 변환된 변수 사이의 일대일 매핑을 보존하여 분석가가 변수 기여도와 비선형 관계를 시각화하기 위해 표준 도구인 바이플롯을 사용할 수 있게 합니다.
• 데이터 유형에 대한 견고성: 범주형 변수를 원-핫 인코딩 없이 처리함으로써, 범주형 레벨이 많거나 일관되지 않은 실제 데이터셋에 대해 더 안정적이고 효율적인 접근 방식을 제공합니다.
• 학습 신호: 저자들은 세밀한 부분 목적 함수가 더 우수한 학습 신호를 제공하여, 전역 목적 함수가 개별 변환에 대한 구체적인 가이드를 제공하기 어려울 수 있는 고차원 공간에서 모델이 더 효과적으로 학습할 수 있도록 한다고 주장합니다.

저자들은 현재 작업의 상태에 대해 겸손한 태도를 유지하며, 설명된 분산이 생성 횟수(generations)에 따라 여전히 증가하고 있음을 언급하여 추가적인 개선 가능성이 있음을 시사했습니다. 또한, 이 방법이 일부 맥락에서 표준 PCA보다 이상치(outliers)를 더 잘 처리하지만, 향후 연구에서 로버스트 PCA(robust PCA) 기법을 통합할 수 있음을 인정했습니다.