Koopman Subspace Pruning in Reproducing Kernel Hilbert Spaces via Principal Vectors

이 논문은 재현 커널 힐베르트 공간 (Reproducing Kernel Hilbert Space, RKHS) 기하학을 활용하여 쿱먼 (Koopman) 연산자의 부분공간 정제 (Subspace Pruning) 를 가능하게 하는 새로운 프레임워크를 제시합니다. 특히, 기존에 유클리드 공간 (Euclidean space) 에만 적용되던 부분공간 가지치기 (Subspace Pruning) 기법을 커널 기반 방법론으로 확장하고, 대규모 데이터셋에 적용하기 위한 확장 가능한 알고리즘을 개발했습니다.

주요 내용은 다음과 같습니다.

1. 연구 배경 및 문제 제기 (Problem Statement)

• 쿱먼 연산자 근사의 한계: 비선형 동역학 시스템을 분석하기 위한 데이터 기반 쿱먼 연산자 근사 (예: EDMD) 는 유한 차원 부분공간으로의 투영에 의존합니다. 이때 예측 정확도는 선택된 부분공간이 쿱먼 연산자 하에서 얼마나 불변성 (Invariance) 을 유지하는지에 크게 좌우됩니다.
• 커널 EDMD (kEDMD) 의 필요성: 기존 EDMD 는 사전 정의된 관측치 (dictionary) 선택에 민감하지만, 커널 EDMD 는 RKHS 의 내적을 사용하여 데이터에 의존적인 풍부한 관측치를 자동으로 생성하여 근사 품질을 높입니다.
• 계산적 병목 현상: 정확한 커널 EDMD 는 $O(N^3)$의 계산 복잡도를 가지며 ($N$은 데이터 포인트 수), 대규모 데이터셋에는 적용이 어렵습니다.
• 기존 기술의 부족: 부분공간의 불변성을 높이기 위해 기하학적으로 정렬되지 않은 방향을 제거하는 '부분공간 가지치기 (Subspace Pruning)' 기법은 기존에 유클리드 공간의 경험적 $L_2$ 내적에만 국한되어 있었습니다. 이를 RKHS 의 내적 구조에 맞게 확장하는 방법이 필요했습니다.

2. 주요 기여 (Key Contributions)

이 논문은 RKHS 환경에서 쿱먼 부분공간 가지치기를 수행하기 위해 다음과 같은 세 가지 핵심 기여를 제시합니다.

1. RKHS 내 주성분 각도 및 벡터의 정확한 계산:

   • RKHS 내적 구조를 엄밀하게 고려하여, 선택된 부분공간 $S$와 그 쿱먼 이미지 $KS$ 사이의 주성분 각도 (Principal Angles) 와 주성분 벡터 (Principal Vectors) 를 계산하는 정확한 수학적 절차를 유도했습니다.
   • 이는 부분공간의 불변성 근접도 (Invariance Proximity) 를 정량화하는 핵심 도구입니다.

2. 확장 가능한 Nyström 근사 기반 알고리즘:

   • 정확한 계산의 $O(N^3)$ 복잡도 문제를 해결하기 위해 Nyström 근사를 도입했습니다.
   • 소수의 '랜드마크 (landmark)' 데이터 포인트를 샘플링하여 저차원 특징 맵 (Feature Map) 을 구성함으로써, 전체 커널 행렬을 직접 계산하지 않고도 효율적으로 주성분 각도를 추정할 수 있게 했습니다.

3. Kernel-SPV 및 Approximate Kernel-SPV 알고리즘 개발:

   • 위 이론을 바탕으로 Kernel-SPV(정확한 버전) 와 Approximate Kernel-SPV(확장 가능한 버전) 알고리즘을 제안했습니다.
   • 이 알고리즘들은 주성분 벡터를 기반으로 불변성이 낮은 방향을 체계적으로 제거하여 부분공간을 정제합니다.

3. 방법론 (Methodology)

A. 문제 정의 및 이론적 기반

• 불변성 근접도 (Invariance Proximity): 부분공간 $S$와 $KS$사이의 최대 주성분 각도$\theta_{max}$를 사용하여 정의되며 ($\delta(S) = \sin \theta_{max}$), 이 값이 작을수록 쿱먼 근사의 예측 오차가 적음을 의미합니다.
• RKHS 내적 계산: 커널 트릭 (Kernel Trick) 을 사용하여 무한 차원 공간의 내적을 유한한 커널 행렬 평가로 변환합니다. 하지만 $KS$내부의 원소들 간의 내적 계산은 직접적으로 불가능하므로, 데이터셋이 충분히 풍부하다는 가정 하에$KS$를 전체 커널 섹션의 선형 결합으로 표현하는 수식을 유도했습니다.

B. 정확한 계산 절차 (Exact Computation)

1. 커널 행렬 $K_{X,X}$와 $K_{T(X),X}$를 계산합니다.
2. 부분공간 $S$의 쿱먼 이미지 $KS$의 계수 행렬$W_{KV}$를 선형 방정식 시스템을 풀어 구합니다.
3. $S$와 $KS$의 그람 행렬 (Gram Matrices) 을 구성하고, 이를 통해 QR 분해 요소를 유도합니다.
4. 최종적으로 코사인 행렬 (Cosine Matrix) 의 특이값 분해 (SVD) 를 통해 주성분 각도와 벡터를 추출합니다.

C. 확장 가능한 근사 절차 (Scable Approximation via Nyström)

1. 전체 데이터 $N$ 중 소수 $D$개의 랜드마크를 선택합니다.
2. 랜드마크를 기반으로 명시적인 특징 맵 $\psi(x)$를 정의하여 $N \times N$ 커널 행렬을 $D \times D$ 행렬로 근사합니다.
3. 타겟 행렬 (Target Matrices) 설계:
   • $Z_V$: 기본 사전에 대한 타겟 행렬.
   • $Z_{KV}$: 쿱먼 이미지에 대한 타겟 행렬. 이는 Tikhonov 정규화를 통해 수치적 안정성을 확보하고, $W_{KV}$를 명시적으로 계산하지 않고도 근사할 수 있도록 설계되었습니다.
4. 랭크 분리 (Rank Separation): Nyström 근사로 인한 랭크 과대 추정 (Rank Inflation) 을 방지하기 위해, 타겟 행렬의 SVD 에서 임계값 (Threshold) 이하의 특이값을 제거하여 실제 랭크에 맞춰 정제합니다.
5. 정제된 행렬을 통해 근사 주성분 각도와 벡터를 계산합니다.

4. 실험 결과 (Simulation Results)

• 데이터셋: 감쇠된 더핑 진동자 (Damped Duffing Oscillator) 시스템을 사용하여 $N=5000$개의 데이터 포인트를 생성했습니다.
• 근사 정확도 검증:
  • 랜드마크 수 $D$를 증가시키면, 근사 기저의 정규직교성 잔차 (Orthonormality Residuals) 가 감소하여 근사 품질이 향상됨을 확인했습니다.
  • $D=2000$만으로도 Approximate Kernel-SPV 가 정확한 Kernel-SPV 와 거의 동일한 주성분 각도를 산출하여, 불변 부분공간을 정확하게 식별함을 보였습니다.
• 예측 성능 향상:
  • 가지치기 (Pruning) 전후의 5 단계 예측 오차를 비교했습니다.
  • 가지치기를 적용한 후, 주요 쿱먼 고유함수 (Eigenfunction) 의 예측 오차가 현저히 감소하여 모델의 정확도가 개선됨을 입증했습니다.

5. 의의 및 결론 (Significance and Conclusion)

• 이론적 통합: RKHS 의 풍부한 데이터 기반 사전 정의 능력과 부분공간 가지치기를 통한 모델 정제 능력을 통합하여, 쿱먼 기반 동역학 모델링의 정확도를 획기적으로 높였습니다.
• 실용성: $O(N^3)$의 계산 장벽을 $O(NDs + D^3)$으로 낮춤으로써 대규모 동역학 시스템에 대한 쿱먼 모델링을 실용적으로 만들었습니다.
• 제어 및 모델 축소: 가지치기를 통해 불필요한 차원을 제거함으로써, 제어기 설계에 필요한 tractable 한 상태 동역학 모델을 생성하는 데 기여합니다.

요약하자면, 이 논문은 커널 기반 쿱먼 학습의 정확도와 대규모 데이터 처리의 확장성을 동시에 해결하기 위한 강력한 수학적 도구와 알고리즘을 제시한 중요한 연구입니다.