Optimization of randomized neural networks for transfer operator approximation

기술 요약: 전이 연산자 근사를 위한 무작위 신경망 최적화

문제 제기
전이 연산자 (예: 쿠퍼 및 페로먼 - 프로베니우스 연산자) 의 데이터 기반 근사는 분자 동역학의 준안정 상태 및 유체 흐름의 일관된 구조를 포함한 복잡한 동역학 시스템의 전역적 행동을 분석하는 데 필수적입니다. 확장된 동적 모드 분해 (EDMD) 와 같은 전통적인 방법은 다항식, 가우스 함수와 같은 고정된 기저 함수 사전에 의존하는데, 그 최적 선택은 시스템에 의존적이며 종종 미해결 문제입니다. 신경망 (NN) 은 이러한 사전들을 학습할 수 있지만, 완전히 훈련된 네트워크는 계산 비용이 많이 드는 역전파를 필요로 하며, 느린 수렴, 국소 최소값, 그리고 기울기 불안정성과 같은 문제들을 겪습니다.

이전에 제안된 RaNNDy 와 같은 무작위 신경망은 은닉층의 가중치와 편향을 고정하고 폐형식 해를 통해 출력층만 훈련함으로써 이러한 계산 비용을 해결합니다. 그러나 이 접근법에는 치명적인 한계가 있습니다: 근사의 품질은 가중치와 편향의 초기 무작위 선택에 전적으로 의존합니다. 무작위로 생성된 기저 함수가 시스템의 고유 함수를 정확하게 표현하지 못하면 결과적인 연산자 근사는 부실해지며, 표준 RaNNDy 프레임워크 내에는 이를 수정할 수 있는 메커니즘이 없습니다.

방법론
저자들은 네트워크의 구조적 매개변수 (가중치 및 편향) 를 샘플링 후 고정된 상태로 유지하면서, 활성화 함수의 하이퍼파라미터와 가중치 및 편향이 샘플링되는 분포를 조정하여 RaNNDy 의 무작위 기저를 최적화하는 알고리즘을 제안합니다.

1. 매개변수 활성화 및 기저: 이 방법은 기저 함수 정의에 조정 가능한 매개변수 $\omega$(예: 가중치/편향 분포의 스케일, 또는 $\tanh$와 같은 매개변수 활성화 함수의 매개변수) 를 도입합니다: $\psi(x, \omega) = \sigma(W(\omega_W)x + b(\omega_b), \omega_a)$.
2. 변분 최적화: 알고리즘은 손실 함수를 정의하기 위해 레이레이 변분 원리를 활용합니다. 자기 수반 연산자 (가역 시스템) 의 경우, 투영된 연산자의 고유값 합을 최대화하는 것이 목표입니다. 비자기 수반 연산자 (비가역 시스템) 의 경우, 이 방법은 고유값을 근사하기 위해 투영된 순방향 - 역방향 연산자의 트레이스를 최대화합니다.
   • 손실 함수는 $L(\omega) = \text{tr}(\hat{A}(\omega))$로 구성되며, 여기서 $\hat{A}(\omega)$는 데이터 기반 공분산 및 교차 공분산 행렬 ($\hat{C}_{00}, \hat{C}_{01}$ 등) 로부터 구성됩니다.
3. 최적화 루프: 하이퍼파라미터 $\omega$는 연산자 근사의 트레이스를 최대화하기 위해 경사 하강법 또는 베이지안 최적화를 사용하여 반복적으로 업데이트됩니다. $\omega$가 최적화된 후, 출력층 가중치는 폐형식 고유값 문제를 통해 계산되어 무작위 신경망의 계산 효율성을 유지합니다.

주요 기여

1. 새로운 최적화 알고리즘: 이 논문은 활성화 함수 하이퍼파라미터와 분포 스케일을 조정하여 RaNNDy 의 무작위 기저를 최적화하는 방법을 소개함으로써 완전히 무작위인 네트워크와 완전히 훈련된 네트워크 사이의 간극을 메웁니다.
2. 다양한 시스템에 대한 적용: 이 접근법은 세 가지 서로 다른 벤치마크 문제에서 검증되었습니다:
   • 그래폰 위에서의 무작위 보행: 데이터로부터 그래폰과 전이 밀도를 재구성하는 능력을 입증합니다.
   • 비클리 제트: 일관된 집합을 감지하기 위한 유체 역학 벤치마크입니다.
   • 단백질 NuG2: 접힘 - 펴짐 전이를 분석하기 위한 고차원 분자 동역학 데이터입니다.

결과
수치 실험은 고정된, poorly 초기화된 무작위 기저를 사용하는 것에 비해 활성화 매개변수를 최적화함으로써 근사 정확도가 크게 향상됨을 보여줍니다:

• 그래폰: 알고리즘은 20 에포크 미만으로 수렴하여 세 개의 준안정 집합에 해당하는 스펙트럼 갭을 정확하게 식별했습니다. 최적화된 기저는 그래폰과 전이 밀도의 정확한 재구성을 가능하게 했습니다. 반면, 고정된 분포에 대한 그리드 탐색은 덜 효과적이었으며, 더 높은 학습률을 가진 완전히 훈련된 네트워크 (VAMPnets) 는 발산하거나 국소 최소값에 갇혔습니다.
• 비클리 제트: 이 방법은 최적화된 특이 함수를 클러스터링함으로써 일관된 집합을 성공적으로 감지했습니다. 알고리즘은 10 회 미만의 반복으로 수렴하여 초기 무작위 기저보다 시스템의 일관된 구조를 더 효과적으로 드러냈습니다.
• 단백질 NuG2: 최적화된 기저는 지배적인 고유값과 고유 함수를 정확하게 포착하여 단백질의 접힌 상태와 펴진 상태를 구별했습니다. 초기 무작위 기저는 부실한 근사를 산출하여 제안된 최적화의 필요성을 강조했습니다.

의의 및 주장
저자들은 이 작업을 완전히 무작위인 신경망과 완전히 훈련된 신경망 사이의 "절충안"으로 위치시킵니다. 그 의의는 RaNNDy 의 계산적 장점 (폐형식 해, 은닉층에 대한 역전파 부재, 낮은 훈련 비용) 을 유지하면서, 그 주요 약점인 기저 함수의 초기 무작위 선택에 대한 민감성을 완화하는 데 있습니다.

이 논문은 전체 네트워크를 훈련하는 것에 비해 더 단순한 손실 지형으로 인해 은닉 가중치와 편향의 분포를 조정하는 것이 더 쉽다고 주장하며, 이는 베이지안 최적화와 같은 알고리즘의 사용을 가능하게 할 수 있다고 합니다. 저자들은 겸손하게 현재 작업이 특정 활성화 매개변수에 초점을 맞추고 있지만, 향후 작업은 더 많은 하이퍼파라미터를 가진 활성화 함수를 탐구하고 더 복잡한 동역학 시스템에서 체계적인 런타임 비교를 수행하여 무작위 접근법의 트레이드오프를 더 평가할 수 있다고 제안합니다.