A Finite Expression Method for Solving High-Dimensional Committor Problems

기술 요약: 고차원 코미터(Committor) 문제 해결을 위한 유한 표현법(Finite Expression Method)

문제 정의
본 논문은 고차원 확률계, 특히 과감쇠 란제뱅 과정(overdamped Langevin process)에 대한 코미터 문제를 해결하는 데 따르는 계산적 난제를 다룹다. 코미터 함수 $q(x)$는 시스템이 점 $x$에서 시작하여 상태 $A$보다 상태 $B$에 먼저 도달할 확률을 나타낸다. 수학적으로 $q(x)$는 특정 경계 조건을 갖는 역방향 콜모고로프 방정식(backward Kolmogorov equation)의 해이다. 코미터는 희귀 사건(rare events), 전이율(transition rates), 반응 경로(reaction channels)를 정량화하기 위한 전이 경로 이론(Transition Path Theory, TPT)의 핵심이지만, 고차원($d > 3$)에서 이 방정식을 수치적으로 푸는 것은 매우 어렵다. 기존의 격자 기반 방법(유한 차분법, 유한 요소법)은 차원이 증가함에 따라 비용이 기하급수적으로 증가한다. 기존의 머신러닝 접근 방식, 주로 심층 신경망(DNN)에 기반한 방식들은 맹목적인(black box) 대안을 제공하지만, 해석 가능성이 부족하고 솔루션의 기저에 깔린 대수적 구조를 식별하는 데 어려움을 겪을 수 있다.

방법론: 유한 표현법 (FEX)
저자들은 일반적인 PDE를 위해 도입된 유한 표현법(Finite Expression Method, FEX)을 코미터 문제에 적응시킬 것을 제안한다. 고정된 아키텍처를 가진 연속 미분 가능한 함수를 사용하여 솔루션을 근사하는 DNN과 달리, FEX는 고정된 수의 비선형 함수와 이진 산술 연산으로 구성된 기호적 수학 표현식으로서 솔루션을 찾는다.

핵심 워크플로우는 다음과 같다:

1. 표현 (Representation): 솔루션은 미리 정의된 깊이(통상 4~6)를 가진 이진 트리(binary tree)로 표현된다. 트리의 각 노드는 단항 연산자(예: $\sin, \exp, \text{Id}$) 또는 이진 연산자(예: $+, \times, \div$)에 대응한다. 리프 노드(leaf nodes)에는 입력 변수나 상수가 포함된다.
2. 최적화 정식화 (Optimization Formulation): 코미터 문제는 (불변 밀도에 의해 가중치가 부여된 디리클레 에너지 기반의) 변분 최소화 문제로 재구성된다. 목표는 주어진 손실 함수(loss functional)를 최소화하는 최적의 연산자 시퀀스와 그와 관련된 수치 계수(스케일링 및 바이어스 파라미터)를 찾는 것이다.
3. 혼합 조합 최적화 (Mixed Combinatorial Optimization): 최적의 트리 구조를 찾는 것은 혼합 조합 및 연속 최적화 문제이다.
   • 조합적 측면: FEX는 강화 학습(RL) 컨트롤러(신경망)를 사용하여 최적의 연산자 시퀀스를 탐색한다. 컨트롤러는 각 트리 노드에서 연산자를 선택하기 위한 확률 분포를 출력한다.
   • 연속적 측면: 연산자 시퀀스가 샘플링되면, 경사 하강법(Adam 및 BFGS)을 사용하여 수치 계수를 최적화한다.
   • 훈련 루프: 컨트롤러는 생성된 표현식의 기대 "점수"(손실의 역수)를 최대화하기 위해 정책 경사(policy gradient) 방법을 사용하여 업데이트된다. 상위 성능을 보이는 표현식들의 후보 풀(pool)이 유지되고 미세 조정된다.
4. 특이점 처리 (Handling Singularities): 경계 근처에서 특이한 거동을 보이는 문제(예: 동심 구체)의 경우, 솔루션 모델은 알려진 기본 해(fundamental solutions, 예: $1/|x|^{d-2}$)에 FEX 트리를 곱한 형태로 보강되어 올바른 점근적 거동을 포착한다.

주요 기여 및 결과
논문은 하이퍼플레인(hyperplane) 및 하위 레벨 집합(sublevel set) 경계를 가진 더블 웰 포텐셜(double-well potential), 동심 구체, 거친 뮬러 포텐셜(rugged Mueller's potential), 부탄(butane)을 포함한 여러 고차원 벤치마크 문제에 대해 FEX를 평가하였다. 결과는 FEX의 두 가지 주요 기여를 강조한다:

1. 경쟁력 있는 정확도: 벤치마크 테스트 문제에서 FEX는 최첨단 신경망 기반 솔버와 대등하거나 더 나은 정확도를 달enc한다. 예를 들어, $\beta=10.0$인 하위 레벨 집합 경계의 더블 웰 포텐셜에서 FEX는 신경망 방법의 상대적 $L_2$ 오차가 $0.021$인 것에 비해$0.009$의 상대적$L_2$ 오차를 달성했다.
2. 구조 식별 및 차원 축소: 가장 중요한 발견은 FEX가 솔루션의 대수적 구조를 올바르게 식별하는 독특한 능력이다. 이 방법은 코미터가 어떤 변수에 의존하고 어떤 변수에 의존하지 않는지를 자동으로 결정한다.
   • 하이퍼플레인 경계를 가진 더블 웰 포텐셜에서, FEX는 문제가 10차원으로 정의되었음에도 불구하고 솔루션이 오직 첫 번째 좌표 $x_1$에만 의존한다는 것을 정확히 식별했다.
   • 하위 레벨 집합 경계 케이스에서는 $x_1$과 반지름 거리 $r = \sqrt{\sum x_i^2}$에 대한 의존성을 식별했다.
   • 이러한 능력은 고차원 문제를 저차원 문제(예: 1D 또는 2D)로 축소할 수 있게 한다. 일단 축소되면, 전통적인 고정밀 방법(예: 체비쇼프 스펙트럴 방법 또는 유한 요소법)을 적용하여 머신 정밀도($10^{-16}$)까지 달성할 수 있는데, 이는 솔루션의 함수 형태를 명시적으로 드러내지 못하는 표준 DNN 접근 방식으로는 불가능한 일이다.

의의 및 주장
저자들은 이 연구의 주요 의의가 FEX의 해석 가능성과 구조적 발견 능력에 있다고 주장한다. 다른 고차원 솔버들(DNN 및 텐서 트레인 방법 포함)은 솔루션 값을 근사할 수는 있지만, 일반적으로 기저에 깔린 대수적 의존성이나 대칭성을 드러내는 데 실패한다. FEX는 데이터 기반 근사와 기호적 학습 사이의 간극을 메우며, 연구자들이 다음을 수행할 수 있게 한다:

• 복잡한 고차원 문제를 다룰 수 있는 저차원 문제로 축소한다.
• 축소된 문제를 고전적인 수치 방법으로 풀어 임의의 정확도를 얻는다.
• 식별된 대수적 표현식을 분석함으로써 물리적 통찰력을 얻는다.

결론적으로, 본 논문은 FEX가 신중한 설정(트리 깊이, 연산자 집합, 훈련 파라미터의 선택)을 요구하지만, 코미터 함수의 "진정한" 대수적 구조를 밝혀내는 능력이 고차원 확률계의 희귀 사건을 분석하는 강력한 도구가 된다고 밝히고 있다.