Extended pseudo-spectral physics-informed neural networks for phase-field models

기술 요약: 상분리 모델을 위한 확장된 의사 스펙트럼 물리 정보 신경망 (Extended Pseudo-Spectral Physics-Informed Neural Networks)

문제 정의
상분리(phase separation)의 연속체 기술에서 상분리 모델은 벌크 자유 에너지 밀도와 계면 두께 파라미터에 의해 패턴 형성 및 미세구조 진화가 결정되는 핵심적인 역할을 한다. 재료 과학이나 세포 생물학과 같은 실제 응용 분야에서는 이러한 구성량들이 사전에 알려져 있는 경우가 드물며, 제한된 동역학적 관측으로부터 추론되어야 한다. 고전적인 역문제 방법론과 최근의 물리 정보 신경망(PINN) 접근 방식이 상분리 모델에 적용되어 왔으나, 기존 기법들은 종종 한계에 직면한다. 구체적으로, Zhao [31]의 연구는 의사 스펙트럼 PINN(SPINN)을 사용하여 벌크 화학 포텐셜을 식별하였으나, 계면 두께 파라미터와 이동도(mobility)를 사전에 고정된 값으로 설정해야 했다. 또한, 모든 구성량을 미지수로 취급하는 고전적 최적화 방식은 스케일링 퇴화(scaling degeneracy)로 인해 본질적인 식별 불가능성(non-identifiability) 문제를 야기할 수 있다. 본 연구가 다루는 핵심 과제는 평형 프로파일(equilibrium profiles)에만 의존하지 않고, 과도 상태(transient) 스냅샷 데이터로부터 벌크 화학 포텐셜(균질 자유 에너지 밀도의 미분)과 미지인 구배 계수(특히 계면 두께 파라미터)를 동시에 역으로 식별하는 것이다.

방법론: 확장된 SPINN (ESPINN)
저자들은 확장된 의사 스펙트럼 물리 정보 신경망(ESPINN) 프레임워크를 제안한다. 이 방법은 물리적 파라미터를 자유 에너지 함수를 근사하는 신경망과 함께 학습 가능한 변수로 취급함으로써 SPINN 구조를 확장한다.

1. 수학적 정식화: 프레임워크는 $\partial_t \phi = G [\sum \mu_j g_j(\phi, \nabla \phi, \Delta \phi) + f(\phi)]$ 형태의 일반적인 상분리 편미분 방정식(PDE)을 대상으로 하며, 여기서 $f(\phi)$ (벌크 화학 포덴셜)와 $\mu_j$ (구배 항의 계수)는 미지수이다. 저자들은 Cahn-Hilliard 및 Allen-Cahn 방정식을 중점적으로 다루며, 여기서 미지 구배 계수는 계면 두께 파라미터 $\epsilon$에 해당한다.
2. 신경망 구조:
   • 벌크 화학 포텐셜: 함수 $f(\phi)$는 다층 퍼셉트론(MLP)에 의해 근사된다.
   • 스칼라 파라미터: 미지 계수(예: $\epsilon^2$)는 물리적 경계($\gamma_{lb} \leq \gamma \leq \gamma_{ub}$)를 강제하기 위한 시그모이드 재매개변수화(sigmoid reparameterization)를 사용하여 단일 학습 가능 스칼라 $\theta$로 매개변수화된다.
   • 손실 함수: 학습 목표는 관측된 데이터 쌍 $(\Phi^{(1)}, \Phi^{(2)})$와 준암묵적 선형 안정화 스케마(semi-implicit linear stabilized scheme)의 예측값 사이의 차이를 최소화하는 것이다. 손실 함수에는 데이터 노이즈 수준에 따라 조정되는 하이퍼파라미터 $C_0$가 포함된다.
3. 최적화 전략:
   • 노이즈 없는 데이터: 프레임워크는 Adam 이후 L-BFGS를 사용하는 2단계 최적화를 채택하여, 정밀한 수렴을 위해 목적 함수의 매끄러운 지형(smoothness of the objective landscape)을 활용한다.
   • 노이즈가 있는 데이터: 확률적 섭동에 대한 과적합을 방갱하기 위해 L-BFGS 단계를 생략하며, 그래디언트 크기를 조절하기 위해 감소된 손실 승수($C_0$)를 사용한 Adam에만 의존한다.

주요 기여

• 동시 추론: SPINN 프레임워크를 확장하여, 이들을 사전에 고정할 필요 없이 과도 데이터로부터 벌크 화학 포텐셜과 미지 구배 계수(계면 두께)를 동시에 회복하는 것이 주요 기여이다.
• 데이터 효율성: 본 프레임워크는 단 하나의 스냅샷 쌍만으로도 상당한 구성 정보를 인코딩할 수 있음을 입증하여, 최소한의 시간적 데이터로 정확한 재구성이 가능함을 보여준다.
• 노이즈에 대한 강건성: 연구는 노이즈 하에서의 프레임워크 성능을 체계적으로 조사하였으며, 스냅샷 쌍의 수를 늘리는 것이 분산을 줄이고 정확도를 향상시키는 암묵적 정규화 역할을 수행하여 학습된 모델의 결정론적 특징을 변화시키지 않으면서도 정확도를 높임을 입증하였다.
• 구조적 민감도 분석: 활성화 함수와 네트워크 깊이에 대한 상세한 분석을 제공하며, 네트워크 용량(깊이 또는 너비)보다 활성화 함수의 매끄러움과 미분 가능성이 재구성 정확도에 더 중요하다는 점을 밝혀냈다.

결과
다항식 및 로그 자유 에너지 밀도를 모두 사용한 1차원 Cahn-Hilliard 시뮬레이션에 대해 수치 실험을 수행하였다.

• 노이즈 없는 영역: ESPINN 프레임워크는 벌크 화학 포텐셜과 계면 두께 파라미터 모두에 대해 정확하고 통계적으로 안정적인 재구성을 달성하였다. 주목할 점은, 단 하나의 스냅샷 쌍($N=1$)만을 사용했을 때도 실제 함수와 매우 유사한 결과를 얻었다는 것이다. 스냅샷 수($N$)를 2로 늘리면 재구성에서 가시적인 분산이 제거되었다. $N$을 64까지 늘리면 통계적 안정성이 향상되었으나, 64를 초과하면 수확 체감 현상이 관찰되었다.
• 노이즈가 있는 영역: 곱셈 노이즈(multiplicative noise)가 존재하는 환경에서 재구성 정확도는 완만하게 저하되었다. 제한된 노이즈 데이터($N=1$)는 높은 변동성을 보였으나, $N$을 늘림에 따라 오차와 분산이 체계적으로 감소하였다. 방법론은 높은 노이즈 수준($\delta_L = 10^{-2}$)에서도 안정성을 유지했으나, 눈에 띄는 편향(bias)이 나타났다.
• 구조적 발견: 매끄러운 활성화 함수(Sigmoid, Tanh, SiLU, GELU)는 ReLU보다 일관되게 우수한 성능을 보였으며, ReLU는 최대 4자리(four orders of magnitude) 높은 오차를 기록했다. 네트워크의 깊이와 너비는 최종 정확도에 미미한 영향을 미쳤으며, 이는 역문제가 네트워크 용량보다는 활성화 함수의 미분 가능성 특성에 의존함을 시사한다.
• 학습률 민감도: Adam 옵티마이저의 학습률에 민한 반응을 보였다. 지수적으로 감소하는 학습률(초기 $10^{-2}$에서 $10^{-4}$로 감소)이 수렴 속도와 안정성 사이의 최적의 균형을 제공했다.

의의 및 주장
저자들은 ESPINN이 상분리의 연속체 모델에서 자유 에너지 구조를 학습하기 위한 데이터 효율적이고 물리적으로 일관된 접근 방식을 확립한다고 주장한다. 이 프레임워크는 스케일링 퇴화로 인해 평형 프로파일만으로는 불충분한 과제인, 과도 동역학으로부터 구성량을 식별하는 역문제를 성공적으로 해결하였다. 제한된 데이터로부터 정확한 회복이 가능하고 노이즈 조건에서도 견고하다는 것을 입증함으로써, 본 연구는 과도 동역학 데이터가 구성 정보를 추론하기 위한 신뢰할 수 있는 기초를 제공함을 시사한다. 저자들은 현재 연구가 일정한 이동도를 가진 1차원 모델로 제한되어 있으나, 본 방법론이 고차원 및 더 복적인 자유 에너지 범함수로 자연스럽게 확장될 수 있으며, 생체 분자 응축물, 고분자 블렌드, 합금 시스템의 거시적 모델링을 위한 실용적인 도구가 될 수 있음을 언급하였다.