A Neural Operator-Based Approach to Symbolic Discovery of PDEs

기술 요약: PDE의 기호적 발견을 위한 뉴럴 오퍼레이터 기반 접근법

문제 정의
EQL(Equation Learner)이나 희소 회귀(sparse regression) 방식(예: PDE-FIND)과 같은 기존의 기호적 모델 발견 방법들은 국소적 해석 함수(local analytical functions) 라이브러리에 의존한다는 근본적인 한계를 지니고 있다. 이러한 방법들은 필드 값, 국소 미분, 대수적 조합을 포함한 점 단위의 양(point-wise quantities)을 사용하여 후보 방정식을 구성한다. 이러한 방식은 고전적인 편미분 방정식(PDE)에는 효과적이지만, 비국소적 상호작용(nonlocal interactions), 적분 연산자(integral operators), 보조 장 방정식(auxiliary field equations), 또는 시간적 기억 효과(temporal memory effects)를 포함하는 지배 법칙을 발견하는 데는 실패한다. 분수 확산(fractional diffusion), 결합된 장 시스템(coupled field systems), 또는 유전 점탄성(hereditary viscoelasticity)과 같이 제어되는 많은 물리 시스템은 국소적인 점이 아닌 전체 함수 공간에 작용하는 연산자에 의존하며, 이는 현재의 기호적 발견 프레임워크로는 접근이 불가능하다.

방법론: NOMTO
저자들은 사전 학습된 뉴럴 오퍼레이터를 기호적 프리미티브(symbolic primitives)로 통합하기 위해 EQL 구조를 확장한 NOMTO(Neural Operator-based symbolic Model approximaTion and discOvery) 프레임워크를 제안한다.

• 아키텍처: NOMTO는 후보 방정식을 희소하고 미분 가능한 계산 그래프(computational graphs)로 표현한다. 표준 EQL이 정의된 대수적 또는 국소 미분 연산만을 적용하는 노드를 갖는 것과 달리, NOMTO는 선택된 노드가 **사전 학습된 뉴럴 오퍼레이터 대리물(surrogates)**로 구현될 수 있도록 허용한다. 이러한 대리물은 이산화된 함수에 작作用하여 동일한 격자 상에서 이산화된 연산자 출력을 반환한다.
• 학습과 발견의 분리: 핵심 설계 원칙은 연산자 학습과 방정식 발견의 디커플링(decoupling)이다.
  1. 사전 학습(Pretraining): 뉴럴 오퍼레이터(구체적으로 FNO, CNO, FNN)는 특정 물리적 연산자(예: 분수 라플라시안, 푸아송-그라디언트 맵, 유전적 메모리 적분)를 근사하도록 독립적으로 학습된다. 이렇게 학습된 대리물들은 이후 고정(frozen)된다.
  2. 기호적 최적화(Symbolic Optimization): 발견 단계 동안 대리물 노드는 고정된 상태를 유지한다. 최적화 과정은 계산 그래프 내의 노드들을 연결하는 학습 가능한 스칼라 가중치만을 조정한다.
• 최적화 전략: 본 프레임드워크는 다음 세 단계를 포함하는 조-희소(coarse-to-sparse) 패러다임을 채택한다:
  1. 밀집 학습(Dense Training): 희소성 제약 없이 타겟 역학에 맞추어 전체 그래프를 학습시킨다.
  2. 희소화(Sparsification): 손실 함수에 $\ell_1$ 페널티를 추가하고, 특정 크기 미만의 가중치를 제거(pruning)하여 희소 구조를 식별한다.
  3. 재적합(Refit): 제거된 그래프를 희소성 페널티 없이 다시 학습시켜 활성화된 경로의 계수를 정교화한다.
• 식 추출(Expression Extraction): 학습 후, 무시할 수 있는 수준의 가중치를 제거하고 남은 활성 그래프를 명시적인 기호 방정식으로 변환한다. 결과물인 식은 표준 대수 항들과 사전 학습된 뉴럴 오퍼레이터 대리물에 대한 표기법(예: $\hat{G}^a_m$)을 결합한다.

주요 결과
NOMTO는 비국소적 또는 이력 의존적 연산자를 필요로 하는 세 가지 독특한 물리 시스템에 대해 평가되었다:

1. 분수 확산(Fractional Diffusion): 이 시스템은 비국소적 공간 연산자인 분수 라플라시안 연산자를 포함한다. NOMTO는 지배 방정식 $u_t \approx -\hat{\kappa} \hat{G}^a_{L_s}[u]$를 성공적으로 회복하였다. FNO 기반 대리물이 가장 높은 정확도(상대 MSE $9.47 \times 10^{-6}$)를 달성하였으며, 계수 $\hat{\kappa} = 1.00$을 정확히 식별하였다.
2. 오일러-푸아송 시스템(Euler-Poisson System): 이 시스템은 국소 수송 방정식과 보조 푸아송 방정식으로부터 유도된 비국소 힘 항을 결합한다. NOMTO는 국소 대류 항과 비국소 푸아송-그라디언트 결합을 모두 회복하였다. CNO 대리물이 가장 낮은 운동량 방정식 오차(상대 MSE $3.245 \times 10^{-4}$)를 달성하였으며, 모든 아키텍처가 기호적 구조와 계수를 정확하게 식별하였다.
3. 유전 점탄성(Hereditary Viscoelasticity): 이 사례는 시간적 메모리 적분을 포함하는 구성 법칙을 다룬다. NOMTO는 구조 $\sigma(t) = E\varepsilon(t) + A\hat{G}^a_H[\varepsilon](t)$를 성공적으로 발견하였으며, 모든 대리물 유형에 걸쳐 순시 탄성 계수와 메모리 진폭을 높은 정확도로 회복하였다.

모든 경우에서 NOMTO는 구조적 정확성과 계수 회복 측면에서 표준 뉴럴 네트워크 대리물(FNN)과 대등하거나 이를 능가하였으며, 이는 사전 학습된 연산자가 복잡한 물리적 메커니즘에 대한 충실한 기호적 대리물 역할을 할 수 있음을 입증한다.

의의 및 주장
본 논문은 NOMTO가 "함수의 기호적 발견"에서 "연산자 값 물리 법칙의 기호적 발견"으로의 전환을 나타낸다고 주장한다. 학습된 연산자를 고정된 미분 가능 노드로 희소한 기호 그래프 내에 임베딩함으로써, 본 프레임워크는 다음과 같은 성과를 거둔다:

• 발견 가능한 클래스의 확장: 국소 미분 라이브러리를 넘어 비국소 공간 연산자, 보조 장 매핑, 시간적 메모리 효과를 포함하는 지배 법칙까지 발견 범위를 넓힌다.
• 해석 가능성 보존: 뉴럴 네트워크를 사용함에도 불구하고, 최종 출력은 비국소적 메커니즘의 역할이 명시적인 해석 가능한 기호 방정식 형태를 유지한다.
• 모듈성 가능: 연산자 학습과 방정식 발견의 분리는 연산자 라이브러리가 다양한 발견 작업에 재사용될 수 있도록 하며, 후보 연산자의 선택을 통해 물리적 사전 지식을 통합하는 것을 용이하게 한다.

저자들은 모델의 충실도가 대리 연산자의 정확도에 달려 있으며, 연산자 라이브러리를 구축하는 데 여전히 타당한 물리적 메커니즘에 대한 어느 정도의 사전 지식이 필요하다는 점을 언급하며 한계점을 인정하였다. 그러나 본 연구는 연산자 학습의 진보를 해석 가능한 과학적 머신러닝과 통합하는 경로를 구축하였다.