기술 요약: Factorized Neural Operators는 동적 및 지속적 응답을 분해한다

1. 문제 정의

지구물리학적 흐름에서 공학적 난류에 이르기까지, 물리 시스템은 종종 기하학적 구조, 경계 조건, 그리고 불균질한 매질에 의해 유도된 지속적인 구조와 빠르게 진화하는 역학이 공존하는 이질적인 메커니즘을 나타냅니다. 기존의 뉴럴 오퍼레이터, 특히 스펙트럼 기반 접근 방식(예: FNO, SFNO)은 일반적으로 단일한 지배적 귀납 편향(주로 등변성, Equivariance)에 의존합니다. 이러한 정식화는 서로 다른 물리적 응답을 하나의 공유된 표현으로 결합하여, 모델이 변환에 민감한 역학(transformation-sensitive dynamics)과 변환에 안정적인 구조(transformation-stable structures)를 동시에 처리하도록 강제합니다.

저자들은 이러한 결합이 해석 가능성을 제한하고, 장기 예측(long-horizon rollouts) 시 자기회귀 오류를 증폭시키며, 교차 해상도 일반화 능력을 약화시킨다고 주장합니다. 핵심 과제는 물리적 오퍼레이터를 단일 응답으로 학습해야 하는가, 아니면 물리 시스템의 이질적인 조직을 더 잘 반영할 수 있도록 메커니즘별 구성 요소로 분해하여 학습해야 하는가 하는 점입니다.

2. 방법론: 통합 그린 함수 프레임워크 및 FaNO

2.1 통합 그린 함수 프레임워크 (Unified Green's Function Framework)

저자들은 고전적인 그린 함수를 단순히 회복해야 할 해석적 커널이 아니라, 기하학적 특성을 반영하는 오퍼레이터 설계를 위한 설계 원칙으로 재해석할 것을 제안합니다. 이들은 물리 시스템의 해가 적분 응답으로 표현되는 통합 프레임워크를 구축합니다. 이 프레임워크 내에서, 이들은 의존성에 따라 두 가지 유형의 커널을 구분합니다:

• 상대적 위치 의존 커널 ($G(T^{-1}u)$): 이는 자연스럽게 등변적(dynamic) 응답을 유도하며, 변환에 민감한 역학을 포착합니다.
• 절대적 위치 의존 커널 ($G(u)$): 이는 변환에 대해 안정적인 구조(예: 고정된 경계나 전역적 기하 구조에 의해 유도된 구조)를 포착하는 불변적(persistent) 응답을 나타냅니다.

2.2 Factorized Neural Operators (FaNO)

이 프레임십을 바탕으로, 저자들은 오퍼레이터를 두 개의 특화된 브랜치로 분해하는 스펙트럼 아키텍처인 FaNO를 도입합니다:

1. 동적 브랜치 (Dynamic Branch, Equivariant): 상대적 위치(또는 그룹 변환 $T$)에 의존하는 학습 가능한 커널 $G^E_\theta$를 사용하여 모델링됩니다. 이 브랜치는 빠르게 변화하고 일시적인 상태 의존적 역학을 포착합니다. 이는 표준 스펙트럼 변환(유클리드 그리드의 푸리에 변환, 구면의 구면 조화 함수, 매니폴드의 라플라스-벨트라미 고유 기저)을 활용합니다.

   • 정식화: $g^E(u) = \mathcal{F}^{-1}[G^E_\theta \cdot \mathcal{F}[f]]$

2. 지속적 브랜치 (Persistent Branch, Invariant): 절대적 위치에 의존하는 학습 가능한 커널 $G^I_\theta$를 사용하여 모델링됩니다. 이 브랜치는 입력 함수의 기하학 인지 적분 정보($C_f$)를 통해 일관된 시스템 의존적 구조를 추출합니다.

   • 정식화: $g^I(u) = \mathcal{F}^{-1}[C_f \cdot G^I_\theta]$

3. 융합 (Fusion): 두 브랜치의 출력은 연결(concatenate)된 후 채널 상호작용을 위해 선형 레이어($w_1$)를 통과합니다:

   • $g(u) = \mathcal{F}^{-1}[\text{Concat}(\mathcal{F}[f] \cdot G^E_\theta, C_f \cdot G^I_\theta)] \cdot w_1$

이 설계는 스펙트럼 오퍼레이터의 그리드 불변성과 효율성을 유지하면서도 명시적인 특성화를 가능하게 합니다. 이 아키텍처는 유클리드 그리드, 구면 도메인, 비정형 매니폴드 전반에 걸쳐 적용 가능합니다.

3. 주요 기여

• 개념적 전환: 단일 귀납 편향 정식화를 넘어, 동적 응답과 지속적 응답을 명시적으로 분리하는 분해된 오퍼레이터 표현으로의 이동을 제안합니다.
• 통합 프레임워크: 등변적 커널 구조와 불변적 커널 구조를 구분함으로써, 다양한 기하학적 도메인(유클리드, 구면, 매니폴드)에 걸쳐 오퍼레이터 설계를 일반화하는 통합 그린 함수 프레임워크를 도입합니다.
• 자발적 특성화: FaNO의 두 브랜치가 명시적인 감독 없이도 서로 다른 물리적 역할을 수행하도록 자발적으로 특성화됨을 입증합니다. 즉, 동적 브랜치는 일시적인 변화를 추적하고, 불변적 브랜치는 안정적인 공간 조직을 고정합니다.
• 일반화 능력: 이 분해 방식이 유체 역학뿐만 아니라 시간 독립적 물리 시스템(Darcy, Helmholtz) 및 기하학적 학습 작업(분류, 세그멘테이션)에서도 성능을 향상시킨다는 것을 보여줍니다.

4. 실험 결과

저자들은 다양한 설정에서 FaNO를 단일 브랜치 베이스라인(SFNO, FNO, NORM) 및 최신 모델들과 비교 평가했습니다:

• 메커니즘 특성화: 천해파 방정식(SWE), 나비에-스토크스(NS), 실린더 유동(Cylinder Flow)에 대한 자기회귀 예측에서, 동적 브랜치는 고진폭의 샘플 의존적 변화를 포착한 반면, 지속적 브랜치는 저진폭의 일관된 대규모 구조(예: 극 지형 고도, 기하학 유도 후류)를 인코딩했습니다.
• 다중 스케일 지구물리학 모델링 (SWE): FaNO는 시간 및 공간 스케일 전반에서 가장 낮은 평균 상대 오차(MRE)를 달 기록했습니다. 결정적으로, 교차 해상도 외삽(조밀하지 않은 그리드에서 학습, 조밀한 그리드에서 테스트) 조건에서 FaNO는 $2.5 \times 10^{-3}$ 미만의 안정적인 오차를 유지한 반면, 단일 브랜치인 SFNO는 오차가 $10^{-2}$에 근접하거나 이를 초과하며 크게 저하되었습니다.
• 실제 기상 예측 (WeatherBench): ERA5 데이터셋에서 FaNO는 단 2.7M개의 파라미터만을 사용하여 중기 및 장기 예측(3일 및 5일)에서 가장 높은 이상 상관 계수(ACC)를 달성했습니다. 다른 방법들이 구조적 왜곡을 축적하는 120시간 지평선에서도 FaNO는 일관된 행성 규모의 흐름 구조를 보존했습니다.
• 유체 역학 및 기하학적 제약:
  • 나비에-스토크스: FaNO는 점성 및 해상도 전이 과정에서 일관된 와류 조직을 유지함으로써 롤아웃 오류를 줄였으며, FNO보다 45.8% 적은 파라미터를 사용했습니다.
  • CylinderFlow (비정형 메쉬): 장기 자기회귀 롤아웃에서 FaNO는 NORM 대비 단계당 MSE를 약 28.8% 감소시켜, 하류 후류(downstream wake)에서의 왜곡 축적을 방지했습니다.
• 시간 의존적 물리를 넘어: FaNO는 시간 독립적인 Darcy 및 Helmholtz 방정식뿐만 아니라, 구면 MNIST 분류 및 표면 세그멘테이션과 같은 기하학적 작업에서도 베이스라인을 능가하여, 분해 원리가 안정적인 전역 구조와 국소적 입력 변화를 분리하는 데 도움이 됨을 입증했습니다.

5. 의의 및 주장

본 논문은 확장 가능한 물리 모델링이 단일 귀의 편향 정식화를 넘어서는 데서 이득을 얻는다고 주장합니다. 오퍼레이터 응답을 상보적인 동적 및 지속적 구성 요소로 분해함으로써, FaNO는 이질적인 물리 시스템에 더 적합한 귀납적 편향을 제공합니다.

저자들이 강조한 주요 시사점은 다음과 같습니다:

• 향상된 강건성: 분해된 메커니즘은 스케일, 도메인 및 물리적 체제 간의 일반화, 특히 장기 자기회귀 롤아웃 및 교차 해상도 외삽에서 성능을 향상시킵니다.
• 해석 가능성: 브랜치의 자발적 특성화는 물리 시스템에 대한 더 해석 가능한 모델을 제공하며, 이는 아키텍처를 밑바닥에 깔린 물리 현상의 이질적인 조직과 일치시킵니다.
• 효율성: 이러한 개선은 모델 용량을 늘리기보다는 제어된 아키텍처 수정을 통해 이루어졌으며, 종종 유사한 단일 브랜치 모델보다 적은 파라미터를 사용합니다.

저자들은 이 연구가 더 해석 가능하고, 강건하며, 일반화 가능한 과학 계산의 토대로 나아가는 단계라고 결론지으며, 미래의 물리 정보 기반 머신러닝이 물리 시스템을 지배하는 뚜렷한 메커니즘을 반영하는 분해된 표현을 고려해야 한다고 제언합니다.