기술 요약: GENERIC-FNO

문제 정의

푸리에 뉴럴 오퍼레이터(FNO) 및 DeepONet과 같은 뉴럴 오퍼레이터는 이산화에 관계없이 함수 공간 사이의 맵을 학습함으로써 편미분 방정식(PDE) 해 연산자의 대리 모델로서 성공적인 성과를 보여왔다. 그러나 이를 자기회귀적(autoregressively)으로 배치하여 긴 궤적을 예측할 때, 제약이 없는 뉴럴 오퍼레이터는 단순한 수치적 오류를 넘어 물리적인 오류를 축적한다. 이들은 고유한 보존 법칙이나 소산 법칙에 대한 개념이 결여되어 있어, 에너지 드리프트(energy drifts)와 감소해야 할 양이 비정상적으로 증가하는 현상을 초래한다.

함수 공간에서의 기존 구조 보존 방법들은 단일 보존 법칙을 강제하거나 순수하게 가역적인(Hamiltonian) 역학만을 구현하지만, 실제 소산 과정에 필수적인 비가역적 엔트로피 생성은 포착하지 못한다. 반면, GENERIC(비평형 가역-비가역 결합을 위한 일반 방정식) 형식론에 기반한 열역학적 일관성 학습은 주로 유한 차원 상태 벡터, 그래프 또는 입자 시스템에 국한되어 왔다. 기존의 어떤 뉴럴 오퍼레이터도 가역적이고 에너지를 보존하는 역학을 엔트로피를 생성하는 비가역적 역학과 결합하는 전체 GENERIC 구조를 함수 공간에 직접 내장하고 있지 않다.

방법론: GENERIC-FNO

저자들은 함수 공간에 전체 GENERIC 구조를 내장한 최초의 뉴럴 오퍼레이터인 GENERIC-FNO를 소개한다. 필드 $u(x,t)$의 역학은 다음과 같이 모델링된다:
$$\partial_t u = L \frac{\delta E}{\delta u} + M \frac{\delta S}{\delta u}$$
여기서 $E$는 에너지 범함수, $S$는 엔트로피 범함수, $L$은 스큐-어드조인트(skew-adjoint) 연산자(가역적), $M$은 양의 준정부호(positive semi-definite) 연산자(비가역적)이다. 열역학적 일관성(제1법칙 및 제2법칙)은 두 가지 퇴화 조건(degeneracy conditions) $L \frac{\delta S}{\delta u} = 0$ 및 $M \frac{\delta E}{\delta u} = 0$에 의해 보장된다.

핵심 아키텍처 구성 요소

1. 학습된 범함수(Learned Functionals): 에너지 $E_\theta[u]$와 엔트로피 $S_\phi[u]$는 스칼라 값 뉴럴 오퍼레이터로 학습된다. 이들은 입력 필드를 특징 밀도로 매핑한 후, 공간 평균화와 작은 MLP 헤드를 거친다. 이러한 공간 평균화는 범함수가 해상도에 독립적임을 보장한다. 이들의 변분 도함수($\delta E/\delta u$, $\delta S/\delta u$)는 역방향 자동 미분(reverse-mode automatic differentiation)을 통해 계산된다.
2. 구조적으로 설계된 연산자: 격자 크기에 따라 확장되는 조밀한 행렬을 학습하는 대신, $L$과 $M$은 고정된 저주파 모드의 밴드에 작용하는 **대각 푸리에 승수(diagonal Fourier multipliers)**로 파라미터화된다.
   • 가역적 연산자 베이스는 스큐-어드조인트($i a(k)$)이다.
   • 비가역적 연산자 베이스는 양의 준정부호($|b(k)|^2$)이다.
3. 정확한 퇴화 강제(Exact Degeneracy Enforcement): 페널티 항이나 최종 업데이트의 투영 없이 퇴화 조건을 정확히 만족시키기 위해, 저자들은 랭크-1 $L^2$ 투영을 사용하여 대각 승수를 "샌드위치" 구조로 배치한다.
   • 가역적 연산자 $L$은 엔트로피 구배 방향을 제거하도록 투영된다: $L = (I - P_S) D_L (I - P_S)$.
   • 비가역적 연산자 $M$은 에너지 구배 방향을 제거하도록 투영된다: $M = (I - P_E) D_M (I - P_E)$.
   • 이러한 구조는 초기화, 차원 또는 해상도에 관계없이 $L \frac{\delta S}{\delta u} = 0$ 및 $M \frac{\delta E}{\delta u} = 0$이 기계 정밀도 수준까지 동일하게 성립하도록 보장한다.

게이지 불변성 및 진단

논문은 주어진 흐름(flow)을 구현하는 튜플 $(E, S, L, M)$이 유일하지 않다는 점(게이지 자유도)을 인정한다. 구조적 보장은 게이지 불변적이지만, 역학을 가역 채널과 비가역 채널로 할당하는 방식은 게이지 불변적이지 않다. 이를 해결하기 위해 저자들은 학습된 범함수를 참조하지 않고, 고정된 이차 에너지 $Q[u] = \frac{1}{2}\|u\|^2$에 기반한 게이지 불변 소산 진단기($r_{mech}$)를 도입하여 물리적 소산을 측정한다.

주요 기여

1. 최초의 함수 공간 GENERIC 오퍼레이터: 함수 공간에서 전체 GENERIC 구조(학습된 에너지/엔트로피 및 결합된 가역/비가역 연산자)를 내장한 최초의 뉴럴 오퍼레이터로서, 필드 이론을 위한 열역학적 일관성 학습을 가능하게 한다.
2. 구조적 설계를 통한 퇴화 구현: 투영 샌드위치 구조의 대각 푸리에 승수 파라미터화를 통해 퇴화 조건을 정확하게 강제한다. 이는 소프트 페널티, 업데이트 투영 또는 자유 잔차(free residuals)의 필요성을 제거하여, 초기화나 해상도에 관계없이 구조적 항등식이 기계 정밀도($\sim 10^{-13}$)까지 유지되도록 한다.
3. 게이지 불변 진단: 학습된 분해의 비유일성을 식별하고, 학습된 양을 참조하지 않고도 물리적 소산을 측정할 수 있는 검증 가능한 게이지 불변 진단기를 제안한다.
4. 해상도 및 차원 독립성: 구조적 보장과 정확도가 $4\times$ 슈퍼 해상도 범위(예: $64 \to 256$) 및 공간 차원(1D 및 2D)에 대해 제로샷(zero-shot)으로 전이됨을 입증한다.
5. 포괄적인 실험 연구: 세 가지 오퍼레이터 백본(2D FNO, 1D FNO, DeepONet)과 네 가지 PDE(Heat, Advection, Burgers, Damped Wave)를 대상으로 평가하며, 구조적 제약이 정확도를 개선하는 지점과 비용을 발생시키는 지점을 명시적으로 보고한다.

실험 결과

모델은 가역, 소산 및 혼합 체제를 아우르는 네 가지 PDE에 대해 평가되었다:

• 정확도 및 안정성: 소산적(Heat) 및 혼합(Burgers, Damped Wave) 문제에서 GENERIC-FNO는 제약이 없거나 에너지 페널티를 적용한 베이스라인보다 우수한 성능을 보였으며, 종종 더 적은 파라미터를 사용했다. 예를 들어, 2D FNO 백본에서 Burgers 롤아웃 오차를 표준 FNO 대비 85% 감소시켰다.
• 장기 호환 안정성(Long-Horizon Stability): 200-스텝 롤아웃(훈련 호라이즌인 15-스텝을 훨씬 상회)에서 제약 없는 베이스라인은 크게 발산한 반면(Heat의 경우 에너지가 약 9배 증가), GENERIC-FNO는 유계(bounded)를 유지하며 물리적으로 허용 가능한 상태를 유지했다.
• 슈퍼 해상도: 모델은 훈련 그리드보다 최대 $4\times$ 더 미세한 그리드에서 평가될 때도 높은 정확도와 구조적 보장을 유지했다.
• 가역적 수송: 순수 선형 이송(순수 가역 시스템)의 경우, GENERIC-FNO는 FNO 백본에서 제약 없는 베이스라인보다 약간 높은 오차를 보였다. 저자들은 이를 모델이 유연성을 위해 비가역 채널을 사용할 수 없도록 하는 제약과, 거친 그리드에서의 명시적 적분기(integrator) 한계 때문이라고 설명한다.
• 소산 진단: 게이지 불변 진단기 $r_{mech}$는 가역 시스템(값 $\approx 0$)을 정확히 식별하였고, 모든 PDE에 대해 실제 물리적 소산의 올바른 순서를 복구하였다.

의의 및 주장

본 논문은 GENERIC-FNO가 열역학적 일관성 학습(기존에는 유한 차원 시스템에 국한됨)과 함수 공간을 위한 뉴럴 오퍼레이터 사이의 간극을 메운다고 주장한다. 페널티를 통해 제1법칙과 제2법칙을 강제하는 대신 구조적으로 설계함으로써, 이 방법은 학습된 역학이 물리적으로 허용 가능한 매니폴드 위에 머물도록 보장한다.

저자들은 구조적 보장이 정확하며 전이 가능하다는 점을 강조하며, 이는 무제약 서로게이트가 실패하는 장기 예측에서 모델을 견고하게 만든다. 또한 트레이드오프를 명시한다: 즉, 백본의 용량이 부족할 경우 순수 가역 수송 작업에서 표현력이 감소할 수 있으며, 현재 구현은 가역 시스템의 거친 그리드 정확도를 제한하는 명시적 적분기를 사용한다. 그러나 페널티 항 없이 함수 공간에서 열역학적으로 일관된 역학을 학습할 수 있는 능력은 난류 및 복잡 유체와 같은 복잡한 필드 문제를 위한 안정적이고 물리적 근거가 있는 서로게이트를 향한 중요한 진전이다.