Stability and Discretization Error of State Space Model Neural Operators

제목: 상태 공간 모델 신경 연산자의 안정성과 이산화 오차

문제 제기
신경 연산자 (Neural Operators, NOs) 는 무한 차원 함수 공간 간의 매핑을 학습함으로써 편미분 방정식 (PDEs) 을 해결하는 강력한 프레임워크로 부상했습니다. DeepONet 과 푸리에 신경 연산자 (FNOs) 와 같은 아키텍처는 보편적 근사 능력과 대수적 수렴 속도를 입증해 왔으나, 이들의 연속적 형식과 이산적 수치 구현 사이의 정밀한 이론적 연결은 여전히 충분히 탐구되지 않았습니다. 구체적으로, 연속 이론과 이산 수치 안정성 간의 관계, 특히 상태 공간 모델 기반 신경 연산자 (SS-NOs) 에 대한 관계는 엄밀한 정량화가 부재합니다. 기존 분석들은 종종 연속 설정에 초점을 맞추거나 FNOs 에 대해서만 이산화 오차 상한을 제공하여, 서로 다른 커널 매개변수화 (감쇠 진동 성분 대 하드 주파수 절단) 를 사용하는 SS-NOs 의 정확도와 안정성에 이산화가 미치는 영향을 이해하는 데 있어 공백이 존재합니다.

방법론
저자들은 SS-NOs 에 특화된 컨볼루션 기반 신경 연산자에 대한 엄밀한 연속 - 이산 이론을 확립합니다. 방법론은 세 가지 주요 이론적 기둥을 포함합니다:

1. 연속 안정성 분석: 저자들은 무한 차원 힐베르트 공간 ($L^2(\mathbb{T}^d)$) 에서 심층 SS-NO 아키텍처에 대한 리프시츠 (Lipschitz) 안정성을 증명합니다. SS-NO 커널의 적분 가능성을 분석함으로써 가중치, 편향, 커널 노름과 같은 모델 매개변수에 의존하는 명시적 리프시츠 상수를 유도합니다. 이 분석은 연속 SS-NO 레이어가 안정적인 비선형 연산자를 정의함을 확인합니다.
2. 이산화 오차 유도: 본 논문은 컨볼루션 격자 (grid quadrature) 를 사용하는 이산 수치 구현과 연속 연산자 간의 명시적 오차 상한을 유도합니다.
   • 커널 분석: 저자들은 FNO 및 SS-NO 커널의 푸리에 변환을 특징짓습니다. FNO 커널은 하드 절단으로 인해 컴팩트한 스펙트럼 지원을 갖는 반면, SS-NO 커널은 대수적 감쇠 ($O(\|\xi\|^{-1})$) 를 보이며 경계 전반에 걸쳐 매끄럽지 않음을 강조합니다.
   • 오차 상한: 입력 - 상태 안정성 (ISS) 분석과 Sobolev 정칙성 가정을 사용하여 저자들은 이산화 오차에 대한 상한을 유도합니다. 이러한 상한은 입력 함수의 정칙성 ($s$), 커널 푸리에 계수의 감쇠, 그리고 활성화 함수의 정칙성을 고려합니다. 특히, 분수 Sobolev 공간의 합성 결과를 활용하여 ReLU, LeakyReLU 와 같은 비매끄러운 활성화 함수에 대한 분석이 확장되어, 이전 연구들보다 더 약한 가정 하에서도 오차 상한이 성립함을 보여줍니다.
3. 전역 이산 안정성 (ISS): 저자들은 이산화된 모델에 대한 입력 - 상태 안정성 (ISS) 분석을 수행합니다. 입력 교란과 수치 이산화 오차가 이산화된 SS-NO 의 레이어를 통해 어떻게 전파되는지를 정량화하는 전역 안정성 상한을 증명합니다. 이를 통해 커널의 이산 연산자 노름이 유계라면 이산화된 모델이 안정적인 리프시츠 매핑으로 유지됨을 확립합니다.

주요 기여

• 연속 안정성: 모델 매개변수에서 유도된 명시적 상수와 함께 무한 차원 힐베르트 공간에서 심층 SS-NO 아키텍처에 대한 리프시츠 안정성 증명.
• 이산화 오차 정리: SS-NOs 에 대한 명시적 연속 - 이산 오차 상한 유도. 이전의 FNO 결과와 달리, 본 분석은 분수 Sobolev 정칙성, 일반 컨볼루션 커널, 그리고 비매끄러운 활성화 함수 (ReLU) 를 포괄합니다. 이러한 상한은 입력 매끄러움과 커널 스펙트럼 감쇠에 의존하는 대수적 수렴 속도를 보여줍니다.
• 이산 안정성: 이산화 오차와 입력 교란을 모두 포함하는 이산화된 모델에 대한 전역 안정성 상한 증명. 이는 연속 영역에서 얻은 결과의 안정성에 대한 이산화의 영향을 공식적으로 평가합니다.
• 이론적 확장: 이 작업은 FNOs 에 대해 확립된 이론적 프레임워크 (예: Lanthaler et al., 2025) 를 SS-NO 아키텍처로 확장하여, 이러한 모델 클래스에 대한 이산화 오차와 수치 안정성의 누락된 엄밀한 정량화를 다룹니다.

결과
이론적 발견은 1 차원 및 2 차원 벤치마크에 대한 경험적 실험을 통해 검증되었습니다:

• 이산화 오차: 다양한 매끄러움 ($s$) 을 가진 가우시안 랜덤 필드 (GRFs) 를 사용한 실험은 상대 $\ell^2$ 오차가 공간 해상도 ($N$) 가 증가함에 따라 대수적으로 감소한다는 이론적 예측을 확인했습니다. 관찰된 수렴 속도는 이론적 지수 $\beta = d/2 - s$(또는 ReLU 와 같은 비매끄러운 함수의 경우 활성화 정칙성에 의해 제한됨) 와 일치했습니다.
• 안정성: 고정된 이산화 SS-NO 레이어에 대한 교란 실험은 출력 오차가 입력 교란 크기에 비례하여 선형적으로 증가함을 보여주었으며, 이는 유도된 리프시츠 안정성 상한과 일치합니다.
• 깊이와 학습: 1 차원 버거스 (Burgers) 방정식을 해결하는 학습된 SS-NO 에 대한 추가 실험은 학습 후에도 이산화 - 스케일링 행동이 지속되며, 네트워크 깊이를 증가시켜도 이산화 오차의 병리적 증폭을 유발하지 않음을 입증했습니다.
• 스트레스 테스트: 해상도가 부족한 진동 입력을 사용한 실험은 격자 해상도가 입력 주파수를 분해하기에 충분하지 않을 때 이산화 오차가 포화됨을 확인하여, 미해결 영역에서의 실패 모드에 대한 이론의 예측을 검증했습니다.

의의
본 논문은 신경 연산자에서 해상도 일반화와 안정성에 대한 추론을 위한 엄밀한 경로를 제공한다고 주장합니다. 명시적 오차 상한과 안정성 보장을 확립함으로써, 이 작업은 실제 세계의 수치적 제약 하에서 신경 연산자의 정확도에 대한 공식적 정량화를 제공합니다. 저자들은 이러한 결과가 커널, 활성화 함수, 네트워크 깊이를 선택하여 연산자 학습에서 이산화 효과를 제어하기 위한 원칙적 지침을 제공한다고 제안합니다. 이 발견들은 연속적 이론적 보장과 이산적 수치 구현 간의 간극을 메워 SS-NOs 의 강건성이 단순히 경험적인 것이 아니라 이론적으로 근거 있음을 보장합니다.