🔢 mathematics

Multi-stage neural operator learning with application for convolutions

이 논문은 컨볼루션 적분 및 관련 다중 입력 문제들을 해결함에 있어 머신 정밀도 수준의 정확도와 탁월한 효율성을 달성하기 위해, 각각 지도 학습과 비지도 학습을 통해 연산자 근사치를 반복적으로 정교화하는 두 가지 다단계 신경 연산자 학습 프레임워크인 Deep Collocation Neural Operator (DCNO)와 Deep Galerkin Neural Operator (DGNO)를 소개한다.

원저자: Zhiping Mao, Zhenye Wen, Yong Zhang, Xiaofei Zhao

게시일 2026-08-20

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Zhiping Mao, Zhenye Wen, Yong Zhang, Xiaofei Zhao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 과학과 공학의 광활한 풍경 속에서, 많은 문제들은 결국 하나의 사물이 거리에 따라 다른 사물에 어떻게 영향을 미치는지 이해하는 문제로 귀결됩니다. 모든 개인이 서로에게 미묘한 끌림이나 밀침을 가하며 복잡한 상호작용의 그물을 형성하는 군중을 상상해 보십시오. 물리학에서 이것은 별들 사이의 중력 작ر용, 입자 사이의 전하, 또는 매질을 통해 퍼져나가는 신호의 방식일 수 있습니다. 과학자들은 이를 "컨볼루션(convolution)"이라 부르며, 이는 먼 거리의 영향들을 모두 합산하여 중력장의 형태나 전위의 세기와 같은 최종 결과를 예측하는 수학적 연산입니다. 수십 년 동안 이러한 상호작용을 계산하는 것은 막대한 계산 비용을 초모하는 일이었습니다. 전통적인 방법들은 특정 지점들에 대한 해답은 구할 수 있지만, 새로운 시나리오나 공간의 임의의 지점에 대해 답을 요구할 때는 어려움을 겪습니다. 그것들은 마치 정해진 격자 위에만 길을 그릴 수 있는 지도 제작자와 같아서, 선 사이의 위치를 물으면 추측할 수밖에 없으며 종종 정밀도를 잃게 됩니다.

최р 연구자들은 이러한 상호작용의 규칙을 직접 학습하도록 컴퓨터 프로그램을 훈련함으로써 이 문제를 해결하기 위해 최근 인공지능을 활용해 왔습니다. 그러나 표준적인 AI 접근 방식은 정확도의 벽에 부딪히는 경우가 많으며, 결과가 준수하긴 하지만 가장 까다로운 과학적 과업을 수행하기에는 충분히 정밀하지 못합니다. 이는 개념을 빠르게 배우지만 작은 지속적인 오류를 범하여 결국 오차가 쌓이는 학생과 같습니다. 중국의 여러 기관 소속 과학자들로 구성된 한 팀은 이제 기계에게 이러한 수준의 정밀도에 도달할 수 있도록 가르치는 새로운 방법을 개발하여, 이전에는 도달할 수 없었던 정밀함에 이르게 했습니다. 그들의 연구는 마치 조각품을 다듬는 숙련된 장인처럼 두 가지 뚜렷한 학습 전략을 도입합니다. 즉, 거친 형태에서 시작하여 단계별로 반복해서 결함을 깎아내어 결과물을 거의 완벽하게 만드는 방식입니다.

Zhiping Mao와 동료들이 이끄는 연구진은 신경망에게 이러한 장거리 상호작용을 처리하도록 가르치는 구체적인 과제에 집중했습니다. 그들은 전체 솔루션을 한 번에 학습하려고 시도하는 것이 병목 현상의 원인임을 깨달았습니다. 대신, 그들은 컴퓨터가 먼저 주요 패턴을 학습한 다음, 이어지는 단계에서는 이전 시도에서 남겨진 실수, 즉 "잔차(residuals)"만을 학습하는 다단계 접근 방식을 제안했습니다. 이는 풍경의 대략적인 윤곽을 먼저 스케치한 다음, 세부 사항을 그리고, 마지막으로 이미지에 생명력을 불어넣는 미세한 하이라이트와 그림자를 더하는 화가를 생각하면 됩니다. 이러한 점진적인 단계를 통해 컴퓨터는 물리적 현상에 대한 더 풍부하고 정확한 이해를 구축합니다.

그들은 서로 다른 유형의 문제에 적합하도록 두 가지 버전의 방법을 개발했습니다. 첫 번째로, 그들이 "딥 콜로케이션 뉴럴 오퍼레이터(Deep Collocation Neural Operator)"라고 부르는 방식은 지도 학습 방식입니다. 이것은 교과서와 정답지를 가진 학생처럼 작동합니다. 컴퓨터는 전통적이고 더 느린 솔버들에 의해 생성된 입력값과 그에 따른 정답 쌍을 제공받습니다. 컴퓨터는 답을 예측하는 법을 배우고, 자신의 작업 내용을 정답과 대조하여 확인한 다음, 자신이 저지른 특정한 오류를 수정하기 위한 새로운 특화 네트워크를 훈련합니다. 이 과정은 각 새로운 네트워크가 이전 네트워크의 실수에만 집중하는 방식으로 반복되며, 전체 오차가 사라질 정도로 작아질 때까지 계속됩니다. 두 번째 방법인 "딥 갈레르킨 뉴설 오퍼레이터(Deep Galerkin Neural Operator)"는 물리적 현상이 특정 집합의 지배 방정식으로 설명될 수 있지만, 훈련을 위한 정답을 생성하기에는 비용이 너무 많이 드는 상황을 위해 설계되었습니다. 이 버전은 비지도 학습 방식으로, 정답지가 필요하지 않습니다. 대신, 예측값이 방정식에 인코딩된 근본적인 물리 법칙을 충족하는지 확인함으로써 학습합니다. 이는 물리 법칙이 준수되도록 내부 논리를 끊임없이 조정하여, 단 하나의 사전 계산된 예시를 보지 않고도 물리적 실체와 완벽하게 일치하도록 솔루션을 정교화합니다.

이 아이디어를 테스트하기 위해, 연구팀은 중력 및 전위 계산을 포함한 다양한 현실적인 시나리오에 이 방법들을 적용했습니다. 2차원 중력장을 다룬 한 실험에서, 그들은 이 다단계 방법이 오차를 컴퓨터 자체의 정밀도 한계와 구별할 수 없을 정도로 작게 줄일 수 있다는 것을 발견했습니다. 많은 고속 계산의 표준인 단정밀도 산술 체계에서, 오차는 1% 미만의 아주 작은 수치로 떨어졌으며 사실상 기계의 한계치에 도달했습니다. 이는 표준적인 방법들이 훨씬 높은 오차율에서 멈춰 서곤 했던 것과 비교하면 극적인 개선입니다. 또한 연구진은 상호작용 규칙이 복잡하여 이를 설명하는 단순한 방정식이 없는 문제에도 이 시스템을 테스트하였으며, 지도 학습 버전이 이러한 어려운 사례들도 동일한 높은 정확도로 처리할 수 있음을 증명했습니다.

이러한 접근 방식의 이점은 단순히 정확도가 높다는 점을 넘어섭니다. 훈련이 완료되면, 새로운 시스템은 공간의 어떤 지점에 대해서도 전체 격자를 다시 계산할 필요 없이 거의 즉각적으로 결과를 예측할 수 있습니다. 매우 최적화된 전통적인 솔버와 직접 비교했을 때, 이 새로운 방법은 대량의 서로 다른 시나리오에 대한 결과를 평가할 때 수천 배 더 빨랐습니다. 초기 훈련에는 시간이 걸리지만, 적용 단계에서의 속도 향상이 보상으로 돌아옵니다. 수천 번의 시뮬레이션을 실행하거나 매개변수가 변함에 따라 시스템이 어떻게 변화하는지 탐구해야 하는 과학자들에게, 이 속도 향상은 혁신적입니다. 이는 몇 시간 또는 며칠이 걸릴 수 있는 과정을 몇 초로 단축시켜, 이전에는 상세히 연구하기에 계산 비용이 너무 컸던 복잡한 시스템을 탐구할 수 있는 문을 열어줍니다.

연구진은 또한 여러 요인이 동시에 변하는 더욱 복잡한 상황에서도 이 방법들이 작동할 수 있음을 보여주었습니다. 한 테스트에서, 그들은 물질의 밀도와 상호작용 커널의 성격이 동시에 변할 때 결과가 어떻게 변하는지 이해하도록 시스템을 훈련했습니다. 시스템은 이러한 변화하는 조건 전반에 걸쳐 성공적으로 일반화하는 법을 학습했으며, 높은 정확도를 유지했습니다. 이는 이 접근 방식이 광범위한 과학적 문제, 예를 들어 양자 입자의 행동 모델링부터 유체의 흐름 시뮬레이션에 이르기까지 적용될 수 있을 만큼 견고하고 유연하다는 것을 시사합니다.

이 연구는 인공지능이 전통적인 수학적 방법과 일치하는 엄밀함을 갖출 수 있도록 밀어붙임으로써 과학적 컴퓨팅 분야의 중요한 진전을 나타냅니다. 기존의 "원샷(one-shot)" 학습 스타일에서 벗어나 반복적인 정교화 과정을 수용함으로써, 연구진은 기계가 거의 완벽한 정밀도로 복잡한 물리 문제를 해결하는 법을 배울 수 있음을 보여주었습니다. 이 발견은 과학적 시뮬레이션의 미래가 단순히 더 빠른 하드웨어에 있는 것이 아니라, 컴퓨터가 지식을 층층이 쌓아 올려 그림을 완성할 수 있도록 더 똑똑하게 가르치는 방식에 달려 있음을 시사합니다.

기술 요약: 컨볼루션 적용을 위한 다단계 신경 연산자 학습

문제 정의
컨볼루션 적분은 정전기학, 중력 시뮬레이션, 신호 처리 등 과학 및 공학 응용 분야에서 매우 기초적인 역할을 합니다. 밀도 함수 $\rho$ 에서 전위 $\phi$ 로의 매핑은 선형적이지만, 컨볼루션 연산자의 비국소적(nonlocal) 특성으로 인해 직접적인 계산은 비용이 많이 듭니다. 일반적으로 $N$ 개의 격자점에 대해 Fast Multipole Method(FMM)나 계층적 행렬(hierarchical matrices)과 같은 고속 솔버를 사용하더라도 $O(N \log N)$ 의 연산이 필요합니다. Fourier Neural Operator(FNO)나 DeepONet과 같은 신경 연산자 학습 방법은 임의의 입력 함수에 대해 빠르고 메쉬가 필요 없는(mesh-free) 예측을 제공할 수 있다는 가능성을 제시하지만, 기존 방식은 "원샷(one-shot)" 지도 학습 방식에 의존합니다. 본 논문은 이러한 표준 학습 방식이 제한된 정확도를 보이는 경우가 많아, 학습된 연산자가 전통적인 고속 솔버에 비해 경쟁력이 떨어진다는 점을 지적합니다. 또한, 지도 학습을 위한 고충실도(high-fidelity) 훈련 데이터를 생성하는 데는 상당한 계산 비용이 발생합니다. 저자들은 기계 정밀도에 근접할 수 있는 고정밀 연산자 학습 프레임워크를 개발하고, 다중 쿼리(many-query) 또는 파라미터 변동 시나리오에서 효율성 이득을 제공하는 것을 목표로 합니다.

방법론
본 논문은 잔차(residual)에 의해 유도되는 여러 학습 단계에서 기저 연산자(basis operators)를 구축함으로써 연산자 근사를 반복적으로 정교화하는 두 가지 일반적인 다단계 신경 연산자 학습 프레임워크를 제안합니다. 두 방법 모두 기본 신경 구조로 Deep Operator Network(DeepONet) 아키텍처를 활용합니다.

Deep Collocation Neural Operator (DCNO):
- 패러다임: 지도 학습(Supervised learning).
- 메커니즘: DCNO는 입력-출력 데이터 쌍 $(\rho, \phi)$ 가 가용한 시나리오를 위해 설계되었습니다. 이는 일련의 기저 연산자 $\{G_{\theta_j}\}$ 를 반복적으로 구축합니다. 0(zero) 연산자에서 시작하여, 각 단계 $s$ 에서 이전 단계까지의 누적 근사인 $G_{s-1}$ 에 대한 잔차 연산자 $e_{s-1} = G - G_{s-1}$ 를 근사하도록 새로운 DeepONet을 학습시킵니다.
- 학습: 단계 $s$ 에서의 기저 연산자는 정규화된 잔차와 네트워크 출력 사이의 콜로케이션 기반 최소제곱 손실(least-squares loss)을 최소화함으로써 학습됩니다. 최종 근사치는 각각의 잔차 노름(norm)에 의해 가중치가 부여된 학습된 기저 연산자들의 선형 결합입니다.
- 이론적 근거: 이 방법은 DeepONet의 보편적 근사 능력(universal approximation capability)에 의존하며, 각 단계에서 $L^2$ 노름에서의 오차를 점진적으로 줄여준다는 이론적 보장을 제공합니다.
Deep Galerkin Neural Operator (DGNO):
- 패러다임: 비지도 학습(Unsupervised learning).
- 메커니즘: DGNO는 대상 연산자가 편미분 방정식(PDE)으로 표현될 수 있는 경우에 적용 가능합니다. 이는 레이블이 지정된 솔루션 데이터 없이도 기저 연산자를 학습하기 위해 PDE 잔차의 약형식(weak formulation)을 활용합니다.
- 학습: DCNO와 유사하게 기저 연산자의 합을 구축합니다. 그러나 학습 목적 함수는 입력 공간에 대해 정규화된 PDE 잔차 범함수(functional)를 최대화합니다. 기저 연산자들의 선형 결합을 위한 계수는 추론 시 갤러킨 투영(Galerkin projection, 선형 시스템 풀이)을 통해 결정됩니다.
- 확장: 전공간(whole-space) 컨볼루션 문제를 위해, 저자들은 모멘트 매칭(moment-matching) 전략을 통합하여 도메인을 절단하고 이를 제로 경계 조건을 가진 유계(bounded) PDE로 변환함으로써 DGNO를 사용할 수 있도록 했습니다.
다중 입력 확장 (Multi-Input Extension):
- 두 프레임워크 모두 DeepONet 구조에 추가적인 브랜치 네트워크를 더하는 Multiple-Input Operator Network(MIONet) 아키텍처를 사용하여, 밀도 $\rho$ 와 커널 $K$ 가 모두 변하는 다중 입력 시나리오를 처리할 수 있도록 확장되었습니다.

주요 기여

새로운 프레임워크: 잔차 기반 학습을 통해 기저 연산자를 점진적으로 구축함으로써 근사 공간을 풍부하게 하는 두 가지 일반적인 다단계 프레임워크인 DCNO(지도 학습)와 DGNO(비지도 학습)를 도입했습니다.
이론적 분석: 충분한 학습과 샘м플링이 이루어질 때 근사 오차가 각 단계에서 엄격하게 감소하며 기하급수적으로 수렴한다는 것을 보여주는 이론적 오차 추정치를 제공했습니다.
고정밀 애플리케이션: 표준 및 근특이 커널(near-singular kernels) 모두에 대해 기계 정밀도(단정밀도 부동 소수점)에 근접하는 정확도를 달릴 수 있음을 입증하며 컨볼루션 연산자 학습에 성공적으로 적용되었습니다.
효율성: 훈련에는 오버헤드가 발생하지만, 학습된 연산자는 특히 다중 쿼리 설정에서 전통적인 솔버에 비해 추론 시 상당한 효율성 이득(수 차례의 속도 향상)을 제공함을 입명했습니다.

수치 결과
저자들은 광범한 수치 실험을 통해 방법론을 검증했습니다.

Poisson Potential (2D): DCNO와 DGNO 모두 2D Poisson 문제에 대해 테스트되었습니다. DCNO는 $5.47 \times 10^{-7}$ 의 평균 상대 $L^2$ 오차를, DGNO는 $6.17 \times 10^{-7}$ 의 오차를 달성하여 둘 다 단정밀도 기계 한계에 근접했습니다. 결과는 다단계 구축이 표준 원샷(one-shot) DeepONet 훈련(약 $10^{-3}$ 의 오차 발생)보다 성능이 현저히 우수함을 보여주었습니다.
노이즈에 대한 강건성: DCNO는 노이즈가 포함된 데이터로 훈련되었을 때도 다양한 노이즈 크기에 대해 예측 오차가 노이즈 수준 미만으로 유지되는 강건성을 입증했습니다.
Multiquadrics (1D): 국소 PDE 형식을 갖지 않는 멀티쿼드릭 커널과의 컨볼루션의 경우, DCNO는 근특이 영역( $a \to 0$ )에서도 높은 정확도( $\sim 10^{-6}$ )를 유지하며 다양한 정규화 스케일에 걸쳐 성공적으로 작동했습니다.
효율성 비교: 1D 컨볼루션에 대한 전통적인 Sum-of-Exponentials(SOE) 방법과의 비교에서, DCNO는 1000개의 테스트 케이스에 대해 평가 시간을 670.44초에서 0.021초로 단축했습니다(202초의 훈련 비용 발생에도 불구하고).
Schrödinger-Poisson 시스템: DGNO는 시간 의존적 Schrödinger-Poisson 시뮬레이션에서 Poisson 솔버를 대체하기 위해 적용되었습니다. 이 방법은 안정성과 질량 보존을 유지하면서 유한 요소법(FEM)에 비해 중력 퍼텐셜의 평가를 가속화했습니다.
다중 입력 시나리오: MIONet을 사용한 실험에서 다단계 접근 방식은 밀도와 커널 변화 모두에 의존하는 연산자에 대해 정확도를 크게 개선하여, 오차를 $10^{-2}$ (원샷)에서 $10^{-5}$ (다단계)로 줄였습니다.

의의 및 주장
본 논문은 제안된 다단계 프레임워크가 표준 원샷 연산자 학습의 정확도 한계를 해결한다고 주장합니다. 잔차 기반 학습을 통해 근사 공간을 반복적으로 정교화함으로써, 이 방법들은 신경 연산자의 추론 속도와 메쉬가 필요 없는 유연성을 유지하면서도 고정밀 수치 솔버에 필적하는 정확도를 달성합니다.

DCNO는 레이블이 있는 데이터가 존재하지만 높은 정확도가 필요하거나, 혹은 governing PDE가 존재하지 않는 문제에 대한 강력한 솔루션으로 제시됩니다.
DGNO는 알려진 PDE 형식을 가진 문제에 대해 비용이 많이 드는 데이터 생성을 배제하는 효율적인 비지도 학습 대안으로 강조됩니다.
저자들은 이러한 방법들이 특히 파라미터 변동이 있거나 쿼리가 많은 시나리오에서 전통적인 솔버가 계산적으로 매우 부담스러워지는 상황에서, 컨볼루션 문제에 대한 최첨단 솔버의 경쟁력 있는 보완책이 될 것임을 강조합니다.

유사한 논문