💻 computer science

Revisiting Neural Processes via Fourier Transform and Volterra Series

이 논문은 분석적 투명성을 위해 볼테라 급수(Volterra series)를 활용하고, 전역 수용 영역과 선형 스케일링을 갖춘 불규칙하게 샘플링된 데이터를 효율적으로 모델링하기 위해 세트 푸리에 컨볼루션(Set Fourier Convolutions)을 도입한 새로운 클래스의 변환 동변성 뉴럴 프로세스(translation-equivariant Neural Processes)를 제안한다.

원저자: Peiman Mohseni, Nick Duffield, Raymond K. W. Wong

게시일 2026-06-02

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Peiman Mohseni, Nick Duffield, Raymond K. W. Wong

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

개요: 보이지 않는 것을 예측하기

당신이 기상 예보관이라고 상상해 보세요. 당신에게는 곳곳에 흩어져 있는 몇 개의 기상 관측소(도시나 오지 등)가 온도와 풍속을 보고하고 있습니다. 당신의 목표는 센서가 없는 곳을 포함하여 지도상의 모든 지점의 날씨를 예측하는 것입니다.

머신러닝의 세계에서 이것을 **뉴럴 프로세스(Neural Processes, NPs)**라고 부릅니다. 이들은 몇 개의 불규칙하고 무작위한 데이터 포인트로부터 학습하여, 그 데이터를 생성해낸 전체적인 보이지 않는 곡선(잠재 함수)의 형태를 추측합니다.

하지만 기존 모델들은 두 가지 큰 문제를 안고 있습니다:

"그리드(격자)" 문제: 일부 모델은 모든 데이터를 완벽하고 깔끔한 격자(모눈종이 같은 형태) 위에 강제로 배치하려고 합니다. 만약 데이터가 흩어져 있거나 지도가 너무 크다면, 이 격자는 처리하기에 너무 커지거나 세부 정보를 잃게 됩니다.
"전체 대 전체(All-to-All)" 문제: 트랜스포머(Transformer)와 같은 다른 모델들은 패턴을 찾기 위해 모든 데이터 포인트를 하나하나 서로 비교합니다. 이는 매우 정확하지만, 데이터가 추가될 때마다(마치 파티에 온 모든 사람을 서로 한 명씩 다 소개하는 것처럼) 굉장히 느려지고 비용이 많이 듭니다.

이 논문은 이 두 가지 문제를 동시에 해결할 수 있는 새로운 방법을 제안합니다.

두 가지 핵심 아이디어

저자들은 이 문제들을 해결하기 위해 **볼테라 급수(Volterra Series)**와 **푸리에 변환(Fourier Transforms)**이라는 두 가지 수학적 도구를 도입했습니다.

1. 볼테라 급수: 복잡성을 위한 "레시피"

문제점: 현재의 모델들은 블랙박스와 같습니다. 수학적 층을 겹겹이 쌓아 올리지만, 우리는 그것들이 왜 작동하는지, 혹은 실제로 어떤 패턴을 학습하고 있는지 정확히 알지 못합니다. 즉, 해석하기가 어렵습니다.

해결책: 저자들은 볼테라 급수라는 것을 사용합니다.

비유: 당신이 케이크를 굽고 있다고 상상해 보세요. 단순한 모델은 단순히 "밀가루와 설탕을 섞으세요"라고 말할 것입니다. 복잡한 모델은 "밀가루, 설탕, 달걀, 버터, 바닐라를 섞고 350도에서 30분 동안 굽되, 만약 비가 온다면 달걀 하나를 더 넣으세요"라고 말할 것입니다.
볼테라 급수는 어떤 복잡한 "혼합" 과정도 더 단순한 단계들의 합으로 분해하는 마스터 레시피 북과 같습니다:
- 1단계: 단순히 재료 그 자체 (선형, Linear).
- 2단계: 재료들이 서로 어떻게 상호작용하는가 (이차, Quadratic).
- 3단계: 세 가지 재료가 어떻게 상호작용하는가 (삼차, Cubic), 등등.

이를 통해 저자들은 모델의 동작을 단순히 추측하는 것이 아니라, 명확하게 설명할 수 있습니다(분석적으로 투명함). 그들은 모델이 데이터 포인트를 어떻게 결합하는지 정확하게 증명할 수 있습니다.

2. 세트 푸리에 컨볼루션 (SFConvs): "라디오 튜너"

문제점:

그리드 모델(ConvCNP 등)은 빠르지만 데이터가 완벽한 격자 위에 있어야 합니다. 만약 데이터가 들쭉날쭉한 해안선이나 3D 구름 형태라면, 이를 상자 안에 억지로 밀어 넣어야 하므로 메모리가 낭비되고 세부 정보가 손실됩니다.
어텐션 모델(Transformer 등)은 무작위한 데이터에는 잘 작동하지만, 모든 점을 서로 비교해야 하기 때문에 매우 느립니다.

해결책: 저자들은 푸리에 변환(SFConvs)을 사용합니다.

비유: 당신이 라디오를 듣고 있다고 상상해 보세요.
- 공간 영역 (기존 방식): 소리의 파동이 시간에 따라 어떻게 움직이는지 봅니다. 노래 전체를 이해하려면 파동의 모든 꿈틀거림을 일일이 분석해야 합니다. 파동이 지저도면 이 작업은 매우 힘듭니다.
- 주파수 영역 (새로운 방식): 라디오를 특정 주파수(음표)에 맞춥니다. 혼란스러운 파동 전체를 보는 대신, "저음 베이스", "중음 트레블", "고음 피치" 조절 노브를 보는 것과 같습니다.
왜 작동하는가: 대부분의 자연 신호(날씨, 이미지, 유체 흐름 등)는 중요한 정보의 대부분이 "낮은 음역대"(저주파)에 들어 있습니다.
마법 같은 효과: 모델이 복잡한 "파동"(공간적 지점) 대신 이러한 "음표"(주파수)를 직접 다룸으로써 다음과 같은 효과를 얻습니다:
1. 그리드를 건너뜀: 데이터를 격자에 억지로 맞출 필요가 없습니다. 흩어진 점들을 직접 처리할 수 있습니다.
2. 한 번에 모든 것을 봄: 주파수의 세계에서는 하나의 "음표"가 전체 신호와 연결됩니다. 이는 모델에게 "글로벌 뷰(전역적 시야)"를 제공합니다 (예: 런던의 폭풍이 파리의 날씨에 어떤 영향을 미치는지 볼 수 있음). 이를 위해 모든 점을 개별적으로 비교할 필요가 없습니다.
3. 빠른 속도 유지: 어텐션 모델의 느린 이차적 스케일링과 달리, 선형적으로 확장됩니다 (데이터가 늘어나도 작업량이 조금만 늘어납니다).

새로운 모델들: SFConvCNPs와 SFVConvCNPs

저자들은 이러한 아이디어를 바탕으로 두 가지 새로운 모델을 만들었습니다:

SFConvCNPs: 이 모델들은 "라디오 튜너"(푸리에) 방식을 사용합니다. 이러한 주파수 기반 연산들을 층층이 쌓아 올립니다. 빠르고, 무작위 데이터를 잘 다루며, "큰 그림"을 볼 수 있습니다.
SFVConvCNPs: 이 모델들은 "라디오 튜너"(푸리에)와 "레시피 북"(볼테라)을 결합한 것입니다. 데이터를 효율적으로 처리하기 위해 푸리에 방식을 사용하면서도, 모델이 해석 가능하고 복잡한 비선형 상호작용을 포착할 수 있도록 수학적 구조를 볼테라 급수로 설계했습니다.

무엇을 발견했는가? (결과)

저자들은 여러 가지 과제를 통해 이 새로운 모델들을 기존의 최고 모델들(표준 뉴럴 프로세스, 트랜스포머, 컨볼루션 뉴럴 프로세스 등)과 비교 테스트했습니다:

합성 수학 과제: 톱니 모양의 파동(sawtooth waves)과 매끄러운 곡선을 예측하는 실험을 했습니다. 새로운 모델은 기존 모델들이 실패했던 날카롭고 들쭉날쭉한 부분까지 더 잘 예측했습니다.
포식자-피식자 역학: 여우와 토끼를 시뮬레이션했습니다. 새로운 모델은 시뮬레이션 데이터에서 실제 역사적 데이터(허드슨 베이의 토끼-담비 기록)로 넘어가는 상황에서도 개체수 순환을 정확하게 예측했습니다.
이미지 완성: 누락된 이미지 부분을 채우는 실험(CIFAR-10)을 했습니다. 새로운 모델은 누락된 픽셀을 재구성하는 데 탁cy한 성능을 보였습니다.
유체 역학 및 기후: 복잡하게 소용돌이치는 유체(Kolmogorov flow)와 실제 기후 데이터(ERA5 온도)를 모델링했습니다.
- 핵심 승리: 훈련 중에 본 적 없는 지역(shifted map)의 유럽 지역을 테스트했을 때, 이동 불변성(translation symmetry)을 존중하는 새로운 모델은 완벽하게 작동했습니다. 절대적인 위치에 의존하던 기존 모델들은 지도가 이동하자 완전히 실패했습니다.

요약

이 논문을 자동차 엔진을 업그레이드하는 과정이라고 생각하세요.

기존 자동차들은 서스펜션은 좋지만(매끄러운 길/그리드에 적합) 오프로드는 못 다루거나, 오프로드용 타이어는 좋지만(어텐션) 너무 무겁고 느렸습니다.
이 논문은 자동차가 덜컹거림을 어떻게 처리하는지 정확히 설명해 주는 새로운 서스펜션(볼테라)과, 흩어진 데이터(거친 지형) 위에서도 빠르고 연료 효율적으로 달릴 수 있는 새로운 타이어(푸리에)를 도입했습니다.

그 결과, 이 모델은 빠르고, 정확하며, 해석 가능하고(작동 원리를 알 수 있음), 강건합니다(데이터가 위치를 옮겨도 잘 작동함).

기술 요약: 푸리에 변환과 볼테라 급수를 통한 뉴럴 프로세스의 재고찰

문제 정의

유한하고 불규칙하게 샘플링된 측정값으로부터 미지의 잠재 함수를 모델링하는 것은 난류 모델링 및 기후 과학과 같은 과학 및 공학 분야에서 지속적인 과제입니다. 뉴럴 프로세스(Neural Processes, NPs)는 함수에 대한 분포를 학습하는 확률적 프레임워크를 제공하지만, 기존의 이동-등변성(translation-equivariant) 변형 모델들은 두 가지 주요 한계점에 직면해 있습니다:

해석 가능성의 결여: 현재의 아키텍처는 일반적으로 비선형성이 포함된 일반적인 구성 요소들을 쌓아 올리는 방식을 취합니다. 이는 경험적으로는 효과적이지만, 유도된 함수 클래스를 모호하게 만들어 원칙적인 분석과 해석 가능성을 제한합니다.
확장성 트레이드오프: 기존의 이동-등변성 NP들은 서로 상충하는 확장성 병목 현상을 겪습니다. 컨볼루션 CNP(ConvCNPs)는 컨볼루션 네트워크를 활용하기 위해 조밀한 균일 격도(uniform grids)에 의존하는데, 이는 고차원 또는 대규모 공간 도메인에서 계산적으로 매우 비효율적이 되며 수용 영역(receptive field)을 국소적인 이웃으로 제한합니다. 반대로, 어텐션 기반 방식(예: TE-TNPs)은 비구조화된 입력에서 직접 작동하며 전역적 상호작ation을 모델링하지만, 관측치의 수에 따라 이차적으로(quadratically) 스케일이 커지므로 대규모 컨텍스트 세트에 적용하기에는 부적합합니다.

방법론

저자들은 **볼테라 급수 표현(Volterra series representation)**과 **집합 푸리에 컨볼루션(Set Fourier Convolutions, SFConvs)**이라는 두 가지 핵심적인 기술적 혁신을 통해 분석적 투명성과 실용적 효율성을 결합한 프레임워크를 제안합니다.

1. 등변 연산자의 볼테라 표현

본 논문은 볼테라 급수 이론을 사용하여 연속적인 이동-등변 연산자를 규명함으로써 컨볼루션 딥 세트(convolutional deep set) 프레임워크를 확장합니다.

분석적 규명: 테일러 전개와 유사하게, 볼테라 급수는 모든 연속적인 이동-등변 연산자를 차수가 높아지는 다중 선형 컨볼루션 연산자들의 무한 합으로 표현합니다. 이는 연산자 $\rho_d$ 에 대한 명시적이고 구성적인 특성을 제공하며, 표준 딥러닝 구조에는 없는 분석적 투명성을 제공합니다.
효율적인 근사: 고차 컨볼루션을 직접 계산하는 것은 계산적으로 불가능합니다. 저자들은 볼테라 연산자의 다중 선형성을 활용하고 푸비니 정리(Fubini's theorem)를 사용하여 고차 항들을 중첩된(cascade) 형태로 재구성합니다. 이를 통해 절단된 볼테라 전개의 계산을 1차 및 2차 컨볼루션만을 계산하는 것으로 축소합니다.
저계수 분해(Low-Rank Decomposition): 2차 컨볼루션(이차 텐서 곱을 포함하는)의 계산 병목 현상을 해결하기 위해, 저자들은 힐베르트-슈미트트 스펙트럼 분해를 통해 이차 커널에 저계수 구조를 부여합니다. 이는 2차 항을 1차 컨볼루션들의 곱의 합으로 근사하며, 엄격한 직교성 제약을 강제하지 않고 직접 매개변수화하여 학습합니다.

2. 집합 푸리에 컨볼루션 (SFConvs)

격자 기반 방식의 이산화 및 국소성 한계를 극복하기 위해, 저자들은 컨볼루션 딥 세트의 주파수 도메인 매개변수화 방식인 SFConvs를 도입합니다.

직접적인 주파수 매개변수화: 입력을 공간 격도에 이산화하는 대신, SFConvs는 푸리에 도메인에서 컨텍스트 세트의 함수적 임베딩에 직접 작용합니다. 컨볼루션 정리에 의해, 공간 도메인에서의 컨볼루션은 주파수 도메인에서의 점별 곱셈(pointwise multiplication)에 대응합니다.
불규칙한 입력 처리: 가우시안 커널을 사용하는 경우 함수적 임베딩 $\rho_e[D_c]$ 는 닫힌 형태의 푸리에 변환을 가집니다. 이를 통해 공간적 이산화 없이 임의의 주파수에서 스펙트럼 계수를 계산할 수 있으며, 격도 해상도가 변경됨에 따라 학습된 가중치와 관련된 물리적 주파수가 변하는 "격도 불일치" 문제를 피할 수 있습니다.
전역 수용 영역 및 선형 스케일링: 주파수 도메인에서의 곱셈은 대략적인 전역 수용 영역을 유도하여 장거리 의존성을 포착할 수 있게 합니다. 결정적으로, 이 방법은 고정된 컴팩트 주파수 격도 $\Xi$ (여기서 $|\Xi| \ll |G|$ , 밀집 공간 격도의 크기)에서 작동하므로, 계산 복잡도는 관측치의 수에 따라 선형적으로 스케일링됩니다, 즉 $O(|\Xi|(|D_c| + |D_q|))$ 입니다.

3. 제안된 모델

이러한 구성 요소들을 바탕으로 저자들은 두 가지 클래스의 조건부 뉴럴 프로세스(CNPs)를 제안합니다.

SFConvCNPs: 점별 비선형성이 교차 삽입된 SFConv 블록들로 구성됩니다.
SFVConvCNPs: 볼테라 프레임워크 내에서 구축되며, 고차 상호작용을 명시적으로 근사하기 위해 SFConvs와 볼테라 정식화를 통합합니다.

주요 기여

원칙적인 규명: 본 논문은 연속적인 이동-등변 연산자를 고차 컨볼루션의 합으로서 볼테라 급수를 통해 원칙적으로 규명하며, 이는 불투명한 딥러닝 스택을 넘어 분석적으로 투명한 대안을 제공합니다.
집합 푸리에 컨볼루션: SFConvs의 도입은 주파수 도메인에서 불규칙한 입력에 직접 작동함으로써 격자 기반 방식의 확장성 한계를 완화하며, 선형 복잡도를 유지하면서도 전역 수용 영역을 유도합니다.
새로운 모델 아키텍처: 강력한 경험적 성능을 입증하는 SFConvCNPs 및 SFVConvCNPs를 제안하며, 이들은 합성 및 실제 벤치마크에서 최신 성능(SOTA) 베이스라인들과 대등하거나 이를 능가하는 성능을 보여줍니다.

실험 결과

저자들은 입력 차원 $d_X \in \{1, 2, 3\}$ 인 5가지 회귀 벤치마크에서 그들의 방법을 평가했습니다:

합성 1D 회귀: RBF, Matérn, 주기적(periodic), 톱니파(sawtooth), 사각파(square-wave) 프로세스를 포함하는 작업에서, SFConvCNPs와 SFVConvCNPs는 경쟁 방법들(CNPs, AttnCNPs, TNP, TE-TNP, ConvCNPs 포함)보다 일관되게 우수하거나 대등한 성능을 보였습니다. 특히, 어텐션 기반 모델은 고주파 도전 과제인 톱니파 작업에서 붕괴되었으나, 제안된 컨볼루션 기반 모델들은 성공했습니다.
포식자-피식자(Predator–Prey) 회귀: 시뮬레이션된 로트카-볼테라(Lotka–Volterra) 궤적 및 실제 허드슨 베이 해리-스라소니 데이터를 대상으로, SFConv 기반 모델들은 베이스라인들에 비해 경쟁력 있거나 우수한 예측 로그 가능도(predictive log-likelihood)와 CRPS 점수를 달성했습니다.
2D 이미지 완성: CIFAR-10 및 SVHN 데이터셋에서, SFConvCNPs는 격자 기반 스펙트럴 베이스라인(SConvCNPs) 및 트랜스포머 모델을 근소하게 앞지르며 가장 좋은 예측 로그 가능도를 기록했습니다.
3D 시공간 회귀:
- 콜모고로프 흐름(Kolmogorov Flow): SFConvCNPs는 복잡한 유체 역학 작업에서 가장 높은 로그 가능도(1.89)와 가장 낮은 CRPS(0.03)를 달성하며, 격자 기반 ConvCNPs 및 비컨볼루션 베이스라인을 능가했습니다.
- ERA5 기후: 유럽의 기온을 예측하는 sim-to-real 전이 작업에서, SFConvCNPs는 비등변 베이스라인들과 비교하여 불연속적인 지리적 영역(서부 및 북부)에 대한 우수한 일반화 능력을 보여주었습니다. 비등변 모델들은 상당한 성능 저하를 겪은 반면, 등변 모델들은 성능을 유지함으로써 상대적 변위(relative displacements)에 의존함을 확인시켜 주었습니다.

의의 및 주장

본 논문은 원칙적이고 확장 가능한 이동-등변 조건부 뉴럴 프로세스 프레임워크를 제시한다고 주장합니다. 그 의의는 다음과 같습니다:

이론과 실제의 가교: 볼테라 급수를 사용함으로써, 저자들은 컨볼루션 딥 세트의 표현 구조를 경험적 휴리스틱을 넘어 체계적인 연산자 이론 설계로 전환하여 분석적 투명성을 확보했습니다.
확장성 트레이드오프 해결: SFConv 접근법은 전역적 상호작용의 필요성과 선형 확장성의 필요성 사이의 충돌을 해결합니다. 이는 고차원에서 공간적 이산화로 인한 지수적 비용을 피하면서도 어텐션 메커니즘의 이차적 비용을 피합니다.
강건한 일반화: 모델들은 미지의 공간 영역과 불규칙한 샘플링 패턴에 대한 강건한 일반화를 입증하였으며, 이는 기후 모델링 및 유체 역학 같은 과학적 응용 분야에서 필수적인 요구사항입니다.

저자들은 본 연구가 불규칙하게 샘플링된 시공간 데이터에 대해 효율적인 확률적 추론이 가능한 주파수 도메인 뉴럴 프로세스를 도입하며, 선형 확장성과 전역 상호작용, 그리고 해석 가능한 연산자를 결합했다고 강조합니다.