🤖 machine learning

In-Context Learning of Stochastic Differential Equations with Foundation Inference Models

본 논문은 다양한 SDE 경로에 대한 인컨텍스트 학습(in-context learning)과 지도 학습을 활용하여 노이즈가 포함된 시계열 데이터로부터 드리프트(drift) 및 확산(diffusion) 함수를 정확하게 제로샷 추정하며, 타겟 데이터셋에 대해 미세 조정(finetuning) 시 기존 베이스라인 모델들을 일관되게 능가하는 사전 학습된 파운데이션 모델인 FIM-SDE를 소개한다.

원저자: Patrick Seifner, Kostadin Cvejoski, David Berghaus, Cesar Ojeda, Ramses J. Sanchez

게시일 2026-06-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Patrick Seifner, Kostadin Cvejoski, David Berghaus, Cesar Ojeda, Ramses J. Sanchez

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 누군가가 게임을 하는 것을 관찰하며 그 규칙을 알아내려 한다고 상상해 보십시오. 하지만 여기에는 함정이 있습니다. 플레이어가 보이지 않는 무작위한 돌풍에 의해 이리저리 밀려나고 있다는 점입니다. 당신은 그가 어디로 가는지 볼 수는 있지만, 바람 자체는 볼 수 없으며, 당신의 시야는 때때로 흐릿하거나 방해를 받습니다.

이것이 바로 과학자들이 **확률 미분 방정식(Stochastic Differential Equations, SDEs)**을 연구할 때 직면하는 문제입니다. SDE는 예측 가능한 흐름(예: 강물의 흐름)과 무작위적인 혼돈(예: 바람)이 섞인 상태로 움직이는 시스템을 설명하는 수학적 공식입니다. 목표는 이를 제어하는 두 가지 숨겨진 "함수"를 찾아내는 것입니다:

드리프트(Drift): 예측 가능한 부분 (강물의 흐름).
디퓨전(Diffusion): 무작위적인 부분 (바람).

보통 이러한 규칙을 파악하려면 많은 데이터와 많은 시간, 그리고 규칙이 어떤 형태일지에 대한 많은 추측이 필요합니다. 만약 데이터가 지저도하거나 희소하다면, 기존의 방식들은 실패하거나 계산하는 데 너무 오랜 시간이 걸립니다.

새로운 해결책: FIM-SDE

이 논문의 저자들은 FIM-SDE(SDE를 위한 기초 추론 모델)라는 새로운 도구를 소개합니다. FIM-SDE를 시뮬레이션 실험실에서 수백만 개의 가짜 게임을 공부하며 수년간 경력을 쌓은 매우 똑똑한 탐정이라고 생각해보십시오.

이것이 어떻게 작동하는지 쉬운 비유를 통해 설명하겠습니다:

1. "훈련 캠프" (사전 학습)

탐정이 실제 사건을 접하기 전, 그들은 거대한 훈련 캠프에 갑니다.

시뮬레이션: 연구진은 600,000개의 가짜 시나리오를 생성합니다. 그들은 무작위 "드리프트"와 "디퓨전" 규칙(주로 다항식 같은 간단한 수학 공식)을 만들어내고, 게임을 시뮬레이션한 다음, 의도적으로 데이터를 "오염"시킵니다. 노이즈를 추가하고, 시야를 흐리게 하며, 시간 단계를 건너뜁니다.
교훈: 탐정(AI 모델)은 이 지저도하고 가짜인 게임 기록을 보고, 그것들을 만들어낸 숨겨진 규칙을 즉시 추측하도록 훈련받습니다. 탐정은 혼돈 속에서 패턴을 인식하는 법을 배웁니다.

2. "제로샷(Zero-Shot)" 초능력 (인-컨텍스트 학습)

훈련을 마친 탐정은 새로운 게임 기록(실제 세계의 데이터)을 보고, 그 특정 게임을 몇 시간 동안 연구할 필요 없이 즉시 규칙을 추측할 수 있습니다.

비유: 당신이 수천 가지의 서로 다른 기상 패턴을 보았다고 가정해 봅시다. 누군가 당신에게 약간 흐릿한 폭풍 사진을 보여준다면, 당신은 새로운 컴퓨터 시뮬레이션을 실행할 필요 없이 즉시 "아, 저것은 저기압 시스템과 강한 바람이다"라고 말할 수 있습니다.
결과: 논문은 FIM-SDE가 주가, 유가, 풍속과 같은 지저도한 데이터들을 보고 전문가들이 해당 데이터를 분석하는 데 며칠씩 걸리는 것만큼이나 잘 밑바탕의 규칙을 추측할 수 있음을 보여줍니다.

3. "빠른 학습" (미세 조정)

때때로 탐정의 첫 번째 추측이 훌륭하긴 하지만 완벽하지는 않을 수 있습니다. 아마도 실제 게임에 훈련 캠프에서 다루지 않았던 기묘한 특징이 있을 수도 있습니다.

비유: 처음부터 다시 시작하는 대신, 탐정은 단지 빠른 복습 과정이 필요할 뿐입니다.
결과: 논문은 FIM-SDE가 단 100단계(반복)만으로 특정 새로운 데이터셋에 적응할 수 있다고 주장합니다. 다른 방법들은 동일한 정확도를 얻기 위해 5,000단계가 필요할 수도 있습니다. 이는 마치 탐정이 이미 언어를 알고 있어서 새로운 유행어 몇 가지만 배우면 되는 반면, 다른 이들은 제로 베이스에서 언어 전체를 배우려고 애쓰는 것과 같습니다.

무엇을 테스트했는가?

저자들은 이 탐정을 두 가지 유형의 도전 과제에 테스트했습니다:

고전 물리학 문제: "이중 우물(Double-Well)"(두 언덕 사이를 구르는 공) 및 "로렌츠 어트랙터(Lorenz Attractor)"(유명한 혼돈 기상 모델)와 같은 시스템.
실제 데이터: 페이스북과 테슬라의 주가, 유가 변동, 그리고 풍속 기록.

결론

지저분한 데이터에 대하여: FIM-SDE는 기존 방식보다 훨씬 더 견고합니다. 데이터에 노이즈가 많거나 희소할 때, 기존 방식들은 종종 포기하거나 틀린 답을 내놓지만, FIM-SDE는 계속해서 작동합니다.
속도에 대하여: 적응 속도가 믿기지 않을 정도로 빠릅니다. 이전의 딥러닝 방식보다 50배 더 빠르게 새로운 시스템을 학습할 수 있습니다.
정확도에 대하여: 특정 데이터에 대해 빠른 "미세 조정"을 거치면, FIM-SDE는 (기호 수학 및 가우시안 프로세스를 포함한) 모든 다른 방법보다 높은 정확도를 보입니다.

한계점 (주의 사항)

논문은 탐정이 아직 할 수 없는 것에 대해서도 솔직하게 밝히고 있습니다:

단순한 규칙만 가능: 탐정은 상대적으로 단순한 수학 규칙(다항식)을 바탕으로 훈련되었습니다. 만약 실제 세상이 매우 복잡하고 비수학적인 규칙을 사용한다면, 탐정은 어려움을 겪을 수 있습니다.
작은 규모의 시스템: 이 모델은 1개에서 3개의 변수를 가진 시스템(예: 3차원 공간에서 움직이는 공)에 가장 적합합니다. 수백 개의 변수를 가진 시스템에 적용하는 것은 현재 "훈련 캠프" 시뮬레이션이 너무 느려지고 오류가 발생하기 쉽기 때문에 매우 어렵습니다.

요약하자면: FIM-SDE는 수백만 번의 시뮬레이션을 통해 무작위 운동의 "문법"을 배운 사전 학습된 AI입니다. 이 AI는 지저분한 실제 세계의 이야기를 즉시 읽고 규칙을 추측할 수 있으며, 약간의 추가적인 도움만 있다면 그 누구보다 빠르게 그 규칙을 맞히는 최고의 실력을 보여줍니다.

기술 요약: 기초 추론 모델을 이용한 확률 미분 방정식의 인-컨텍스트 학습

문제 정의

확률 미분 방정식(SDE)은 결정론적 흐름(drift)에 무작위 변동(diffusion)이 중첩된 동역학계를 모델링합니다. 머신러닝 및 과학적 발견 분야의 핵심 과제는 노이즈가 섞인 시계열 데이터로부터 이러한 드리프트 및 디퓨전 함수를 정확하게 추정하거나 "발견"하는 것입니다.

기존의 접근 방식들은 다음과 같은 상당한 한계에 직면해 있습니다:

기호 회귀(Symbolic Regression): 미리 지정된 기저 함수의 사전 딕셔너리에 크게 의존하며, 종종 조밀하고 깨끗한 데이터를 필요로 합니다.
가우시안 프로세스(GP) 회귀: 비매개변수적 사전 확률을 사용하지만, 사전 지식에 민감하며 데이터가 희소하거나 노이즈가 심할 경우 수렴에 어려움을 겪는 경우가 많으며, 자주 변분 근사(variational approximations)를 요구합니다.
뉴럴 SDE(Neural SDEs): 뉴럴 네트워크를 통해 드리프트와 디퓨전을 표현하지만, 일반적으로 SDE 솔버를 통한 역전파(adjoint sensitivity methods 활용)를 포함하는 비용이 많이 드는 훈련 과정이 필요하며, 새로운 시스템이 나타날 때마다 처음부터 다시 훈련해야 합니다.

본 논문은 노이즈가 있는 데이터로부터 SDE 함수를 (광범위한 재훈련 없이) 인-컨텍스트(제로샷) 방식으로 추정하면서도, 희소한 관측 및 노이즈에 강건하게 유지될 수 있는 방법론에 대한 공백을 식별합니다.

방법론: FIM-SDE

저자들은 노이즈가 있는 이산 관측 SDE 경로를 그 기저의 드리프트 및 디퓨전 함수로 직접 매핑하도록 설계된 사전 훈련된 뉴럴 인식 모델인 FIM-SDE(Foundation Inference Model for SDEs)를 소개합니다. 이 방법론은 두 가지 주요 구성 요소로 이루어집니다.

1. 데이터 생성 모델

새로운 시스템에 일반화할 수 있는 모델을 훈련하기 위해, 저자들은 생성적 사전 확률 $p_{prior}(f, G)$ 를 기반으로 합성 데이터셋을 구축합니다.

함수 공간: 드리프트 함수는 차수가 $\leq 3$ 인 다항식에서 샘플링되며, 디퓨전 함수는 양의 다항식(차수 $\leq 2$ )에서 샘플링됩니다. 이는 카오틱 시스템을 포함한 광범위한 물리적 모델을 포괄합니다.
시뮬레이션 및 오염: SDE 경로는 오일러-마루야마(Euler-Maruyama) 스킴을 사용하여 시뮬레이션됩니다. 이후 이 경로들은 실제 세계의 데이터를 모사하기 위해 "오염"됩니다:
- 노이즈: 가법적 가우시안 노이즈(Additive Gaussian noise)가 적용됩니다.
- 불규칙 샘플링: 경로를 서브샘플링하여 시뮬레이션 단계( $\Delta t$ )보다 훨씬 클 수 있는 불규칙한 관측 간격( $\Delta \tau$ )을 생성합니다.
훈련 데이터: 데이터셋은 오염된 시계열 튜플과 그에 대응하는 정답(ground-truth) 드리프트/디퓨전 쌍으로 구성됩니다.

2. 뉴럴 인식 모델 아키텍처

FIM-SDE는 뉴럴 오퍼레이터(특히 DeepONet)와 아마티즈드 추론(amortized inference)에서 영감을 받은 트랜스포머 기반 아키텍처입니다.

입력 표현: 입력 컨텍스트는 노이즈가 있는 시계열으로부터 유도된 전이 튜플 $(y_i, \Delta y_i, \Delta y_i^2, \Delta \tau_i)$ 로 구성됩니다. $\Delta y^2$ 의 포함은 네트워크가 드리프트와 디퓨전 추정을 위한 별도의 특징 채널을 학습할 수 있게 합니다.
컨텍스트 행렬: 셀프 어텐션 트랜스포머 인코더( $\Psi$ )는 임베딩된 전이 튜플을 처리하여 "컨텍스트 행렬"을 생성합니다. 이는 전체 관측 이력을 인코딩하는 DeepONet의 브랜치-넷(Branch-net)과 동일한 역할을 합니다.
함수적 어텐션(Functional Attention): 특정 위치 $x$ 에서의 드리프트 또는 디퓨전을 추정하기 위해, 모델은 "함수적 어텐션" 메커니즘(DeepONet의 트렁크-넷(Trunk-net)에 해당)을 사용합니다. 이 메커니즘은 위치 $x$ 를 쿼리로 사용하여 컨텍스트 행렬을 조회하며, $x$ 와의 공간적 근접성에 따라 전이값들의 가중치를 동적으로 결정합니다.
훈련 목적 함수: 모델은 추정된 함수와 정답 사이의 가중 평균 제곱 오차(MSE)를 최소화하도록 훈련됩니다. 학습 가능한 불확실성 추정기 $U_\theta$ 는 모델이 불확실한 영역(예: 희소하거나 노이즈가 심한 영역)에서 가중치를 낮추어 수치적 불안정성을 방지하는 데 사용됩니다.

3. 파인튜닝 전략

FIM-SDE는 제로샷 모드로 작동하지만, 신속한 파인튜닝을 지원합니다:

조밀한 데이터: 파인튜닝은 단시간 전이의 가능도(likelihood)를 최대화합니다.
희소한 데이터: 파인튜닝은 관측 간극 동안의 SDE를 시뮬레이션하고, 시뮬레이션된 상태와 관측된 상태 사이의 불일치를 최소화합니다.
이를 통해 모델은 표준 뉴럴 SDE를 처음부터 훈련하는 것보다 훨씬 적은 반복 횟수로 특정 타겟 데이터셋에 적응할 수 있습니다.

주요 기여

데이터 생성 모델: 다항식 드리프트 및 디퓨전에 제한된 SDE 경로를 샘플링하고 오염시키는 새로운 모델입니다. 저자들은 이 모델이 강력한 사전 지식을 인코딩하여, 분포 내(in-distribution) 합성 시스템과 실제 데이터 모두에 일반화할 수 있음을 경험적으로 입증했습니다.
최초의 인-컨텍스트 뉴럴 인식기: FIM-SDE는 노이즈가 있는 데이터로부터 저차원 SDE의 드리프트 및 디퓨전 함수를 제로샷 방식으로 추정할 수 있는 최초의 뉴럴 모델입니다.
신속한 적응: 파인튜닝된 FIM-SDE는 표준 뉴럴 SDE 방법보다 최대 50배 빠르게 수렴하며, 궁극적으로 이들을 능가하는 성능을 보여줍니다.

실험 결과

저자들은 8개의 전형적인 SDE 시스템(예: Double-well, 로렌츠 어트랙터)과 4개의 실제 데이터셋(Facebook/Tesla 주가, 유가, 풍속)에 대해 FIM-SDE를 평가했습니다.

제로샷 성능: 다양한 노이즈 수준( $\rho$ )과 관측 간격( $\Delta \tau$ )을 가진 전형적인 시스템들에 대해, FIM-SDE는 견고한 성능을 보였습니다. 노이즈가 많거나 희소한 설정에서 FIM-SDE는 기호 회귀(BISDE) 및 가우시안 프로세스(SparseGP) 베이스라인보다 일관되게 우수한 성능을 보였습니다. 깨끗하고 조밀한 데이터에서는 이러한 베이스라인들과 대등한 성능을 보였습니다. 특히, FIM-SDE는 기호적 및 GP 방법들이 종종 유효하지 않은 SDE 추정치를 생성하거나 수렴에 실패하는 상황에서도 안정성을 유지했습니다.
실제 데이터: 주가 데이터에서 FIM-SDE의 제로샷 성능은 BISDE와 LatentSDE를 능가했습니다. 풍속 및 유가 데이터에서는 제로샷 성능이 BISDE보다 약간 뒤처졌으나, 파인튜닝된 FIM-SDE는 모든 시스템에서 가장 우수한 종합 성능을 기록했습니다.
효율성: 로렌츠 어트랙터에 대해 파인튜닝했을 때, FIM-SDE는 5000번의 반복 훈련을 거친 LatentSDE 베이스라인을 100번 미만의 반복 훈련만으로 추월했습니다. 실제 데이터셋에서도 FIM-SDE는 LatentSDE의 5000회와 비교하여 단 100회의 파인튜닝 반복만 필요했으며, 이는 50배의 컴퓨팅 자원 절감을 의미합니다.

의의 및 주장

본 논문은 FIM-SDE가 SDE 발견을 위한 진정한 **기초 모델(foundation model)**로서 기능한다고 주장합니다. 그 의의는 다음과 같습니다:

훈련 병목 현상 우회: 모든 새로운 데이터셋에 대해 비용이 많이 드는 시스템별 훈련 파이프라인과 SDE 솔버를 통한 역전파 과정을 제거합니다.
강건성: 명시적인 변분 정규화 없이도 노이즈가 있고 희소하며 불규칙하게 샘플링된 데이터를 효과적으로 처리합니다.
과학적 자동화: 신속하게 적응 가능한 제로샷 솔루션을 제공함으로써, 역학에 대한 사전 지식이 부족한 시나리오에서 과학적 발견을 자동화하는 경로를 제시합니다.

저자들은 현재의 사전 확률이 낮은 차수의 다항식 드리프트/디퓨션 및 저차원 시스템에 국한되어 있다는 한계를 인정합니다(고차원 샘플링 시 거절율 발생 때문). 그러나 이 제한된 클래스로부터 학습된 강력한 귀납적 편향(inductive biases)이 실제 응용 분야를 위한 강력한 초기화 도구로서 충분히 기능할 것이라고 주장합니다.