JointFM-0.1: A Foundation Model for Multi-Target Joint Distributional Prediction

이 논문은 기존 확률 미분 방정식 (SDE) 모델링의 한계를 극복하고, 무한한 합성 SDE 스트림을 학습하여 특정 작업 조정 없이도 결합된 시계열의 미래 확률 분포를 직접 예측하는 최초의 제로샷 기반 모델인 JointFM 을 소개합니다.

핵심

📊 데이터로봇의 '조인트 FM': 미래의 불확실성을 한 번에 예측하는 디지털 점술가

이 논문은 **"JointFM-0.1"**이라는 새로운 인공지능 모델을 소개합니다. 이 모델은 기존의 복잡한 수학적 모델을 거치지 않고, 미래의 모든 가능성 (확률 분포) 을 한 번에 예측할 수 있는 획기적인 기술입니다.

일상적인 언어와 비유로 설명해 드리겠습니다.

---

1. 기존 방식의 문제점: "수제 시계 만들기" 🕰️

기존의 금융이나 경제 예측 (양적 모델링) 은 마치 매번 새로운 시계를 수동으로 만드는 과정과 비슷했습니다.

1. 선택: "어떤 종류의 시계 (모델) 를 만들지?" (예: 주가가 미끄러지듯 변할까, 점프할까?)
2. 교정: "과거 데이터를 보며 나침반을 맞추자." (파라미터 조정)
3. 시뮬레이션: "이제 이 시계로 미래의 시간을 예측해 보자." (컴퓨터로 수많은 시뮬레이션 실행)

문제점:

• 시간이 너무 걸림: 새로운 데이터가 하나만 들어와도 모델을 다시 다 맞춰야 합니다.
• 부서지기 쉬움: 예상치 못한 상황 (갑작스러운 폭풍우 같은 시장 충격) 이 오면 시계가 고장 납니다.
• 비효율적: 복잡한 시계를 만들려면 엄청난 계산 비용과 시간이 듭니다.

---

2. JointFM 의 해결책: "만능 미래 시뮬레이터" 🚀

JointFM 은 이 모든 과정을 **한 번의 클릭 (Forward Pass)**으로 끝냅니다.

핵심 아이디어:
이 모델은 실제 데이터를 보며 하나하나 배우는 게 아니라, 수천만 개의 가상의 '우주'에서 태어난 시뮬레이션 데이터로 미리 훈련받았습니다.

비유:
기존 방식은 "오늘의 날씨를 보고 내일 비가 올지 계산하는 것"이라면,
JointFM 은 **"수천 년 동안의 모든 가능한 날씨 패턴 (우주) 을 경험한 베테랑 기상학자"**입니다.

지금 눈앞에 비가 오지 않아도, "아, 이 구름 모양은 과거에 비가 쏟아지기 직전이었어. 그리고 바람이 불면 A 지역과 B 지역의 강수량이 서로 연결되어 있지."라고 순간적으로 모든 가능성을 예측합니다.

---

3. 이 모델의 3 가지 놀라운 능력

① "무한한 연습장" (Synthetic Physics Pretraining) 🎮

이 모델은 실제 주식 시장 데이터만 본 게 아닙니다. 컴퓨터가 만들어낸 수많은 가상의 경제 상황 (주가 폭락, 급등, 횡보, 갑작스러운 충격 등) 을 모두 경험했습니다.

• 비유: 마치 비행 시뮬레이터에서 태풍, 눈보라, 엔진 고장 등 모든 최악의 상황을 수만 번 연습한 조종사처럼, 실제 비행 (실제 시장) 에 나가도 당황하지 않고 즉시 대응합니다.

② "연관된 미래" 예측 (Joint Distributional Prediction) 🕸️

기존 AI 는 "A 주가가 오를 확률", "B 주가가 오를 확률"을 따로따로 예측했습니다. 하지만 현실은 A 가 오르면 B 도 같이 오르는 경우가 많습니다.

• 비유: 기존 모델은 "오늘 비가 올 확률 50%, 바람 불 확률 30%"라고 따로 말했지만, JointFM은 **"비가 오면서 동시에 강풍이 불어 지붕이 날아갈 확률"**을 정확히 예측합니다.
• 중요성: 포트폴리오나 재고 관리처럼 여러 요소가 서로 영향을 줄 때는 이 '연관성'을 아는 것이 핵심입니다.

③ "순간 이동" (Unified Inference) ⚡

기존 방식은 복잡한 수식을 풀고 시뮬레이션을 돌리는 데 몇 시간이 걸릴 수 있습니다. JointFM 은 10 밀리초 (0.01 초) 만에 10 개의 자산에 대한 미래 63 일간의 모든 가능성을 예측합니다.

• 비유: 복잡한 계산기를 두드려서 답을 구하는 대신, 정답이 적힌 책을 펴서 바로 읽는 것과 같습니다.

---

4. 실험 결과: 실제보다 더 정확할 수 있다? 📉📈

연구진은 이 모델이 보지 못한 새로운 가상의 시장 상황에서도 얼마나 잘 작동하는지 테스트했습니다.

• 결과: 기존에 쓰이던 가장 강력한 통계 모델들보다 에너지 손실 (오차) 을 14.2% 줄였습니다.
• 의미: 미래의 불확실성을 예측할 때, 기존 방법보다 훨씬 더 정교하고 안정적인 '지도'를 그려줍니다. 특히 시간이 길어질수록 기존 모델은 무너지지만, JointFM 은 여전히 강력합니다.

---

5. 왜 이것이 중요한가요? (결론) 🌍

이 기술은 인공지능이 '수학자'와 '시뮬레이터'의 역할을 대체할 수 있음을 보여줍니다.

• 지금까지: "이 위험을 계산하려면 전문가가 며칠 동안 모델을 맞춰야 해."
• 이제부터: "이 위험을 계산해? 0.01 초 만에 모든 시나리오를 보여줄게."

이 기술은 금융, 에너지, 물류 등 미래의 불확실한 상황을 관리해야 하는 모든 분야에서 실시간 의사결정을 가능하게 합니다. 더 이상 복잡한 수식을 외울 필요 없이, AI 가 모든 가능성을 한눈에 보여주고 우리가 그중에서 최선의 선택을 하면 됩니다.

한 줄 요약:

JointFM 은 과거의 데이터를 하나하나 분석하는 게 아니라, 수천 개의 가짜 우주를 경험한 뒤, 실제 미래의 모든 가능성을 '순간'에 예측해 주는 만능 점술가입니다.

기술 요약

논문 요약: JointFM-0.1 - 다중 목표 결합 분포 예측을 위한 기초 모델

1. 문제 제기 (The Problem)

전통적인 정량적 모델링 (Quantitative Modeling) 은 **'선택 (Select) - 보정 (Calibrate) - 시뮬레이션 (Simulate)'**이라는 3 단계 파이프라인을 따릅니다.

1. 확률 과정 (Stochastic Process) 선택
2. 역사적 데이터에 대한 파라미터 보정
3. 미래 경로 시뮬레이션

이 방식은 다음과 같은 심각한 한계를 가집니다:

• 취약성: 단순한 모델 (예: GBM) 은 변동성, 점프, 레짐 전환 등을 포착하지 못하며, 복잡한 모델은 보정이 어렵고 계산 비용이 큽니다.
• 유연성 부족: 새로운 데이터 포인트 하나만으로도 전체 모델이 무효화되어 재보정이 필요할 수 있습니다.
• 실시간성 부재: 시뮬레이션 비용이 높아 실시간 리스크 평가가 불가능합니다.
• 단일 목표 예측의 한계: 기존 시계열 기초 모델 (Chronos, TimesFM 등) 은 대부분 단일 변수 (Univariate) 예측에 집중하여, 포트폴리오 최적화나 공급망 관리와 같이 변수 간 **상관관계 (Dependency Structure)**가 중요한 결합 확률 분포 (Joint Distribution) 를 예측하지 못합니다.

2. 방법론 (Methodology)

저자들은 확률 미분 방정식 (SDE) 을 데이터에 맞추는 기존 패러다임을 반전시켜, 무한한 합성 SDE 스트림을 샘플링하여 기초 모델을 학습하는 새로운 접근법을 제시합니다.

• 핵심 가설: 충분히 다양한 합성 확률 과정 (Synthetic Stochastic Processes) 으로 학습된 모델은, 이를 특정 실현으로 간주할 수 있는 실제 세계의 과정에도 일반화될 수 있다.
• 데이터 생성 (Synthetic Physics Pretraining):
  • 커리큘럼 학습: 0 단계 (드리프트) 에서 9 단계 (볼테라 메모리 등) 까지 복잡도가 증가하는 SDE 커리큘럼을 사용합니다.
  • SDE 구성 요소: 드리프트 (Drift), 확산 (Diffusion), 점프 (Jumps), 메모리 (Memory), 레짐 전환 (Regime Switching) 등을 무작위로 혼합하여 훈련 데이터를 생성합니다.
  • 무한 스트림: 각 훈련 배치마다 새로운 SDE 시스템을 샘플링하여 모델이 동일한 샘플을 두 번 보지 않도록 합니다.
• 아키텍처:
  • Transformer 기반: 동적인 자산 수를 처리하기 위해 Variable-Factored Attention 을 사용합니다.
  • 분포 예측 헤드 (Distributional Heads):
    1. 다변량 가우시안 혼합 (MV-GMM): 가중치, 평균 벡터, 공분산 행렬 예측.
    2. 왜도 Student-t 혼합 (Skewed Student-t Mixture): 두꺼운 꼬리 (Heavy tails) 와 비대칭성을 명시적으로 포착하여 금융 리스크 모델링에 적합합니다.
• 추론 방식 (Zero-Shot):
  • 기존 데이터에 대한 보정 (Fitting) 이나 파인튜닝 없이, 주어진 컨텍스트 (과거 데이터) 만으로 미래의 결합 확률 분포를 단일 순전파 (Single Forward Pass) 로 직접 예측합니다.

3. 주요 기여 (Key Contributions)

1. 합성 물리 사전 학습 (Synthetic Physics Pretraining): 단일 SDE 가 아닌, 상관관계, 점프, 레짐 전환 등을 포함한 다양한 다변량 SDE 시스템의 무한한 흐름으로 모델을 학습시켰습니다.
2. 다중 목표 결합 분포 예측: 기존 연구가 단일 경로나 독립적인 한계 분포를 예측했다면, JointFM 은 모든 목표 변수 간의 의존 구조를 명시적으로 포착하는 완전한 결합 확률 분포를 예측하는 최초의 기초 모델입니다.
3. 통합 추론 (Simulation Shortcut): 모델 선택과 보정을 내부 활성화 (Internal Activations) 에 암시적으로 수행하여, 단일 순전파로 고품질 분포 예측을 생성합니다. 이는 전통적인 파이프라인의 속도 - 품질 트레이드오프를 제거합니다.
   • 성능: NVIDIA H100 GPU 에서 10ms 내에 10 개 목표, 63 개 예측 구간, 10,000 개의 샘플을 생성합니다.

4. 실험 결과 (Results)

실험 설정:

• 데이터: 보지 못한 200 개의 합성 SDE 시스템 (커리큘럼 레벨 7, 점프 및 로지스틱 레짐 전환 포함) 을 사용.
• 입력: 504 단계의 과거 데이터 (Context).
• Ground Truth: 동일한 종료 상태에서 분기된 1,000 개의 미래 경로 (몬테카를로 근사).
• 비교 대상: DCC-GARCH (전통적 다변량 모델), Historical Simulation (비모수 부트스트랩).
• 평가 지표: 에너지 손실 (Energy Loss, 결합 분포 일치도), 한계 에너지 (Marginal Energy), CRPS-sum.

결과:

• JointFM (Student-t 헤드) 은 모든 지표에서 기존 베이스라인을 일관되게 능가했습니다.
• 에너지 손실 (Energy Loss): 평균적으로 가장 강력한 베이스라인 대비 14.2% 감소.
• 예측 구간별 성능: 예측 구간 (Horizon) 이 길어질수록 기존 모델 (특히 Historical Simulation) 의 성능이 급격히 저하되는 반면, JointFM 은 성능을 유지하며 격차가 벌어집니다.
• 특이점: DCC-GARCH 는 짧은 컨텍스트 (T=504) 에서 신뢰할 수 있는 보정이 어려워 성능이 낮았으며, JointFM 은 보정이 필요 없어 이러한 제약을 받지 않았습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 패러다임 전환: "SDE 를 데이터에 맞추는 것"에서 "데이터를 SDE 의 실현으로 보고 분포를 직접 예측하는 것"으로의 전환을 가능하게 했습니다.
• 실시간 의사결정: 보정 시간이 거의 0 에 수렴하여, 에이전트 AI (Agentic AI) 워크플로우에서 실시간 리스크 기반 의사결정을 가능하게 합니다.
• 범용성: 금융 (포트폴리오 최적화), 에너지 (그리드 밸런싱), 물류, 소매 등 다양한 산업의 결합 확률 분포 예측에 적용 가능한 최초의 범용 기초 모델입니다.
• 한계 및 향후 과제: 현재는 마르코프 과정 (Markovian) 에 국한되어 있으며, 비마르코프 메모리, 더 복잡한 변동성 모델 (Stochastic Volatility), 이산형 데이터 처리 등을 위한 확장 계획이 수립되어 있습니다.

이 논문은 사전 학습된 신경망 모델이 방정식을 알지 못하거나 재학습 없이도 다변량 확률 과정 공간 전반에 걸쳐 일반화될 수 있음을 실증적으로 증명한 첫 사례로 평가됩니다.