Aurora: Towards Universal Generative Multimodal Time Series Forecasting

이 논문은 텍스트 및 이미지와 같은 모달리티 정보를 활용하여 도메인 간 일반화 능력을 갖춘 범용 생성형 멀티모달 시계열 예측 모델 'Aurora'를 제안하고, 다양한 벤치마크에서 최첨단 성능을 입증합니다.

핵심

오로라 (Aurora): 시계열 예측의 새로운 등불

이 논문은 **오로라 (Aurora)**라는 이름의 새로운 인공지능 모델을 소개합니다. 이 모델은 과거의 데이터만 보고 미래를 예측하는 기존 방식의 한계를 넘어, **텍스트 (설명) 와 이미지 (그래프 모양)**까지 함께 보고 더 정확한 예측을 할 수 있게 해줍니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드리겠습니다.

---

1. 왜 오로라가 필요한가요? (기존 모델의 문제점)

과거의 시계열 예측 모델들은 마치 **"오직 과거의 기록만 보고 미래를 점치는 점술사"**와 같았습니다.

• 문제: 같은 과거 패턴이라도, 상황이 다르면 미래는 완전히 달라질 수 있습니다.
  • 예시: "매일 아침 출근길에 차가 많이 몰리는 패턴"은 평범한 날에는 평범한 교통 체증을 의미하지만, 만약 그날 대형 사고가 났다면 완전한 마비를 의미합니다.
• 한계: 기존 모델은 "차량 수"라는 숫자만 보고 예측했기 때문에, "사고가 났다"는 텍스트 정보나 "도로가 막힌 사진" 같은 이미지 정보를 알지 못해 엉뚱한 예측을 하곤 했습니다.

2. 오로라가 하는 일: "만능 통역사"와 "지혜로운 선배"

오로라는 단순히 숫자를 외우는 게 아니라, **세상의 맥락 (Context)**을 이해합니다.

🌟 비유 1: 날씨 예보관과 뉴스

기존 모델이 "기온이 10 도 떨어졌다"는 숫자만 보고 "내일도 추울 거야"라고 예측했다면, 오로라는 다음과 같이 생각합니다.

• 숫자: 기온이 10 도 떨어졌다.
• 텍스트 (뉴스): "북극 한파가 중서부를 휩쓸고 있다."
• 이미지 (그래프): 급격히 떨어지는 곡선.
• 오로라의 결론: "아, 단순한 계절적 변화가 아니라 극한의 한파가 온 거구나. 내일은 더 추울 뿐만 아니라, 난방 수요가 폭증할 거야!"

이처럼 오로라는 숫자, 글, 그림을 모두 종합하여 상황을 파악합니다.

🌟 비유 2: 요리사의 레시피

• 기존 모델: "감자 1kg, 물 1L"만 보고 감자탕을 끓입니다. (상황에 따라 맛이 다를 수 있음)
• 오로라: "감자 1kg, 물 1L"에다가 **"오늘 날씨가 춥고, 손님들이 매운 걸 좋아한다"**는 설명 (텍스트) 과 "냄비 안의 국물 색깔" (이미지) 을 보고, "오늘은 더 맵고 진한 국물을 만들어야겠다"고 적응해서 요리합니다.

3. 오로라의 핵심 기술: 어떻게 작동할까요?

오로라는 두 가지 마법 같은 기술을 사용합니다.

① "지식 주입" (Modality-Guided Attention)

• 비유: 나침반
• 오로라는 텍스트와 이미지 정보를 마치 나침반처럼 사용합니다. 시계열 데이터 (숫자) 를 분석할 때, "이 부분은 텍스트의 설명과 관련이 깊으니 집중하자", "저 부분은 이미지의 패턴과 비슷하니 참고하자"라고 **주목할 곳 (Attention)**을 스스로 찾아냅니다.
• 덕분에 데이터 속에 숨겨진 '도메인 지식' (예: 교통 사고, 주식 시장 뉴스 등) 을 놓치지 않고 예측에 반영합니다.

② "미래의 초상화 그리기" (Prototype-Guided Flow Matching)

• 비유: 초상화 화가
• 기존 확률 예측 모델들은 "아무것도 없는 하얀 캔버스 (무작위 노이즈)"에서부터 시작해 그림을 그렸습니다. 그래서 결과가 매번 달라지고 불안정할 수 있었습니다.
• 오로라는 이미지나 텍스트를 보고 "미래의 초상화 (Prototype)"를 먼저 스케치합니다.
  • "텍스트에 따르면 '급상승'할 것 같으니, 상승하는 곡선 초상화를 먼저 그려두고..."
  • "이미지에 따르면 '주기적인 파동'이 있으니, 파동 모양을 먼저 그려두고..."
• 이렇게 **이미 있는 초상화 (Prototype)**를 바탕으로 세부적인 그림을 채워 넣기 때문에, 훨씬 더 정확하고 안정적인 예측을 할 수 있습니다.

4. 오로라의 위력 (성과)

오로라는 5 개의 주요 벤치마크에서 기존 최고의 모델들 (Sundial, VisionTS 등) 을 압도했습니다.

• 제로샷 (Zero-shot) 능력: 아예 본 적 없는 새로운 데이터나 상황에서도, 설명만 듣고도 뛰어난 예측을 합니다. (예: 훈련 데이터에 없던 '화재' 관련 데이터가 들어와도, '화재'라는 텍스트 설명을 보고 정확히 예측)
• 다목적: 숫자만 있는 경우, 글이 있는 경우, 그림이 있는 경우 모두 잘 처리합니다.

5. 요약: 오로라란 무엇인가?

오로라는 시계열 예측 분야의 **'만능 전문가'**입니다.

• 과거의 숫자만 보지 않고,
• 그 숫자가 만들어진 **이유 (텍스트)**와 **모양 (이미지)**까지 함께 봅니다.
• 마치 현명한 의사가 환자의 증상 (숫자) 만 보지 않고, 병력 (텍스트) 과 X-ray (이미지) 를 모두 보고 정확한 진단을 내리듯, 미래를 더 정확하게 예측합니다.

이 모델은 경제, 교통, 기상, 의료 등 다양한 분야에서 **"상황을 이해하는 예측"**을 가능하게 하여, 더 나은 의사결정을 돕는 강력한 도구가 될 것입니다.

기술 요약

1. 문제 정의 (Problem Definition)

기존의 시계열 예측 (Time Series Forecasting) 연구는 주로 단일 모달리티 (Unimodal) 기반의 데이터만을 활용하거나, 특정 도메인에 종속된 엔드 - 투 - 엔드 (End-to-End) 지도 학습 모델에 집중해 왔습니다. 이러한 접근 방식에는 다음과 같은 한계가 존재합니다.

• 도메인 간 일반화 (Cross-Domain Generalization) 의 부재: 유사한 과거 데이터 패턴이 다른 도메인 (예: 교통, 기후, 금융) 에서는 서로 다른 미래 추세를 보일 수 있습니다. 기존 단일 모달리티 기반의 파운데이션 모델은 도메인 특유의 지식 (Domain-specific knowledge) 을 명시적으로 활용하지 못해 이러한 차이를 포착하는 데 한계가 있습니다.
• 멀티모달 정보의 미활용: 텍스트나 이미지와 같은 외부 모달리티에는 시계열의 추세를 설명하는 중요한 도메인 지식이 포함되어 있습니다. 하지만 기존 연구들은 이를 효과적으로 통합하지 못했습니다.
• Zero-shot 추론의 어려움: 기존 멀티모달 지도 학습 모델은 훈련 데이터에 의존적이어서, 훈련되지 않은 새로운 도메인 (Zero-shot) 에서의 예측 성능이 떨어집니다.

따라서, 텍스트와 이미지와 같은 멀티모달 정보를 활용하여 도메인 지식을 추출하고, 이를 통해 다양한 도메인에서 Zero-shot 추론이 가능한 범용 생성형 시계열 파운데이션 모델의 필요성이 대두되었습니다.

---

2. 제안 방법론: Aurora (Methodology)

저자들은 Aurora라는 최초의 멀티모달 시계열 파운데이션 모델을 제안했습니다. Aurora 는 크로스 - 도메인 멀티모달 시계열 코퍼스로 사전 훈련 (Pretraining) 되며, 텍스트와 이미지를 포함한 멀티모달 입력을 지원하고 Zero-shot 추론이 가능합니다.

2.1. 아키텍처 개요

Aurora 는 크게 **인코더 (Encoder)**와 **디코더 (Decoder)**로 구성됩니다.

• 인코더 (Aurora Encoder):

  • 멀티모달 토큰화 (Multimodal Tokenization): 시계열 데이터는 Patching 기법을 통해 토큰화되며, 내재된 이미지 (Endogenous Image) 는 FFT 를 기반으로 2D/3D 구조로 변환되어 ViT(Vision Transformer) 에 입력됩니다. 텍스트는 BERT 기반의 토크나이저를 통해 처리됩니다.
  • 토큰 증류 (Token Distillation): 텍스트와 이미지 토큰의 정보 중복을 줄이고 핵심 도메인 지식만 추출하기 위해, 학습 가능한 쿼리 벡터를 기반으로 한 멀티헤드 크로스 어텐션을 사용하여 토큰을 증류 (Distill) 합니다.
  • 모달리티 가이드 멀티헤드 셀프 어텐션 (Modality-Guided Multi-head Self-Attention): 이것이 Aurora 의 핵심입니다. 텍스트와 이미지에서 추출된 도메인 지식을 활용하여 시계열 내부의 어텐션 점수를 조정합니다. 즉, 외부 모달리티가 시계열 토큰 간의 상관관계를 어떻게 해석해야 하는지 '가이드'하여, 도메인 특유의 패턴을 효과적으로 포착하도록 합니다.
  • 모달리티 퓨전 (Modality Fuser): 최종적으로 시계열, 텍스트, 이미지 특징을 크로스 어텐션 기반 퓨저를 통해 통합된 멀티모달 표현으로 결합합니다.

• 디코더 (Aurora Decoder):

  • 컨디션 디코딩 (Condition Decoding): 퓨전된 멀티모달 표현을 기반으로 미래 토큰의 조건 (Conditions) 을 생성합니다.
  • 프로토타입 가이드 플로우 매칭 (Prototype-Guided Flow Matching):
    • 기존 DDPM(확산 모델) 이 가우시안 노이즈에서 시작하는 것과 달리, Aurora 는 **프로토타입 (Prototype)**을 시작점으로 사용합니다.
    • Prototype Bank: 주기성 (Period) 과 추세 (Trend) 를 포함한 다양한 기본 프로토타입 집합을 보유합니다.
    • PrototypeRetriever: 텍스트와 이미지 정보를 입력받아 미래의 "프로토타입"을 선택합니다. 이는 미래의 주기적 패턴과 추세를 사전에 반영한 시작점을 제공합니다.
    • Flow Matching: 선택된 프로토타입 (시작점) 과 실제 미래 값 (목표점) 사이의 속도장 (Velocity Field) 을 학습하여 확률적 예측을 수행합니다. 이는 생성 과정을 단순화하고 안정성을 높입니다.

2.2. 학습 데이터

Aurora 는 Cross-Domain Multimodal Time Series Corpus로 사전 훈련됩니다. 이 코퍼스는 다양한 도메인의 시계열 데이터와, LLM 을 활용하여 생성된 샘플별 텍스트 설명, 그리고 시계열의 내재적 이미지를 포함합니다.

---

3. 주요 기여 (Key Contributions)

1. 최초의 멀티모달 시계열 파운데이션 모델: 텍스트와 이미지를 포함한 멀티모달 입력을 지원하며, 크로스 - 도메인 코퍼스로 사전 훈련된 최초의 모델인 Aurora 를 제안했습니다.
2. 혁신적인 인코더 설계:
   • 토큰 증류: 텍스트와 이미지에서 불필요한 정보를 제거하고 핵심 도메인 지식만 추출하는 효율적인 메커니즘을 도입했습니다.
   • 모달리티 가이드 어텐션: 외부 모달리티 (텍스트/이미지) 가 시계열 내부의 어텐션 메커니즘을 조절하여 도메인 지식을 반영하도록 한 새로운 구조를 제안했습니다.
3. 생성형 확률적 예측을 위한 새로운 디코딩 방식:
   • 프로토타입 가이드 플로우 매칭: 무작위 노이즈 대신 도메인 지식 기반의 프로토타입을 초기점으로 사용하여 생성 과정을 단순화하고 예측의 정확도와 안정성을 높였습니다.
4. 범용성 및 성능 입증: 단일 모달리티, 멀티모달리티, 결정론적, 확률적 예측 등 다양한 시나리오에서 SOTA(State-of-the-Art) 성능을 달성했습니다.

---

4. 실험 결과 (Results)

Aurora 는 5 개의 주요 벤치마크 (TimeMMD, TSFM-Bench, ProbTS, TFB, EPF) 에서 광범위한 실험을 수행했습니다.

• Zero-shot 멀티모달 예측 (TimeMMD):
  • 기존 파운데이션 모델 (Sundial, VisionTS 등) 과 비교하여 평균 MSE 에서 **27.0% ~ 31.2%**의 감소율을 보였습니다.
  • Full-shot 멀티모달 지도 학습 모델 (GPT4MTS, CALF 등) 과 비교하더라도, 10% 의 데이터만 사용한 Few-shot 설정에서 더 우수한 성능을 기록했습니다.
• Zero-shot 단일 모달 예측 (TSFM-Bench, ProbTS):
  • 텍스트나 이미지가 없는 상황에서도 강력한 성능을 발휘했습니다. TSFM-Bench 에서 Time-MoE 대비 15.1%, ROSE 대비 **22.9%**의 MSE 개선을 보였습니다.
  • 확률적 예측 (ProbTS) 에서 CRPS 기준 CSDI 대비 21.5%, MOIRAI 대비 38.3% 개선되었습니다.
• 단기 예측 (Short-term Forecasting, TFB):
  • 역사적 데이터가 부족한 상황에서도 기존 파운데이션 모델 및 지도 학습 모델보다 우수한 성능을 보여주었습니다.
• 모델 분석 (Ablation Study):
  • 모달리티 가이드 어텐션과 프로토타입 가이드 플로우 매칭을 제거할 경우 성능이 급격히 저하됨을 확인하여, 각 구성 요소의 필수성을 입증했습니다.

---

5. 의의 및 결론 (Significance)

이 논문은 Aurora를 통해 시계열 예측 분야에서 다음과 같은 중요한 전환점을 제시합니다.

• 도메인 지식의 명시적 활용: 텍스트와 이미지와 같은 외부 모달리티를 단순히 보조 정보로가 아니라, 시계열의 동역학을 이해하는 핵심 지식으로 활용하여 도메인 간 일반화 능력을 획기적으로 향상시켰습니다.
• 범용 예측 도구: 단일 모델로 다양한 도메인, 다양한 모달리티 조건 (유무), 그리고 결정론적/확률적 예측을 모두 처리할 수 있는 "Out-of-the-box" 솔루션을 제시했습니다.
• 생성형 모델의 새로운 패러다임: 확산 모델 (Diffusion) 대신 프로토타입을 기반으로 한 플로우 매칭을 도입하여, 생성 과정의 효율성과 해석 가능성을 높였습니다.

결론적으로 Aurora 는 복잡한 실세계 시나리오에서 의사결정intelligence을 지원하는 강력한 도구로서, 차세대 시계열 파운데이션 모델의 방향성을 제시합니다.