MM-ISTS: Cooperating Irregularly Sampled Time Series Forecasting with Multimodal Vision-Text LLMs

이 논문은 비동기적 관측이 특징인 불규칙 샘플링 시계열 데이터의 예측 정확도를 높이기 위해, 시각 및 텍스트 대규모 언어 모델을 활용하여 시간적 패턴과 맥락적 의미를 통합하는 새로운 멀티모달 프레임워크인 MM-ISTS 를 제안합니다.

핵심

🌧️ 비유: "비 오는 날의 날씨 예보"

상상해 보세요. 여러분이 내일의 날씨를 예측해야 한다고 칩시다. 하지만 문제는 날씨 관측소들이 제멋대로라는 점입니다.

• A 관측소는 1 시간마다 데이터를 보냅니다.
• B 관측소는 3 시간마다 보냅니다.
• C 관측소는 고장이 나서 데이터가 아예 안 옵니다.

기존의 인공지능들은 이렇게 시간 간격이 불규칙하고 데이터가 뚝뚝 끊긴 상태에서는 예측을 잘 못했습니다. 마치 "어제 1 시에 비가 왔고, 그다음 데이터는 5 시에 왔는데 그 사이는 어떻게 됐지?"라고 헤매는 것과 같죠.

이 논문은 이 문제를 해결하기 위해 **세 가지 감각 (시각, 언어, 숫자)**을 모두 활용하는 '초능력 예측 시스템 (MM-ISTS)'을 개발했습니다.

---

🛠️ MM-ISTS 가 어떻게 작동하나요? (4 단계 과정)

이 시스템은 네 가지 핵심 단계로 이루어져 있습니다.

1. 데이터의 '사진'과 '설명서' 만들기 (크로스-모달 인코딩)

기존에는 숫자만 봤다면, 이 시스템은 데이터를 그림과 글로 바꿉니다.

• 그림 (Visual): 단순히 선 그래프를 그리는 게 아닙니다. "어디서 데이터가 끊겼는지 (검은색)", "시간 간격이 얼마나 길었는지 (색상)"를 3 가지 색상 채널로 표현한 특별한 사진을 만듭니다. AI 가 "아, 여기 데이터가 없어서 검은색이네"라고 눈으로 바로 파악할 수 있게요.
• 설명서 (Text): "이 데이터는 평균이 20 도이고, 결측치가 30% 나 있어요" 같은 통계적 설명을 텍스트로 적어 AI 에게 줍니다. 마치 의사가 "환자 A 는 평소 혈압이 높고, 최근 3 일간 약을 먹지 않았어요"라고 설명하는 것과 같습니다.

2. 숫자 데이터의 '맥락' 파악 (ISTS 인코딩)

그림과 글만으로는 부족합니다. 숫자 자체의 미세한 흐름도 봐야 하죠.

• 이 부분은 전문적인 숫자 분석가 역할을 합니다. 각 변수 (예: 혈압, 심박수) 가 시간에 따라 어떻게 변했는지, 그리고 변수들끼리 서로 어떤 영향을 주는지 깊이 있게 분석합니다.

3. 거대한 지식의 '요약' (적응형 쿼리 추출기)

여기서 **거대 언어 모델 (LLM)**이 등장합니다. 이 모델은 방대한 지식 (의학, 기후, 경제 등) 을 가지고 있지만, 그 정보가 너무 방대해서 숫자 데이터와 섞기엔 무겁습니다.

• 이 시스템은 비즈니스 매니저처럼 행동합니다. 거대한 지식 (LLM) 에서 "이 데이터에 필요한 핵심 정보"만 골라내어 간결한 요약본으로 만들어줍니다. 불필요한 잡음은 버리고, 진짜 필요한 지식만 남깁니다.

4. 상황에 따른 '지능적 결합' (멀티모달 정렬)

마지막으로, 숫자 분석가가 만든 결과와 지식 요약본을 합칩니다.

• 스마트 게이트 (Modality-Aware Gating): 이 시스템은 상황에 따라 비중을 다르게 둡니다.
  • 데이터가 풍부하게 들어왔을 때는: "숫자 분석가"의 말을 더 믿습니다.
  • 데이터가 부족하거나 끊겼을 때는: "지식 요약본 (LLM)"의 도움을 더 많이 받습니다. (예: "데이터가 없으니, 일반적인 의학 지식으로 추론하자")
  • 이렇게 상황에 따라 가장 믿을 만한 정보를 골라 합치는 것이 이 시스템의 핵심 비결입니다.

---

🏆 왜 이 방법이 특별한가요?

기존 방법들은 "숫자만 보고 예측"하거나 "텍스트만 보고 예측"하는 식으로 한쪽 눈으로만 보았습니다. 하지만 MM-ISTS 는 **눈 (그림), 귀 (글), 뇌 (숫자 분석)**를 모두 동시에 사용합니다.

• 효율성: 거대한 AI 모델을 처음부터 다시 가르치는 게 아니라, 이미 지식을 가진 AI 를 유능한 조수처럼 활용해서 계산 비용을 줄였습니다.
• 정확도: 실험 결과, 의료 데이터 (환자 기록) 나 기후 데이터 등 실제 불규칙한 데이터에서 기존 최고의 방법들보다 훨씬 더 정확한 예측을 보여주었습니다.

💡 한 줄 요약

"데이터가 끊겨도, 그림과 글로 상황을 파악하고, 거대 AI 의 지능을 상황에 맞게 빌려와서 가장 정확한 미래를 예측하는 똑똑한 시스템!"

이 기술은 의료, 교통, 기후 변화 등 데이터가 불완전한 현실 세계의 문제를 해결하는 데 큰 도움을 줄 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem Definition)

불규칙 샘플링 시계열 (Irregularly Sampled Time Series, ISTS) 은 의료, 교통, 기후 과학 등 실제 환경에서 센서 고장, 네트워크 오류, 다양한 샘플링 소스로 인해 발생하는 보편적인 현상입니다. ISTS 는 변수 간에 비동기적이고 불균일한 시간 간격으로 관측됩니다.

기존의 ISTS 예측 방법들은 다음과 같은 한계를 가집니다:

• 단일 모달리티 의존: 주로 과거 관측 데이터만 활용하여 맥락적 의미 (contextual semantics) 와 미세한 시간적 패턴 (fine-grained temporal patterns) 을 학습하는 데 부족함이 있습니다.
• 모델링 접근법의 한계:
  • 연속 시간 모델링: 미분 방정식을 사용하지만 복잡한 패턴 학습에 한계가 있습니다.
  • 기하학적/패치 기반 모델링: 그래프 연결性或 패치 분할을 사용하지만, 세밀한 시간적 패턴을 흐리게 만들 수 있습니다.
  • LLM 기반 모델: 사전 훈련된 언어 모델 (PLM) 을 적용했으나, 대부분 텍스트나 시계열 단일 모달리티에 국한되어 있으며, 불규칙성을 고려한 시각적/텍스트적 보완 정보를 충분히 활용하지 못합니다.

따라서, 시계열 데이터, 텍스트, 이미지를 통합하여 불규칙성을 보존하면서도 풍부한 맥락 정보를 활용할 수 있는 새로운 프레임워크가 필요합니다.

2. 제안 방법론: MM-ISTS (Methodology)

저자들은 MM-ISTS라는 멀티모달 프레임워크를 제안했습니다. 이는冻结된 (frozen) 멀티모달 LLM(MLLM) 의 일반적 추론 능력과 ISTS 의 정밀한 수치 패턴을 결합합니다. 프레임워크는 크게 4 가지 핵심 구성 요소로 이루어집니다.

① 교차 모달 비전 - 텍스트 인코딩 (Cross-Modal Vision-Text Encoding)

ISTS 를 MLLM 이 이해할 수 있는 밀집된 (dense) 비전 및 텍스트 표현으로 변환하되, 불규칙성 (irregularity) 을 최대한 보존합니다.

• 불규칙성 인식 이미지 생성 (Irregularity-Aware Image Construction):
  • 기존 선 그래프나 히트맵은 시간적 역동성을 잃거나 노이즈를 유발합니다.
  • MM-ISTS 는 3 채널 이미지로 변환합니다:
    1. 관측 데이터 채널 (C0): 실제 관측 값.
    2. 결측 마스크 채널 (C1): 관측 여부 (1: 관측, 0: 결측).
    3. 시간 간격 채널 (C2): 관측 사이의 시간 차이 ($\delta$).
  • 이를 통해 MLLM 이 결측 데이터와 불규칙한 샘플링 간격을 시각적으로 식별할 수 있게 합니다.
• 통계 중심 텍스트 프롬프트 (Statistical-domin Text Prompting):
  • 데이터의 통계 정보 (평균, 범위, 결측률) 와 도메인 지식을 포함한 구조화된 텍스트 프롬프트를 생성하여 MLLM 의 추론 능력을 강화합니다.

② ISTS 인코딩 (ISTS Encoding)

MLLM 이 수치적 패턴을 정밀하게 포착하는 데 한계가 있으므로, 이를 보완하기 위한 전용 인코더를 병렬로 운영합니다.

• 다중 뷰 임베딩 퓨전 (Multi-View Embedding Fusion):
  • 시간 임베딩: 연속적이고 불규칙한 타임스탬프를 처리하기 위해 학습 가능한 사인 (sinusoidal) 매핑 사용.
  • 변수 임베딩: 각 변수의 고유한 특성을 학습.
  • 값 임베딩: 관측 값과 결측 마스크를 결합.
• 시간 - 변수 인코더 (Temporal-Variable Encoder):
  • Temporal Encoder: 각 변수 내부의 시간적 의존성을 Transformer 로 모델링.
  • Variable Encoder: 변수 간의 상호 의존성을 모델링.
  • 두 단계의 Transformer 를 통해 시계열 내 시간적 패턴과 변수 간 상관관계를 모두 포착합니다.

③ 적응형 쿼리 기반 특징 추출기 (Adaptive Query-Based Feature Extractor)

MLLM 의 고차원 토큰을 ISTS 변수 수에 맞춰 압축하고 정렬하는 정보 병목 (bottleneck) 장치입니다.

• Q-Former 아키텍처 영감: $N$개의 학습 가능한 쿼리 토큰을 도입하여 MLLM 의 시각/텍스트 토큰과 교차 어텐션 (Cross-Attention) 을 수행합니다.
• 기능: 방대한 MLLM 토큰을 고정된 길이의 표현으로 압축하여 계산 비용을 줄이고, 불필요한 노이즈를 필터링하며, 변수별 특징과 정렬된 표현을 생성합니다.

④ 멀티모달 정렬 (Multimodal Alignment)

수치적 특징 (ISTS 인코딩) 과 맥락적 특징 (MLLM 추출) 을 적응적으로 융합합니다.

• 교차 어텐션 퓨전: 수치 특징이 MLLM 특징을 선택적으로 조회하여 관련 맥락 정보를 통합합니다.
• 모달리티 인식 게이팅 (Modality-Aware Gating):
  • 각 변수의 데이터 품질 (관측 밀도, 결측률 등) 을 기반으로 가중치를 동적으로 할당합니다.
  • 데이터가 밀집된 변수: 수치적 특징에 더 높은 가중치 부여.
  • 데이터가 희소하거나 결측이 많은 변수: MLLM 에서 추출한 맥락적 정보에 더 높은 가중치 부여.
  • 이를 통해 저품질 데이터에서도 정확한 예측이 가능하도록 합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 멀티모달 ISTS 프레임워크: 비전 - 텍스트 LLM 을 활용한 최초의 ISTS 예측 프레임워크인 MM-ISTS 를 제안했습니다.
2. 새로운 교차 모달 인코딩: ISTS 를 불규칙성을 인식하는 이미지와 통계 기반 텍스트로 자동 변환하는 모듈을 설계했습니다.
3. 적응형 특징 추출 및 정렬: MLLM 지식을 압축하는 적응형 쿼리 기반 추출기와, 데이터 품질에 따라 모달리티 가중치를 조절하는 게이팅 메커니즘을 통해 이질적인 멀티모달 특징 간의 격차를 해소했습니다.
4. 실증적 유효성 검증: 다양한 실제 데이터셋에서 기존 SOTA 기법들을 능가하는 성능을 입증했습니다.

4. 실험 결과 (Experimental Results)

• 데이터셋: PhysioNet, MIMIC, Human Activity, USHCN 등 4 개의 벤치마크 데이터셋.
• 성능:
  • MM-ISTS 는 모든 데이터셋에서 MSE 와 MAE 기준 가장 우수한 성능을 보였습니다.
  • 기존 ISTS 예측 모델 (T-PatchGNN, KAFNet 등) 대비 평균 MSE 14.3%, MAE 15.1% 개선.
  • 단일 모달 LLM 기반 모델 (ISTS-PLM) 대비 MIMIC 데이터셋에서 MSE 5.2%, MAE 4.6% 개선.
• 효율성:
  • MLLM 백본을 고정 (freeze) 하고 경량 모듈만 학습하여, 전체 LLM 을 파인튜닝하는 ISTS-PLM 대비 학습 시간 약 50% 단축 및 파라미터 수 감소.
  • 전통적인 소형 모델 (KAFNet 등) 보다 예측 정확도가 훨씬 높으면서도 효율적인 균형을 이룹니다.
• 분석 (Ablation Study):
  • 텍스트, 이미지, 쿼리 기반 추출기 (QBE), 정렬 모듈 중 어느 하나를 제거해도 성능이 크게 저하됨을 확인. 특히 QBE 제거 시 가장 큰 성능 하락이 발생하여, MLLM 특징의 압축 및 정렬이 핵심임을 입증.
  • 게이팅 메커니즘: 결측률이 높은 변수일수록 멀티모달 (MLLM) 분기의 가중치가 높아지는 것을 시각적으로 확인하여 설계 의도가 잘 작동함을 증명.

5. 의의 및 결론 (Significance & Conclusion)

MM-ISTS 는 불규칙 샘플링 시계열 예측의 새로운 패러다임을 제시합니다.

• 데이터 부족 문제 해결: 센서 고장 등으로 데이터가 희소할 때, MLLM 의 도메인 지식과 맥락 정보를 활용하여 예측 정확도를 유지하거나 향상시킵니다.
• 멀티모달 학습의 확장: 단순한 텍스트 변환을 넘어, 시각적 표현 (이미지) 과 통계적 텍스트를 결합하여 시계열의 불규칙성과 복잡성을 동시에 해결하는 효과적인 방법을 제시했습니다.
• 실용성: 고정된 MLLM 을 활용하여 계산 비용을 줄이면서도 높은 성능을 달성함으로써, 실제 산업 현장 (의료, 기후 등) 에 적용 가능한 실용적인 솔루션을 제공합니다.

결론적으로, MM-ISTS 는 수치적 정밀도와 언어적/시각적 맥락 이해력을 결합하여, 기존 방법론이 해결하지 못했던 불규칙 시계열 예측의 난제를 효과적으로 해결한 획기적인 연구입니다.