기술 요약: 시계열 및 시공간 데이터를 위한 대규모 모델: 조사 및 전망

1. 문제 정의

지질과학에서 교통, 의료, 금융에 이르기까지 실세계 응용 분야 전반에 걸쳐 시계열 및 시공간 데이터를 포함하는 시계열 데이터는 매우 보편적입니다. 이러한 데이터 유형은 동적 시스템의 행동을 이해하는 데 필수적이지만, 전통적인 분석은 통계적 모델링과 소형 딥러닝 아키텍처(예: RNN, CNN, GNN 및 표준 Transformer)에 의존해 왔습니다. 이러한 전통적 모델들은 종종 특정 작업에 국한되어 있으며, 광범위한 전이 학습을 지원하는 능력이 제한적이고, 강력한 의미론적 표현 및 다중 작업 추론 능력이 부족합니다.

대규모 언어 모델(LLM)과 사전 학습된 파운데이션 모델(PFM)은 자연어 처리(NLP), 컴퓨터 비전(CV) 및 기타 모달리티에서 놀라운 성공을 거두었지만, 시계열 데이터에 대한 적용은 여전히 파편화되어 있습니다. 주요 과제는 텍스트나 이미지와 비교했을 때 시계열 데이터를 위한 고품질의 다양한 대규모 데이터셋의 가용성이 제한적이라는 점입니다. 또한, 대규모 모델 패러다임 아래에서 시계열 데이터와 시공간 데이터(그래프, 지식 그래프, 비디오 포함) 연구를 통합하는 통일된 프레임워크가 부족합니다. 이 분야는 최근의 진보를 공고히 하고, 방법론적 차이를 명확히 하며, 열린 연구 기회를 식별하기 위한 종합적인 검토를 필요로 합니다.

2. 방법론 및 분류 체계

본 논문은 새로운 알고리즘이나 실험 모델을 제안하는 것이 아니라, 시계-시공간 데이터에 특화된 기존 대규모 모델에 대한 포괄적인 조사 및 체계적인 분류를 제공합니다. 저자들은 문헌을 데이터 유형, 모델 범주, 모델 범위, 그리고 응용 분야/작업이라는 네 가지 주요 차원에 따라 정리합니다.

2.1 핵심 정의

본 조사는 두 가지 운영 그룹의 대규모 모델을 구분합니다:

• 대규모 언어 모델 (LLMs): 시계열 작업을 위해 재목적화된 언어 중심의 파운데이션 모델입니다. 여기에는 임베딩 가시적(embedding-visible) 모델(오픈 소스, 예: Llama, BLOOM)과 임베딩 비가시적(embedding-invisible) 모델(폐쇄형 소스, 예: GPT-4, PaLM)이 모두 포함됩니다. 적응 전략으로는 프롬프팅, 리프로그래밍, 미세 조정(예: 어댑터, LoRA) 등이 있습니다.
• 사전 학습된 파운데이션 모델 (PFMs): 시계열, 공간, 관계 또는 멀티모달 데이터를 위한 범용 백본으로 설계되거나 적응된 모델입니다. 이들은 작업 특정적 모델과 구별되며, 모달리티 브릿징(modality bridging) 및 추론과 같은 창발적 능력을 목표로 합니다.

2.2 통합 분류 체계

저자들은 이 분야를 두 가지 주요 클러스터로 분류합니다:

1. 시계열을 위한 대규모 모델 (LM4TS):
   • LLM4TS: 시계열 작업(예측, 분류 등)을 위해 언어 모델을 재목적화함.
   • PFM4TS: 시계열 데이터에 특화되어 사전 학습된 모델 (예: Chronos, TimesFM).
   • 범위: 범용(교차 도메인) 및 도메인 특화(교통, 금융, 의료)로 나뉨.
2. 시공간 데이터를 위한 대규모 모델 (LM4STD):
   • LLM4STD & PFM4STD: 시공간 그래프(STGs), 시계열 지식 그래프(TKGs) 및 비디오 데이터를 처리하는 모델.
   • 범위: 마찬가지로 범용 및 도메인 특화(예: 기후, 도시 컴퓨팅)로 나뉨.

2.3 검토 범위

본 조사는 제출 시점(약 2025-2026년경)까지 주요 데이터베이스(ACM, IEEE, arXiv 등)에서 수집된 연구를 다룹니다. 다음 내용을 포함합니다:

• 시계열: 예측, 분류, 이상 탐지, 결측치 보간.
• 시공간 그래프: 교통량 예측, 링크 예측.
• 시계열 지식 그래프: 완성 및 예측.
• 비디오 데이터: 질의응답, 캡셔닝, 동작 예측.

3. 주요 기여

본 논문은 네 가지 주요 기여를 설명합니다:

1. 포괄적이고 기초적인 조사: 시계열 데이터의 대규모 모델 발전에 대한 심층적인 검토를 제공하여, 분야의 지형을 체계적으로 그려냄으로써 연구자와 실무자에게 기초적인 자원 역할을 합니다.
2. 통합되고 구조화된 분류 체계: 연구를 LM4TS와 LM4STD로 나누고, 다시 모델 유형(LLM vs. PFM)과 범위(범용 vs. 도메인 특화)에 따라 세분화하는 새로운 분류 시스템을 도입합니다. 이는 여러 관점에서 이 분야를 이해하기 위한 일관된 로드맵을 제공합니다.
3. 풍부한 자원 편찬: 주요 응용 분야별로 정리된 데이터셋(예: METR-LA, MIMIC-III, CMIP6), 오픈 소스 구현체, 평가 벤치마크를 포함한 풍부한 자원을 큐레이션합니다.
4. 미래 연구 기회: 저자들은 여섯 가지 유망한 미래 연구 방향을 식별하고 상세히 설명합니다:
   • 이론적 분석: 언어적 표현의 시계열 시퀀스로의 전이 가능성 이해.
   • 멀티모달 모델: 텍스트, 숫자, 이미지 간의 다중 해상도 시계열 신호 정렬.
   • 지속적 학습: 파괴적 망각 없이 비정상성(non-stationarity) 및 개념 드리프트 해결.
   • 해석 가능성: 고위험 도메인에서 모델의 결정을 설명할 수 있는 프레임워크 개발.
   • 개인정보 보호 및 보안: 민감한 시계열 데이터에서의 데이터 유출 및 적대적 공격 위험 완화.
   • LLM 에이전트: 시계열 시스템에서 강력하고 불확실성을 인지하는 의사결정 가능하게 함.

4. 주요 결과 및 발견

본 조사는 새로운 실험 결과를 제시하지 않고 현재의 최첨단 기술(SOTA)을 합성하며, 다음과 같은 트렌드와 관찰 결과를 강조합니다:

• 재목적화 vs. 사전 학습: 연구자들이 기존 LLM을 재목적화하거나(프롬프팅 또는 리프로그래밍을 통해, 예: Time-LLM, PromptCast), 방대한 시계열 코퍼스에 대해 전용 PFM을 개발하는(예: Chronos, Pangu-Weather) 두 가지 트렌드가 존재합니다.
• 도메인 적응: 도메인 특화 응용 분야에서 상당한 진전이 있었습니다. 의료 분야에서는 NYUTron 및 MedTsLLM과 같은 모델이 임상 이벤트 예측에서 유망한 모습을 보입니다. 금융 분야에서는 M2VN 및 GPT4FTS가 텍스트 뉴스와 수치 데이터를 통합하여 변동성을 예측합니다. 기후 분야에서는 Pangu-Weather 및 ClimaX가 높은 정확도와 감소된 계산 비용으로 글로벌 예측에 혁신을 일으켰습니다.
• 시공간 복잡성: 시공간 그래프 및 비디오의 경우, 대규모 모델은 텍스트 의미론을 구조적 또는 시각적 데이터와 통합하는 데 점점 더 많이 사용됩니다. STG-LLM 및 Video-LLaMA와 같은 모델은 복잡한 상호작용과 장기 의존성을 처리하는 능력을 입증합니다.
• 과제: 본 조사는 진전에도 불구하고, 고품질의 대규모 시계열 데이터셋 부족, 기호적 그래프 역학(symbolic graph dynamics)과 연속적인 시간적 변화 간의 정렬 어려움, 긴 비디오 시퀀스 또는 대규모 동적 네트워크 처리에 따른 계산 비용 등의 과제가 남아 있음을 지적합니다.

5. 의의 및 전망

본 논문은 시계열 데이터를 위한 대규모 모델이라는 신흥 분야의 촉매제 역할을 자처합니다. 그 의의는 다음과 같습니다:

• 통합: 시계열 분석과 시공간 분석 사이의 간극을 메워, 이전에는 분리되어 연구되었던 도메인 간의 아이디어 교류를 촉진합니다.
• 표준화: 통일된 분류 체계를 제공함으로써 모델의 용어와 분류를 표준화하고, 서로 다른 접근 방식 간의 비교를 돕습니다.
• 자원 접근성: 데이터셋과 도구의 편찬을 통해 새로운 연구자의 진입 장벽을 낮춥니다.
• 방향 설정: 구체적인 미래 방향(예: 전이 가능성에 대한 이론적 분석, 개인정보 보호형 PFM)을 제시함으로써, 커뮤니티가 현재 방법론의 근본적인 한계를 해결하도록 안내합니다.

저자들은 시계열 데이터 분석에 대규모 모델을 통합하는 것이 독특한 과제에 직면해 있지만, 시간적 역학을 이해하고 처리하는 인공 일반 지능(AGI)을 발전시킬 잠재력은 상당하다고 결론짓습니다. 본 조사는 이 역동적인 분야에서 더 많은 호기심과 연구를 자극하는 것을 목표로 합니다.