TiMi: Empower Time Series Transformers with Multimodal Mixture of Experts

시계열 예측은 다음에 어떤 일이 일어날지 추측하기 위해 시간에 따라 기록된 숫자들의 배열을 살펴보는 과학입니다. 이는 가솔린 가격부터 독감 유행의 확산에 이르기까지 모든 것을 예측하는 엔진 역할을 합니다. 수십 년 동안 가장 성공적인 방법들은 거의 전적으로 숫자 자체에 의존하며, 과거의 패턴을 찾아 이를 미래로 투영해 왔습니다. 그러나 현실 세계는 결코 단순한 숫자의 흐름만으로 이루어져 있지 않습니다. 현실은 뉴스 헤드라인, 정부 정책, 그리고 데이터 포인트보다는 텍스트로서 나타나는 예기치 못한 사건들의 영향을 받는 복잡한 시스템입니다. 인간은 공급망 중단에 관한 뉴스 보고를 읽고 미래 가격에 대한 기대치를 자연스럽게 조정하지만, 전통적인 컴퓨터 모델은 이를 수행하는 데 어려움을 겪어 왔습니다. 이 모델들은 종종 텍스트를 수치 데이터의 매끄러운 흐름과 정렬하기 어려운, 별개의 혼란스러운 층위로 취급하여, 세상이 변할 때 예측이 빗나가는 결과를 초래하곤 합니다.

칭화 대학교의 연구진은 이러한 격차를 메우는 새로운 방법을 제안하며, 'TiMi'라고 불리는 시스템을 선보였습니다. 텍스트와 숫자를 동일하고 경직된 형식으로 강제로 통합하려 하는 대신, 그들의 접근 방식은 이 둘을 서로 구별되면서도 협력적인 가이드로 취급합니다. 핵심 아이디어는 방대한 양의 인간 저작물을 학습한 인공지능인 거대 언어 모델(LLM)을 사용하여 텍스트를 읽고 그것이 미래에 무엇을 의미하는지 추론하게 하는 것입니다. 이 모델은 단순히 단어를 암기하는 것이 아니라, 새로운 정책이 매출을 상승시킬지 혹은 하락시킬지와 같은 인과 관계를 추론하기 위해 텍스트를 분석합니다. 이렇게 도출된 추론은 전문적인 예측 엔진으로 전달되어 수치적 예측을 정교하게 다듬는 데 사용됩니다. 연구진은 언어 모델이 숫자와 하나의 엉망인 혼합물로 합쳐지기보다 숫자를 위한 가이드 역할을 하게 함으로써, 시스템이 훨씬 더 정확한 예측을 할 수 있다는 것을 발견했습니다.

연구진은 농업, 기후, 에너지, 공중 보건 등 다양한 분야를 아우르는 16가지의 서로 다른 실제 데이터셋을 통해 이 방법을 테스트했습니다. 이 테스트에서 새로운 시스템은 텍스트와 숫자를 결합하려고 시도했던 기존의 진보된 모델들을 포함하여 일관되게 기존 모델들보다 우수한 성능을 보였습니다. 결과는 특히 텍스트가 숫자의 변화에 대한 명확한 이유를 제공하는 시나리오, 예를 들어 스마트폰 리콜 보고가 판매 급락을 일으키는 경우에 매우 놀라웠습니다. 이러한 사례에서 새로운 시스템은 텍스트를 사용하여 하락을 예측하는 데 성공했지만, 다른 모델들은 종종 갑작스러운 변화를 포착하지 못했습니다. 이 연구는 더 나은 예측의 핵심이 서로 다른 유형의 데이터를 동일하게 만드는 데 있는 것이 아니라, 각자가 가장 잘할 수 있는 일을 하도록 허용하는 데 있음을 시사합니다. 즉, 텍스트는 이야기와 원인을 제공하고, 숫자는 기록과 추세를 제공하는 것입니다.

이를 구현하기 위해 연구진은 전문적인 조언자 세트처럼 작동하는 모듈형 시스템을 설계했습니다. 시스템의 한 부분은 역사적인 숫자에 온전히 집중하여 데이터의 장기적인 리듬과 패턴을 학습합니다. 또 다른 부분은 언어 모델을 사용하여 미래의 추세(예: 전망이 증가하는지, 감소하는지, 혹은 유지되는지)에 대한 구조화된 통찰력을 추출하는 데 집중합니다. 이 두 가지 정보의 흐름은 시스템이 특정 순간에 가장 관련 있는 조언을 선택할 수 있는 방식으로 결합됩니다. 만약 텍스트가 주요한 사건이 다가오고 있음을 시사한다면, 시스템은 그 통찰력에 크게 의존합니다. 만약 텍사가 모호하거나 무관하다면, 시스템은 역사적 패턴에 더 많이 의존합니다. 이러한 유연성 덕분에 모델은 텍스트와 숫자가 동시에 도착하지 않거나 동일한 형식으로 도착하지 않는 복잡한 현실 세계의 데이터를 처리할 수 있습니다.

연구진은 또한 이 시스템이 불규칙한 데이터에서도 얼마나 잘 작동하는지 탐구했는데, 이는 현실 세계에서 흔히 발생하는 현상입니다. 많은 상황에서 뉴스 보고는 예측 불가능한 시간에 나오거나 특정 날짜의 데이터가 누락될 수 있습니다. 전통적인 모델은 이러한 공백으로 인해 어려움을 겪는 경우가 많지만, 새로운 시스템은 이를 쉽게 처리했습니다. 텍스트와 숫자를 결합하기 전에 각각을 별도로 처리하기 때문에, 두 데이터 사이의 완벽한 타이밍을 요구하지 않습니다. 불규칙한 데이터셋에 대한 테스트에서 이 시스템은 표준적인 방법들에 비해 예측 오차를 거의 30% 줄였습니다. 이러한 견고함은 이 접근 방식이 단순한 이론적 개선이 아니라, 실제 응용 분야에서 발견되는 불완전하고 비동기적인 데이터를 다룰 수 있는 실용적인 도구임을 시사합니다.

연구의 중요한 부분은 시스템이 어떻게 결정을 내리는지 이해하는 것이었습니다. 연구진은 시스템이 유사한 유형의 데이터 트렌드를 자연스럽게 그룹화한다는 것을 발견했습니다. 예를 들어, 강력한 상승 추세를 보이는 데이터셋의 미래를 예측하도록 요청받았을 때, 시스템은 일관되게 내부 로직의 특정 부분에 의존했습니다. 추세가 하락할 때는 다른 부분으로 전환했습니다. 이러한 동작은 시스템이 단순히 추측하는 것이 아니라, 서로 다른 미래 시나리오를 처리하기 위해 자신의 뇌 안에 서로 다른 '전문가'를 배치하며 전문화하는 법을 배우고 있음을 나타냅니다. 또한, 연구는 텍스트의 품질이 중요하다는 점을 보여주었습니다. 연구진이 노이즈가 섞이거나 무관한 텍스트를 입력했을 때 시스템의 성능은 약간만 저하되었으며, 이는 시스템이 노이즈를 걸러내고 신호에 집중할 수 있음을 입증했습니다.

이러한 발견은 텍스트와 숫자를 결합하는 최선의 방법이 이들을 하나의 통일된 표현으로 융합하는 것이라는 지배적인 아이디어에 도전합니다. 이전의 시도들은 종-종 텍스트를 숫자로 번역하여 시계열 데이터와 직접 섞을 수 있도록 만들려 했으며, 이 과정에서 텍스트의 의미가 희석되는 경우가 많았습니다. 새로운 접근 방식은 이러한 융합 대신 가이드된 상호작용을 선호합니다. 텍ist를 인과적 추론의 원천으로 유지하고 숫자를 예측의 대상으로 유지함으로써, 시스템은 두 가지의 고유한 강점을 보존합니다. 연구진은 이 방법이 인플루엔자 사례 추적부터 교통량 예측에 이르기까지 광범위한 영역에서 작동함을 입증했으며, 이는 텍스트를 읽고 추론하는 능력이 예측을 위한 보편적인 자산임을 시사합니다.

결국, 이 연구는 시계열 분석에 있어 인공지능이 나아갈 더 명확한 경로를 제시합니다. 이는 미래의 예측이 모든 것을 한꺼번에 하려는 더 크고 복잡한 모델을 구축하는 데 있는 것이 아니라, 서로 다른 종류의 정보에 귀를 기울이는 법을 아는 시스템을 설계하는 데 있음을 보여줍니다. 언어 모델이 뉴스를 읽고 예측 모델이 숫자를 관찰하게 한 뒤, 이들이 함께 협력하도록 함으로써 시스템은 어느 하나가 단독으로 도달할 수 없는 수준의 정확성과 적응성을 달성합니다. 이 결과는 복잡한 시스템의 미래를 예측하려는 누구에게나, 숫자의 이면에 담긴 이야기가 숫자 그 자체만큼 중요하다는 것을 시사합니다.