🤖 machine learning

TiRex-2: Generalizing TiRex to Multivariate Data and Streaming

TiRex-2는 상수 비용 스트리밍을 위한 메모리 중심 설계와 확장 가능한 사전 학습을 위한 합성 결합 파이프라인을 채택하여 단변량 예측을 미래 공변량이 포함된 다변량 시나리오로 확장함으로써 최첨단 제로샷 성능을 달성하는 새로운 순환 xLSTM 기반 시계열 파운데이션 모델이다.

원저자: Patrick Podest, Marco Pichler, Elias Bürger, Levente Zólyomi, Bernhard Voggenberger, Wilhelm Berghammer, Daniel Klotz, Sebastian Böck, Günter Klambauer, Sepp Hochreiter

게시일 2026-07-02

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Patrick Podest, Marco Pichler, Elias Bürger, Levente Zólyomi, Bernhard Voggenberger, Wilhelm Berghammer, Daniel Klotz, Sebastian Böck, Günter Klambauer, Sepp Hochreiter

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 날씨를 예측하려고 노력하고 있다고 상상해 보세요. 옛날 방식이라면 내일의 기온을 맞추기 위해 단 하나의 온도계만을 살펴보았을 것입니다. 하지만 현실은 훨씬 더 복잡합니다. 온도, 습도, 풍속, 기압은 모두 함께 변화하며, 때로는 미래에 일어날 일(예: 예정된 폭풍 전선이나 인파가 몰리는 공휴일)을 이미 알고 있는 경우도 있습니다.

이 논문은 이러한 복잡하고 다변수적인 현실을 기존 모델보다 더 잘 처리할 수 있도록 설계된 새로운 "슈퍼 예측가" AI인 TiRex-2를 소개합니다. 이 모델이 어떻게 작동하는지 쉬운 개념으로 나누어 설명하겠습니다.

1. 문제점: "도서관" vs "노트"

시계열 데이터를 다루는 기존의 AI 모델들(Chronos-2와 같은)은 마치 거대한 도서관과 같습니다. 새로운 정보(예: 새로운 온도 측정값)가 들어올 때마다, AI는 과거의 데이터에서 연결 고리를 찾기 위해 전체 도서관을 다시 거슬러 올라가야 합니다. 역사가 길어질수록 이 "걸어가는 과정"은 점점 더 느려지며, 결국 실시간 업데이트를 처리하기에는 너무 무거워집니다.

TiRex-2는 다릅니다. 이것은 요약본을 계속 업데이트하는 똑똑한 노트와 같습니다. 매번 책 전체를 다시 읽는 대신, 현재 페이지를 업데이트하기만 하면 됩니다. 이를 통해 데이터의 이력이 아무리 길어져도 동일한 속도로 계속 작업할 수 있습니다. 이를 "상수 비용 스트리밍(constant cost streaming)"이라고 부릅니다.

2. 초능력: 미래를 알기 (속임수 없이)

많은 실제 상황에서 우리는 미래에 대해 미리 알고 있는 정보들이 있습니다. 예를 들어, 다음 주 화요일에 공장이 유지보수를 위해 가동을 중단할 것이라는 점이나, 공휴일이 다가오고 있다는 사실을 알고 있습니다.

도전 과제: 만약 AI가 "현재"를 예측하기 위해 "미래"의 데이터를 본다면, 그것은 부정행위입니다. AI는 이미 알고 있는 것들(예: 공휴일)에 대해서만 미래를 알아야 하며, 예측하려는 대상(예: 실제 매출액)의 미래를 절대 엿봐서는 안 됩니다.
해결책: TiRex-2는 특수한 "신호등" 시스템(기술적으로는 **비대칭 그룹 어텐션(asymmetric grouped attention)**이라 불림)을 사용합니다.
- 이 모델은 "미래를 미리 아는" 데이터(공휴일 등)를 양방향(과거와 미래) 모두에서 살펴봄으로써 전체 맥락을 이해합니다.
- 하지만 그 데이터와 "대상(target)" 데이터(매출액 등) 사이에는 엄격한 벽을 세웁니다. 대상 데이터는 공휴일 정보를 볼 수 있지만, 공휴일 정보는 대상 데이터의 미래를 "엿볼" 수 없습니다. 이를 통해 예측이 정직하고 인과적임을 보장합니다.

3. 학습: "믹솔로지스트(Mixologist)"

이 AI에게 변수들이 어떻게 상호작용하는지(예: 바람이 온도에 미치는 영향) 가르치기 위해, 연구진은 많은 연습 데이터가 필요했습니다. 여러 변수가 포함된 실제 세계의 데이터는 매우 희귀하고 찾기 어렵습니다.

비법: 그들은 "믹솔로지스트" 파이프라인을 구축했습니다. 수천 개의 단일 시계열 데이터(예: 온도만 있는 데이터, 매출만 있는 데이터, 교통량만 있는 데이터)를 가져와서, 이를 실시간으로 섞어 가상의 복잡한 다변수 시나리오를 만들어냈습니다.
그들은 데이터를 섞는 다양한 "레시피"를 사용했습니다: 때로는 단순히 데이터를 더하기도 하고, 때로는 한 변수가 다른 변수의 원인이 되게 만들기도 하며, 때로는 복잡한 비선형 관계를 만들기도 했습니다. 이를 통해 AI는 서로 다른 변수들이 함께 춤추는 방식의 패턴을 인식하도록 학습되었습니다.

4. 결과: 마라톤 선수

연구진은 세 가지 주요 방식으로 TiRex-2를 테스트했습니다.

제로샷 성능 (Zero-Shot Performance): AI에게 한 번도 본 적 없는 문제들(다른 산업군, 다른 시간 규모)을 던져주었습니다. TiRex-2는 두 가지 주요 벤치마크(fev-bench 및 GIFT-Eval)에서 현재 최고 수준의 모델(state-of-the-art)들을 제쳤습니다.
마라톤 (스트리밍): AI에게 방대한 데이터 스트림(3,200만 단계!)을 입력했습니다. 다른 모델들이 이력이 길어짐에 따라 속도가 느려지거나 혼란을 겪는 동안, TiRex-2는 속도와 정확도를 일정하게 유지했습니다. 지치지 않은 것입니다.
장거리 주행 (The Long Haul): 아주 먼 미래를 예측하라는 요청을 받았을 때, TiRex-2는 "미래를 미리 아는" 데이터(예: 폭풍 전선)를 활용하여 정확도를 유지한 반면, 다른 모델들은 맹목적인 추측으로 돌아갔습니다.

요약

TiRex-2는 다음과 같은 새로운 유형의 AI입니다.

방대한 이력이 있어도 빠르게 실행됩니다 (도서관 모델과 달리).
무엇을 엿볼 수 있는지(미래의 공휴일)와 무엇을 예측해야 하는지(미래의 매출)의 차이를 구분하여, 부정행위 없이 정직하게 예측합니다.
합성 믹싱(synthetic mixing)을 통해 학습하여, 모든 시나리오에 대한 완벽한 실제 데이터 없이도 서로 다른 변수 간의 상호작용을 이해합니다.

저자들은 이것이 다변수 지원, 미래를 미리 아는 공변량(covariates), 엄격한 인과관계, 그리고 상수 속도 스트리밍을 모두 결합한 최초의 모델이라고 주장합니다.

기술 요약: TiRex-2

문제 정의

실제 세계의 시계열 예측은 본질적으로 순차적이며 다변량(multivariate)적입니다. 관측치는 연속적으로 도착하고, 변수들은 공동으로 진화하며, 일부 공변량(예: 달력 기능, 예정된 개입)은 사전에 알려져 있는 경우가 많습니다. Chronos-2나 MOIRAI와 같은 기존의 시계열 파운데이션 모델(TSFM)은 강력한 다변량 능력을 입증해 왔으나, 주로 트랜스포머(Transformer) 아키텍처에 의존합니다. 이러한 모델들은 스트리밍 시나리오에서 두 가지 결정적인 한계를 가집니다:

이차 복잡도(Quadratic Complexity): 어텐션 메커니즘으로 인해 추론 비용이 컨텍스트 길이에 따라 이차적으로 증가하며, 새로운 관측치가 도착할 때마다 전체 이력을 재계산해야 합니다.
공변량 처리(Covariate Handling): 많은 모델이 타겟 변수에 대한 엄격한 인과성을 위반하지 않으면서 미래에 알려진 공변량을 통합하는 데 어려움을 겪거나, 과거 및 미래 공변량을 동시에 지원하는 기능이 부족합니다.

반면, 강력한 단변량 모델(예: TiRex, Reverso)은 종종 채널 독립성(channel-independence) 가정을 따르며, 이는 다변량 시스템에 필수적인 변수 간 의존성을 간과합니다. 따라서 스트리밍 추론을 지원하면서 상수 비용으로 동작하고, 엄격한 타겟 인과성을 유지하며 미래에 알려진 공변량을 활용할 수 있는 확장 가능한 다변량 파운데이션 모델에 대한 공백이 존재합니다.

방법론

저자들은 과거 및 미래 공변량을 모두 포함하는 다변량 설정으로 일반화되도록 설계된, xLSTM 기반의 재귀적(recurrent) 모델인 TiRex-2를 소개합니다.

아키텍처

TiRex-2는 xLSTM(구체적으로 교대되는 mLSTM 및 sLSTM 블록)을 기반으로 한 메모리 중심 설계를 채택하여, 패치당 상수 비용 업데이트를 가능하게 합니다. 아키텍처는 두 가지 믹싱 블록을 교대로 사용합니다:

타임 믹서(Time Mixer): 각 변량에 대해 패치 축( $L$ $L$ )을 따라 독립적으로 작동합니다.
- 타겟 및 과거 공변량 토큰은 엄격하게 **순방향(forward)**인 xLSTM에 의해 처리됩니다.
- 미래에 알려진 공변량 토큰은 동일한 가중치가 공유된(weight-tied) xLSTM에 의해 **역방향(reverse)**으로 처리되며, 순방향 및 역방향 패스가 선형적으로 융합됩니다. 이를 통해 미래 공와량은 타겟에 대한 인과성을 위반하지 않으면서도 자신의 위치 전후의 정보를 인코딩할 수 있습니다.
변량 믹서(Variate Mixer): 비대칭 그룹 어텐션(asymmetric grouped attention)을 사용하여 변량 축( $V$ $V$ )을 따라 작동합니다.
- 패딩 없이 임의의 수의 변량을 처리하기 위해 블록 대각(block-diagonal) 그룹 어텐션을 사용합니다.
- 결정적으로, 타겟 쿼리는 공변량 키를 읽을 수 있지만 공변량 쿼리는 타겟 키를 읽을 수 없는 비대칭 마스크를 사용합니다. 이는 미래에 알려진 공변량이 타겟에 영향을 미칠 수 있도록 하면서도, 타겟이 공변량에 영향을 주지 못하게 하여 엄격한 인과성을 보존합니다.

훈련 및 데이터 생성

희소한 큐레이션된 다변량 코퍼스에 의존하지 않고 확장 가능한 다변량 사전 학습을 지원하기 위해, 저자들은 **합성 결합 파이프라인(synthetic coupling pipeline)**을 제안합니다. 이 파이프라인은 다음과 같이 작동합니다:

대규모 코퍼스에서 단변량 시계열을 추출합니다.
이를 증강(진폭 트렌드, 센서링, 스파이크)합니다.
다양한 메커니즘(identity, 함수적 결합, 선형 혼합, 코인테그레이션, 그리고 선형 및 비선형 구조적 인과 모델(SCM))을 사용하여 온더플라이(on-the-fly)로 결합합니다.
제어 가능한 교차 변량 의존성을 가진 현실적인 다변량 훈련 인스턴스를 만들기 위해 후처리(공변량 풍부화, 시간 왜곡, 이산화)를 적용합니다.

추론 효율성

xLSTM 백본의 재귀적 특성 덕분에 스트리밍 추론이 가능합니다. 새로운 데이터 패치가 도착함에 따라, 모델은 컨텍스트 길이에 관계없이 상수 시간( $O(1)$ per patch) 내에 은닉 상태를 업데이트합니다. 이는 KV 캐싱이나 전체 재계산을 사용하는 어텐션 기반 모델의 선형( $O(L)$ ) 또는 이차( $O(L^2)$ ) 비용과 대조됩니다.

주요 기여

재귀적 다변량 파운데이션 모델: TiRex-2는 단변량 TiRex를 확장하여 관측된(과거) 공변량과 미래 공변량을 모두 갖춘 여러 타겟 변량을 공동으로 모델링합니다. 단변량 모드에서 38.4M 파라미터를 활성화하며, 다변량 예측을 위해 추가로 44.1M 파라미터를 활성화합니다.
미래 공변량을 포함한 엄격한 인가성: 양방향 xLSTM과 비대칭 그룹 어텐션의 결합을 통해, 모델은 미래에 알려진 공변량을 양방향으로 통합하면서도 단일 순방향 패스 내에서 타겟 스트림의 엄격한 인과성을 보장합니다.
상수 비용 스트리밍: 재귀적 상태를 통해 증분 업데이트가 가능하여, 타임 스텝당 상수 시간 계산량으로 예측치를 갱신할 수 있습니다.
합성 결합 파이plline: 단변량 코퍼스로부터 다양한 다변량 샘플을 구축하고, 간접적, 인과적, 직접적 교차 변량 의존성을 명시적으로 모델링하여 유효 훈련 분포를 확장하는 데이터 생성 프레임워크입니다.

결과

저자들은 zero-shot, 스트리밍, 장기 예측 작업에 대해 TiRex-2를 평가했습니다:

Zero-Shot 성능: TiRex-2는 fev-bench(공변량 활용 능력 측정)와 GIFT-Eval(도메인 및 주파수 간 일반화 능력 측정)에서 Chronos-2, MOIRAI-2, TimesFM-2.5와 같은 모델을 능가하며 최첨단 성능을 달면합니다.
스트리밍 안정성: 최대 32M 스텝까지의 스트리밍 실험에서, TiRex-2는 훈련 컨텍스트 경계(8k post-training)를 훨씬 넘어서도 안정적인 예측 품질(MASE)을 유지하며 포화나 드리프트 징후를 보이지 않았습니다.
장기 예측: dysts 벤치마크(카오스 시스템)에서 TiRex-2는 단기 및 중기 지평에서 선두를 달렸으며, 상태 변수로부터 신호를 효과적으로 추출하여 정확도를 유지했습니다.
공변량 변화 민감도: TiRex-2는 Chronos-2에 비해 더 넓은 지연 범위에 걸쳐 유용한 공변량 신호를 유지하며, 정렬되지 않은 공변량에 대한 강건성을 입증했습니다.
절제 연구(Ablation Studies): 실험을 통해 미래에 알려진 공변량이 일관된 이득을 제공하며, 비대칭 그룹 어텐션과 양방향 믹싱이 성능의 핵심 구성 요소임을 확인했습니다.

의의

이 논문은 TiRex-2가 다음과 같은 특정 조합을 달성한 최초의 시계열 파운데이션 모델이라고 주장합니다:

과거 및 미래 공변량을 모두 포함하는 네이티브 다변량 지원.
엄격한 타겟 인과성(미래의 타겟이 과거의 예측에 누설되는 것을 방지).
상수 메모리 및 상수 비용의 스트리밍 추론.
최첨단 zero-shot 성능.

트랜스포머 기반의 스케일링 동작과 스트리밍 예측 요구 사항 사이의 불일치를 해결함으로써, TiRex-2는 효율성과 실시간 업데이트가 매우 중요한 고위험 지속적 의사결정 시스템(예: 홍수 완화, 예방 정비)을 위한 실질적인 솔루션을 제공합니다. 저자들은 미래에 알려진 공변량이 일반적으로 예측 윈도우 내에서 정적이지만, 모델이 이를 인과 영역으로 이동시킴으로써 동적 업데이트를 효과적으로 처리한다고 언급했습니다. 향-후 연구로는 추론 비용을 더욱 최적화하기 위한 동적 공변량 선택 탐색이 제안되었습니다.