🤖 machine learning

TiRex-2: Generalizing TiRex to Multivariate Data and Streaming

TiRex-2は、定数コストのストリーミングを実現するメモリ中心設計と、スケーラブルな事前学習のための合成結合パイプラインを採用することで、単変量予測を将来の共変量を伴う多変量シナリオへと拡張し、最先端のゼロショット性能を達成した、新しい再帰的xLSTMベースの時系列基盤モデルである。

原著者： Patrick Podest, Marco Pichler, Elias Bürger, Levente Zólyomi, Bernhard Voggenberger, Wilhelm Berghammer, Daniel Klotz, Sebastian Böck, Günter Klambauer, Sepp Hochreiter

公開日 2026-07-02

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Patrick Podest, Marco Pichler, Elias Bürger, Levente Zólyomi, Bernhard Voggenberger, Wilhelm Berghammer, Daniel Klotz, Sebastian Böck, Günter Klambauer, Sepp Hochreiter

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

天気を予測しようとしている場面を想像してみてください。昔であれば、明日の気温を推測するために、たった一つの温度計を見るだけでよかったかもしれません。しかし、現実の世界はもっと複雑です。気温、湿度、風速、気圧などはすべて連動して変化します。さらに、時には将来のことがあらかじめ分かっていることもあります（例えば、予定されている嵐の接近や、混雑が予想される祝日など）。

この論文では、こうした複雑で多変数な現実を、従来のモデルよりも上手く扱うために設計された新しい「スーパー予測」AI、TiRex-2を紹介しています。その仕組みを、シンプルな概念に分解して説明します。

1. 問題点：「図書室」対「ノート」

時系列データの従来のAIモデル（Chronos-2など）は、巨大な図書室のようなものです。新しい情報（新しい気温の数値など）が入ってくるたびに、AIはその過去のデータという巨大な図書室まで戻って、関連性を見つけ出さなければなりません。履歴が長くなるにつれて、この「歩み」はどんどん遅くなり、最終的にはリアルタイムの更新を行うには重すぎて扱えなくなってしまいます。

TiRex-2は異なります。これは、経過した要約を保持し続けるスマートなノートのようなものです。毎回本を最初から読み直すのではなく、現在のページを更新するだけです。これにより、どれほど長い履歴を与えても、常に一定のスピードで動作し続けることができます。これは「定数コスト・ストリーミング（constant cost streaming）」と呼ばれます。

2. 超能力：未来を知る（ただし、ズルはしない）

現実世界の多くのシナリオでは、将来起こることが事前に分かっています。例えば、来週の火曜日に工場のメンテナンスで操業停止になることや、祝日が来ることを知っている場合です。

課題： もしAIが「ターゲット（予測対象）」の予測をするために「未来」のデータを覗き見てしまったら、それはズル（カンニング）になってしまいます。AIは、既知の事項（祝日など）については未来を知る必要がありますが、予測すべき対象（実際の売上など）の未来を覗き見ることは決してあってはなりません。
解決策： TiRex-2は、特別な「信号機」システム（技術的には非対称グループ・アテンションと呼ばれます）を使用します。
- 「未来が既知のデータ」（例：祝日）については、過去と未来の両方向から見て、完全なコンテキストを理解します。
- しかし、そのデータと「ターゲットとなるデータ」（例：売上）の間には厳格な壁を設けます。ターゲットのデータは祝日の情報を参照できますが、祝日のデータがターゲットの未来を「覗き見」することはできません。これにより、予測が誠実で因果関係に基づいたものになります。

3. トレーニング：ミクソロジスト（調合師）

変数同士がどのように相互作用するか（例：風が気温にどう影響するか）を教えるために、研究者たちは膨大な練習データを必要としました。多くの変数が絡み合う現実世界のデータは、非常に稀で、見つけるのが困難です。

トリック： 彼らは「ミクソロジスト（調合師）」と呼ばれるパイプラインを構築しました。数千もの単独で孤立した時系列データ（気温だけ、売上だけ、交通量だけ、といったもの）を取り出し、それらを即座に混ぜ合わせることで、架空の複雑な多変数シナリオを作り出しました。
彼らは、これらを混ぜ合わせるために異なる「レシピ」を使用しました。ある時は単に足し合わせ、ある時は一方が他方を引き起こすようにし、またある時は複雑で非線形な関係を作り出しました。これにより、AIは異なる変数がどのように共に踊るのか、そのパターンを認識することを学びました。

4. 結果：マラソンランナー

TiRex-2は、主に3つの方法でテストされました。

ゼロショット性能（Zero-Shot Performance）： 未知の領域（異なる業界、異なる時間スケール）に対してAIを投入しました。TiRex-2は、2つの主要なベンチマーク（fev-benchおよびGIFT-Eval）において、現在の最先端モデルを打ち破りました。
マラソン（ストリーミング）： 膨大なデータストリーム（3,200万ステップ！）をAIに流し込みました。他のモデルが履歴が増えるにつれて速度が低下したり混乱したりする一方で、TiRex-2は速度と精度を一定に保ち続けました。彼は決して疲れませんでした。
長期戦（Long Haul）： 非常に遠い未来を予測するよう求められた際、他のモデルが当てずっぽうな推測に陥る中で、TiRex-2は「未来が既知のデータ」（例：嵐の接近）を利用して精度を維持しました。

まとめ

TiRex-2は、以下の特徴を併せ持つ新しいタイプのAIです。

膨大な履歴があっても高速に動作する（「図書室」型のモデルとは異なります）。
何を見てよいか（将来の祝日）と、何を予測すべきか（将来の売上）の違いを理解しているため、ズルをすることなく、因果関係を保ちます。
合成的な混合学習から学ぶことで、完璧な現実世界のデータセットを必要とせずに、異なる変数の相互作用を理解することができます。

著者らは、これが多変数サポート、未来既知の共変量、厳格な因果関係、そして定数速度のストリーミングをすべて組み合わせた最初のモデルであると主張しています。

技術要約: TiRex-2

問題提起

現実世界の時系列予測は、本質的に逐次的かつ多変量です。観測値は継続的に到着し、変数は共同で進化し、一部の共変量（例：カレンダー機能、予定された介入）は事前に既知である場合が多いです。Chronos-2やMOIRAIのような既存の時系列基盤モデル（TSFM）は強力な多変量能力を示していますが、主にTransformerアーキテクチャに依存しています。これらのモデルは、ストリーミングシナリオにおいて2つの決定的な限界を抱えています：

二次的な計算量: アテンションメカニズムにより、推論コストはコンテキスト長に対して二次関数的に増加し、新しい観測が到着するたびに履歴全体の再計算が必要になります。
共変量の取り扱い: 多くのモデルは、ターゲット変数に対する厳格な因果性を損なうことなく、将来既知の共変量を統合することに苦慮するか、あるいは過去と未来の両方の共量（共変量）を同時にサポートする機能が欠けています。

対照的に、強力な単変量モデル（例：TiRex、Reverso）は、しばしばチャネル独立性の仮定に依存しており、多変量システムに不可欠な変数間の依存関係を無視しています。ストリーミング推論において一定のコストを維持しつつ、厳格なターゲット因果性を維持し、かつ将来既知の共変量を活用できる、スケーラブルな多変量基盤モデルには空白が存在します。

手法

著者らは、過去および未来の共変量を持つ多変量設定へと単変量予測を汎用化するために設計された、再帰的でxLSTMベースの基盤モデルであるTiRex-2を提案します。

アーキテクチャ

TiRex-2は、xLSTM（具体的にはmLSTMとsLSTMの交互ブロック）に基づいたメモリ中心の設計を採用しており、これによりパッチごとの更新コストを一定に保つことができます。アーキテクチャは以下の2つのミキシングブロックを交互に配置します：

タイム・ミキサー (Time Mixer): 各変数に対して独立してパッチ軸（ $L$ $L$ ）方向に作用します。
- ターゲットおよび過去の共変量トークンは、厳格に**前方（forward）**方向のxLSTMによって処理されます。
- 将来既知の共変量トークンは、同じ重みを共有するxLSTMを用いて**逆方向（reverse）**に処理され、前方パスと逆方向パスが線形に融合されます。これにより、ターゲットに対する因果性を損なうことなく、将来既知の共変量がその位置の前後の情報をエンコードすることが可能になります。
バリアート・ミキサー (Variate Mixer): 非対称なグループ化アテンション（asymmetric grouped attention）を用いて、変数軸（ $V$ $V$ ）方向に作用します。
- パディングなしで任意の数の変数を扱うために、ブロック対角のグループ化アテンションを採用しています。
- 決定的なのは、ターゲットのクエリは共変量のキーを読み取れるが、共変量のクエリはターゲットのキーを読み取れないという非対称マスクを使用している点です。これにより、将来既知の共変量がターゲットに影響を与えることは可能ですが、ターゲットが共変量に影響を与えることはできず、厳格な因果性が維持されます。

学習とデータ生成

希少な精選済み多変量コーパスに依存せずにスケーラブルな多変量事前学習をサポートするため、著者らは**合成結合パイプライン（synthetic coupling pipeline）**を提案しています。このパイプラインは以下の手順を踏みます：

大規模なコーパスから単変量時系列を抽出する。
それらを拡張（振幅のトレンド、センサリング、スパイク）する。
多様なメカニズム（恒等、関数的結合、線形混合、共積分、および線形・非線形構造的因果モデル（SCM））を用いて、オンザフライでこれらを結合する。
現実的な多変量学習インスタンスを作成するために、後処理（共変量のエンリッチメント、タイムワーピング、離散化）を適用し、制御可能な変数間依存関係を持たせる。

推論の効率性

xLSTMバックボンの再帰的な性質により、ストリーミング推論が可能になります。新しいデータパッチが到着すると、モデルは隠れ状態を一定時間（ $O(1)$ per patch）で更新できます。これは、KVキャッシュを用いたアテンションベースのモデルの線形（ $O(L)$ ）または二次的（ $O(L^2)$ ）なコストとは対照的です。

主な貢献

再帰的多変量基盤モデル: TiRex-2は、観測された（過去の）共変量および将来の共変量を持つ複数のターゲット変数を共同でモデリングするために、単変量TiRexを拡張しました。単変量モードで38.4M個のパラメータを、多変量予測では追加で44.1M個のパラメータを活性化します。
将来共変量を伴う厳格な因果性: 双方向xLSTMと非対称グループアテンションの組み合わせを通じて、モデルは将来既知の共変量を双方向に統合しながら、単一のフォワードパス内でターゲットのストリームが厳格に因果的であることを保証します。
一定コストのストリーミング: 再帰的な状態によりインクリメンタルな更新が可能となり、コンテキスト長に依存せず、タイムステップあたりの計算量が一定となる予測更新を実現します。
合成結合パイプライン: 単変量コーパスから多様な多変量サンプルを構築し、間接的、因果的、および直接的な変数間依存関係を明示的にモデリングすることで、実効的な学習分布を拡大するデータ生成フレームワークです。

結果

著者らは、ゼロショット、ストリーミング、および長期予測タスクにおいてTiRex-2を評価しています：

ゼロショット性能: TiRex-2は、fev-bench（共変量の利用能を調査）およびGIFT-Eval（ドメインや周波数間の汎化性能を調査）において、Chronos-2、MOIRAI-2.5、TimesFM-2.5などのモデルを凌駕し、最先端の性能を達成しました。
ストリーミングの安定性: 最大32Mステップのストリーミング実験において、TiRex-2は学習コンテキスト境界（事後学習の8k）を遥かに超えて安定した予測品質（MASE）を維持し、飽和やドリフトの兆候は見られませんでした。
長期予測: dystsベンチマーク（カオス系）において、TiRex-2は短・中期的ホライゾンでリードしており、状態変数から信号を効果的に抽出して精度を維持しています。
共変量シフトへの感度: TiRex-2はChronos-2と比較して、より広いラグ範囲にわたって有用な共変量信号を保持しており、不整合な共変量に対する堅牢性を示しています。
アブレーション研究: 実験により、将来既知の共変量が一貫した利点を提供すること、および非対称グループアテンションと双方向ミキシングが性能における重要な構成要素であることが確認されました。

重要性

本論文は、TiRex-2が以下の特定の組み合わせを実現した最初の時系列基盤モデルであると主張しています：

過去および未来の共変量を持つネイティブな多変量サポート。
厳格なターゲット因果性（将来のターゲットが過去の予測に漏洩することを防ぐ）。
一定のメモリおよび一定のコストによるストリーミング推論。
最先端のゼロショット性能。

Transformerベースのスケーリング挙動とストリーミング予測の要件との間の不一致に対処することで、TiRex-2は、洪水緩和や予兆保全など、効率性とリアルタイムの更新が極めて重要となる高リスクの継続的意思決定システムのための実用的なソリューションを提供します。著者らは、将来既知の共変量は通常、予測ウィンドウ内では静的であるが、モデルはそれらを因果領域へとシフトさせることで動的な更新にも効果的に対処できると述べています。今後の課題として、推論コストをさらに最適化するための動的な共変量選択の探索が示唆されています。