TinyCast: Probabilistic Zero-Shot Forecasting with Computed Periodicity

時系列予測とは、時間の経過とともに変化するデータの流れから、次に何が起こるかを予測する技術である。これは、電力網、工場のフロア、気象観測所などの背後にあるエンジンであり、信号の将来の値を把握することで、システムが準備、調整、または警告を行うことを可能にする。数十年にわたり、標準的なアプローチは、個々の信号に対して専用のモデルを必要とし、その一つのデータストリームに特化して学習させるというものであった。これは機能してはいたものの、非常に重く、低速であり、新しいセンサーが登場するたびに新しい学習サイクルを必要とした。近年、「基盤モデル」と呼ばれる新世代のモデルが登場した。これらは、膨大な種類の信号のライブラリから学習し、追加の学習なしで未知の信号を予測することができる。これらのモデルは強力であるが、同時に巨大であり、しばしば数百万のパラメータ（モデルがどのように思考するかを定義する内部設定）を必要とする。このサイズゆえに、日常的なデバイスに搭載されている小型で低電力なチップ上で実行することは不可能であり、エンジニアには、正確でありながら、極めて小さなメモリ空間にも収まるほど軽量な予測が求められている。

RAWS Labsのひとりの研究者が、この特定の問題を解決するために設計された「TinyCast」と呼ばれる新しいモデルを発表した。彼らは、単純な問いを投げかけた。もし、パターンをゼロから学習する代わりに、数学を用いてパターンを見つけることが許されるならば、確率的予測器はどこまで小さくなれるのか？ 彼らが見出した答えは、わずか146,505個のパラメータを持つモデルであった。これは、主要なベンチマークにおいて記録された中で、最も小さなゼロショット予測器である。季節性や周期性を数十億回の計算を通じて記憶しようとする巨大なモデルの従兄弟たちとは異なり、TinyCastは、目にするデータから支配的なリズムを直接計算する。そして、そのリズムの周りにデータを折り畳むことで、モデルがその極めて小さな学習能力を、残りのパターンに集中できるようにする。その結果、単一の推測値だけでなく、起こりうる将来の結果の全範囲を出力し、かつ、新しい信号に遭遇しても再学習を必要としないシステムを実現した。これは、単一のチップ上で完全に動作できるシステムである。

TinyCastの核心となるアイデアは、非常に小さなサイズにおいては、ニューラルネットワークに周期性を発見させるよりも、信号の周期性を測定する方が効率的であるという点にある。周期性とは、電力使用量の日々の増減や、交通量の週間のパターンのように、データの中に存在する繰り返されるサイクルを指す。大規模なモデルでは、コンピュータは数千の例を見ることでこれらのサイクルを学習しなければならない。しかし、TinyCastは、ゼロパラメータのスペクトル検出器を使用する。これは、データストリームを分析して最強の繰り返される周波数を即座に見つけ出す数学的なツールである。このツールは、保存するためのメモリを必要とせず、学習も必要としない。単にリズムを計算するだけである。モデルが周期を知ると、データのコンテキストをそのリズムの上に折り畳み、あたかもサイクルの中でデータポイントが重なり合っているかのように整列させる。このプロセスにより、問題の最も重要な構造を「無料」でモデルに提供することになり、限られた数の学習可能パラメータを、数学では予測できないより複雑で不規則な部分の処理に充てることができるようになる。

モデルのアーキテク치は、組み込みハードウェアの制約に適した操作のみで構築されている。大規模なモデルで使用される、小型チップでの実行が困難な複雑なアテンション・メカニズムは避けている。代わりに、メモリを大量に消費することなく長距離のパターンを捉えるために、データの異なる距離を観察するフィルターの一種である、拡張畳み込み（dilated convolutions）を使用している。モデルはデータをブロック単位で処理し、次の48ステップに対して、クオンタイル（分位数）として知られる9つの異なる予測結果を出力する。これらのクオンタイルは完全な確率分布を表しており、ユーザーに対し、次に値がどうなるかだけでなく、その予測に対してモデルがどの程度の確信を持っているかを伝える。これは極めて重要な違いである。なぜなら、制御システムやアラームの閾値は、単一の点推定ではなく、不確実性の範囲を理解することに依存する場合が多いからである。システム全体は固定のメモリウィンドウ内で動作するように設計されており、予測ホライゾンが延びてもメモリ使用量が増大しないため、リアルタイムアプリケーションにおいて安定し、予測可能である。

テストにおいて、TinyCastはその極小のフットプリントにもかかわらず、驚くほど競争力があることが証明された。時系列予測の標準的なテストであるGIFT-Evalベンチマークにおいて、サイズが測定可能なゼロショットモデルの中で、TinyCastは他のすべてのモデルを上回った。また、140万パラメータ未満のモデルの中で、完全な予測分布を放出することに成功した唯一のモデルでもあった。最大で28倍もの設定を持つ、より多くのパラメータを持つモデルの中には、わずかに高いスコアを達成したものもあったが、TinyCastは、サイズと精度が交差する新たな境地を定義した。周期構造を明示的に計算することで、通常必要とされる膨大な計算予算なしに高い精度を実現できることを示したのである。また、研究者は、このモデルを8ビット整数形式に圧縮できることも示しており、これにより、外部のネットワークやホストコンピュータなしで、標準的な組み込み開発ボード上で動作させることが可能となった。

このモデルを物理的なデバイスに展開したことは、その実用的な有用性を浮き彫りにした。研究者は、産業用および消費者向け電子機器で使用される一般的なチップであるSTM32H753マイクロコントローラ上で、モデルを正常に動作させた。モデルの重みと必要なランタイムを含むシステム全体が、デバイスのメモリ内に収まり、わずか約138キロバイトのストレージしか消費しなかった。モデルは完全なコンテキストのデータを処理し、わずか4秒強で予測を生成することができた。これは、多くのリアルタイム監視タスクにとって十分な速度である。決定的なのは、これが「信号ごとの適合（per-signal fitting）」なしで行われたことである。つまり、同じファームウェアイメージを、異なる種類のセンサーを監視しているデバイスのフットプリント（群）に対してデプロイでき、即座に動作させることができるのである。これにより、膨大な数のデバイスごとに過去のデータを収集し、カスタムモデルを学習させるという、大規模な展開においてしばしばコストや時間がかかりすぎるプロセスを排除できる。

研究者はまた、モデルから周期性検出器を取り除くとどうなるかについても調査した。このコンポーネントなしでモデルを再学習させたところ、精度が低下した。これは、周期性の明示的な計算が、その成功の不可欠な要素であることを裏付けている。彼らは、検出器が単に役立つ追加要素であるだけでなく、モデルが予測を整列させるために依存している、不可欠なものであることを突き止めた。さらに、あらかじめ計算された予測をモデルに与えるなど、さまざまな介入テストを行ったが、これらのアプローチは期待通りには機能しなかった。モデルの強みは、リズムを自ら測定し、学習されたパラメータを使用して予測を洗練させる能力にあり、リズムをゼロから学習したり、外部の計算に頼ったりすることにはなかった。

TinyCastの成功は、小さく効率的なモデルの構築に関する考え方に転換を迫るものである。モデルが効果的であるためには、すべてをデータから学習しなければならないという概念に異を唱えている。むしろ、非常に小さな予算においては、季節性のような既知の構造の発見を、固定された数学的計算にオフロードする方が賢明であることを示している。これにより、モデルの限られた容量を、予測不可能な信号の要素に集中させることができる。研究者は、このアプローチは時系列予測に限定されるものではないと指摘した。測定可能な構造であれば、どのようなものでも、明示的に計算することで、学習パラメータに容量を戻すことができる。TinyCastの場合、このトレードオフによって、モデルはマイクロコントローラに収まるほど小さくなりながら、大規模で複雑なモデルが通常提供するような豊かな確率的予測を提供することが可能となった。

この研究の含意は、単なる時系列予測にとどまらない。それは、高度な基盤モデルスタイルの機能を、データが生成され、即時のアクションが求められるネットワークのエッジへと持ち込むことが可能であることを示している。単純で明示的な周期性の計算と、軽量なニューラルネットワークを組み合わせることで、研究者は強力かつ実用的なツールを作り上げた。これは、電力、メモリ、接続性が制限されている環境において、インテリジェントな予測をデプロイするための道筋を提示している。デバイスがクラウドにデータを送ったり、カスタムの学習サイクルを待ったりすることなく、よりスマートな意思決定を行えるようにするものである。このモデルは、適切な設計上の選択を行えば、高パフォーマンスな予測と組み込みの制約との間の溝を埋めることができるという、コンセプト・オブ・プルーフ（概念実証）となっている。