TiMi: Empower Time Series Transformers with Multimodal Mixture of Experts

時系列予測とは、次に何が起こるかを推測するために、時間の経過とともに記録された一連の数値を見つめる科学である。それは、ガソリン価格の予測からインフルエンザの流行拡大の予測に至るまで、あらゆる事象を予測するためのエンジンとなっている。数十年もの間、最も成功した手法は、ほぼ完全に数値そのものに依存し、過去のパターンの中にそれらを未来へと投影することに頼ってきた。しかし、現実世界は決して単なる数値の流れではない。それは、ニュースの見出しや政府の政策、そしてデータポイントというよりもテキストとして現れる予期せぬ出来事によって影響を受ける複雑なシステムである。人間は、サプライチェーンの混乱に関するニュースレポートを読み、それに基づいて将来の価格に対する期待値を自然に調整するが、従来のコンピュータモデルは同じことを行うのに苦労してきた。それらはテキストを、数値データの滑らかな流れと整合させるのが難しい、分離された混乱したレイヤーとして扱うことが多く、その結果、世界が変化した際に予測が的外れになることがあった。

清華大学の研究チームは、この溝を埋める新しい方法を提案し、「TiMi」と呼ばれるシステムを導入した。テキストと数値を同じ硬直した形式に強制的に当てはめるのではなく、彼らのアプローチは、両者を異なるが協力的なガイドとして扱うものである。核心となるアイデアは、大規模言語モデル（膨大な量の人間による文章で学習された一種の人工知能）を使用して、テキストを読み、それが将来に対して何を意味するかを推論させることである。このモデルは単に言葉を暗記するのではなく、それらを分析して、例えば新しい政策が売上を増加させるのか減少させるのかといった因果関係の要因を推論する。この推論は、その洞察を用いて数値予測を精緻化する特化した予測エンジンへと渡される。研究者たちは、言語モデルを数値と混ぜ合わせるのではなく、数値のガイドとして機能させることで、システムが大幅に正確な予測を行えるようになることを発見した。

研究者たちは、農業、気候、エネルギー、公衆衛生などの多様な分野をカバーする16の異なる実世界のデータセットを用いて、この手法をテストした。これらのテストにおいて、新しいシステムは、テキストと数値を組み合わせようと試みてきた既存の高度なモデルを含む、既存のモデルを一貫して上回った。結果は、テキストが数値の変化に対して明確な理由を提供しているシナリオにおいて特に顕著であった。例えば、スマートフォンのリコールが売上の急落を引き起こしたという報告のようなケースである。これらの場合、新しいシステムはテキストを使用して下落を予測することに成功したが、他のモデルはしばしばその突然の変化を捉えることができなかった。この研究は、より優れた予測の鍵は、異なる種類のデータを同じに見せようとすることではなく、それぞれが得意とする役割を果たすことにあると示唆している。すなわち、テキストは物語と原因を提供し、数値は記録と傾向を提供するのである。

これを実現するために、チームは専門のアドバイザーのセットのように機能するモジュール式システムを設計した。システムの一部の要素は完全に過去の数値に焦触し、データの長期的なリズムやパターンを学習する。もう一つの部分はテキストに焦点を当て、言語モデルを使用して、将来の傾向が上昇しているのか、減少しているのか、あるいは横ばいなのかといった構造化された洞察を抽出する。これら二つの情報のストリームは、特定の瞬間に最も関連性の高い助言を選択できるように組み合わされる。もしテキストが重大な出来事の到来を示唆していれば、システムはその洞察に強く依存する。もしテキストが曖昧であったり無関係であったりすれば、システムは歴史的なパターンにより依存する。この柔軟性により、モデルはテキストと数値が同時に、あるいは同じ形式で届かないような、乱れた実世界のデータに対処することができる。

研究者たちはまた、このシステムが不規則なデータに対してどの程度うまく機能するかについても調査した。これは現実世界ではよくあることである。多くの状況において、ニュースレポートは予測不可能なタイミングで発表されたり、特定の日のデータが欠落していたりする。従来のモデルはこれらのギャップに苦戦することが多いが、新しいシステムはそれらを容易に処理した。テキストと数値を事前に別々に処理してからその洞察を組み合わせるため、両者のタイミングが完璧である必要はない。不規則なデータセットを用いたテストにおいて、このシステムは標準的な手法と比較して予測誤差を30％近く減少させた。この堅牢性は、このアプローチが単なる理論的な改善ではなく、実際のアプリケーションで見られる不完全で非同期なデータと共に機能できる実用的なツールであることを示唆している。

研究の重要な部分には、システムがどのように意思決定を行うかを理解することが含まれていた。研究者たちは、システムが類似したタイプのデータ傾向を自然にグループ化していることを見出した。例えば、強い上昇傾向を示すデータセットの将来を予測するよう求められたとき、システムは一貫して内部ロジックの特定の部分に依存していた。傾向が下降したときには、別の部分へと切り替わっていた。この挙動は、システムが単に推測しているのではなく、専門化することを学んでいることを示している。つまり、異なる種類の将来のシナリオを扱うために、その脳内にある異なる「エキスパート」を割り当てているのである。さらに、研究はテキストの質が重要であることも示した。研究者がノイズの多い、あるいは無関係なテキストをシステムに投入した場合でも、システムの性能はわずかに低下しただけであり、システムがノイズをフィルタリングして信号に集中できることを証明した。

今回の発見は、テキストと数値を組み合わせる最善の方法は、それらを単一の統一された表現へと融合させることであるという、支配的な考え方に異を唱えるものである。以前の試みは、テキストを数値コードに変換して時系列データと直接混合しようとすることが多く、そのプロセスはしばしばテキストの意味を希薄化させてしまった。新しいアプローチは、この融合を拒否し、導かれた相互作用を好む。テキストを因果関係の推論源として、数値を予測の対象として維持することで、システムは両者の独自の強みを保持する。研究者たちは、この手法がインフルエンザの症例の追跡から交通量の予測に至るまで、幅広い領域で機能することを実証しており、テキストを読み、それについて推論する能力は、予測における普遍的な資産であることを示唆している。

結局のところ、この研究は、時系列分析における人工知能のより明確な進むべき道を示している。それは、予測の未来が、すべてを一度に行おうとするより大きく複雑なモデルを構築することにあるのではなく、異なる種類の情報に耳を傾ける方法を知っているシステムを設計することにあることを示している。言語モデルにニュースを読ませ、予測モデルに数値を見守らせ、そしてそれらを共に機能させることで、システムはどちらも単独では到達できないレベルの正確さと適応性を達成する。その結果は、複雑なシステムの未来を予測しようとする者にとって、数字の背後にある物語は、数字そのものと同じくらい重要であることを示唆している。