💬 NLP

Speaking Numbers to LLMs: Multi-Wavelet Number Embeddings for Time Series Forecasting

本論文は、大規模言語モデルにおける数値的な不整合を克服するために、スカラー時系列観測値をTransformer互換の表現へとマッピングする新しいマルチウェーブレット・デジット・エンベディング・インターフェースであるTempoWaveを導入し、それによって文脈依存型の時系列予測において最先端の性能を達成するものである。

原著者： Defu Cao, Zijie Lei, Muyan Weng, Jiao Sun, Yan Liu

公開日 2026-06-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Defu Cao, Zijie Lei, Muyan Weng, Jiao Sun, Yan Liu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたには、物語やニュース、人間の会話を理解することに長けた、非常に博識で優秀な司書（大規模言語モデル、すなわちLLM）がいます。あなたは、この司書に、長い数字のリストに基づいて将来の天気や株価を予測してほしいと考えています。

しかし、問題があります。司書は「言葉」しか話せないのです。彼らは 24.5 や -0.3849 といった生の数値を自然に理解することはできません。もし数字を入力しようとすると、彼らはそれらをバラバラの、混乱を招く断片（例えば「2026」を「20」と「26」という別々の単語として扱うなど）に分解してしまいます。これにより、司書は実際の値を追跡できなくなり、予測が信頼できないものになってしまいます。

解決策：TempoWave
この論文の著者たちは、TempoWave という特別な翻訳機を作り出しました。これは、司書の脳に直接プラグインする「ユニバーサル・アダプター」のようなもので、数字を不格好な言葉に変えることなく、数字を理解することを可能にします。

仕組みを、簡単な比喩を使って説明します。

1. 「一桁ずつ」の翻訳機

3.14 のような一つの数値をそのまま司書に渡す代わりに、TempoWaveはそれを 3、.、1、4 という個々の桁に分解します。

従来の方法： 司書は「3」と「1」と「4」を、互いに何の繋がりもないランダムな記号として見てしまいます。
TempoWaveの方法： 各桁に対して、**ウェーブレット（Wavelets）**と呼ばれる数学的ツールを用いて、その形や大きさを記述する特別な「IDカード」を与えます。

2. 「ウェーブレット」の比喩：交響曲を聴くこと

あなたが交響曲を聴いているところを想像してください。

標準的な数値： 単に楽譜を見ているだけなら、そこには音符が見えるだけです。
ウェーブレット： TempoWaveは、音楽を異なるレイヤー（層）へと分解する「超リスナー」のようなものです。すなわち、深いベース（グローバルな傾向）、中音域のメロディ（中程度の変化）、そして高音のシンバル（微細で素早い変動）へと分解します。

TempoWaveは桁を見ると、単に記号を見るのではありません。ウェーブレットを用いて、その桁の「音の指紋（サウンドプリント）」を作成します。これにより、司書は単に「何という数字か」だけでなく、「その数字が周囲の数字とどのように関係しているか」まで理解できるようになります。これにより、3 は明らかに 4 と区別され、3.1 は 3.2 に近いものであることが明確になります。

3. なぜこれが重要なのか：「秩序」を維持すること

従来の方法では、司書は 19 と 20 が全く異なる単語に見えるため、これらは非常に異なっていると考えてしまうかもしれません。しかし実際には、これらは隣り合わせの関係にあります。

問題点： 標準的な手法は、数字の「近所関係（近傍）」を壊してしまいます。
解決策： TempoWaveは、その近所関係を維持します。これにより、もし数字をわずかに動かした場合（例えば 10.0 を 10.1 に変えた場合）、現実世界と同じように、司書の内部表現もわずかにしか変化しないようになります。これは正確な予測を行う上で極めて重要です。

4. 結果：より賢くなった司書

研究者たちは、この新しいアダプターを、電気使用量、交通量、ビットコイン価格など、司書がニュースの見出しや天気予報などの追加のコンテキスト（文脈）にもアクセスできる5つの異なる実世界のシナリオでテストしました。

結果： TempoWaveを装備した司書は、以下のものよりも予測において大幅に優れた成績を収めました。
- 古い不格好な数値処理法を用いる司書。
- 数字のためだけに設計された、専門的な「数学専用」のロボット。
重要な教訓： 数字を単なる「言葉」として読ませるのではなく、ウェーブレットの層を用いて数字の構造を「聴かせる」ことで、予測はより正確で信頼できるものになりました。

要約すると： もしAIに数字の予測をさせたいのであれば、単に本を読むように数字を読ませるべきではありません。代わりに、数字をAIが真に理解できる豊かで多層的な言語へと翻訳する特別なインターフェース（TempoWave）を与えるべきです。そうすることで、値の間の繊細な関係性を維持することができるのです。

技術要約：TempoWave – 時系列予測のためのマルチウェーブレット数値埋め込み

1. 問題提起

大規模言語モデル（LLM）を時系列予測に統合する際には、根本的なアーキテクチャのミスマッチに直面する。LLMは離散的なトークン予測に最適化されているのに対し、時系列予測は連続的な数値の精密なモデリングを必要とする。標準的な言語指向のトークナイゼーション手法（例：「2026」を「20」と「26」に分割する手法）は、数値をその大きさと結びつかないサブトークンへと断片化してしまう。この断片化は、順序関係を破壊し、時間的プロセスに固有の連続性を不明瞭にし、数値的に離れた値の間に偽の類似性を導入する。その結果、実数値シーケンスと離散トークンの間の変換レイヤーが主要なボトルネックとなり、モデルが高レベルの時系列的パターンを捉えていたとしても、信頼性の低い数値挙動を招く原因となる。

このギャップを埋めるための既存の試み（特化した基盤モデル、LLMとツールを組み合わせたエージェント・システム、あるいはパッチングや量子化といった入力適応など）は、多くの場合、数値的な忠実性を損なったり、微細な変動をぼかしたり、あるいはエンドツーエンドの微分可能性を低下させる外部コンポーネントに依存したりしている。標準的なトランスフォーマーの入力空間内に、原理的かつ情報を保存した形で連続的な数値を表現する方法には、依然として根強い課題が残っている。

2. 手法：TempoWave

著者らは、スカラー観測値を、マルチウェーブレット・マルチスケール係数から構成される高密度ベクトル埋め込みへとマッピングするように設計された、プラグアンドプレイ型の時間的ウェーブレット・デジット・インターフェースである TempoWave（Multi-Wavelet Number Embedding）を提案する。

コアメカニズム

デジットレベルのトークナイゼーション: 数値全体をトークン化するのではなく、入力される時系列値は固定精度の文字列（例：$V.FFFF $）としてレンダリングされる。各桁（$ d \in {0, \dots, 9}$）は個別のトークンとして扱われる。
ウェーブレットに基づく埋め込み構築:
- 信号表現: 各桁 $d$ は $\tilde{d} \in [0, 1]$ に正規化され、固定グリッド上の離散インパルス（クロネッカーのデルタ）として表現される。
- マルチウェーブレット係数: 桁の信号は、複数のスケール $S$ にわたる定義済みのウェーブレット族 $\Psi$ （例：Haar, db4, Morlet）上に投影される。桁 $d$ におけるウェーブレット $\psi_i$ とスケール $s_j$ のウェーブレット係数は、桁の信号とサンプリングされたウェーブレットとの内積として計算される： $W_{\psi_i, s_j}(d) = \langle f_d, \psi_{i, s_j} \rangle$ 。
- 埋め込み生成: これらの係数は特徴ベクトル $\phi(d)$ に結合され、固定のアライメント関数 $g(\cdot)$ を介してLLMの埋め込み次元 $D$ へとマッピングされる。これにより、桁の埋め込み $E(d) \in \mathbb{R}^D$ が生成される。
統合: 入力シーケンスにおける桁位置の標準的なトークン埋め込みは、これらの計算された $E(d)$ ベクトルによって上書きされる。一方で、テキストおよびコンテキスト・トークンは標準の埋め込みを保持する。LLMのバックボーンは変更されず、将来の数値トークンを予測するために教師あり微調整（SFT）を通じて訓練される。

設計原則

構造的忠実性: 数値を生のスカラ量ではなく、構造化されたマルチスケール・パターンを通じてエンコードすることで、TempoWaveは数値的アイデンティティが相対的なパターンによって決定されることを保証する。これにより、トランスフォーマーで一般的に使用される正規化レイヤー（LayerNorm, RMSNormなど）に対して、埋め込みがスケーリングや再中心化されても頑健な性質を持つようになる。
単調近傍一貫性: マルチウェーブレット構成は、分離性の向上した有限のデジット・コードブックを誘導する。理論的分析によれば、ウェーブレットとスケールのペアにわたって係数を結合することで、桁の埋め込み間のペアワイズ距離が増加し、堅牢な最近傍復元性と数値的な順序関係の保持が保証される。

3. 主な貢献

ウェーブレットに基づく数値インターフェース: TempoWaveは、言語による数値のトークナイゼーションに頼ることなく、標準的なLLMバックボーンの直接的な使用を可能にし、モダリティ間のギャップを効果的に埋める。
忠実かつ安定した表現: 本手法は、数値的な忠実性と安定性に関する特性、すなわち値間の分離性の向上と、一般的な正規化操作に対する頑健性を確立している。
診断を含む包括的な評価: 著者らは、多様なベンチマークにおける広範な実験を提供し、数値的な近傍をモデル内でどのように再形成するかを説明するために、診断分析（例：単調近傍一貫性のプロービング）を導入している。

4. 実験結果

著者らは、5つのコンテキスト強化型予測ベンチマークにおいてTempoWaveを評価した：

データセット: AUL（オーストラリアの電力）、BIT（ビットコイン）、MSPG（メルボルンの太陽光発電）、PTF（パリの交通流）、LEU（ロンドンの電力使用量）。これらのデータセットは、履歴時系列とテキストまたはイベントベースのコンテキスト（例：ニュース、天気、日付）を組み合わせている。
ベースライン: 標準的なLLMトークナイゼーション、代替的な埋め込みインターフェース（例：フーリエベースのFoNE）、特化した時系列モデル（DLinear, Autoformer, TimesNet）、および時系列基盤モデル（Chronos, Moirai）との比較を行った。
パフォーマンス:
- TempoWaveは、5つのデータセットにおける10個の報告指標のうち、7項目で新たな最先端（SOTA）を達成した（RMSEおよびMAE）。
- すべての指標においてトップ2に入った。
- 前述の最高手法と比較して、TempoWaveは平均 7.0%の相対的なMAE改善を実現し、特にLEU（14.4%）とAUL（11.2%）で顕著な利得を示した。
- フーリエベースのインターフェースと比較して、非定常でイベント駆動型のデータセット（例：ビットコイン）において優れた堅牢性を示した。
アブレーション研究:
- コンテキスト: 豊かなコンテキスト情報（Catch22特徴量、状況的コンテキスト）を取り入れることで、一貫してパフォーマンスが向上し、フルコンテキスト設定が最良の結果をもたらした。
- 埋め込みアライメント: トークンIDの差の分布分析により、TempoWaveはゼロを中心とした滑らかで単峰性の分布を生成し、強力な局所的近接性と基礎となる時系列ダイナミクスとの整合性を示すことが分かった。対照的に、ベースラインは平坦な分布や異常なスパイクを示しており、これは整合性の弱さや過学習を示唆している。

5. 意義と主張

本論文は、数値インターフェースがLLMによる時系列予測における主要なボトルネックであると断じている。TempoWaveを導入することで、著者らは、原理的なマルチレゾリューション埋め込みが、LLMのコンテキスト推論能力を精密な数値予測とより良く結合できることを示した。

本研究の意義は以下の通りである：

数値構造の保存: 連続的な値を、離散的なトランスフォーマー・アーキテクチャ内で、順序関係とマルチスケールな時間構造（局所的な変動とグローバルなトレンド）を尊重した形で表現する手法を提供する。
頑健性: 正規化や分布シフトの下におけるLLMの数値推論の脆弱性に対処する。
汎用性: 数値的に根ざしたインターフェースを備えた標準的なLLMバックボーンが、特に異種なテキスト信号（コンテキスト依存の予測）の統合を必要とするシナリオにおいて、特化した時系列モデルを凌駕できることを示している。

著者らは、課題は依然として存在するものの、TempoWaveはより忠実で信頼性の高いLLMベースの予測への道筋を示すものであり、今後の研究では離散化に依存する非コンテキスト・パイプラインへの適用可能性を探るべきであると結論付けている。