🤖 machine learning

Chronicle: A Multimodal Foundation Model for Joint Language and Time Series Understanding

Chronicle は、自然言語と時系列データの両方を単一のアーキテクチャでゼロから学習したコンパクトな 324M パラメータのデコーダ専用トランスフォーマーであり、事前学習済み言語モデルの事後適応に依存することなく、両分野で競争力のある性能を達成し、優れたマルチモーダル予測能力を実現しています。

原著者： Paul Quinlan, Jeremy Levasseur, Qingguo Li, Xiaodan Zhu

公開日 2026-05-21

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Paul Quinlan, Jeremy Levasseur, Qingguo Li, Xiaodan Zhu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

部屋に、非常に異なる2種類の専門家がいると想像してください。

最初の専門家は時系列アナリストです。彼らは、株価、気象パターン、心拍数モニターなど、時間とともに変化する数字を見ることに長けた魔法使いです。彼らは、線の形を見るだけで、次に何が起きるかを予測できます。しかし、彼らは無言です。その数字にしばしば付随するノート、ニュース記事、説明を読むことはできません。

2番目の専門家は言語学者です。彼らは本を読み、物語を理解し、質問に答えることに優れています。しかし、生データの表計算シートを渡されると、完全に途方に暮れてしまいます。彼らは「データ」という言語を話しません。

長らく、科学者たちはこの2人の専門家を協力させるために、言語学者に数字の基礎講座を受けさせ、両方を理解できるようにしようと試みました。しかし、この論文は、それを「魚にブーツを履かせて木登りを教えるようなもの」と主張しています。言語学者の脳は言葉のために作られたのであり、時間のリズムのために作られたわけではないため、結果は不器用で非効率でした。

「Chronicle」の登場です。

この論文の著者たちは、ゼロから全く新しい種類の専門家を作りました。既存の言語専門家に数学を教えようとするのではなく、最初から両方の言語を同時に学んだ、単一でコンパクトな脳（3億2400万パラメータのモデル）を構築したのです。

彼らがどのように行ったか、いくつかの単純な比喩を使って説明します。

1. 「共有教室」アプローチ

これまでのほとんどのモデルは、言語モデルに時系列モジュールを付け加えようとしました。それは家を建てた後、屋根にプールを接着しようとするようなものです。

Chronicle は異なります。それは、生徒（データ）が本を読んだり（テキスト）、時計の針の動きを見たり（時系列）する、単一の共有教室を建てるようなものです。

カリキュラム: 訓練の大部分において、生徒たちは別々のグループで勉強します。92%の時間は本を読み、8%の時間は時計を研究します。
魔法: 別々に勉強しているにもかかわらず、彼らは同じ机に座り、同じノート（「共有パラメータ」）を使います。卒業する頃には、脳の「言語」部分が時間のリズムを学び、「時間」部分が言語のニュアンスを学んでおり、これらは決して接着される必要はありません。

2. 「パッチワーク」キルト

モデルに時間を教えるために、著者たちは生データを1つずつ与えたわけではありません。代わりに、彼らは時系列を小さな四角形に切り、キルトのパッチのようにしました。

1年分の気温データを表す長い布の帯を想像してください。
これを32日分の塊（パッチ）に切り取ります。
各パッチは、モデルが理解できる単一の「トークン」（単語のような単位）に変換されます。
これにより、モデルは文を見るのと同じくらい簡単に、データの「形状」（上がっているか、急上昇しているか）を見ることができます。

3. 「2段階」トレーニング

トレーニングは2つのフェーズで行われました。

ステージ1（基礎）: モデルは、本を読むことと、キルトの次のパッチを予測することを別々に学びました。それ自体で両方のタスクに非常に優れるようになりました。
ステージ2（対話）: 彼らは少量の「混合」データを導入しました。嵐の雲の写真（キルトのパッチ）と「雨が降っている」という文（テキスト）を同時にモデルに見せるようなものです。これにより、モデルは2つのモダリティがどのように関連するかを学び、数字の特定のパターンが「雨」を意味することを理解できるようになりました。

彼らは何を証明しましたか？

この論文は、この新しい「Chronicle」モデルが以下の3つの理由で強力であると主張しています。

バイリンガルの達人: 同じサイズの他の小規模で専門的な言語モデル（Gemma-3 や LLaMA など）と同じくらいテキストを理解します。数学を学んだからといって、読む能力を失ったわけではありません。
時間予測のプロ: 数字しか見ないほぼすべての他のモデルよりも未来の数字を正確に予測します。トレーニング時間の大部分をテキストの読書に費やしているにもかかわらずです。
混合の最優秀者: テキストと数字の両方を同時に与えた場合（株価暴落に関するニュース記事と株価チャートなど）、2つを組み合わせようとした以前のどのモデルよりも未来を予測します。

結論

この論文は、言語モデルに時系列を学ばせたり、時系列モデルに言語を学ばせたりする必要はないと結論付けています。代わりに、両方を基礎から学ぶ統合された基盤を構築できます。

これは、単語を逐語的に翻訳して第2言語を学んだのではなく、同時に2つの言語を話しながら成長した万能翻訳者のようなものです。彼らは両方の「感覚」と「文脈」を理解しているため、後から第2言語の文法規則を学んだ人よりもはるかに正確です。

注記: この論文は、モデルがデータを理解、分類、予測する能力に厳密に焦点を当てています。このモデルが現在、病院、金融取引所、気象観測所で使用されていると主張しているわけでも、将来の臨床応用を予測しているわけでもありません。これは、この特定のAI構築方法が古い方法よりも優れていることを証明する、基礎的な研究のステップです。

技術概要：Chronicle

問題定義

現実世界の時系列データは、テキストメタデータ、説明、ニュース、レポートなどのテキスト情報と併存する本質的なマルチモーダル性を有している。しかし、既存の時系列基盤モデル（TSFMs）は数値系列を孤立して処理し、この文脈を取り込むメカニズムを欠いている。一方、言語と時系列を橋渡ししようとするマルチモーダルモデルは、以下の 3 つの体系的な限界に苦しんでいる：

事後適応（Post-hoc Adaptation）： これらはすべて事前学習済み言語モデル（LLM）から出発し、それを時系列に適応させる。その結果、内部表現はテキストによってのみ形成され、時系列モダリティは時間データ向けに設計されていない表現空間に適合することを強要される。
評価の欠如： これらのモデルは、どちらの分野（専用 TSFMs または専用 LLM）においても、最先端の単一モーダル基盤モデルに対してほとんど評価されていないため、共同学習の必要性は証明されていない。
アーキテクチャの肥大化： 多くのモデルは対話的推論を目的としており、8〜14B パラメータの巨大なバックボーンを必要とし、汎用的な時間表現の学習という目標と、推論エージェントの構築という目標を混同している。

ここで扱われる中心的な問いは、コンパクトなモデルが破滅的な干渉なしにゼロからテキストと時系列の両方に対して高品質な表現を学習できるかどうか、および事前学習済み LLM を適応させることと比較して、共同事前学習が必要かどうかである。

手法

著者らは、自然言語と時系列を単一の統合アーキテクチャ内でゼロから学習させた、3 億 2400 万パラメータのデコーダのみトランスフォーマー「Chronicle」を提案する。

アーキテクチャ

共有バックボーン： 両モダリティは、同じ 16 層のトランスフォーマーブロック、アテンション機構、および残差ストリームを共有する。モダリティ固有のコンポーネントは入力および出力インターフェースに制限される。
入力表現：
- テキスト： 13 万 1 千エントリーの BPE 語彙でトークン化され、出力ヘッドと共有埋め込みを持つ。
- 時系列： PatchTST-FM および Chronos-2 に倣い、系列は（可視値のみを使用して）標準化され、外れ値を抑制するために逆双曲正弦変換を施される。これらは重なりを持たないパッチ（ $P=32$ ）に分割される。各パッチは、時間ランプ、正規化された値、有効性マスク、および（多変量入力用の）チャネルランプを連結した 4P 次元の特徴ベクトルで表現される。これらは共有埋め込み次元（ $d=1024$ ）に射影される。
出力ヘッド：
- テキスト： 対数オッズのソフトキャッピングを伴う共有言語モデルヘッドであり、交差エントロピー（ $L_{CE}$ ）で最適化される。
- 時系列： 21 個の分位レベル（ $\tau \in [0.05, 0.95]$ ）を予測する分位ヘッドであり、マスク付き分位損失（ $L_{QL}$ ）で最適化される。
学習目的関数： 総損失は、損失間のスケール差を考慮して勾配寄与をバランスさせる重み $w_{text}=1.0$ および $w_{TS}=2.5$ を用いた加重和 $L = w_{text}L_{CE} + w_{TS}L_{QL}$ である。

学習戦略

Chronicle は 2 段階の事前学習プロセスを採用する：

段階 1（単一モーダル事前学習）： モデルは、テキストのみのバッチと時系列のみのバッチを 92/8 の比率で学習する。これにより、バックボーンが各モダリティに対して独立して堅牢な表現を学習することが保証される。テキストデータは FineWeb-Edu および Dolmino-mix から、時系列データは KernelSynth で拡張された GiftEvalPretrain から得られる。
段階 2（クロスモーダルアライメント）： コンテキスト長を 4096 に拡張する。明示的なクロスモーダル対応を確立するため、時系列トークンの少量（5%）を ChatTS および Merrill らからの交差するテキストと時系列のシーケンスに置き換える。モダリティ固有の能力を維持するため、学習の大部分は単一モーダルのまま残る。

主要な貢献

ゼロからの共同事前学習： Chronicle は、事前学習済み LLM を適応させるのではなく、単一の共有トランスフォーマーバックボーン内でランダム初期化からエンドツーエンドでテキストと時系列を学習する最初のモデルである。
厳密なクロスドメイン評価： このモデルは、両ドメインにおける専用基盤モデル（NLU 用のスケール一致 LLM および予測/分類用の専用 TSFMs）に対してベンチマーク評価されており、マルチモーダル時系列文献における長年のギャップを解消している。
強力なフリーズバックボーン性能： Chronicle は、データセットごとのバックボーン再学習なしにマルチモーダルタスクで最先端の結果を達成し、コンパクトなモデルが汎用的な表現エンジンとして機能し得ることを実証している。

結果

言語理解（NLU）

19 の NLU タスク（DCLM スイート）で評価されたところ、Chronicle（段階 2）は平均精度 0.406 を達成し、Gemma-3-270M-PT（0.406）と同等であり、GPT-2（0.324）を上回った。注目すべきは、スケール一致のテキストのみの競合他社よりも約 43〜87 倍少ない約 1380 億のテキストトークンしか見ていないにもかかわらず、これを達成した点である。これは、計算資源の約 8% を時系列に割り当てても破滅的な干渉を引き起こさないことを検証するものである。

ゼロショット確率的予測（GIFT-Eval）

GIFT-Eval ベンチマーク（97 タスク）において、段階 1（純粋な単一モーダル学習）は MASE 0.978 および CRPS 0.690 を達成し、いくつかの教師ありベースライン（例：N-BEATS、DLinear）および統計的手法を上回ったが、PatchTST-FM-r1 のような専用 TSFMs には及ばなかった。段階 2 はアライメント段階によりわずかな性能低下（MASE 1.053）を示し、純粋な予測性能とマルチモーダル転移能力の間のトレードオフを浮き彫りにした。

下流マルチモーダルタスク

マルチモーダル分類（TimeCAP）： Chronicle はすべての MM-TSFlib および FM Fusion ベースラインを上回った。LoRA（ $r=64$ ）を用いた段階 2 は、最高のマクロ F1（0.613）および AUC（0.757）を達成した。
マルチモーダル予測（Time-MMD）： Chronicle 段階 2（リニアプローブ）は、最高の全体的正規化 MAE（0.514）および平均ランク（2.56）を達成し、最強のベースライン（例：BERT+TNet の 0.621）を凌駕した。
時系列分類（UCR/UEA）： 24 のデータセットにおいて、Chronicle 段階 1 は、フリーズ埋め込み分類において 0.736 の精度 および 0.712 の F1 で新たな基準を設定し、Moirai-2（0.714）や TimesFM（0.611）といった専用 TSFMs を上回った。

技術的ニュアンス

トークンの繰り返し： 短い時系列タスク（TimeCAP）では、時系列トークンブロックを繰り返す（ $r=64$ ）ことで、共有シーケンス内のテキスト対時系列トークン比率を再バランスさせ、性能を大幅に向上させる。
チャネル認識： 多変量入力においてチャネル識別子を明示的にエンコードすることは、平均チャネルプーリングと比較して平均的に分類性能を向上させる。

意義と主張

本論文は、Chronicle がテキストと時系列が破滅的な干渉なしにトランスフォーマーバックボーンを共有できることを実証しており、マルチモーダル時系列モデルは事前学習済み LLM を適応させなければならないという支配的な仮説に挑戦していると主張する。

著者らは、ゼロからの共同事前学習が汎用的な時間表現へのより直接的な道であると論じている。純粋な予測において Chronicle と専用 TSFMs の間には（計算資源の割り当ておよび因果的次パッチ目的関数に起因する）ギャップが残るが、このモデルはコンパクトな 3 億 2400 万パラメータのアーキテクチャにおいて言語理解と時間表現を成功裡に統合した。結果は、マルチモーダリティの利点が単に凍結された LLM にテキストを追加することの機能ではなく、両モダリティが最初から表現を形成する統合された学習パラダイムから生じ得ることを示唆している。