あなたは未来を予測しようとしているのだと想像してください。ただし、天気や株価を予想するのではなく、時間の経過とともに変化する、長くうねる数字の列を見つめているのです。これは**時系列予測（time series forecasting）**と呼ばれます。何十年もの間、科学者たちは数学的なトリックや単純なコンピュータプログラムを使って、次に何が来るかを推測してきました。しかし最近、**基盤モデル（foundation model）と呼ばれる、新しい種類の超スマートなコンピュータ・ブレインが登場しました。これらのモデルは、あらゆる料理のレシピを味わってきたマスターシェフのようなものだと考えてください。単一のレシピ（例えば電力使用量の予測）だけを学ぶのではなく、すべてのレシピの「言語」を一度に学ぶのです。これにより、彼らは見たこともない新しい料理の未来を、わずかな材料を見るだけで予測することができます。これはゼロショット予測（zero-of forecasting）**と呼ばれます。しかし、ここには落とし穴があります。このマスターシェフになるためには、通常、巨大なモデルが必要であり、膨大なコンピュータと大量の電力を必要とするのです。それらは、大量の荷物を運ぶことはできるものの、小さな街の通りには入り込むことが不可能な、燃料を大量に消費する巨大なトラックのようなものです。

この論文は、Reversoという新しい時系列モデルのファミリーを紹介しています。これは、次のようなシンプルな問いを投げかけます。「本当に荷物を届けるために巨大なトラックが必要なのだろうか？ それとも、同じくらい速く走れる、洗練された効率的なオートバイを作れるのではないだろうか？」著者である研究チームは、現在の「モデルを大きくすればするほど良い」という執着は、的外れである可能性があると主張しています。彼らは、優れた時系列モデルの秘密は単なる生のサイズではなく、モデルがいかに巧妙にデータを見ているかにあると考えています。彼らは、Reversoを非常に小さく（一部のバージョンはわずか数十万のパラメータ、つまり「脳細胞」しか持っていません）設計しましたが、それでも巨大な数十億パラメータを持つモデルと同等の性能を発揮します。この論文は、いくつかのスマートなトリックを使えば、予測精度を損なうことなく、ラップトップやスマートフォンなどの日常的なデバイスで動作するほどモデルを小型化できることを示唆しています。

巨大なモデルの問題点

人工知能の世界では、「大きいことは良いことだ」という考えが一般的です。モデルを賢くしたいなら、単により多くのデータとより多くの脳細胞を与えればよいと考えられています。この手法は言語や視覚の分野で素晴らしい成果を上げ、エッセイを書いたり猫を認識したりできる巨大なモデルを生み出してきました。しかし、時系列においては、このアプローチは数億もの脳細胞を持つモデルを生み出しました。これらは未来を予測することには長けていますが、扱うのが非常に厄介です。小型デバイスで動かすには重すぎ、学習コストが高すぎ、リアルタイムの状況で使用するには遅すぎます。それは、自転車のタイヤを修理するために蒸気ローラーを使おうとするようなものです。機能はしますが、極めて非効率的です。

この論文の著者たちは、異なる道を歩むことに決めました。単にモデルを大きくするのではなく、「どうすればモデルがデータの見方についてより賢くなれるか？」と問いかけたのです。彼らは、モデルが「パラメータ効率的（parameter-efficient）」、つまり、投入したリソースに対して最大限の成果を得られるようにしたいと考えました。単に小さなモデルを作りたいのではなく、巨大なモデルと競合できる小さなモデルを作りたかったのです。

Reversoのレシピ：3つの魔法のトリック

Reversoを作るために、著者たちはシンプルなレシピを用意しました。これは、ただ鍋の中にすべてを投げ込むのではなく、最高の風味を引き出すように準備する料理のようなものです。

1. 「ズームレンズ」戦略（マルチスケール入力）
長い道路を見ているところを想像してください。もし非常に近くからしか見ていなければ、舗装のひび割れが見えます。もし遠くから見ていれば、高速道路全体は見えますが、細部は見逃してしまいます。ほとんどのモデルは、単一の距離からしか道路を見ようとしません。しかし、Reversoは「ズームレンズ」を使用します。これは同じ時系列データを、同時に4つの異なるレンズを通して見ます。

• 1つのレンズは、データをそのままの状態で見ます（高詳細）。
• 1つのレンズは、1つ飛ばしでポイントをスキップします（中詳細）。
• 1つのレンズは、3つ飛ばしでポイントをスキップします（低詳細）。
• 1つのレンズは、さらに多くをスキップします（超低詳細）。

同じデータのこれら4つの異なる「視点」を同時にモデルに供給することで、モデルは急激なスパイク（突発的な変化）のような素早いパターンと、季節的なトレンドのようなゆっくりとしたパターンを同時に学習できます。これは、4人の探偵のチームが、それぞれ異なる角度から犯罪現場を見ているようなもので、その後、彼らのメモを統合するようなものです。このトリックにより、モデルは膨大な量のデータを一度に記憶することなく、長期的なパターンを理解することができます。

2. 「ハイブリッドエンジン」（シーケンス混合）
モデルがデータを得たら、それを処理する必要があります。ほとんどのモデルは「アテンション（注意）」と呼ばれる手法を使用します。これは、データの履歴全体をスキャンして何が重要かを探すスポットライトのようなものです。強力ですが、重くて遅いです。Reversoは、2つの異なるタイプの処理を切り替えるハイブリッドエンジンを使用します。

• ロング・コンボリューション（長距離畳み込み）: これは、データの繰り返されるパターンを見つけるためのスライディングウィンドウのようなもので、バンドのリズムセクションがビートを刻む様子に似ています。
• DeltaNetレイヤー: これは「線形回帰型（linear recurrent）」レイヤーの一種です。これは、絶えず自身を更新し続けるメモリバンクのようなもので、全履歴を読み直すことなく、最も重要なことを記憶します。

著者たちは、これら2つを組み合わせること、つまり「スライディングウィンドウ」を一部に使用し、「メモリバンク」を他の部分に使用することが、最適解であることを発見しました。これは、単なる重いスポットライト（アテンション）や単なるメモリバンクを使うよりも、高速で軽量でした。それは、スピードのためのターボチャージャーと、効率のためのハイブリッドバッテリーの両方を備えた車を運転するようなものです。

3. 「スマートデコーダー」（アテンション・ヘッド）
最後に、モデルがデータを処理した後、予測を行う必要があります。Reversaは、最後に軽量なアテンションを使用した特別な「デコーダー」を使用します。これが、「これまでに見たものに基づくと、次に何が起こると私は考える」と実際に述べる部分です。著者たちは、この特定のタイプのデコーダーが、単純で無骨な計算よりもはるかに正確な予測を行うことに優れていることを見出しました。

結果：小さくとも強力

チームは、Reversoの3つのバージョンを訓練しました。極小版（20万パラメータ）、小型版（55万パラメータ）、そして標準版（260万パラメータ）です。そして、これらを世界で最も重厚な、時には10億以上のパラメータを持つモデルと比較テストしました。

結果は驚くべきものでした。Gift-Evalベンチマーク（さまざまな種類のデータにわたる予測スキルの巨大なテスト）において、標準的なReversaモデルは0.706のスコアを達成しました。これは非常に競争力のある数値です。このモデルは、100倍から1,000倍も大きいモデルと同等の性能を発揮しました。

• FlowState（260万パラメータ）やTiny-Time Mixers（100万パラメータ）といったモデルを上回りました。
• TimesFM-2.5（2億パラメータ）やXihe-Max（15億パラメータ）といった巨人に肉薄しました。

しかし、本当の魔法は精度だけではありませんでした。それはスピードとメモリ使用量にありました。Reversaは非常に小さいため、はるかに速く動作し、メモリもはるかに少なく消費します。著者たちが「推論レイテンシ（予測にかかる時間）」を測定したところ、Reversaは巨大なモデルよりも大幅に速いことがわかりました。それは、スポーツカーと貨物列車の比較のようなものです。列車は多くのものを運べますが、スポーツカーの方が目的地に早く到着し、燃料も少なくて済みます。

Reversoができること（とできないこと）

この論文は、Reversaがゼロショット予測（その特定のデータに対する事前の学習なしでの未来予測）、分類（データをカテゴリーに分類すること）、および異常検知（奇妙で予期せぬイベントを特定すること）に優れていることを示しています。例えば、異常検知のテストでは、たとえ「奇妙」とする閾値が非常に厳格であっても、Reversaは他のモデルよりも多くの異常なイベントを検出しました。

しかし、著者たちはその限界についても正直に述べています。

• 主に単一のデータ列向けです: 現在、Reversaは「単変量（univariate）」モデルとして訓練されています。つまり、一度に一つの数字の列を見ます。複雑なアテンション・メカニズムを使用する一部の巨大なモデルほど、互いに依存し合う複数のデータ列（多変量）を扱うことはまだ得意ではありません。
• 短いシーケンスは難しい: 長期的な予測には素晴らしい能力を発揮しますが、データが非常に短い場合、巨大なモデルに後れを取ることがあります。
• 数字を予測し、確率を予測するわけではありません: Reversaは単一の最善の推測（点予測）を与えます。それが自然に「90%の確率で雨が降る」といった確信度を伝えることはありません。著者たちは、この機能を後から追加できる可能性があると示唆していますが、現時点では組み込まれていません。

なぜこれが重要なのか

Reversaからの主な教訓は、サイズがすべてではないということです。この論文は、多くの実世界のタスクにおいて、ボトルネックはモデルがいかに大きいかではなく、モデルがいかにうまく設計されているかであると示唆しています。マルチスケール入力とハイブリッド処理を巧みに組み合わせることで、ラップトップやスマートフォンで動作するほど小さく、かつスーパーコンピュータと競合できるほどスマートなモデルを構築できるのです。

これは大きな意味を持ちます。なぜなら、膨大なデータセンターを必要とする、より大きく、より大きなモデルを作り続ける必要はないかもしれないからです。代わりに、スマートウォッチ、自動運転車、あるいは遠隔地の気象観測所など、あらゆる場所に展開できる、効率的でコンパクトなモデルを作ることができるのです。著者たちは、入念な設計によって「パフォーマンスと効率の境界線」をシフトさせることができ、強力なAIを、無限の計算資源を持つ人々だけでなく、すべての人々に開放できると結論づけています。

要約すると、Reversaは、未来を明確に見通すために巨大である必要はなく、ただ正しい角度から見る方法を知っていればよいということを証明しているのです。