🤖 machine learning

RocketPFN: Accurate Time Series Classification via In-Context Learning

RocketPFNは、ランダムな畳み込み特徴抽出と学習済みテーブル型基盤モデル（TabPFN）を組み合わせた、トレーニングを必要としない時系列分類パイプラインであり、ターゲットデータの学習を一切必要とせずに、UCRおよびUEAベンチマークにおいて既存の基盤モデルを大幅に上回る最先端の精度を達成しています。

原著者： Franco Martino O'Rourke, Ana Trisovic, Dimitris Bertsimas

公開日 2026-06-23

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Franco Martino O'Rourke, Ana Trisovic, Dimitris Bertsimas

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、心拍数、株価の動向、地震の振動といった、時間に基づいた物語（時系列データ）の膨大なライブラリを持っていると想像してください。あなたの仕事は、新しい物語を読み、それがどのような種類のイベントであるかを瞬時に推測することです。これは**時系列分類（Time Series Classification）**と呼ばれます。

長年、これを実行するための「ゴールドスタンダード」は、HC2と呼ばれる、非常に複雑で重量級の機械学習チームでした。HC2を、それぞれ異なる専門的なツール（形状検出器、辞書検索、間隔アナライザーなど）を使う4人の異なる専門家による捜査隊だと考えてください。彼らは協力して事件を解決します。彼らは驚異的に正確ですが、非常に遅く、コストがかかります。新しいデータセットを「学習」して推測ができるようになるまでに、数時間、あるいは数日かかることもあります。

次に、より華やかで新しいアプローチとして、基盤モデル（Foundation Models）（MOMENTやMantisなど）が登場しました。これらは、あらかじめ何百万冊もの本を読んできた「超学習者」のようなものです。彼らはすでに時間の言語を理解しているため、特定のデータセットを学習することなく、新しいケースを即座に解決できるはずだという考え方です。

ここで、RocketPFNが登場します。

著者たちは、RocketPFNという新しいパイプラインを構築しました。彼らはシンプルな問いを投げかけました。「私たちは、遅くて高価な捜査隊（HC2）と同じくらい正確で、かつ、一瞬で判断を下す『超学習者』よりも賢いシステムを、トレーニングなしで構築できるだろうか？」

彼らがどのようにこれを行ったか、2つのシンプルな材料を使って説明します。

1. 「ランダムノイズ」スキャナー（Rocket）

手元に、長く乱雑なデータの文字列があると想像してください。データの個々の数字の深い意味を理解しようとする代わりに、RocketPFNは「ランダムノイズ・スキャナー」を使用します。

比喩： これは、川に何千ものランダムな網を投げ入れて魚を捕まえるようなものです。特定の魚を捕まえるために網を設計するのではなく、ただランダムに投げるのです。
魔法： 網がランダムであっても、十分に多く（10,000個！）投げれば、驚くほど良いパターンの組み合わせを捕まえることができます。ある網は「ピーク（頂点）」を捕まえ、別の網は「周波数（何かが起こる頻度）」を捕まえます。
結果： これにより、複雑な時間の物語を、その物語の形を記述する単純な数字のリスト（特徴量）へと変換します。これには、事前に何も学習する必要はありません。

2. 「即席の専門家」（TabPFN）

ランダムスキャナーが時間の物語を数字のリストに変換すると、それはTabPFNへと渡されます。

比喩： 数百万もの異なる数学の問題の答えを暗記している天才的な学生を想像してください。新しい問題を与えられたとき、彼らは勉強したりテストを受けたりする必要はありません。提示された問題と、今そこにある例題を見るだけで、「以前見たものに基づくと、これは『タイプA』の問題に見えます」と即座に答えるのです。
魔法： この学生（TabPFN）は、実世界の時系列データではなく、合成データを用いて訓練されています。これは「インコンテキスト学習（In-Context Learning）」を用いており、つまり、与えられた特定の例を見るだけで、その場でルールを理解します。あなたのデータに対して「トレーニング」を行う必要はありません。

大規模実験

著者たちはこれらを組み合わせました：ランダムスキャナー＋即席の専門家。

彼らが発見したことは以下の通りです：

重量級を打ち負かす： 92の標準的なデータセットにおいて、RocketPFNは、遅くて高価なHC2捜査隊（精度90%）と全く同じ精度を達成しました。
- ただし： HC2はトレーニングに数時間を要します。一方、RocketPFNは実行に約30秒しかかかりません。それは、何年もトレーニングを積んだマラソンランナーを、トレーニングなしで駆け抜けて追い越してしまうようなものです。
「超学習者」を打ち負かす： 彼らはまた、「超学習者」である基盤モデル（MOMENT、Mantis）とも比較を行いました。これらのモデルは、膨大な量のデータ（RocketPFNがテストされたデータ自体も含む）を用いて事前学習されているにもかかわらず、RocketPFNの方が優れた結果を出しました。
- ひねり： RocketPFNは、超学習者よりも少ない特徴量（より単純なデータ）を使用して、これを行いました。これは、20年間勉強したグランドマスターとのチェスの試合に、わずか3手で勝利するようなものです。
「平坦化」による失敗： 彼らは、ランダムスキャナーを使わずに、生の時系列データを直接「即席の専門家」に投入してみました。すると、無残な結果となりました（50/50の推測のような状態）。
- 教訓： 「ランダムスキャナー」は不可欠です。それは、時間の物語を、即席の専門家が理解できる形式へと翻訳してくれるのです。これがないと、専門家は盲目になってしまいます。

結論

論文は次のように結論づけています。時系列データを理解するために、必ずしも巨大で高価な、事前学習済みの「脳」が必要なわけではない、ということです。

時には、単純なランダムフィルターと、その場で学習するスマートな事前学習済み分類器を組み合わせるだけで、最先端の技術を打ち負かすことができるのです。これは、複雑な基盤モデルの「魔法」が、この特定のタスクにおいては過大評価されている可能性があることを示唆しており、よりシンプルでトレーニングを必要としないアプローチこそが、新たなベンチマークになることを示しています。

要約すると： これらのパズルを解くために、スーパーコンピューターを構築する必要はありません。時には、ランダムな網と、機転の利く天才さえあれば十分なのです。

技術要約: RocketPFN

問題提起

時系列分類（TSC）は、発作検出から産業用故障診断に至るまで、科学および工学のあらゆる領域において依然として根本的な課題となっている。HIVE-COTE 2.0 (HC2) アンサンブルは、現在UCRおよびUEAアーカイブにおいて最先端（SOTA）の地位を保持しているが、データセットごとに数時間から数日のトレーニングを必要とする極めて高い計算コストを伴う。一方、近年のTSC基盤モデル（例：MOMENT、Mantis）は、低次元の時系列埋め込みを学習するために膨大な事前学習に投資しているが、ゼロショット特徴抽出器として使用した場合、HC2や効率的なランダムカーネルファミリー（Rocket）をまだ上回るには至っていない。

ここで取り組まれる中心的な問いは、「ランダム畳み込み特徴抽出と、事前学習済み表形式基盤モデルによるインコンテキスト分類を組み合わせたトレーニングフリーのパイプラインは、ターゲットデータに対して一切のパラメータ適合を行うことなく、最も複雑でトレーニング集約的なアンサンブルの精度に匹敵するか？」という点である。

手法: RocketPFN

RocketPFNは、ランダム特徴抽出と強力なインコンテキスト学習の間の溝を埋めるために設計された、2段階のトレーニングフリー・パイプラインである。

ランダム畳み込み特徴抽出 (Rocket):
- 入力時系列はまずz正規化される。
- 下流の分類器の入力容量を超える標準的な10,000個のカーネル（20,000個の特徴を生成）を使用する代わりに、本手法では $k=1,000$ 個のランダム畳み込みカーネルからなる $G$ 個の独立したグループを生成する。
- 各カーネルは、2つの要約統計量（グローバル最大値および正の値の割合（PPV））を生成する。
- これにより、 $G$ 個の特徴行列（各行列は2,000個の特徴を持つ）が生成され、TabPFN v2.5の入力制約に適合する。
インコンテキスト分類 (TabPFN v2.5):
- 各特徴行列は、数百万の合成表形式データセットで事前学習されたPrior-data Fitted NetworkであるTabPFN v2.5に渡される。
- TabPFNはインコンテキスト学習を通じて分類を行う。すなわち、ラベル付きの訓練セットとラベルなしのテストポイントをコンテキストとして受け取り、勾配更新を行うことなく、単一のフォワードパスでクラス確率を予測する。
- 最終的な予測は、 $G$ 個のグループにわたる確率推定値の平均となる。

設計の根拠: このパイプラインは、次元の不一致（Rocketの20,000個の特徴 vs TabPFNの2,000個の制限）に対し、特徴を切り捨てるのではなく、複数の小さなグループをアンサンブルすることで対処している。これにより、ランダム投影の多様性を維持しつつ、Rocketで通常用いられるリッジ回帰とは異なり、非線形な決定境界を学習できるTabPFNの能力を活用している。

主な貢献

本論文は、主に4つの貢献を提示している。

トレーニングなしでのSOTA精度: RocketPFN ( $G=10$ ) は、92のUCRデータセットにおいて0.900の平均精度を達成し、HC2と統計的に同等（Wilcoxon $p=0.50$ ）であり、かつHC2アンサンブル内のあらゆる個別の分類器を大幅に上回った。これにはターゲットデータに対するパラメータ適合は一切不要である。
インコンテキスト学習の優位性: 同じランダム畳み込み特徴に対して標準的なリッジ回帰の代わりにTabPFNを適用すると、有意な精度向上（+0.018）が得られ、インコンテキスト学習が線形モデルよりも識別的な情報を抽出できることが示された。
時間的エンコーディングの必要性: 平坦化された時系列に対して直接TabPFNを適用すると、容易に解けるタスク（例：ShapeletSim）においてさえ、ランダムに近い精度しか得られないことを本論文は示している。畳み込み特徴抽出のステップは、時間的な誘導バイアスを復元するために不可欠である。
基盤モデルのベンチマーク: RocketPFNは、同じ下流分類器と組み合わせた場合、ゼロショットTSC基盤モデル（MOMENT、Mantis、MantisV2）を大幅に上回る。これは、基盤モデルがUCRの訓練分割を含むコーパスで事前学習されている場合や、RocketPFNが基盤モデルの埋め込み次元よりも少ない特徴量（200）に制限されている場合でも成立する。

実験結果

UCRアーカイブ (92データセット): RocketPFN ( $G=10$ ) は、HC2と同等の平均精度（0.900）を達成した。これはHC2の構成要素（Arsenal, DrCIF, TDE, STC）およびInceptionTimeやTS-CHIEFといった他のSOTA手法を大幅に上回っている（ $p < 0.005$ ）。予算を削減した場合（ $G=1$ , 1,000カーネル）でも、RocketPFNはすべてのHC2構成要素を大幅に上回る。
UEAアーカイブ (20データセット): RocketPFN ( $G=10$ ) は0.747の平均精度を達成し、HC2（0.747, $p=0.37$ ）と統計的に区別がつかないが、データセット数が少ないため統計的検定力には限界がある。
基盤モデルとの比較: 103のUCRデータセットにおいて、RocketPFN ( $G=1, k=100$ ) は、MOMENT、Mantis、MantisV2（いずれもTabPFNと組み合わせたもの）を大幅に上回った（ $p < 0.001$ ）。この結果は、基盤モデルの埋め込み次元（256–1,024）がRocketPFNの特徴量（200）よりも大きい場合でも維持されている。
効率性: 本パイプラインはトレーニングフリーである。GPU上での推論時間の中央値は、 $G=10$ で30秒/fold、 $G=1$ で3.7秒である。

意義と主張

著者らは、RocketPFNをゼロショットTSC基盤モデルを評価するための参照点として提案している。本論文は、低次元の時間的埋め込みを学習するために必要な高い事前学習コストと設計の複雑さは、それらの埋め込みがこのトレーニングフリーのベースラインを上回る具体的な条件下においてのみ正当化されるべきであると論じている。

結果は、ゼロショットの時間的表現学習におけるハードルが、現在の基盤モデルが示唆しているよりも高いことを示唆している。本論文は、適切な特徴抽出器（ランダム畳み込みのようなもの）がソースのモダリティと表形式のインターフェースの間の架け橋となる限り、表形式の事前学習済みネットワーク（TabPFNなど）が、構造化された表形式データを超えた分類問題の汎用的なバックボーンとして機能する可能性があると仮定している。

限界: この手法は、現在TabPFN v2.5が最大10クラスまでしかサポートしていないため、25のUCRデータセットと7のUEAデータセットを除外している。また、UEAベンチマークの結果は、データセット数が20と少ないため、結論としては不十分であるとされる。また、タイミングの比較は、制御されたハードウェアベンチマークではなく、構造的なもの（推論のみ vs トレーニング重視）である。