Prompting Underestimates LLM Capability for Time Series Classification

以下は、提示された論文「Prompting Underestimates LLM Capability for Time Series Classification（プロンプティングは時系列分類における LLM の能力を過小評価している）」の技術的な詳細な要約です。

1. 問題設定 (Problem)

近年、大規模言語モデル（LLM）は自然言語処理において卓越した性能を示していますが、時系列データ（医療、金融、気象などの時系列イベントの順序パターン）の分類タスクにおいては、ゼロショット・プロンプティング（直接指示を与える方法）を用いた評価で性能が極めて低いことが報告されています。これにより、「LLM は時系列の構造的な意味を内在的に表現していないのではないか」という疑念が生じていました。

しかし、既存の評価手法には以下の問題点がありました：

• プロンプト依存性: 性能がプロンプトの設計や生成タスクの形式に強く依存している。
• 微調整（Fine-tuning）の混入: 多くの研究がタスク固有の微調整や追加の学習コンポーネント（MLP など）を使用しており、事前学習済みモデルそのものの能力を評価できていない。
• 表現能力と生成能力の混同: モデル内部に有用な情報が存在していても、それをテキスト生成というインターフェースを通じて抽出できない場合、その能力が見逃される。

本研究の核心は、**「LLM が時系列分類の能力を欠いているのか、それとも評価インターフェース（プロンプティング）がその能力を引き出せていないだけなのか」**という疑問に答えることにあります。

2. 手法 (Methodology)

著者らは、LLM の「生成された出力（Prompting）」と「内部隠れ状態（Hidden Representations）」を直接比較するアプローチを採用しました。

• 比較対象:

  1. プロンプティング (Prompting): 時系列データをテキスト（数値の文字列化）または画像（グラフ）として LLM に提示し、直接クラス分類を生成させる。
  2. 線形プローブ (Linear Probing): 同じ LLM の内部隠れ状態（各トランスフォーマー層の最終トークンの埋め込み）を抽出し、それらに対して**学習済みの重みを持たない単純な線形分類器（ロジスティック回帰）**を学習させて分類精度を測定する。

• 実験設定:

  • モデル: Llama-3.2, Mistral, Qwen などのマルチモーダル LLM（vLLM）と、Gemma, GPT-oss などのテキスト専用 LLM。
  • 入力モダリティ:
    • d (Digit-based): 数値を文字列として直接入力（BPE による断片化を防ぐための特殊なトークナイズ）。
    • v (Visual): 時系列データを線グラフやスペクトログラムとして画像入力。
    • d+v (Multimodal): 両方の組み合わせ。
  • データセット: CTU, EMG, HAR, HAD, RWC, TEE の 6 つの多様な時系列分類データセット。
  • ベースライン: 既存の時系列特化モデル（Moment, TS2Vec, Attend など）、ランダムプローブ（重みをランダムに初期化したモデル）、多数決ベースラインと比較。

3. 主要な貢献 (Key Contributions)

1. プロンプト性能と表現能力の解離の初回実証: 時系列分類において、プロンプトベースの性能と LLM の内在的な表現能力を直接分離・評価した最初の研究です。
2. 線形プローブの優位性: 複雑な LLM ベースのパイプラインやプロンプティングよりも、単純な線形プローブの方が一貫して高い精度（F1 スコア）を達成することを示しました。これは、時系列の重要な情報がモデル内部に存在しているが、プロンプティングでは十分に活用されていないことを意味します。
3. 層別分析による発見: 時系列の判別情報はトランスフォーマーの初期層（第 1〜5 層付近）で既に出現し、視覚入力やマルチモーダル入力によって増幅されることを発見しました。

4. 結果 (Results)

• プロンプティング vs. プロービングの劇的な差:

  • プロンプティング: ゼロショットでの平均 F1 スコアは 0.15〜0.26 程度で、ほぼランダムレベルに近い性能でした。
  • プロービング: 同じモデルの内部表現を用いた線形プローブでは、平均 F1 スコアが 0.61〜0.67 まで大幅に向上しました。
  • 具体例: EMG データセットでは、Llama モデルのプロンプティング F1 が 0.175 だったのに対し、プロービングでは 1.00（完全分類） を達成しました。

• 既存モデルとの比較:

  • 線形プローブによる vLLM の性能は、専門的な時系列モデル（OneFitsAll, Moment など）と競合するか、それ以上になるケースがありました（例：Qwen のプロービング平均 F1 0.672 は OneFitsAll の 0.615 を上回る）。

• 入力モダリティの影響:

  • 視覚情報（画像）の追加は、特にプロンプティングにおいて性能向上に寄与しましたが、プロービングにおいても視覚入力が含まれると分離性が向上しました。
  • 意外なことに、テキスト入力（数値の文字列化）のみでも、プロービングでは高い性能（0.57〜0.63 程度）を維持しており、テキスト表現が時系列構造を捉えていることを示唆しました。

• プロンプトの不安定性:

  • プロンプトの文言をわずかに変更するだけで、性能が大幅に変動すること（平均 0.088 の F1 スコアの差）が確認されました。また、同じプロンプトで 20 回生成しても、1 回目で正解する確率（Pass@1）と 20 回目で正解する確率（Pass@20）の差は小さく、生成ベースの評価は不安定であることを示しました。

• Chain-of-Thought (CoT) と Few-shot:

  • 推論プロセスを説明させる CoT や、数ショット（Few-shot）例の追加は、表現の質（プロービング性能）や生成性能を必ずしも向上させませんでした。場合によっては性能が低下することもありました。

5. 意義と結論 (Significance & Conclusion)

本研究は、時系列分類における LLM の評価方法に対する根本的な再考を促すものです。

• 評価インターフェースの限界: LLM が時系列を理解していないのではなく、「生成（Generation）」という出力インターフェースが、モデル内部に存在する高度に判別可能な時系列情報を引き出すのに不適切であることが示されました。
• 特徴抽出器としての LLM: 事前学習済みの LLM は、追加の微調整なしでも、時系列データに対して強力な汎用シーケンスエンコーダ（特徴抽出器）として機能します。初期層ですでに有用な情報が抽出されているため、複雑なアーキテクチャを構築する前に、単純な線形分類器を適用するだけで高い性能が得られます。
• 今後の方向性: 時系列タスクにおいて LLM を「推論エージェント」として使うか、「特徴抽出器」として使うか、あるいは不要なコンポーネントとして除外するかを判断する際、プロンプトベースの評価だけでは不十分であることが明らかになりました。

結論として、LLM の時系列理解能力は、現在のプロンプトベースの評価によって体系的に過小評価されていることが実証されました。