TSFMAudit: Data Contamination Auditing in Forecasting Time Series Foundation Models

技術概要：TSFMAudit – 予測用時系列基盤モデルにおけるデータ汚染監査

1. 問題定義

時系列基盤モデル（TSFMs）は、多様な実世界および合成ソースに由来する大規模で不均質なコーパスを用いた事前学習がますます一般的になっています。同時に、広く使用されている評価ベンチマーク（GIFT-Eval、TIME など）も、しばしば同じ公開ソースから構成されています。この重複は、モデルの事前学習段階で評価データが露出する「事前学習汚染」の重大なリスクを生み出します。このような露出は、下流タスクのパフォーマンス推定値を人為的に過大評価し、モデルの汎化能力に対する楽観的な評価につながります。

大規模言語モデル（LLM）と比較して、時系列におけるこの汚染の監査は、データの性質上、特に困難です。

• 連続性と不均質性: 時系列は連続値であるため、LLM の重複検出に用いられる厳密な文字列またはトークンマッチングは適用できません。
• 前処理への感受性: 同じ基盤信号は、リスケール、リネーミング、リウィンドウ、またはその他の変換後に再出現する可能性があり、単純な重複検出を脆弱にします。
• ドキュメントの欠如: コーパスレベルのドキュメントは不完全であることが多く、メタデータのみで露出を検証することが困難です。
• 静的指標の信頼性の欠如: 静的な損失やパープレキシティのスコアは信頼性の高い指標ではありません。滑らかな季節的傾向や容易なデータセットは、モデルがそのデータを一度も見たことがなくても低い損失をもたらす可能性があるためです。

本論文は、汚染監査の目的を形式化します。候補となる TSFM $f_\theta$ と監査対象データセット $D$ が与えられたとき、完全な事前学習コーパスへのアクセスなしに「クリーン」なペアと「汚染」されたペアを区別し、事前学習汚染のリスクを定量化するスコア $S(f_\theta, D)$ を推定することを目標とします。

2. 手法：TSFMAudit

著者は、プローブ適応ダイナミクスに基づくフレームワーク TSFMAudit を提案します。核心的な直感は、汚染がファインチューニング・プローブ中の異常に効率的な適応として現れるというものです。

主要な観察事項:

1. 効率的な適応: モデルが事前学習中に特定のデータセットに固有の予測構造をすでに符号化している場合、その同じデータセットでその後にファインチューニングを行う際に、必要な適応が少なくなります。その結果、バックボーンパラメータの移動を最小限に抑えながら、損失の減少が迅速に行われます。
2. データセットの難易度バイアス: 高速な適応は汚染されたモデルに固有のものではありません。データセットが本質的に容易であれば、クリーンなモデルも迅速に適応する可能性があります。これを緩和するため、本手法はターゲットデータセットに露出していないが、同様のアーキテクチャを持つモデルのリファレンススイートと候補モデルを比較します。

TSFMAudit パイプライン:

1. プロービング段階: 候補モデルとリファレンスモデルのスイート（$\mathcal{R}$）の両方を、固定されたエポック数（$T_{probe}$）にわたり、監査対象データセット $D$ でファインチューニングします。
2. トレース抽出: 各エポック $t$ において、システムは以下の値を記録します:
   • $\ell_t$: 予測損失。
   • $w_t$: 初期状態からのバックボーンパラメータの累積 $\ell_2$ 変位。
   • 派生指標: 相対損失低下率（$d_t$）と適応効率（$a_t = d_t / w_t$）。
3. リファレンス比較によるバイアス除去: データセット固有の難易度バイアスを除去するため、候補のトレース特徴を、各リファレンスモデルのトレースに対して要素ごとに比較します。これにより、差分（$\Delta$）と比率（$\rho$）の特徴が生成されます。
4. スコアリングと較正: 較正された特徴を用いて、監査トレーニングセット上で軽量なスコアラー（ロジスティック回帰）を訓練し、汚染確率を予測します。
   • 閾値設定: システムは「無実を告発しない」という保守的な原則（FP-0 較正）を採用します。決定閾値 $\tau$ は、既知のクリーンな検証データセットで観測された最大スコアに設定され、クリーンなデータセットが誤って汚染としてフラグ付けされないことを保証します。

3. 主要な貢献

• 初の体系的な研究: 著者の知る限り、これは TSFM に対する事前学習汚染監査を正式に研究し、手法を提案する最初の作業です。
• 新規手法: 静的な損失や記憶抽出ではなく、プローブ時の適応ダイナミクス（損失低下対パラメータ移動）を活用する TSFMAudit の導入。
• リファレンスベースのバイアス除去: スクラッチから学習したモデルや無関係なデータで学習したモデルのスイートに対する候補の適応効率を比較することで、データセットの難易度を制御するメカニズム。
• 包括的な評価: 本手法は、6 つの TSFM（Chronos, TiRex, Moirai1/2, TimesFM2.0, Kairos）と187 のデータセット（GIFT-Eval と TIME ベンチマークを組み合わせ）で評価され、LLM 文献から適応された 10 のベースラインと比較されました。

4. 実験結果

実験は、手法の有効性に関する 4 つの主要な問いに答えるものです。

• 検出性能（Q1）: TSFMAudit は、静的損失ベースライン（Raw Loss, Loss Drop Rate）、LiRA 由来の比率、および周波数領域ベースラインを大幅に上回ります。静的指標はほぼゼロのマシューズ相関係数（MCC）をもたらすのに対し、TSFMAudit は（All Ref 構成で）MCC 0.125、Macro-F1 0.521 を達成します。著者は、絶対的な MCC 値が控えめであることに言及しており、これは保守的な FP-0 較正とノイズの多い代理ラベルの下での問題の固有の難しさを反映していると指摘しています。
• バイアス除去効果（Q2）: リファレンスベースのバイアス除去は決定的に重要です。候補のみを用いたダイナミクスベースラインよりも、すべてのリファレンスベースのバリアントが上回ります。「All Ref」構成（ScratchCNN, ScratchTransformer, Stat, VisionTS の 4 つのリファレンスモデルをすべて使用）が最良の集計性能を示し、絶対的なものよりも相対的な適応シグナルの方が情報豊富であることを確認しました。
• 特徴の有用性（Q3）: 特徴の除去実験により、単一の特徴では不十分であることが示されました。適応効率（$a_t$）が最も強力な個別特徴であり、汚染は高効率（高速な損失低下、低いパラメータ移動）によって特徴づけられるという仮説を支持しています。ただし、すべてのダイナミクス特徴（損失、変位、効率）を組み合わせることが最良の結果をもたらします。
• 実用的な展開（Q4）: 本手法は、汚染ラベルのない新しい外部ベンチマークであるTIME ベンチマークでテストされました。過去のデータで訓練された固定の監査器を使用して、TSFMAudit は TIME データセットを高い信頼性（プールされた非漏洩率 > 95%）で「クリーン（非漏洩）」として正しく識別し、再訓練なしの実世界展開シナリオにおけるその有用性を示しました。

5. 意義と主張

本論文は、TSFMAudit が、時系列における信頼性の高い汚染監査のための有望な基盤としてプローブ時のダイナミクスを確立したと主張します。

• パラダイムシフト: 時系列では信頼性が低い静的な事前プローブ指標から、ファインチューニング中の動的な行動分析へと移行します。
• 実現可能性: 事前学習コーパスへのアクセスや大規模な事前学習の再現性がなくても、モデルの適応行動をプローブできれば、汚染監査は可能であることを実証しています。
• 限界: 著者は結果について控えめであり、検出問題が困難であることを認めています。控えめな MCC スコアは、厳格な偽陽性制約下や、変換された重複など漏洩のすべての形態を捉えない可能性のある代理ラベルを扱う場合、本手法がベースラインより優れているものの、完璧な検出器ではないことを示しています。

結論として、TSFMAudit は TSFM を監査するための最初の専用フレームワークを提供し、時系列データの連続性と不均質性を考慮した、堅牢で動的なデータ汚染の特定アプローチを提示します。