技術要約: WARP – 重み空間解析による学習データ・ポートフォリオの復元

問題提起

基盤モデルはますます一般に公開されるようになっているが、特定の「データ・レシピ」、特に多様なソース（例：ウェブテキスト、コード、科学文献）を学習中にどのようにサンプリングするかを決定するドメイン混合重みは、依然として独占的かつ不透明なままである。これは、研究者が結果としてのモデルの重みを研究することはできても、そのモデルを生成した学習分布を可視化できないという、重大なアクセスの非対称性を生んでいる。

学習データの推論に関する既存のアプローチ（メンバーシップ推論（MI）など）は、個々のサンプルレベルで動作し、特定のデータポイントが学習セットに含まれていたかどうかを検出するものである。しかし、MIは学習コーパスのグローバルな構成やドメイン比率を特徴付けることはできない。さらに、従来の学習軌跡を復元する手法の多くは、中間チェックポイントへのアクセスを必要とするが、公開されているモデル（通常、ベースモデルと最終的なファインチューニング後の重みのみが公開される）では、これらは滅多に利用できない。本研究が取り組む核心的な課題は、逆問題である。すなわち、公開されたベースモデル（$\theta_{base}$）、ファインチューニング後のモデル（$\theta_{ref}$）、および小さなプロービング用データセットのみが与えられたとき、真の学習軌跡や中間チェックポイントにアクセスすることなく、どのようにして未知のドメイン混合比率（$\pi^*$）を復元できるか、という点である。

手法: WARP フレームワーク

著者らは、重み空間の幾何学的構造を利用して、モデルの重みから直接ドメイン混合を復元するフレームワークである WARP (Weight-space Analysis for Recovering Training Data Portfolios) を提案している。この手法は、以下の3つのステージで進行する。

1. 学習軌跡のシミュレーション

$\theta_{base}$ から $\theta_{ref}$ への真の経路は観測されないため、WARP はモデル・マージング（モデル結合）技術を用いて、2つのエンドポイント間を補間する。混合係数 $\alpha_t \in (0,1)$ のスケジュールに従ってマージ演算子（LERP、SLERP、または TIES など）を適用することで、一連の擬似チェックポイント（$\tilde{\theta}_t$）を生成する。これらの擬似チェックポイントは、観測不可能なパラメータの進化のプロキシ（代理）として機能し、実質的に「シミュレートされた」学習軌跡を再構築する。

2. 幾何学的フットプリントの蒸留

これらの擬似チェックポイントから、WARP は Mimic Score に適応させたメトリックを用いて、ドメインレベルの信号を抽出する。各擬似チェックポイント $\tilde{\theta}_t$ に対して、ターゲットモデルに向かう方向ベクトル $v_t = \theta_{ref} - \tilde{\theta}_t$ を定義する。

• サンプル・アライメント: 学習データと同じソースドメインからサンプリングされた小さなプロービング用データセット $D_{probe}$ に対し、$\tilde{\theta}_t$ における各サンプルの負の勾配を計算する。
• 投影: Mimic Score ($m_{i,t}$) は、この負の勾配の単位ベクトル $v_t$ への投影として計算される。このスコアは、モデルがファインチューニング中に実際に辿った方向に対して、そのサンプルがいかに強く整合しているかを測定する。
• プーリング: これらのスコアは、各ステップ $t$ において各ドメイン $k$ 内で正規化および平均化され、特徴行列 $M \in \mathbb{R}^{K \times T}$ を生成する。この行列は、モデルの進化に伴い、各ドメインがファインチューニングの方向とどの程度強く整合するかを辿る「幾何学的フットプリント」を表している。

3. 幾何学から混合へのマッピング

最終ステップでは、幾何学的フットプリント $M$ を予測されたドメイン混合 $\hat{\pi}$ へと変換する。著者らは2つのバリアントを提案している。

• 教師なし読み出し (Unsupervised Readout): パラメータフリーのアプローチであり、時間ステップ全体でプーリングされたスコアを平均化し、ソフトマックス関数を適用して混合比を推定する。
• 教師あり投影 (Supervised Projection): 合成データを用いて訓練されたMLPプロジェクター。著者らは、ランダムな混合を用いてベースモデルをファインチューニングすることで、グラウンドトゥルース（正解ラベル）を持つ合成ペアを生成し、幾何学的フットプリント $M$ から既知の混合 $\pi$ へのマッピングを行うようにMLPを訓練する。これにより、モデルはシミュレートされた軌跡の異なるステージを適応的に重み付けする方法を学習できる。

主な貢献

1. アクセスの非対称性の解消: WARP は、公開されているモデルのアーティファクト（ベースおよび最終的な重み）のみを使用して、ファインチューニングされたモデルのドメイン混合を復元することを定式化した。これにより、独自のデータや中間チェックポイントを回避している。
2. シミュレートされた学習軌跡: 本フレームワークは、能力の融合のためではなく、観測不可能な学習パスをシミュレートして、重み空間における利用可能な幾何学的構造を露出させるための、モデル・マージングの斬新な活用法を導入している。
3. 強力な経験的性能: 制御された実験において、WARP はサンプルレベルのメンバーシップ推論のベースライン、さらには真の中間チェックポイントへのアクセスを持つ「オラクル（神託）」バリアントをも凌駕した。
4. 堅牢性: この手法は、早期終了、収束、過学習されたチェックポイントを含む、異なる学習レジームにおいても精度を維持している。

実験結果

本フレームワークは、既知のグラウンドトゥルース混合を持つ4つのテキストデータセット（SNLI, AGNews, Yelp, Yahoo）でファインチューニングされた BERT および GPT-2 モデルを用いて評価された。

• 精度: WARP は、BERT で 0.046、GPT-2 で 0.104（TIES マージを使用した場合の教師ありMLPバリアント）という低い平均絶対誤差（MAE）を達成した。
• 比較: これらの結果は、以下の手法を大幅に上回った：
  • ランダム推測 (Random Guess) および セントロイド推測 (Centroid Guess) ベースライン。
  • サンプルレベルのメンバーシップ推論 (MI)。MI はより高い誤差（例：BERT において WARP の 0.046 に対し 0.063 MAE）を示した。
  • オラクル・バリアント: 驚くべきことに、シミュレートされた軌跡（LERP/TIES）を使用する WARP は、実際の 中間チェックポイントを使用するバリアントよりも優れた性能を示すことが多かった。著者らはこれを「滑らかさのギャップ（smoothness gap）」に起因すると考えている。実際の学習パスにはノイズ（確率的なミニバッチ、学習率のウォームアップなど）が含まれるが、補間されたパスは、よりクリーンで単調な軌跡を提供するため、幾何学的フットプリントをデコードしやすくなる。
• 教師なし vs 教師あり: パラメータフリーの教師なしソフトマックス読み出しは、競争力のある結果を示し、すべてのベースラインを上回り、教師ありバリアントとの差の大部分を埋めた。これは、学習されたプロジェクターがなくても、幾何学的信号が十分に強力であることを示している。

意義と主張

本論文は、WARP がモデルの重み空間の幾何学のみから、モデルの学習分布を逆エンジニアリングすることが可能であることを示している。モデルの「パス（経路）」が学習データの分布的フットプリントをエンコードしていることを示すことで、本研究は以下のための新しいツールを提供する：

• 監査: データ汚染の検出や、モデル学習のプロベナンス（由来）の検証。
• 解釈性: 特定の混合によってモデルがなぜ特定の挙グ挙動を示すのかを理解すること。
• 透明性: 重みは共有されているがデータ・レシピは共有されていない、最先端モデルの開発における不透明性への対処。

著者らは、このアプローチが従来のフォワード（順方向）のみのパラダイムを打破し、最終的な「料理」（重み）のみが利用可能な場合に、モデルの「材料（成分）」を推論するための実用的な手法を提供すると強調している。