When New Generators Arrive: Lifelong Machine-Generated Text Attribution via Ridge Feature Transfer

技術要約：生涯学習型機械生成テキスト属性特定のための RidgeFT

1. 問題定義

本論文は、生涯学習型機械生成テキスト（MGT）属性特定（Lifelong Machine-Generated Text (MGT) Attribution）という課題に取り組んでいる。これは、新しい大規模言語モデル（LLM）が時間の経過とともに次々と登場する中で、属性特定モデルが特定の生成元を継続的に識別しなければならない設定である。これは、固定された生成者セットを扱う静的な属性特定タスクとは異なり、動的かつオープンエンドな設定である。

核心となる課題は、適応（新しい生成者クラスの学習）と保持（既知の生成者の認識能力の維持）の間のトレードオフである。既存の手法は、多くの場合、これらの目的のバランスを取ることに失敗している。

• フル再学習は、計算コスト、データライセンスの制約、および過去のデータの利用不可能性のため、非現実的である。
• ファインチューニングによる継続学習は、多くの場合、破滅的忘却（catastrophic forgetting）を引き起こす。つまり、新しいクラスのためにモデルを更新すると、古いクラスの決定境界が不安定になる。
• エグゼンプラー・リプレイ（過去の生のテキストを保存すること）は、プライバシーへの懸念とストレージのオーバーヘッドを生じさせる。

目標は、過去のデータをリプレイしたり、ディープ・テキスト・エンコーダを継続的に更新したりすることなく、新しい生成者を効率的に組み込み、安定した表現空間を維持するフレームワークを開発することである。

2. 手法：RidgeFT

著者らは、軽量でエグゼンプラー・フリーな解析的更新フレームワークである RidgeFT を提案している。RidgeFTは、ディープ・エンコーダを継続的にファインチューニングする代わりに、初期の生成者セットに対して訓練されたタスク認識型エンコーダを凍結し、コンパクトな十分統計量に基づいた閉形式のリッジ回帰を用いて増分更新を行う。

パイプラインは、以下の3つの連続したステージで構成される。

A. 共分散キャリブレーション（Covariance Calibration）
特徴空間において高分散ノイズとして作用する、生成者とは無関係な変動（例：トピック、ドメイン、テキストの長さ）を軽減するために、RidgeFTは**分数ホワイトニング変換（fractional whitening transformation）**を適用する。

• 初期訓練データから、クラス内散布行列（$S_w$）を計算する。
• 高次元の共分散推定における安定性を確保するために、トレーススケール・シュリンケージを適用する。
• 元の識別的な幾何構造を保持しつつ、支配的なノイズ方向を減衰させるために、分数固有値分解を実行する。
• この変換は初期化後に固定されるため、増分更新の際に過去の生のテキストを再訪する必要がない。

B. 等方性ランダム特徴リフティング（Isotropic Random Feature Lifting）
表現空間をシフトさせる可能性のある学習可能なパラメータを導入することなく、解析的分類器の表現能力を高めるために、RidgeFTは校正された特徴を固定された非線形ランダム特徴空間へとマッピングする。

• 学習不可能なガウス型ランダム行列（$R$）を、増分学習が始まる前に一度だけサンプリングする。
• 校正された特徴はこの行列を通じて投影され、ReLUを通過し、レイヤー正規化（Layer Normalization）される。
• この等方的な投影は、タスクに依存しない基底を提供し、表現空間を均一に拡張することで、初期クラスのみに適合した投影によるバイアスを回避する。

C. クラスバランス型解析的リッジ回帰（Class-Balanced Analytic Ridge Regression）
分類ヘッドは、第2次十分統計量のみを用いて、閉形式のリッジ回帰によって更新される。

• 各クラスについて、システムはランダム特徴空間内で3つの統計量を保持する：第2次統計量（$A_c = \sum z_i z_i^\top$）、第1次統計量（$q_c = \sum z_i$）、およびサンプル数（$N_c$）。
• サンプル数の違いによる不均衡（大きなクラスがリッジ解を支配する場合）に対処するため、クラス数に基づく逆頻度重み（$\omega_c$）を導入する。
• 最終的な分類器の重み（$W$）は、解析的に算出される：$W = (\bar{A} + \lambda I)^{-1} \bar{B}$。ここで、$\bar{A}$ と $\bar{B}$ は十分統計量の加重和である。
• 新しい生成者が到着すると、システムは新しいクラスの統計量を計算し、加重和を更新して線形システムを解く。古いクラスの生のテキストがリプレイされることは決してない。

3. 主な貢献

1. 問題定式化： 本論文は、生涯学習型MGT属性特定を、エグゼンプラー・フリーの制約下で、生成者固有の決定境界を維持しながら、妨害要因となる変動（トピック、ドメイン）を抑制する必要がある「生成者進化問題」として特定した。
2. RidgeFT フレームワーク： 分数共分散キャリブレーション、等方性ランダム特徴リフティング、およびクラスバランス型閉形式リッジ回帰を組み合わせた解析的更新フレームワークを導入した。これにより、コンパクトなクラスごとの十分統計量のみを用いた増分更新が可能になる。
3. 実証的検証： 複数のトピック（学術、ソーシャルメディア）、ターゲット生成者、およびバックボーンモデル（DeBERTa, RoBERTa）にわたる広範な実験により、RidgeFTが最先端の継続学習ベースラインを上回ることを示した。

4. 実験結果

著者らは、MGT-Academic および AIGTBench を含むデータセットを用い、プロトコル P3、P4、P5（3、4、または5つの初期クラスから開始し、新しいクラスを逐次追加する）の下で RidgeFT を評価した。

• 性能： 標準的な P5 プロトコルにおいて、RidgeFT は macro-F1 で 0.886 を達成し、最強の継続学習ベースラインをフルF1において 0.037 上回った。
• 保持 vs 適応： RidgeFT は 旧クラス F1 で 0.902、新クラス F1 で 0.804 を達成した。特筆すべきは、最強のベースラインよりも新クラス F1 が 0.107 高かったことであり、これは、旧来の生成者の知識を強力に保持しつつ、新しい生成者への優れた適応能力を示している。
• 堅牢性： 新クラスのデータ割合を 5% まで減少させても、手法は安定しており、高いデータ効率を示した。
• アブレーション研究： 3つのコンポーネント（Whitening、Random Feature Lifting、Class-Balanced Ridge）はすべて相補的であることが示された。特に Class-Balanced Ridge コンポーネントは、旧クラスと新クラス間のバイアスを緩和する上で非常に効果的であった。
• ストレージ効率： ストレージ・フリーではないものの、RidgeFT は大幅な圧縮を可能にする。bf16 精度で統計量をマージして使用することで、性能低下を最小限に抑えつつ、ストレージ要件を 16.9倍 削減（約 46 MiB に）できた。

5. 意義と主張

本論文は、特徴量安定型の解析的更新が、生涯学習型MGT属性特定のためのシンプルかつ効果的なアプローチを提供すると主張している。新しい生成者の学習をディープな表現の更新から切り離すことで、RidgeFT はファインチューニングに伴う表現ドリフトや、エグゼンプラー・リプレイによるメモリ・オーバーヘッドを回避する。

著者らは、RidgeFT を、新しい LLM が急速に登場する中で属性特定システムが進化しなければならない実世界のデプロイメントにおけるスケーラブルなソリューションとして位置づけている。彼らは、本手法が、確立された生成者の知識を保持することと、新しいものに適応することの間の優れたトレードオフを提供し、この分野における中心的な未解決課題に対処していることを強調している。

著者らが認めている限界事項：

• ストレージ： 本手法はリプレイ・フリーであるが、ストレージ・フリーではない。共分散パラメータと十分統計量を保持する必要がある。
• 多言語： 実験は主に英語で行われた。将来の研究として、多言語設定への拡張が示唆されている。
• 長期的な安定性： 著者らは、将来の生成者が初期訓練セットと大きく異なる場合、固定された表現空間が最終的に不十分になる可能性があると指摘しており、超長期的なデプロイメントにおいては定期的なエンコーダの適応が必要になる可能性を示唆している。