技術要約: AdaDetectGPT

問題提起

本論文は、人間が作成したテキストと大規模言語モデル（LLM）によって生成されたテキストを区別するという極めて重要な課題に取り組んでいる。既存の最先端の検出器は、観測されたテキストをソースとなるLLMの分布に対して評価した対数確率（ロジット）から導出される統計量に依存しているが、著者らは、生の対数確率のみに依存することは最適ではないと主張している。現在の手法は、特に複雑なシナリオにおいて、人間と機械生成の分布間の統計的な差異を十分に活用できていないことが多い。

手法: AdaDetectGPT

提案手法であるAdaDetectGPTは、学習データから「ウィットネス関数（証拠関数）」を学習することにより、既存のロジットベースの検出器（具体的にはFast-DetectGPT）を強化するように設計された適応型分類器である。

1. 統計的枠組み

本手法は、以下の2つの設定下で動作する。

• ホワイトボックス: ロジットを計算するために使用されるソースLLMが、テキストを生成したターゲットLLMと同一である場合。
• ブラックボックス: ソースLLMが、ターゲットとなるクローズドソースモデルのオープンソースによる近似モデルである場合。

コアとなる統計量 $T_w(X)$ は、変換された対数確率の正規化された和として構成される：
$$T_w(X) := \frac{\sum_{t}[w(\log q_t(X_t|X_{<t})) - \mathbb{E}_{\tilde{X}_t \sim q_t} w(\log q_t(\tilde{X}_t|X_{<t}))]}{\sqrt{\sum_{t} \text{Var}_{\tilde{X}_t \sim q_t}(w(\log q_t(\tilde{X}_t|X_{<t})))}}$$
ここで、$w: \mathbb{R} \to \mathbb{R}$ は対数確率に適用される一次元のウィットネス関数である。生のロジットを恒等関数として使用するFast-DetectGPTとは異なり、AdaDetectGPTは検出力を最大化するように $w$ を学習する。

2. マルチンゲール理論による閾値選択

主要な理論的貢献は、分類閾値の導出である。著者らは、トークン生成プロセスを時系列としてモデル化し、**マルチンゲール中心極限定理（MCLT）**を適用することで、帰無仮説（テキストがLLMによって生成されたという仮説）の下で、統計量 $T_w(X)$ がシーケンス長 $L \to \infty$ のとき標準正規分布に収束することを確立した。

• これにより、閾値 $c = z_\alpha$（標準正規分布の $\alpha$ 分位点）を選択することで、望ましいレベル $\alpha$ において**偽陰性率（FNR）**を厳密に制御することが可能となる。

3. ウィットネス関数の学習

主要な課題は、固定されたFNRに対して真陰性率（TNR）を最大化する場合、通常、FNRレベル $\alpha$ に依存するウィットネス関数が得られることである。これを克服するために、著者らは以下の手順を踏んだ。

• $\alpha$ とウィットネス関数 $w$ の影響を分離する下界を導出した。
• この下界を最大化することは、$\alpha$ に依存しない母集団レベルの量 $T^{(2)*}_w$ を最大化することと等価であることを示した。
• B-スプライン基底関数を用いた線形関数クラスを用いて、この最適化を実装した。この最適化は、線形方程式系（$\Sigma \beta = \psi$）を解くことに帰着するため、学習プロセスは計算効率が高い。

主な貢献

1. 適応的検出: 生のロジットを変換する学習可能なウィットネス関数を導入した。これは、生のロジット単独よりも、人間と機械のテキストをより良く識別できることが経験的に示されている。
2. 統計的保証: 本論文は、真陽性率（TPR）、偽陽性率（FPR）、真陰性率（TNR）、および偽陰性率（FNR）に関する有限サンプル誤差境界を提供している。具体的には、訓練サンプルサイズ $n$ およびシーケンス長 $L$ が増加するにつれて、分類器の性能が最適な母集団ウィットネス関数にアクセスできるオラクル分類器の性能に収束することを証明している。
3. 閾値設定のための理論的基礎: FNR制御のために正規近似の使用を正当化するMCLTの適用は、従来の統計的検出器には欠けていることが多い特徴である。
4. 効率的な最適化: ウィットネス関数の学習問題を単純な線形系へと還元し、非凸最適化を回避している。

実験結果

著者らは、5つのデータセット（SQuAD, WritingPrompts, XSum, Yelp, Essay）および様々なLLM（GPT-2, OPT, GPT-Neo, GPT-J, GPT-NeoX, Qwen2.5, Mistral, LLaMA3）にわたる広範な数値研究を行った。

• ホワイトボックスの性能: AdaDetectGPTは、8つの最先端のベースライン（DetectGPT, Fast-DetectGPT, DNAGPTを含む）を一貫して上回った。最高性能のベースライン（Fast-DetectGPT）に対して、**12.5%から37%**の範囲でAUC（曲線下面積）の向上を達成した。
• ブラックボックスの性能: オープンソースのプロキシを使用して高度なクローズドソースモデル（GPT-4o, Claude-3.5, Gemini-2.5-Flash）のテキストを検出する場合でも、AdaDetectGPTは優れた性能を維持し、Fast-DetectGPTに対して最大**20%**の向上を示した。
• 堅牢性: 本手法は、パラフレーズ（言い換え）やデコーレンス（脱コヒーレンス）といった敵対的攻撃に対して耐性を示し、特定のブラックボックスシナリオにおいてベースラインをそれぞれ最大10%および85%上回った。
• 効率性: ウィットネス関数の学習には、1分未満の時間と0.5 GB未満のメモリしか必要としなかった。

意義と主張

本論文は、ロジットベースの検出器に関する系統的な統計分析に関する文献の空白を埋めるものであると主張している。これまでの研究は経験的な性能に焦点を当ててきたが、本研究はエラー率に関する厳密な統計的保証を提供している。

著者らは、AdaDetectGPTを、統計ベースの手法と機械学習ベースの手法の交差点に位置付けている。本手法は、統計的手法の解釈可能性とデータ効率（対数確率への依存）を保持しつつ、機械学習の適応性（ウィットネス関数の学習）を活用することで、優れた検出力を実現している。この手法は、モデル固有のウォーターマークやブラックボックスの学習データを必要とせずに、LLM生成コンテンツを検出するという増大するニーズに対する、堅牢で理論に基づいた解決策として提示されている。