技術要約: WAVEDETECT

問題提起

大規模言語モデル（LLM）の急速な進歩により、機械生成テキスト（MGT）は、流暢さと意味的な一貫性の面で人間が書いたテキスト（HWT）と区別がつかないほど高度化している。この能力は、学術的不正行為や情報の誤拡散を含む、情報の完全性に対する重大なリスクをもたらしている。既存の検出手法には、以下の3つの決定的な限界が存在する：

1. 敵対的脆弱性: 表層的な意味論的アーティファクト（例：パープレキシティ、エントロピー）に依存する検出器は脆く、パラフレーズ、類義語置換、あるいは文字レベルの難読化といった敵対的な摂動によって容易に回避される。
2. 時間的不安定性: LLMアーキテクチャの急速な反復により、検出器はすぐに陳腐化する。レガシーなアーキテクチャで訓練されたモデルは、未知の次世代モデルに対して汎化できないことが多い。
3. ドメイン汎化: 一般的なコーパスで訓練された検出器は、基礎的な生成シグネチャではなくドメイン固有の語彙に過学習してしまうため、専門領域（例：法律、医学）に適用した際に失敗することが多い。

ゼロショット（確率の曲率に依存）であれ、教師あり学習（トークンシーケンスに対して分類器を訓練）であれ、現在の手法は、人間と機械の生成間の本質的かつ不変な差異を捉えることに苦慮しており、人間と機械の意味論の境界が曖昧になるタイムドメイン表現に焦点を当てすぎている。

手法

著者らは、MGT検出を、時間-周波数領域における信号処理タスクとして再定式化するフレームワークであるWAVEDETECTを提案する。トークンの静的な確率や生のシーケンスを分析するのではなく、WAVEDETECTは生成された出力を「確率信号」としてモデル化し、**連続ウェーブレット変換（CWT）**を適用して「スペクトル指紋」を抽出する。

コア・ワークフロー

1. 信号抽出: サロゲート言語モデル（$M_\theta$、具体的には Qwen2.5-0.5B-Base）が、離散的なトークンシーケンス $X = \{x_1, \dots, x_N\}$ を連続的な確率信号 $p_t = P_{M_\theta}(x_t | x_{<t})$ へと写像する。
2. スペクトル仮説: 本フレームワークは、高エントロピーかつ確率的な選択を特徴とする人間の文章は、不規則な「スパイク」やカオス的な過渡現象を伴う確率信号を生み出すと仮定している。対照的に、デコーディング戦略（例：top-k, top-p, 反復ペナルティ）によって制約を受ける機械生成は、高周波の過渡現象を抑制する、構造化された周期的なリズムパターンを持つ、人工的に平滑化された信号を生み出す。
3. 連続ウェーブレット変換 (CWT): グローバルなスペクトル特徴とローカルな過渡特徴の両方を捉えるために、確率信号 $p(t)$ はモルレー（Morlet）ウェーブレットを用いて分解される。これにより、信号は、スケーリングおよび平行移動されたウェーブレットとの畳み込みとして定義される時間-周波数表現（スペクトログラム）$W(s, \tau)$ へと変換される。このステップにより、グローバルなフーリエ手法が失ってしまう時間局所化情報が保持される。
4. 特徴抽出および分類: 得られた振幅スペクトル $|W|$ は、単一チャンネルの画像として扱われ、軽量な畳み込みニューラルネットワーク（CNN）、具体的には ResNet-18 バックボーンに入力され、ソースが人間か機械かを分類する。
5. 最適化戦略: 以下の2段階の訓練プロトコルが採用される：
   • ウォームアップ: サロゲートモデルを凍結した状態で、CNNが事前学習済みサロゲートの出力から堅牢な特徴を学習する。
   • 共同訓練: サロゲートモデルの凍結を解除して確率分布を精緻化し、システムが信号生成とスペクトル特徴抽出を共同で最適化できるようにする。
   • 損失関数: クラス不均衡に対処し、決定マージンを最大化するために、重み付きクロスエントロピー（WCE）損失が使用される。

主な貢献

1. 新規フレームワーク: CWTを活用して、テキストの表層的な特徴を超えた、トークン確率の時系列ダイナミクスを特徴付ける、堅牢な時間-周波数特徴を抽出するWAVEDETECTの導入。
2. 最先端の性能: 本手法は、敵対的攻撃、モデルの進化、およびドメインシフトという3つの厳格な評価次元において、優れた精度と堅牢性を達成した。
3. スペクトル分離: 可視化（クラス活性化マップおよび t-SNE）により、人間と機械のテキスト分布がスペクトル空間において効果的に分離できることが示され、CNNが絶対的なスペクトルエネルギーではなく、スケール依存の構造（人間の高周波過渡現象 vs 機械の低周波規則性）を学習していることが明らかになった。

実験結果

本フレームワークは、RAID（敵対的堅牢性）、EvoBench（時間的安定性）、および Domain-Shift（分布外汎化）の3つのデータセットで評価された。

• 敵対的堅牢性 (RAID-test): WAVEDETECTは平均AUROC 0.9785を達成し、最高のゼロショット・ベースライン（Binoculars, 0.8414）および教師ありベースライン（RADAR, 0.8277）を大幅に上回った。決定的なことに、ゼロ幅スペースの注入やホモグラフ置換といった高度な攻撃に対しても高い性能（精度90%以上）を維持し、他の手法が大幅な劣化を見せた一方で、高い耐性を示した。厳格な0.1%の偽陽性率（False Positive Rate）において、WAVEDETECTは54.70%の真陽性率（True Positive Rate）を達成し、次点のメソッドより19ポイント近く高い数値となった。
• 時間的安定性 (EvoBench): クローズドソースモデル（例：GPT-4oのバリアント、Claude-3.5）の進化版を用いたテストにおいて、WAVEDETECTは、ベースラインと比較して標準偏差と最大性能変動（$\Delta$）が最も低く、優れた安定性を示した。これは、未知のモデルアーキテクチャに対する汎化能力を証明している。
• ドメイン汎化: 学習時に含まれていない専門領域（医学および法律）において、WAVEDETECTは最高の平均AUROC (0.9560) を達成した。従来のメソッドがこれらのドメインでランダムに近い性能まで低下したのに対し、WAVEDETECTは一貫した性能を維持しており、そのスペクトル特徴が「トピックに依存しない（topic-agnostic）」ことを裏付けている。
• 効率性: 本手法は計算効率が高く、0.5Bのサロゲートモデルの単一フォワードパスと軽量なCNN（11.7Mパラメータ）のみを必要とするため、より重いベースラインと比較して大規模な展開に適している。

意義と主張

本論文は、WAVEDETECTが、MGT検出における有望なパラダイムとしてスペクトル解析を検証したものであると主張している。セマンティック（意味論的）解析からスペクトル解析へと移行することで、本フレームワークは、パラフレーズ、ドメインシフト、およびモデルの進化に対して不変な「スペクトル指紋」を捉える。著者らは、これらのリズム的な確率の変動がLLMの生成メカニズムの本質的な特性であり、表層的なアーティファクトに依存する手法よりも、より堅牢で汎用性の高いソリューションを提供すると断言している。本研究は、将来の検出器が、静的なトークンシーケンスではなく、確率信号の時間-周波数ダイナミクスに焦点を当てるべきであることを示唆している。

限界

著者らは、現在の評価が比較的古い、あるいは弱いLLMを含むRAIDデータセットに依存していることを認めている。最新世代のLLMを用いて訓練された検出器はさらに高い性能を発揮する可能性がある一方で、最新のMGTに対する敵対的攻撃は新たな課題を提示する可能性があるとも述べている。さらに、ウェーブレット変換の具体的なメカニズム（例：最適な母ウェーブレットやスケール範囲の選択）については、さらなる探求が必要である。