🔢 mathematics

Black-Box Detection of LLM-Generated Text Using Generalized Jensen-Shannon Divergence

本論文は、ソースモデルへのアクセスを必要とせずに人間と機械による文章を効果的に区別するために、トークンの驚異度ダイナミクスと一般化されたジェンセン・シャノン発散指標を活用する、LLM 生成テキストに対する堅牢なブラックボックス検出器 SurpMark を導入する。

原著者： Shuangyi Chen, Ashish Khisti

公開日 2026-05-12

📖 1 分で読めます🧠 じっくり読む

CC BY 4.0

原著者： Shuangyi Chen, Ashish Khisti

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが探偵だと想像してください。ある物語が人間によって書かれたのか、それともロボットによって書かれたのかを突き止めようとしているのです。過去には、探偵たちは綴りミスや奇妙な文法といった明白な手がかりを探していました。しかし、今日のロボット（大規模言語モデル、または LLM）は文章作成が非常に上手いため、そうしたミスをほとんど犯しません。彼らは人間とほぼ全く同じように聞こえます。

この論文は、SurpMarkと呼ばれる新しい探偵ツールを紹介しています。SurpMark は、どの単語が使われているかを見るのではなく、書き手がタイプする際にどのように考えているかを見ています。

以下に、簡単な比喩を用いてその仕組みを説明します。

1. 「驚きメーター」

あなたが物語を読んでいると想像してください。

人間の書き手は、しばしば予期せぬ展開を取ります。彼らは驚くようなことを言い、次の文は少し混沌としていたり、新しいアイデアへと飛びついたりすることがあります。
ロボットは予測可能になるように訓練されています。ロボットが書くとき、通常は「最も安全な」次の単語を選びます。もしたまたま驚くような単語（おそらく創造性のために）を選んだとしても、軌道に乗るためにすぐに非常に予測可能な状態に戻ります。

SurpMark は驚きメーターのように機能します。それはテキスト内の各単語に対して、言語モデルがどれほど「驚く」かを測定します。

テキストが人間によるものであれば、驚きメーターは荒々しく不規則なパターンで上下します。
テキストがロボットによるものであれば、メーターは特定のリズムを示します。大きな跳躍（驚き）の直後に、静かで予測可能な低下が続くというリズムです。

2. メーターを地図に変換する

この論文は、これらの「驚き」の数値を、信号機のような単純なカテゴリに変換します。

🟢 緑: 非常に予測可能（驚かない）。
🟡 黄: 少し驚く。
🔴 赤: 非常に驚く。

SurpMark は生データの数値を見るのではなく、色の配列を見ています。「テキストは赤から緑へどのくらいの頻度で移り変わるか？緑から黄へどのくらいの頻度で移り変わるか？」と問うのです。

3. 「状態遷移」マップ

これをダンスフロアのように考えてください。

人間のダンサーは、遅いステップから速い回転へ、そしてスライドへと、非常にユニークで予測不可能な方法で飛び移るかもしれません。
ロボットのダンサーには特定の癖があります。彼らが激しい回転（赤）をすると、ほぼ常にすぐに遅く安定したステップ（緑）に戻ります。彼らには「回復」のパターンがあるのです。

SurpMark は、これらのダンスの動き（遷移）のマップを作成します。事前に研究した数千の例に基づいて、「人間のダンスマップ」と「ロボットのダンスマップ」を作成します。

4. 最終テスト：「ギャップ」

新しいテキストが到着すると、SurpMark はそのダンスの動きを記録し、2 つのマップと比較します。

新しいテキストと人間のマップとの距離を計算します。
新しいテキストとロボットのマップとの距離を計算します。
一方から他方を引きます。

テキストのダンスの動きが、特にその特有の「回転→安定した回復」というパターンにおいて、ロボットのマップに似ている場合、検出器はそれを機械生成としてフラグ付けします。それが混沌とした人間のマップに似ている場合は、人間によるものとしてフラグ付けされます。

なぜこれが特別なのか

この論文は、3 つの主な利点を強調しています。

ロボットの正体を知らなくてもよい: 多くの検出器は、うまく機能させるためにテキストをどのロボットが書いたかを正確に知る必要があります。SurpMark は「ブラックボックス」検出器です。以前に一度も見たことのない秘密の強力なロボットによって書かれたテキストであっても機能します。特定のモデルではなく、思考のスタイルを見るだけです。
速く安価: 他のいくつかの検出器は、テキストを再構成したり、新しいバージョンを生成してその変化を見たりしようとします。これは、容疑者に緊張するかどうかを見るために、5 回異なる物語を書かせるようなものです。これには多くの時間とコンピューターパワーが必要です。SurpMark は、指紋を素早く見るように、テキストを一度読むだけです。
「高度な」ロボットを捉える: この論文は、非常に賢く高価なロボットの場合、「驚き」のレベルは人間とほぼ全く同じに見えることを発見しました。しかし、驚きからどのように「回復」するかというパターン（ダンスの動き）は依然として異なります。SurpMark は、他の検出器が見逃してしまうこの微妙なリズムを捉えます。

結論

SurpMark は、文章における驚きのリズムを分析することで AI テキストを検出するツールです。特定の単語には関心を持たず、テキストの「鼓動」に関心を持ちます。もしその鼓動が、機械に特有の「衝撃と回復」という特定のリズムを持っているなら、ロボットが人間らしく聞こえようと必死に努力していても、それが AI であることを知ることができます。

技術概要：一般化ジェンセン・シャノン発散を用いた LLM 生成テキストのブラックボックス検出

問題定義

大規模言語モデル（LLM）の急速な進展により、人間が執筆したテキストと機械が生成したテキストの区別が曖昧になり、誤情報、盗作、詐欺、および再帰的フィードバックループによる学習データ品質の低下に対する懸念が高まっている。既存の検出手法は、実用的なブラックボックス環境において重大な限界に直面している：

分類器ベースの検出器は、ドメインや生成器が変化する際に高コストな再学習を必要とし、高品質なラベル付きデータに依存している。
大域統計手法（尤度、ランク、エントロピーなど）は、較正の不一致やドメインシフトの下で不安定になりがちである。
分布統計手法（DetectGPT、DNA-GPT など）は、通常、局所発散を推定するためにインスタンスごとの再生成または摂動を必要とし、高計算コストと遅延を招くため、高スループットアプリケーションには非現実的である。

さらに、ブラックボックス制約は、スコアリングに使用されるプロキシモデルが未知のソースモデルと不一致となる問題を悪化させる。本論文は、再学習やインスタンスごとの再生成を避けつつ、分布シフトやプロキシモデルの不一致下でも堅牢である検出器の必要性に対処する。

手法：SurpMark

著者は、帰属を尤度なしの仮説検定として定式化する、参照ベースのブラックボックス検出器 SurpMark を提案する。このフレームワークは 2 つのフェーズで動作する：

1. オフライン参照構築

既存の人間および機械コーパスを用いて、システムは固定された参照遷移行列を構築する：

サプライザル推定: 固定されたプロキシ言語モデル（LM）が、参照テキストに対してトークンレベルのサプライザル（ $s_t = -\log p_\theta(x_t | x_{<t})$ ）を計算する。
離散化: 連続的なサプライザル値を、共有される $k$ -means 量子化器を用いて $k$ 個の解釈可能な状態（例：「予測可能」「驚き」）に量子化する。これにより、系列を離散状態系列 $\{a_t\}$ に変換する。
遷移モデリング: 状態系列を 1 次マルコフ連鎖としてモデル化する。参照コーパスにおける状態遷移の計数により、経験的遷移確率行列（ $\hat{M}_{human}$ および $\hat{M}_{machine}$ ）を推定する。

2. オンライン検出

テストテキストの断片に対して：

特徴抽出: 同じプロキシ LM がサプライザルを計算し、共有量子化器を用いて離散化して状態系列を形成する。
遷移推定: テストテキストに対して経験的遷移行列（ $\hat{M}_{test}$ ）を計算する。
スコアリング: 検出器は一般化ジェンセン・シャノン（GJS）発散スコアを計算する。具体的には、機械参照への GJS 距離と人間参照への GJS 距離との差を計算する：
$\Delta GJS_n = GJS(\hat{M}_{machine}, \hat{M}_{test}, \alpha) - GJS(\hat{M}_{human}, \hat{M}_{test}, \alpha)$
ここで、 $\alpha$ は参照長とテスト長の比率である。
判定: $\Delta GJS_n \leq \tau$ （ $\tau$ は閾値、通常 0）の場合、テキストは機械生成と分類され、そうでない場合は人間執筆と分類される。

理論的正当性

離散化されたサプライザル状態の理想化された 1 次マルコフ近似の下で、本論文は理論的分析を提供する：

離散化 - 推定のトレードオフ: 著者は、ビン数 $k$ に対するスケーリング則を導出する。離散化誤差（ $O(1/k)$ ）と統計的推定誤差（ $O(k^{3/2}/\sqrt{N})$ ）をバランスさせることで、最適なビン数は $k^* = \Theta(N^{1/5})$ としてスケーリングし、ここで $N$ は参照データの総長である。
統計量の妥当性: $\Delta GJS_n$ 統計量は、2 つの仮説（人間対機械）間の正規化対数尤度比と等価であることが示される。著者はその漸近正規性を証明し、判定規則の原理的基盤を提供する。
1 次性の十分性: 経験的および理論的分析（Gray の近似理論に基づく）は、1 次から 2 次マルコフモデルへ移行することで得られる条件付き相互情報が無視できる（パープレキシティの減少がサブパーセントレベル）ことを示しており、データ効率のために 1 次モデルの使用を正当化する。

主要な貢献

SurpMark フレームワーク: トークンサプライザルのダイナミクス（状態遷移）を絶対尤度ではなく要約する参照ベースの検出器であり、インスタンスごとの再生成を不要にする。
理論的分析: 離散化ビンスケーリング（ $k \propto N^{1/5}$ ）のための設計指針の導出と、対数尤度比としての GJS ベースの検定統計量の原理的正当化。
包括的評価: 多様なデータセット、ソースモデル（オープンソースおよびクローズドソース）、シナリオ（混合ドメイン、パラフレーズ、敵対的攻撃）にわたる堅牢性を示す広範な実験。

実験結果

SurpMark は、複数のデータセット（XSum, WritingPrompts, SQuAD, WMT19, HC3, DetectRL）およびモデル（9 つのオープンソース、3 つのクローズドソース）にわたって、13 のベースライン（DetectGPT, Lastde++, R-Detect, Binoculars など）と比較評価された。

性能: SurpMark は一貫してベースラインと同等かそれ以上の性能を発揮した。9 つのオープンソースモデルの 6 つで最高平均 AUROC を達成し、3 つのクローズドソースモデル（GPT-5-Chatを含む）すべてで1位となった。これらのモデルでは、通常、周辺統計は失敗する。
効率性: 入力ごとの再生成を必要とする分布手法（DetectGPT, Lastde++ など）とは異なり、SurpMark は単一パスでテキストをスコアリングする。一度の事前処理コストを償却した後、ベースラインよりも高いスループットを達成し、リアルタイム展開に適している。
堅牢性:
- プロキシ不一致: SurpMark は、プロキシ LM がソース生成器と大きく異なる場合でも安定したままだが、多くのベースラインは性能が低下する。
- ドメインシフト: この手法は、混合ドメインおよび混合生成器の設定（DetectRL ベンチマーク）で高い性能を維持する。
- 敵対的攻撃: SurpMark は、パラフレーズ攻撃（洗練、バックトランスレーション、DIPPER）や、人間様式を模倣または検出回避を意図したプロンプト設計された敵対的攻撃に対して強い耐性を示す。
- OOD 一般化: 参照テキストがテストセットとは異なるドメインから来ても検出器は良好に機能し、ドメイン固有のアーティファクトではなく転送可能な信号を捉えていることを示している。

意義と主張

本論文は、SurpMark が、ブラックボックス LLM テキスト検出のための堅牢で効率的かつ理論的に裏付けられた解決策を提供すると主張する。その意義は以下の点にある：

ソースモデルからの脱却: 固定された参照に対するトークンサプライザルのダイナミクスに依存することで、特定の生成器で訓練された分類器の脆さを回避する。
計算効率性: インスタンスごとの再生成に伴う遅延とコストを排除し、スケーラブルな展開を可能にする。
高度なモデルへの対応: この手法は、周辺サプライザル分布が人間テキストと収束するが、遷移ダイナミクスは依然として区別される、強力なクローズドソースモデル（GPT-5 など）からのテキスト検出という課題に特に対処する。

著者は謙虚に限界を指摘し、離散化状態空間に対する 1 次マルコフ近似は理想化であり、プロキシモデルにおける人間テキストの事前学習曝露が理論的には偽陽性を増加させる可能性があると認めているが、実験はこの影響が最小であることを示唆している。彼らは、この検出器は確率的シグナルを提供するものであり、人間のレビューなしに高リスクな意思決定の唯一の根拠として使用されるべきではないと強調している。