💬 NLP

EVIL-Detect for NLPCC 2026 Shared Task 6: LLM-Generated Text Detection

本論文は、中国語のシナリオにおけるLLM生成テキスト、人間による執筆テキスト、およびLLMによるリファイン済みテキストを効果的に検出することで、NLPCC 2026 Shared Task 6において第1位を獲得した、コンフリクトを考慮した融合機能を備えたマルチシグナル・アンサンブル・フレームワークであるEVIL-Detectを提案する。

原著者： Hongrui Bao, Hangyu Rong, Zhuoshang Wang, Yubing Ren, Yanan Cao

公開日 2026-08-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hongrui Bao, Hangyu Rong, Zhuoshang Wang, Yubing Ren, Yanan Cao

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

インターネットを、人間と、新しく登場した驚異的に速い種類の司書である「人工知能（AI）」の両方が本を執筆する、巨大で賑やかな図書館だと想像してみてください。長い間、これらのAI司書（大規模言語モデルと呼ばれます）は単純なメモを書くことしかできませんでしたが、今では、まるで人間が書いたかのように聞こえる物語やエッセイ、記事を丸ごと書き上げることができるようになりました。これは諸刃の剣です。一方で、それは創造性におけるスーパーパワーですが、他方では、誰がその文章を書いたのかを判別することを困難にします。もし学生がエッセイを提出した場合、それが本人が書いたものなのか、AIが書いたものなのか、あるいはAIに下書きの推敲を頼んだものなのか、どうすれば分かるのでしょうか？これが、科学者たちが解決しようとしている大きなパズルです。つまり、人間、ロボット、そして人間とロボットのチームアップを見分けることができる、テキストの「嘘発見器」を構築することです。

この物語の中で、中国の研究チームは、このパズルを解くために「EVIL-Detect」と呼ばれる新しいツールを構築しました。彼らは単一の検出器を作ったのではありません。真実を突き止めるために協力し合う「探偵部隊」を構築したのです。彼らのシステムは、NLPCC 2026という主要なコンペティションでテストされました。そこでは、「純粋な人間の文章」「純粋なAIの文章」、そして「人間が書いた後にAIによって編集または洗練された文章」の3種類を区別するというトリッキーな課題に直面しました。他の手法が単一の脳で答えを推測しようとしたのに対し、EVIL-Detectは、異なる手がかりを組み合わせて正しい答えを導き出すチームアプローチを採用しました。最終スコアにおいて、彼らのシステムはマクロF1スコア0.8888を達成し、公式評価で第1位にランクインしました。

問題点：「三者三様」のミステリー

従来の検出器の多くは、バイナリ・スイッチのようなものでした。つまり、「人間」か「AI」のどちらかしか言えませんでした。しかし、現実の世界はもっと複雑です。人々はしばしば、文法を直したり、文章をより良く響かせたりするためにAIを使用します。これにより、第三のカテゴリーである「LLMによる洗練されたテキスト（LLM-refined text）」が生まれます。学生がドラフト（人間）を書き、次にAIに「これをよりプロフェッショナルな響きにして」と頼む（洗練された状態）、あるいはAIが最初から物語を丸ごと書く（AI）といった状況を想像してください。課題は、「洗練された」テキストが両方の混合物のように見えるため、見分けるのが非常に難しいという点にあります。

研究者たちは、コンピュータにこれら3つのカテゴリーすべてを一度に推測させようとすると、混乱してしまうことを発見しました。彼らのテストでは、3つのカテゴリーすべてを直接学習しようとする標準的な手法は、テストにおいてわずか0.1690という極めて低いスコアしか出せませんでした。それは、まるで犬に3つの言語を同時に話せるように教えようとしているようなもので、結局諦めてしまったのです。

解決策：探偵部隊（EVIL-Detect）

一つの大きな脳を作る代わりに、チームはEVIL-Detect（Edit-aware View-Integrated Learning for Detectionの略）を構築しました。このシステムを、それぞれ異なる眼鏡を通してテキストを見る4人の異なる探偵のチームと考えてください。彼らはただ投票するだけでなく、最終的な判決を下すために互いに話し合い、意見の相違を解決します。

ここに4人の探偵と、彼らが注目するポイントがあります：

「編集探偵」（教師あり学習）： この探偵は、テキストが「どれだけ変更されたか」を測定するように訓練されています。それは、人間のオリジナルのスタイルと最終バージョンの間の差異を見ます。テキストが純粋な人間によるものであれば、変化はゼロです。純粋なAIであれば、変化は巨大です。「洗練された」テキストであれば、変化はその中間になります。この探偵は、0から1までのスライディングスケールによるスコアを出し、チームにそのテキストがどれほど「編集された」と感じられるかを伝えます。
「ゼロショット探偵」（EchoPrompt）： この探偵は、特定のデータに対して訓練される必要はありません。彼は巧妙なトリックを使います。異なるAIモデルがそのテキストを生成する可能性がどの程度あるかを比較することで、テキストに対して「これはロボットが言うようなことか？」と問いかけます。もしテキストがロボットの自然な出力に酷似している場合、この探偵は「AI生成」のレッドフラッグを掲げます。
「単語数探偵」（語彙統計）： この探偵は、小さくて退屈な詳細に注目します。特定の単語や文字の組み合わせがどの程度の頻度で現れるかです。人間とロボットは、異なる言葉の「指紋」を持つ傾向があります。この探偵は、テキストが人間の習慣に寄っているのか、それとも機械の習慣に寄っているのかを見極めるために、これらのパターンをカウントします。
「ルールブック探偵」（テキスト・ルール）： これはセーフティネットです。人間なら犯さないような明らかなミス、例えば、残存したコンピュータコード（<div>や<html>のようなHTMLタグ）や、ロボットが途中で切れてしまったような未完の文章などを探します。もしこれらを見つけた場合、即座にテキストをAIとしてフラグ立てします。

彼らはどのように連携するか：「コンフリクト・アウェア（衝突回避型）」の会議

EVIL-Detectの魔法は、単に4人の探偵がいることではなく、彼らが意見を違えたときにどのように対処するかという点にあります。例えば、「編集探偵」はテキストを「洗練された」と考えているのに、「単語数探偵」は「AI」と考えていることがあります。

単に投票を平均化する（それは少数派の意見が無視される民主主義のようなものです）代わりに、チームは**コンフリクト・アウェア・フュージョン（Conflict-Aware Fusion）**戦略を使用します。彼らには、議論を解決するためのルールセットがあります：

2人の探偵が一致していれば、その答えを採用します。
意見が食い違う場合は、具体的な手がかりを確認します。例えば、「編集探偵」が「人間」と「洗練された」の間で迷っている場合、チームは「ゼロショット探偵」を確認して、AIの強い兆候があるかどうかをチェックします。
最後に、「ルールブック探偵」が最終決定権を持ちます。もしテキストに明らかなコンピュータコードが含まれていれば、システムは他のすべてを上書きして、それをAIと呼びます。

結果：コンペティションでの勝利

チームが、検出器を壊すために設計されたトリッキーで未知の例を含む公式コンペティションのデータでシステムをテストしたところ、EVIL-Detectは驚異的なパフォーマンスを発揮しました。

最初のテストセット（testp1）において、マクロF1スコア0.8913を記録しました。
より困難な2番目のテストセット（testp2）では、0.8888を記録しました。

このシステムは、純粋なAIテキストを特定することに特に優れており（そのカテゴリーで0.9219を記録）、トリッキーな「洗練された」テキストに対しても堅実な仕事を行いました（0.8407を記録）。研究者たちは、「編集探偵」がチームの中で最も強力な単独メンバーであったものの、システムがトップに到達できたのは、他の探偵たちがメインの探偵が犯したミスを修正するのを助けたからであると結論付けました。

学んだこと（そして拒絶したもの）

論文では、他のアイデアもテストして、それらが機能するかどうかを確認しましたが、一部の人気のある手法が、この特定の三者間チャレンジにおいては失敗したことも判明しました。

直接学習の失敗： 単一のAIモデルに、3つのカテゴリーを直接「推測」させる訓練を行いましたが、それは惨憺たる結果となり、わずか0.1690でした。これは、データをモデルに投げ込むだけでは、助けなしに「人間」「AI」「洗練された」の間のニュアンスを理解させることはできないということを証明しました。
古い検出器の苦戦： また、「Binoculars」と呼ばれる手法も試しましたが、これは単純な二値検出には優れているものの、ここでは0.3928しかスコアを出せませんでした。この複雑な3クラスの分類には対応できなかったのです。

研究者たちは、成功の秘訣は単一の「スーパーモデル」ではなく、**マルチシグナル・アンサンブル（多重信号アンサンブル）**であったと示唆しています。「編集の強さ」（どれだけ変更されたか）、「尤度」（ロボットのように聞こえるか）、そして「単語のパターン」を組み合わせることで、彼らは、人々が今日どのようにAIを実際に使用しているかという、混沌とした現実にも対応できる堅牢なシステムを作り上げたのです。

要約すると、EVIL-Detectは、AIと人間が混在する世界で真実を捉えるためには、単一の推測に頼るのではなく、専門家が集まり、議論し、妥協し、互いにダブルチェックを行うチームが必要であることを示しています。

技術要約: NLPCC 2026 Shared Task 6 における EVIL-Detect

問題定義
本論文は、現実的な中国語のシナリオにおいて、大規模言語モデル（LLM）によって生成または洗練されたテキストを検出するという課題に取り組んでいる。既存の文献は主に二値分類（人間が書いたテキスト [HWT] と LLM が生成したテキスト [LGT] の区別）に焦点を当てているが、NLPCC 2026 Shared Task 6 では、より複雑な三クラス分類問題が導入されている：

HWT: 純粋に人間が書いたテキスト。
LGT: LLM によって完全に生成されたテキスト。
HLT: LLM によって洗練（リライトまたは推敲）された、人間が書いたテキスト。

著者らは、この設定が現実世界のAI支援による執筆を反映している一方で、訓練データ（CUDRTに由来）と評価データ（DetectRL-Xに由来）との間の強力な分布外（OOD）シフト（未知のドメイン、生成器、および生成スキームを含む）により、大きな困難が生じることを指摘している。二値分類器の直接的な適応や標準的な教師あり微調整（SFT）をこの三クラス設定に適用しても、十分な堅牢性は得られず、一部のベースラインSFT手法ではマクロF1スコアが0.1690という低水準にまで落ち込むことが判明した。

手法: EVIL-Detect
著者らは、HWT、HLT、LGTの連続性を扱うために設計されたマルチシグナル・アンサンブル・フレームワークである EVIL-Detect (Edit-aware View-Integrated Learning for Detection) を提案している。システムアーキテクチャは、衝突を考慮した融合戦略を通じて、4つの異なるエビデンスソースを統合している：

教師あり学習モジュール (編集度回帰):
- EditLensに着想を得て、このモジュールは検出を離散的な分類ではなく、連続的な回帰問題として扱う。
- 編集度のターゲット軸を定義し、HWTを0、LGTを1、HLTを人間によるソースと洗練されたテキストの間の距離 $d(h, t)$ とする。
- 2つのバリアントが実装されている：
  - EditLens: 表層レベルのソフト文字 $n$ -gram 距離を使用する。最適な構成（rank044）は、線形に増加する重みを持つ $n$ -gram 次数1〜7を使用する。
  - Soft-EditLens: 埋め込みを用いた意味的なフレーズレベルのソフトマッチングを使用し、語彙の置換にもかかわらず保持されている表現を捉える。これは連続的な回帰スコアと序数バケットインデックスの両方を出力する。
- 両バリアントは、Low-Rank Adaptation (LoRA) を用いたQwenモデルを利用する。
ゼロショット検出モジュール:
- 指示チューニング済みモデルとベースモデル間の尤度コントラストスコアを計算する、トレーニングフリーの手法である EchoPrompt を利用する。
- 単独の予測ではなく、複数のプロンプト/モデルブランチ（Qwen3.5およびQwen2.5を使用）を用いて、補助的なエビデンスとなる二値の「LGT支持票」を生成する。
語彙頻度統計モジュール:
- 訓練セットからラベルごとの頻度レキシコンを構築し、識別的な $n$ -gram を特定する。
- 平滑化されたラベル条件付き確率と、集計された対数オッズスコア（例：LGT対HWT、AI対HWT）を計算し、軽量な表層レベルのエビデンスを提供する。
融合および決定モジュール:
- 衝突を考慮した統合: システムは一様な平均化を行わない。代わりに、校正された決定境界を使用してEditLensのスコアを基本ラベルに変換する。2つの校正された境界が一致しない場合、リゾルバ $R(\cdot)$ がトリガーされる。
- リゾルバは、特定のクラスペア間（例：HWT/HLT、HLT/LGT）の衝突を解決するために、Soft-EditLensの回帰/バケットスコアと集計されたLGT支持票を使用する。
- 高精度テキストルール: 最終的なセーフガードとして、保守的なルールが特定のアーティファクト（LGTを示すHTML/XML構造的マークアップやスクリプトの残骸、およびHLTを示す明示的な書き換えの痕跡）を修正する。

主な貢献

中国語の三クラス設定の分析: 本論文は、HWT、LGT、HLTという特定の文脈における代表的な検出手法の性能を分析し、二値手法の直接的な適応がOODシフト下で失敗することを実証している。
EVIL-Detect フレームワーク: 編集度回帰、ゼロショット尤度エビデンス、語彙統計、およびルールベースの修正を統合する、衝突を考慮したアンサンブルフレームワークの提案。
最先端の性能: システムは、公式テストセット（testp2）においてマクロF1スコア 0.8888 を達成し、NLPCC 2026 Shared Task 6 で第1位となった。

実験結果

性能: システムはtestp1で0.8913、testp2で0.8888のマクロF1を達成した。
クラス別性能: LGT検出が最も強く（F1 $\approx$ 0.92）、一方でHLTは中間的な性質を持つため、最も困難なクラスであった（F1 $\approx$ 0.84）。
アブレーション研究:
- EditLens単体では0.8411のマクロF1を達成した。
- 衝突を考慮した統合とテキストルールを追加することで、スコアは0.8816に向上した。
- 完全な融合システム（0.8888）は、混乱エラーを大幅に減少させた。具体的には、EditLensのみのベースラインと比較して、LGT $\to$ HLTのエラーを59から30へ、HLT $\to$ LGTのエラーを58から28へと減少させた。
- 代替設計（例：GLM-4-9BやQwen3.5-9Bなどの直接的な生成SFT分類器）は、マクロF1 < 0.19と低い性能を示し、生成的な分類のみに頼るのではなく、編集度モデリングを基本信号として使用するという著者らの設計選択の妥当性を裏付けた。

意義
本論文は、現実的なOOD設定における堅牢な三クラス検出は、単一のシグナルに依存することはできないと主張している。代わりに、編集強度モデリング、尤度ベースのエビデンス、語彙的手がかり、および高精度な修正を統合することが、人間、機械生成、および機械洗練されたテキストを区別するために必要な補完的情報を提供する。本研究は、微細なテキスト検出タスクにおいて、異種シグナルを融合する際の衝突解決戦略の必要性を強調している。

問題点： 「三者三様」のミステリー

解決策： 探偵部隊（EVIL-Detect）