Segmenting Human-LLM Co-authored Text via Change Point Detection

技術的サマリー：変化点検出による人間と LLM の共著テキストのセグメンテーション

問題定義
大規模言語モデル（LLM）の普及により、人間が執筆したテキストと機械生成コンテンツを区別する堅牢な手法が必要とされています。既存の研究は主に全文を二値分類する問題として扱っていますが、人間と LLM の寄与が混在する「ハイブリッド」または共著ドキュメントに対しては、そのようなアプローチでは不十分です。実用的なシナリオ、例えばユーザーが手法を起草し LLM が記述テキストを生成する技術報告書や、創造的執筆の共同作業などでは、目標はグローバルな分類から局所化（人間と LLM によって執筆された特定のセグメントを特定すること）へと移行します。現在の文レベルの検出器は、文間の構造的依存関係を考慮できず、検出スコアの不均一な変動（例えば、スコアが文長に大きく依存して変動する）により、セグメンテーションタスクに単純に適用した場合、最適ではない性能を示す傾向があります。

手法
著者は、テキストセグメンテーションの問題を時系列分析における変化点検出タスクとして再定義するフレームワークを提案します。核心的な観察は、人間と LLM の著者性の遷移が、検出スコアの系列において構造的変化を構成するという点です。

1. 検出統計量: フレームワークは、各文 $X_t$ に対する検出スコア $\phi(X_t)$ を利用します。これらは、次のトークンの予測確率に基づく FastDetectGPT などのゼロショット統計量、または機械学習ベースの分類器となり得ます。直感的には、LLM 生成テキストは人間によるテキストよりも高いスコアを生み出します。
2. 標準的適応（VCP）: 著者はまず、文スコアの系列に対して累積和（CUSUM）統計量を用いて、標準的な Narrowest-Over-Threshold（NOT）アルゴリズムを適応させます。しかし、彼らは限界を特定します。標準的な CUSUM はすべての観測値を均一に扱うため、検出の信頼性が文長や内在的な分散によって変動することを無視しています。短い文はしばしばノイズの多いスコアを生み出し、それらの近くの変化点の検出を困難にします。
3. 重み付きアルゴリズム（WCP）: 不均一性に対処するため、著者は**重み付き変化点（WCP）**アルゴリズムを導入します。この手法は、各文スコアに重み $w_i$ を割り当てます。この重みは通常、スコアの分散（または文長で近似されるもの）に逆比例します。重み付き CUSUM 統計量は、高信頼（低分散）の観測値の寄与を増幅し、より正確な局所化をもたらします。
4. 一般化アルゴリズム（GCP）: 3 つ目のアプローチとして、**一般化変化点（GCP）**は、CUSUM 統計量を適用する前に個々の文ではなく連結されたセグメントに対して検出スコアを計算します。理論的には、特定の条件下（例えば、$\phi$ がゼロショット統計量または書き換え距離に基づく場合）、GCP は WCP と同等であることが示されています。
5. 局所化手順: 変化点 $\{\hat{\tau}_k\}$ を推定した後、テキストはセグメントに分割されます。セグメントレベルのスコアに対してクラスタリングアルゴリズム（例えば、$k=2$ の k-means）を適用し、クラスタ平均に基づいて各セグメントを人間または LLM によるものと分類します。

理論的貢献
本論文は、厳密な有限サンプル理論的保証を提供します。

• 誤差 bound: 著者は、VCP および WCP の非漸近的誤差 bound を導出します。VCP の局所化誤差は文スコアの最大分散によって支配されるのに対し、WCP の誤差は分散の調和平均に依存することを証明します。これは、分散が不均一な場合、WCP が VCP を上回ることを形式的に示しています。
• ミニマックス最適性: 変化点推定誤差に対するミニマックス下限が確立されます。著者は、WCP によって達成される上限がこの下限と一致することを示し、ミニマックス最適性を確立します。さらに、適切な条件下で WCP と GCP の同等性を証明し、この最適性の保証を一般化アプローチに拡張します。

実証結果
提案された手法は、多様なデータセット（WikiQA、News、Story）および LLM 生成器（GPT-5-mini、Claude 4.5）で評価されました。

• ベースライン: 比較には、文レベルの予測器、多数決、直接 LLM プロンプト、TextTiling、および部分的 LLM 検出器（PaLD）が含まれました。
• 性能: WCP はすべてのベースラインを一貫して上回りました。単一変化点のシナリオでは、WCP は強力なベースラインと比較して、セグメンテーション誤差（WindowDiff で測定）を最大 50% 削減しました。
• 頑健性: この手法は、複数変化点の設定（最大 8 回の遷移）、敵対的攻撃（不整合およびパラフレーズ）、および LLM コンテンツの割合の変化において頑健性を示しました。
• 実世界への応用: CoAuthor データセット（人間、協働、LLM の 3 クラスを持つ実世界の人間-AI 共著コーパス）において、WCP は最低の WindowDiff スコアを達成し、境界局所化において SegFormer などの教師ありモデルを上回りました（SegFormer はカウント誤差が低いものの）。

意義と主張
本論文は、古典的な時系列分析と現代の LLM 検出の間のギャップを埋めると主張しています。その主な意義は以下の点にあります。

1. 概念的革新: テキストセグメンテーションと変化点検出の構造的関連性を特定し、この問題に対する新たな理論的視点を提供すること。
2. アルゴリズム的進展: 検出スコアの不均一性を明示的に処理する重み付きおよび一般化アルゴリズムの開発。これは、以前の局所化研究でしばしば見落とされていた要因です。
3. 理論的厳密性: この特定のセグメンテーション問題に対する最初のミニマックス最適性の結果を確立し、信号対雑音比と不均一な分散の観点から本質的な困難性を特徴づけること。
4. 実用的有効性: 変化点構造を活用することが、単純な文レベル分類や既存のヒューリスティクスと比較して、人間-LLM 境界の局所化精度を大幅に向上させることを実証すること。

著者は謙虚な立場を維持しており、フレームワークは一般的であるものの、具体的な性能向上は基盤となる文レベル検出スコアの品質と、実世界の共著シナリオにおける変化点仮説の有効性に依存していると指摘しています。