論文「LLMSniffer: Detecting LLM-Generated Code via GraphCodeBERT and Supervised Contrastive Learning」の技術的サマリー

本論文は、大規模言語モデル（LLM）によって生成されたコードと人間が作成したコードを識別するための新しい検出フレームワーク「LLMSniffer」を提案するものです。教育機関における学術不正、コード品質保証、ソフトウェアセキュリティの観点から、AI 生成コードの検出は重要な課題となっています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義

近年、GitHub Copilot や ChatGPT などのコード生成 LLM の普及により、開発プロセスが変化しています。しかし、これに伴い以下の課題が生じています。

• 学術的誠実性: 教育現場での AI による提出物（プラギアリズム）の検出。
• コードレビューとセキュリティ: コードの由来（プロベナンス）の特定や、モデル特有のパターンと人間の idioms（慣用句）の区別。
• 既存手法の限界: GPTZero や DetectGPT などの既存ツールは自然言語向けに設計されており、構文や構造が異なるプログラミング言語のコードに対しては性能が低下します。

既存の LLM 生成コード検出手法（GPTSniffer など）は、CodeBERT を用いたバイナリ分類に依存していますが、さらに高精度な検出が求められています。

2. 手法 (Methodology)

LLMSniffer は、GraphCodeBERT、教師あり対比学習 (Supervised Contrastive Learning)、およびコメント除去という 3 つの要素を組み合わせた 2 段階の学習パイプラインを採用しています。

2.1 前処理：コメント除去

LLM 生成コードは、人間のものよりも詳細で説明的なコメントを含む傾向があります。LLMSniffer は、コードをエンコードする前にコメントを除去する前処理を行います。

• 目的: アルゴリズムの構造や構文特性に基づいて学習させ、表面的なスタイル（コメントの書き方など）に依存する過学習を防ぎ、汎化性能を向上させること。

2.2 モデルアーキテクチャ

1. GraphCodeBERT エンコーダ:
   • 従来の CodeBERT と異なり、トークンシーケンスに加えて「データフローグラフ」をエンコードします。これにより、変数の計算場所や使用場所などの構造的な依存関係も捉えることができます。
   • [CLS] トークンの埋め込み表現（768 次元）をコードの表現として使用します。
2. 投影ヘッド (Projection Head):
   • 対比学習用の 2 層 MLP で、エンコーダの出力を 128 次元のベクトルに変換します。推論時には破棄されます。
3. MLP 分類ヘッド:
   • 最終的なバイナリ分類（人間か AI か）を行う多層パーセプトロンです。従来の線形分類器よりも複雑な非線形構造を捉える能力が高いとされています。

2.3 学習プロセス (2 段階)

• ステージ 1: 対比事前学習 (Contrastive Pre-training)
  • GraphCodeBERT エンコーダと投影ヘッドを、教師あり対比損失 (Supervised Contrastive Loss) で微調整します。
  • 同じクラス（人間生成または AI 生成）のサンプルを埋め込み空間で近づけ、異なるクラスを遠ざけるように学習します。
• ステージ 2: 分類微調整 (Classification Fine-tuning)
  • 投影ヘッドを破棄し、MLP 分類ヘッドを接続します。
  • エンコーダを固定せず、バイナリ交差エントロピー損失を用いてエンドツーエンドで微調整します。対比学習で得られた判別性の高い表現を、分類タスクで活用します。

3. 主要な貢献

1. 新しいフレームワークの提案: GraphCodeBERT に教師あり対比学習とコメント除去を組み合わせ、2 段階の微調整戦略を確立しました。
2. アブレーション研究による知見: 対比学習単体や線形分類器では性能向上が見られず、「対比学習 + MLP 分類ヘッド + コメント除去」の組み合わせが性能向上の鍵であることを実証しました。
3. オープンソースと再現性: モデルのチェックポイント、データセット、コード、およびインタラクティブなデモ（Streamlit）を公開し、研究の再現性を担保しています。

4. 実験結果

2 つのベンチマークデータセット（GPTSniffer と Whodunit）で評価されました。

4.1 GPTSniffer ベンチマーク

• 設定: 異なるドメインからのクロスドメイン評価（訓練データとテストデータが異なる）。
• 結果:
  • 既存の GPTSniffer ベースライン（Accuracy 70%, F1 68%）に対し、LLMSniffer は**Accuracy 78%、F1 78%**を達成しました。
  • 線形分類器を使用した変種ではベースラインと同等の結果（70%）にとどまり、MLP とコメント除去の重要性が示されました。

4.2 Whodunit ベンチマーク

• 設定: GPT-4 によって生成された CodeChef の Python 問題解決コード。
• 結果:
  • ベースライン（Accuracy 91%, F1 91%）から、**Accuracy 94.65%、F1 94.64%**へ向上しました。
  • 精度、再現率、F1 スコアのすべての指標で約 3.6 ポイントの改善が見られました。

4.3 埋め込みの可視化 (t-SNE)

• ベースラインモデルでは、人間生成と AI 生成のクラスターが重なり合っていました。
• 一方、LLMSniffer では、AI 生成コードのクラスターがコンパクトに集まり、人間生成コードから明確に分離されていることが t-SNE 可視化で確認されました。これは、対比学習が判別性の高い表現を学習できていることを示しています。

5. 意義と将来展望

• 技術的意義: コード生成 AI の検出において、単なるテキスト統計量ではなく、コードの構造的・意味的依存関係（データフロー）を考慮した GraphCodeBERT と、クラス間分離を最適化する対比学習の組み合わせが有効であることを実証しました。
• 実用性: 教育現場やコードレビュープロセスにおいて、AI 生成コードの特定を支援する実用的なツールを提供します。
• 将来の課題:
  • 特定の LLM（GPT-4, Claude, Code Llama など）の識別（マルチクラス分類）。
  • 難読化攻撃に対する敵対的頑健性の向上。
  • AST 特徴とデータフローグラフの統合。
  • 低リソース言語への拡張。

結論:
LLMSniffer は、現在のベンチマークにおいて最先端（SOTA）の性能を達成し、LLM 生成コード検出の新たな基準を示しました。特に、コメント除去によるノイズの排除と、対比学習に基づく表現学習の組み合わせが、構造的なコード特性に基づいた高精度な検出を可能にしています。