FMI_SU_Yotkova_Kastreva at SemEval-2026 Task 13: Lightweight Detection of LLM-Generated Code via Stylometric Signals
本論文は、SemEval-2026 タスク 13 サブタスク A における LLM 生成コードの検出に向けて、長さに対して頑健な比率ベースの特徴量、構文解析ツール、浅い決定木とヒューリスティック規則を備えたコード対テキスト分類器を組み合わせ、大規模な事前学習モデルに依存することなくほぼ即時の推論を達成する、計算効率に優れた CPU ベースのアプローチを提示する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
巨大なデジタル図書館を想像してください。そこには人間の司書とロボット書記という 2 種類の著者によって本が書かれています。ロボット書記は驚くほど高速で、多くの異なる言語で執筆できますが、機械的な本性を露わにする特定の「しぐさ（テール）」を残す癖があります。
この論文は、SemEval-2026 というコンペティションのために、これらのロボット書記を図書館から特定する軽量かつ超高速な探偵を研究チームがどのように構築したかを説明しています。
以下に、その探偵の仕組みを簡単な概念に分解して示します。
1. 課題：なぜロボットを見分けるのが難しいのか？
通常、偽物を見つけるには、大きく複雑な手がかりを探します。しかし、コンピュータコードの世界では、ロボットは厄介です。彼らは表面上は完璧に見えるコードを書きます。
- 「大脳」の罠: 研究者たちは、偽物を見つけるために巨大で超スマートな AI モデル（全知の百科事典のようなもの）の使用を試みました。トレーニング用データ（主に Python で書かれたもの）では非常にうまく機能しましたが、他の言語（Go、C#、JavaScript など）で書かれた「本」を読もうとしたとき、「大脳」は混乱しました。それは、英語しか読めない探偵が外国で謎を解こうとするようなもので、特定の言語に焦点を合わせすぎたため、重要な手がかりを見逃してしまいました。
2. 解決策：「軽量探偵」
巨大で高価な脳を使う代わりに、チームはロボットが避けられない小さな日常的な習慣を探すシンプルで高速な探偵を構築しました。彼らはこれらを「スタイル計測シグナル」と呼びます。
まるで、文法構造全体を分析するのではなく、ロボットがペンをどう持っているかで見分けるようなものです。
主要な手がかり（「しぐさ」）
探偵は主に 3 つのことを探します。
- 「おしゃべり」なコメント比率: ロボットは自己説明を好みます。実際のコードに比べて、読者へのメモであるコメントを多すぎることがよくあります。探偵は「おしゃべりなメモ」と「実際の作業」の比率を計算します。スニペットが 50% がメモで 50% がコードであれば、それはロボットである可能性が高いです。
- 「動詞」チェック: ロボットが書くメモには、非常に反復的で説明的な方法で特定の動作語（動詞）が使われています。探偵は、メモとコードのどちらにどのくらいの動作語が含まれているかを数えます。
- 「テキスト対コード」の混合: 時折、ロボットは通常の会話（チャットメッセージなど）の段落全体を誤ってコードの中に貼り付けてしまいます。チームは、行ごとにスキャンして「これはコードの行か、それとも単なる文か？」と尋ねる小さなヘルパーを訓練しました。コードスニペットに「単なる文」が多すぎれば、それがフラグとしてマークされます。
3. 特別なトリック（ヒューリスティック）
探偵は、データで観察されたことに基づいたいくつかの「経験則」も使用します。
- 「言語ラベル」トリック: ロボットはフォーマットに混乱することがよくあります。コードの開始直前に、言語名（「python」や「java」など）を単独の行として書くことが頻繁にあります。人間はほとんどこれをしません。もし探偵が「python」とだけ書かれた行が単独で存在するのを見ると、それは大きな赤信号です。
- 「末尾エラー」トリック: ロボットは時折、突然書き始めます。探偵はコードスニペットの最も末尾をチェックします。もしコードが文法的なエラー（文が単語の途中で終わっているような）で端で切れていれば、それは時間やトークンが尽きたロボットである可能性が高いです。
4. すべてを統合する方法
このシステムは、1 つの巨大な脳に依存していません。代わりに、2 段階のプロセスを使用します。
- スキャナー: 「言語ラベル」と「テキスト対コード」の混合を素早くチェックします。明確なロボットの手がかりが見つかれば、即座に「これはロボットだ！」と言います。
- 計算機: スキャナーが確信を持てない場合、コードを単純な数学計算機（決定木）に渡します。この計算機は「おしゃべり比率」と「動詞比率」を重み付けして、最終的な推測を行います。
5. 結果
チームのシステムは驚くほど効率的です。
- 重労働なし: 標準的なコンピュータプロセッサ（CPU）で動作し、スーパーコンピュータは必要ありません。
- 即時の速度: ほぼ瞬時に回答を提供します。
- パフォーマンス: コンペティションにおいて、このシンプルで「軽量」な探偵は、すべてのエントリーの**上位 15%**に入賞し、はるかに複雑で高価な技術を使用した多くのシステムを打ち負かしました。
要約すると: この論文は、AI 生成コードを見分けるために超複雑な AI が必要ではないことを示しています。時には、書き手がどれだけメモを取ったかを数え、チャットメッセージを誤ってコードに貼り付けなかったかを確認するだけの単純な探偵で、ロボットを捕まえるのに十分なのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。