Dream at SemEval-2026 Task 13: SALSA for Single-Pass Machine-Generated Code Detection
Dream teamは、バランスの取れたサンプリングと保守的なファインチューニングを組み合わせたSALSAスタイルのシングルパス自己回帰分類フレームワークを提案しており、これにより機械生成コードの堅牢な分布外検知を実現し、SemEval-2026 Task 13のリーダーボードにおいてCodeBERTのベースラインを大幅に上回る性能を示している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、ある学生の宿題が、その学生自身が書いたものか、それとも非常に賢いAIによって書かれたものなのかを見極めようとしている教師だと想像してください。これが、この論文の著者たちが「SemEval-2026 Task 13」というコンテストのために取り組んだ課題です。
以下は、彼らがどのようにしてこの問題を解決したかについての物語です。簡単な比喩を用いて説明します。
問題点： 「カメレオン」のようなコード
かつて、AIが書いたコードを検出することは、森の中でカメレオンを見つけ出すようなものでした。AIは多くの異なるプログラミング言語（Python、Java、C++など）や、多くの異なる用途に合わせてコードを書くことができます。もし、ある検出器を「PythonにおけるAIコード」を見つけるために訓練したとしても、AIがJavaに切り替えると、その検出器は失敗してしまうことがよくありました。その検出器はあまりに「専門化」しすぎており、未知の状況に対処できなかったのです。
解決策： 「一言回答」ゲーム
Dream Security Ltd.のチームは、彼らがSALSA（Single-pass Autoregressive LLM Structured Classification）と呼ぶ、新しいゲームの遊び方を提案しました。
普通のAIチャットボットを、おしゃべりなオウムだと考えてみてください。もしあなたが「これはAIが書いたコードですか？」と尋ねると、AIはこう答えるかもしれません。「ええと、構文や変数名を見ると、おそらくAIによるものだと思います。なぜなら……」と言って、長い段落を書き始めるかもしれません。これは乱雑であり、採点するのが困難です。
SALSAはルールを変えます：
- プロンプト： 彼らはAIにコードの断片を与え、「これは機械生成されたものですか？」という非常に具体的な質問を投げかけます。
- 制約： 彼らはAIにこう命じます。「あなたはたった一つの単語、つまり『0』（いいえ）または『1』（はい）だけで答えなければなりません」。
- 結果： 長いエッセイを書く代わりに、AIは迅速かつ決定的な選択を強制されます。それは、裁判官に10ページの法的意見書を書かせるのではなく、一度だけガベル（小槌）を叩きつけてもらうようなものです。
学習：「少ないことは、より豊かなこと」
通常、コンピュータモデルに新しいタスクを教えるとき、特定の例を暗記するまで長時間繰り返し練習させることがあります。しかし、著者たちは、モデルに特定の例を叩き込みすぎると、モデルが「新しい状況」に対処する方法を忘れてしまう（これは「過学習」と呼ばれます）ことに気づきました。
彼らは**「保守的な学習（Conservative Training）」**アプローチを採用しました：
- 学習率： 学習率をラジオの音量調節ダイヤルだと想像してください。彼らは音量を非常に低く設定しました。これにより、モデルは自身の既存の知識をかき消すことなく、新しいタスクを学ぶことができました。
- 期間： 彼らはモデルに例題をたった一度だけ（1エポック）学習させました。学習させすぎると、モデルはジェネラリストとしての能力を忘れ、学習データだけに特化した存在になってしまうことを彼らは発見しました。
- バランスの取れた食事： 学習データには、JavaやC++よりもはるかに多くのPythonコードが含まれていました。モデルが「Python専門家」になってしまうのを防ぐため、彼らは、たとえ余分なPythonデータを捨てることになったとしても、すべての言語を等しい量だけ食べさせるように強制しました。
結果：ベースラインを打ち破る
このコンテストには、古い錆びついた金属探知機のような「ベースライン」の検出器（CodeBERT）がありました。これは、新しい言語に対してテストされた際、スコアは0.305（非常に低い）でした。
Dream SecurityチームのSALSAシステムは、ハイテクで適応力の高いスキャナーのようでした。
- ゼロショット（学習なし）： 特別な訓練を受けていない状態でも、彼らのAIはそこそこ優秀でした（約0.5）。
- 学習後： 注意深い「1エポック」の学習を行った後、彼らの最高のシステムは0.789というスコアを達成しました。
これは劇的な飛躍です。これは、彼らのシステムが、見たこともない言語やスタイルで書かれたコードであっても、AIコードを特定する能力がはるかに高いことを意味しています。
注意点
論文では面白い癖についても触れています。学習前、AIは非常に内気でした。間違いを犯すことを恐れるあまり、たとえAIが書いたものであっても、ほとんど常に「人間が書いた（0）」と推測していました。これにより、AIだと判断した時の「適合率（Precision）」は高かったものの、「再現率（Recall）」は極めて低い（つまり、ほとんどのAIコードを見逃していた）状態になっていました。学習によってこの「内気さ」が解消され、AIを見たときに「はい（AIである）」と勇敢に答えられるようになりました。
要約すると： 彼らは、エッセイを書かず、教科書を丸暗記せず、新しい言語に圧倒されることもない検出器を作りました。それは、コードを一瞬だけ見つめ、正確な「はい」か「いいえ」を叩きつけるだけなのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。