技術サマリー：SemEval-2026 タスク 13 における考古学

問題定義

本論文は、学術的誠実性、ソフトウェアサプライチェーンのセキュリティ、知的財産の帰属という重要な課題である、AI 生成ソースコードの検出という課題に取り組んでいる。著者らは SemEval-2026 タスク 13 に参加し、このタスクは 3 つのサブタスクに分かれている。彼らのシステム「Archaeology」は最初の 2 つに焦点を当てた：

• サブタスク A: 人間が記述したコードと AI 生成コードを区別する二値分類。
• サブタスク B: 11 クラス（人間が記述したコードと 10 種類の異なる AI モデルを含む）の中から、与えられたコードスニペットを生成した特定の大型言語モデル（LLM）ファミリーを特定する多クラス帰属。

両方のサブタスクでは、主要な評価指標としてマクロ平均 F1 スコアが用いられている。これらのタスクはそれぞれ固有の課題を提示する：サブタスク A は、トレーニング中に遭遇しなかったドメイン外（OOD）のプログラミング言語への汎化を要求し、サブタスク B は、極端に偏ったクラス分布（最大クラスと最小クラスの比率が 225:1）と長いコードシーケンスを処理しなければならない。

手法

ベースライン

チームは、TF-IDF 特徴量（ビッグラムから 5-gram までの文字 n-gram）とロジスティック回帰を組み合わせたベースラインを確立した。コードは最初の 10,000 文字に切り詰められた。サブタスク B については、ラベルの偏りを緩和するため、バランスの取れたクラス重みが適用された。このベースラインは、サブタスク A で 0.266、サブタスク B で 0.255 のマクロ F1 スコアを達成し、表面レベルの語彙パターンだけでは不十分であることを示した。

事前学習モデル

コアシステムは、4 つの事前学習済みコードモデルを微調整する：

1. CodeBERT: エンコーダのみ（RoBERTa-base、1.25 億パラメータ）。マスク言語モデリング（MLM）と置換トークン検出で事前学習済み。
2. GraphCodeBERT: エンコーダのみ（RoBERTa-base）。データフローグラフ構造を CodeBERT に拡張したもの。
3. UniXcoder: エンコーダのみ（RoBERTa-base）。クロスモーダル目的を通じて理解と生成をサポートする統合モデル。
4. CodeT5+: エンコーダ・デコーダ（2.2 億パラメータ）。コードおよびコード - テキストのペアに対するノイズ除去と因果言語モデリングで事前学習済み。

サブタスク A（二値分類）の戦略

OOD 言語の課題（Python、C++、Java でのトレーニング；JavaScript、Go、PHP などの追加言語でのテスト）に対処するため、著者らは以下の手法を採用した：

• 言語別除外（LOLO）交差検証: 2 つの言語でモデルをトレーニングし、3 つ目の言語で検証することで OOD 条件をシミュレートした。トレーニングデータは、言語とラベルごとに等しい数のサンプルをサンプリングすることでバランスが取れた。
• コード拡張: 言語固有の表面特徴への依存を減らすため、確率的拡張が適用された。これには、コメントの除去、リテラルのマスキング、ヘッダーの削除が含まれる。決定論的正規化により、マークダウンフェンスの除去と空白の標準化が行われた。
• チャンク推論: テストコードはトレーニングコードよりも長いため、モデルのコンテキストウィンドウを超えるスニペットは、重なり合うチャンクに分割された。確率は、ノイズに対する堅牢性と強いシグナルに対する感度のバランスを取るため、トリムド平均（最小値/最大値を除外）とトップ 2 平均（最も高い確率 2 つの平均）をブレンドして集約された。
• 閾値較正: 2 段階の較正が用いられた。まず、OOF 予測上で最適な閾値を求めた。次に、ロジスティック回帰の交差検証から得られた 1,000 件の誤分類例の「困難なデータセット」を構築し、2 番目の閾値を導出した。最終的な決定閾値は、これら 2 つの等しい重みのブレンドであり、言語検出が可能である場合は、言語ごとの閾値が追加的に適用された。

サブタスク B（多クラス帰属）の戦略

極端なクラス偏りと長いシーケンスに対処するため：

• サンドイッチトークンパッキング: 長いコードを切り捨てる代わりに、入力シーケンスは最初の $h$ トークン（ヘッド）、区切り文字、最後の $t$ トークン（テール）を使用して構築された。トレーニング中は、ヘッドの割合をランダムにサンプリングしてデータ拡張として機能させた。推論中は 0.60 に固定された。
• クラスバランス損失: 225:1 の偏りに対抗するため、有効サンプル数（$\beta = 0.9995$）に基づいたクラスバランス損失重みが使用された。これにより、逆頻度法の極端なアップウェイトなしに、過小表現されたクラスに高い重みが与えられた。
• アンサンブルとテスト時拡張（TTA）:
  • UniXcoder: 3 つのランダムシードでトレーニングされ、推論中は 3 つの異なるヘッド割合で実行された（合計 9 回のフォワードパス）。
  • CodeBERT/GraphCodeBERT: シングルシードで 3 つのヘッド割合（3 回のパス）。
  • CodeT5+: シングルシード、固定のヘッド割合、モデルサイズのためトレーニング 1 エポック。

結果

システムはテストセットで以下のマクロ F1 スコアを達成した：

• サブタスク A: CodeBERT を使用して 0.737（81 チーム中 6 位）。
• サブタスク B: UniXcoder を使用して 0.422（34 チーム中 7 位）。

主な観察事項:

• 微調整されたすべてのモデルは、TF-IDF ベースラインを大幅に上回った。
• サブタスク A において、コード理解に焦点を当てたエンコーダのみのモデル（CodeBERT、GraphCodeBERT）は、エンコーダ・デコーダの CodeT5+ や生成指向の UniXcoder を上回った。
• サブタスク B において、UniXcoder は他のモデルを上回った。これは、より長いコンテキストウィンドウ（512 トークン対 1,024 トークン）、3 シードアンサンブル、および <encoder-only> モードトークンの使用に起因する。
• エラー分析により、モデルはサブタスク A では OOD 言語、サブタスク B ではスタイルが類似した AI 生成器の区別（例：クラス 1 は十分なトレーニングデータがあったにもかかわらず F1 が 0.11 以下）でより苦労していることが明らかになった。

意義と貢献

本論文は、3 つの主要な技術的貢献を主張している：

1. チャンク推論パイプライン: モデルのコンテキスト制限を超える長いコードスニペットを処理するための、トリムド平均集約を用いた二値コード分類手法。
2. 閾値較正戦略: OOF 閾値と誤分類例の「困難なデータセット」から導出された閾値をブレンドするハイブリッドアプローチであり、言語ごとの較正によってさらに洗練されている。
3. サンドイッチトークンパッキング: 長いコードシーケンスの初めと終わりの情報を保持する多クラス帰属の戦略であり、テスト時拡張とクラスバランス損失と組み合わされている。

著者らは、これらのタスクにおいてモデルサイズよりも事前学習目的の選択がより重要であると結論付けている。コード理解のために事前学習されたモデル（CodeBERT、GraphCodeBERT）は二値検出で優れ、より長いコンテキストウィンドウとアンサンブルによって強化された統合モデル UniXcoder は多クラス帰属で最善の性能を発揮した。本論文は、最大のモデル（2.2 億パラメータ）である CodeT5+ が最高スコアを達成しなかったことに言及し、この分野ではサイズだけでは性能が保証されないことを示唆している。

限界

著者らは、いくつかの限界を認めている：

• 比較的小さな事前学習モデル（1.25 億〜2.2 億パラメータ）と限られたコンテキストウィンドウ（最大 1,024 トークン）の使用。
• チャンク推論におけるカバレッジとシグナルの希釈化の間のトレードオフ。
• 閾値較正における「困難なデータセット」への依存。これは現実世界の展開において常に利用可能とは限らない。
• 計算リソースの制約による包括的なアブレーション研究の欠如。これにより、特定のコンポーネント（特定の拡張や集約手法など）の個別の貢献が定量化されていない。