← 最新の論文
🤖 machine learning

Delulu: A Verified Multi-Lingual Benchmark for Code Hallucination Detection in Fill-in-the-Middle Tasks

本論文は、1,951 件の対戦的に作成されたサンプルから構成され、最先端のコード生成モデルが「中間埋め込み」タスクにおいて、もっともらしいが誤った幻覚を生成する傾向に依然として脆弱であることを明らかにする、厳密に検証された多言語ベンチマーク「Delulu」を導入する。

原著者： Mahdi Erfanian, Nelson Daniel Troncoso, Aashna Garg, Amabel Gale, Xiaoyu Liu, Pareesa Ameneh Golnari, Shengyu Fu

公開日 2026-05-11
📖 1 分で読めます☕ さくっと読める
CC BY 4.0

原著者： Mahdi Erfanian, Nelson Daniel Troncoso, Aashna Garg, Amabel Gale, Xiaoyu Liu, Pareesa Ameneh Golnari, Shengyu Fu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む

非常に頭が良く、少し自信過剰なジュニアプログラマーを雇って、コード作成を手伝ってもらうと想像してください。このプログラマーは、文の次に何が来るかを推測するのが得意ですが、答えがわからないときは、完璧に聞こえるものをただ作り出すことがあります。

この論文は、**「DELULU」と呼ばれる新しい「試験」を紹介しています。これは、特にコードスニペットの中間を埋めるタスク（「Fill-in-the-Middle」）において、プログラマーが作り出した答え、つまり「ハルシネーション（幻覚）」**を捉えるように設計されたものです。

以下に、この論文をシンプルなアナロジーを用いて解説します。

1. 問題点：「自信過剰な嘘つき」

コーディング AI の世界では、モデルはゼロから関数全体を書けるかどうかでテストされることが多いです。しかし、現実世界では、GitHub Copilot などの AI アシスタントは、前後のコードを見て、その間の隙間を埋めることがほとんどです。

問題は、これらの AI が**「自信過剰な嘘つき」**のようであることです。存在しないライブラリを考案したり、実在しない関数を呼び出したり、定義されていない変数名を使ったりすることがあります。

  • 罠: 人間が見るとコードは完璧に見えます（文法的に正しい）。通常の文のように読めます。しかし、実行しようとすると、AI が事実を捏造したためにクラッシュします。
  • 目標: 著者たちは、以下のことを知りたがりました：現在の AI モデルは、これらの嘘を確実に回避できるか？また、もし嘘をついた場合、他の AI モデルはその嘘を見抜けるか？

2. 解決策：「DELULU」試験

著者たちは、DELULUと呼ばれるベンチマーク（テストセット）を構築しました。この名前は、これらの AI ハルシネーションが非常に説得力があることから、インターネットスラングの「delusional（妄想の）」をかけたものです。

DELULU を、AI モデルのために仕掛けられた巨大で自動化された罠と考えてください。

  • セットアップ: 彼らはインターネット上の実際のコードから 1,951 個の「罠」を作成しました。
  • 罠: 正しいコード（「ゴールデン」回答）に対して、超スマートな AI を用いて「ハルシネーション版」を作成しました。この偽バージョンは、正解を間違えるためにたった一つの小さな変更を加えつつ、それらしく見えるように保ちました。
    • 例: 実際のインポート from pandas import read_csv を、偽の from pandas import read_csvs に変更する。
  • 4 種類の嘘: この試験は、AI が間違える 4 つの特定の方式に焦点を当てています。
    1. メソッド: 存在しない関数名を考案する（例：その関数が存在しない df.remove_nulls()）。
    2. パラメータ: 存在しない設定を追加する（例：その関数が色を受け付けないのに print(text, color="blue")）。
    3. 未定義変数: 一度も作成されなかった名前を使用する。
    4. インポート: 存在しないソフトウェアパッケージを読み込もうとする。

3. 試験の構築方法（「敵対的パイプライン」）

彼らは単に問題を推測したのではなく、問題が難しく、答えが現実的であることを保証するための厳格な工場を構築しました。

  1. 生成: AI が偽の嘘つきコードを作成しました。
  2. 「審査員」パネル: 4 つの異なる超 AI が教師役となり、偽のコードを採点しました。もし教師が嘘と真実を見分けられなかった場合、その問題は採用されました。もし教師が容易に嘘を見抜いた場合、その問題は捨てられました。
  3. 「現実確認」（Docker）: これが最も重要な部分です。彼らは教師を信じるだけでは足りませんでした。すべてのコードスニペットを**仮想サンドボックス（Docker コンテナ）**に入れ、実行を試みました。
    • 「ゴールデン」コードが正常に実行された場合、それは残されました。
    • 「ハルシネーション」コードが、試験が狙っていた正確なエラー（例：「ファイルが見つからない」や「変数が定義されていない」）でクラッシュした場合、それは残されました。
    • 偽のコードが実際にクラッシュしなかった場合、それは捨てられました。
  4. 人間によるレビュー: 最後に、人間の専門家が残った問題を確認し、難しすぎたり偏っていたりしないことを確認しました。

4. 結果：AI はまだ苦しんでいる

著者たちは、この試験で 11 種類の異なる AI モデル（小規模から非常に大規模まで）をテストしました。

  • スコア: 最高の AI モデルでも、正解率は約**84.5%**でした。つまり、約 6 問に 1 問の割合で罠にかかってしまいました。
  • 最も難しい罠: 「インポート」の嘘（偽のソフトウェアパッケージを捏造する）は、AI が回避するのが最も難しかったです。まるで、存在するすべてのソフトウェアライブラリの電話番号帳を暗記するように求められ、実在しないが実在しそうな名前を推測し続けてしまうようなものです。
  • 検出の問題: また、「AI がコードレビューアとしてこれらの嘘を見抜けるか？」という問いも投げかけました。最も賢い AI レビューアでも、嘘を見抜けたのは約**92%**でした。つまり、嘘が隙間からすり抜けてしまう領域がまだ存在します。

5. なぜこれが重要なのか

この論文は、これが特定の AI モデルの単なるバグではなく、根本的な問題であると結論付けています。

  • サイズだけが問題ではない: AI を大きくすれば改善しますが、問題を完全に解決するわけではありません。
  • トレーニングだけが問題ではない: 異なるファミリーの AI モデルはすべて、同じ種類の嘘に苦しみました。
  • 教訓: AI にチェックなしでコードを書かせることはできません。なぜなら、最高の AI でさえ、実行するとクラッシュする事実を捏造するほど「妄想」しているからです。

要約すると: DELULU は、現在の AI コードアシスタントが、実在しそうで実行すると破綻する事実を捏造する傾向があることを証明する、厳格な多言語テストです。この論文は、開発者がこの特定の弱点を測定し、改善するためのツール（テストと「サンドボックス」コンテナ）を提供しています。

自分の分野の論文に埋もれていませんか？

研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。

Digest を試す →

関連論文

このカテゴリをすべて見る 🤖 cs.LG →