🤖 machine learning

Towards Functional Correctness of Large Code Models with Selective Generation

本論文は、動的に生成されたユニットテストを活用することで、選択的なコード生成器が不確実な出力を控えることを可能にし、それによって偽発見率を理論的に制御し、大規模コードモデルの機能的正確性を向上させるパラダイムである「FuzzEval」を提案する。

原著者： Jaewoo Jeong, Taesoo Kim, Sangdon Park

公開日 2026-06-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jaewoo Jeong, Taesoo Kim, Sangdon Park

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたの手元には、非常に有能ですが、少し自信過剰なロボットの助手がいます。その仕事は、あなたに代わってコンピュータコードを書くことです。あなたが「名前のリストをソートするプログラムを書いて」と頼むと、そのロボットは嬉々として解決策を吐き出します。しかし、ここには落とし穴があります。時として、このロボットは「幻覚（ハルシネーション）」を起こすのです。動いているように見えるコードを書きますが、実際に実行してみると、クラッシュしたり、間違った答えを出したり、あるいは全く予期しない動作をしたりします。

ソフトウェアの世界において、これは危険なことです。ロボットが生成したコードを盲信することはできません。

この論文は、これらコード生成ロボットのための新しい「安全検査官」システムを紹介しています。生成されたコードをそのまま受け入れるのではなく、このシステムは厳格な品質管理マネージャーのように振る舞い、「良いコードだけを通し、確信が持てない場合は『わからない』と認める」というスタンスを取ります。

このシステムの仕組みを、シンプルな概念に分解して説明します。

1. 問題点：「ブラックボックス」としてのコード

通常、コードが良いものかどうかをチェックする際、私たちはいくつかのあらかじめ用意されたテスト（チェックリストのようなもの）に頼ります。しかし、複雑な問題の場合、チェックリストでは隠れたバグを見逃してしまう可能性があります。それは、車のタイヤだけを見て、エンジンを無視して車の安全性を確認するようなものです。論文では、コードは非常に複雑で人間にとって「自然ではない」読み方をするため、見た目だけで二つのコードが全く同じ動作をするかどうかを判断するのは難しいと主張しています。

2. 解決策：「ファジング」マシン

これを解決するために、著者らは**ファジング（Fuzzing）**と呼ばれるツールを使用しています。ファジングマシンとは、コードを受け取り、そこに何百万ものランダムで奇妙で極端な入力を投げ込み、コードが壊れないかどうかを確認する装置だと想像してください。

比喩： これは橋の強度テストのようなものです。ただ一台の車を走らせるのではなく、マシンが砂袋や大型トラック、さらにはゾウまでもをランダムなパターンで投げ込み、橋が耐えられるかどうかをテストするのです。
結果： このマシンは、ロボットが事前に見ていなかった何千もの「ユニットテスト（コードをチェックするための小さなシナリオ）」を自動的に生成します。

3. 「選択的生成器」：正直なロボット

論文では、コード生成ロボットの新しい活用法を提案しています。そこに「ゲートキーパー（門番）」のステップを追加するのです。

プロセス： ロボットがコードを書こうと試みます。その後、「ファジング・マシン」が即座に、何千ものランダムなシナリオに対してそのコードをテストします。
決定：
- コードが高い信頼度でテストを通過した場合、ゲートキーパーは**「進めてよし、これは良いコードだ！」**と言い、あなたにコードを渡します。
- コードが失敗するか、テストの結果が曖昧すぎる場合、ゲートキーパーは**「わからない」**と言い、コードを渡すことを拒否します。

これは**「選択的生成（Selective Generation）」**と呼ばれます。ロボットは、間違ったコードを提示して推測で答えるのではなく、「わからない」と言うことが許されているのです。

4. 保証：「偽発見率」

この論文の最もエキサイティングな部分は、ゲートキーパーの背後にある数学です。著者らは単にシステムがうまくいくことを願っているのではなく、数学的に証明しています。

彼らはルールを設定します。「私たちが提供するコードのうち、実際に悪いコードである割合を30%未満（あるいは任意の数値）に抑えたい」というルールです。
これを**「偽発見率（False Discovery Rate: FDR）」**と呼びます。
システムは、たとえロボットの性能が低かったとしても、ゲートキーパーが非常に厳格に悪いものをフィルタリングすることで、最終的に受け取るコードの束がほとんど正しいものであることを数学的に保証するように設計されています。

5. FuzzEval：より優れた成績表

最後に、著者らはこの「ファジング・マシン」を将来のコードモデルの採点にも使用することを提案しています。単に標準的なテスト（例えば、5問だけの学校の試験のようなもの）に合格するかどうかを確認するのではなく、ファジング・マシンを使って何百ものランダムなテストを生成することを提案しています。これにより、コード生成AIがどれほど優れているかについて、より正確で厳格な成績表を与えることができます。彼らはこの新しい採点方法を**「FuzzEval」**と呼んでいます。

まとめ

要約すると、この論文はAIコード生成器のための**「セーフティネット」**の構築方法を教えてくれます。ファジング（ストレス・テスト・マシン）を使用して何百万ものテストを自動生成することで、以下のことが可能なシステムを実現できます。

あなたに届く前に、悪いコードを排除する。
不確かな場合には、間違った答えを捏造するのではなく、無知を認める（「わからない」と言う）。
受け取ったコードが安全に使用できることを、数学的に保証する。

これは「推測して期待する」アプローチを、「テストして検証する」アプローチへと変え、AI生成コードを実世界での利用に向けてより信頼性の高いものにします。

技術要約：選択的生成によるコードモデルの機能的正当性に向けて

問題提起

大規模言語モデル（LLM）はコード生成タスクにおいて顕著な性能を示しているが、生成されたコードが望ましい機能仕様を満たさない「コードのハルシネーション（幻覚）」により、その安全性に関わるシステムへの適用が妨げられている。この問題を軽減する上での決定的なボトルネックは、生成されたコードの機能的正当性を特定することの難しさにある。自然言語では意味的含意（semantic entailment）を人間がアノテーションできるのに対し、コードは複雑で非自然的な構造を持っており、機能的な等価性の手動検証を困難にしている。既存のベンチマークは、手動で厳選された限られたユニットテストに依存していることが多く、これらは正当性を保証するのに十分な実行パスをカバーしていない可能性がある。さらに、ハルシネーションを制御するための現在の手法は、ファインチューニングやランキングを通じてモデルの性能を向上させることに焦点を当てており、推論中に誤った出力の発生率を直接的かつ理論的に裏付けられたメカニメントで制御する仕組みを欠いている。

手法

著者らは、**コード含意付きの偽発見率（False Discovery Rate with Code Entailment: FDR-CE）という指標を用いて、ハルシネーション率を理論的に制御する選択的コード生成（Selective Code Generation）**のフレームワークを提案している。この手法は、以下の3つのコアコンポーネントで構成される。

1. $\alpha$ -コード含意とファジング

コードの機能的正当性を定義することの難しさに対応するため、著者らはプログラムの実行可能な性質を用いて、含意（entailment）の概念を再定義している。

$\alpha$ -コード含意: 正確な等価性を要求する代わりに、コードスニペット $\hat{y}$ がユニットテスト生成器 $F(x)$ によって $\alpha$ -含意されるとは、 $\hat{y}$ がテストに合格する確率が少なくとも $1-\alpha$ であることであると定義する。これにより、機能的正当性の確率的な測定が可能になる。
FuzzEval: 必要なユニットテストを自動的かつ厳密に生成するために、著者らは動的コード解析技術である**ファジング（fuzzing）**を採用している。入力シードをランダムにサンプリングおよび変異させることで、ファジングは幅広い実行パスを探索し、入出力ペアを生成する。FuzzEvalと呼ばれるこのプロセスは、以下の2つの目的を果たす。
- 学習: 選択的生成器の学習のために、含意集合を推定するための大規模なユニットテストセットを生成する。
- 評価: 静的に手動で厳選されたテストよりも厳格な評価ベンチマークを提供する。

2. 選択的生成フレームワーク

本システムは、ベースとなるコード生成器 $G(x)$ の後処理として機能する選択的生成器 $\hat{S}(x)$ を導入する。

棄却メカニズム: 与えられたプロンプト $x$ に対して、システムはスコア $f(x, G(x))$ （例：長さ正規化された対数確率）を計算する。このスコアが較正された閾値 $\tau$ を超える場合、そのコードは返される。そうでなければ、システムは棄却（「分かりません」と回答）する。
リスク制御: 選択されたコードが機能的に誤っている（すなわち、 $\alpha$ -含意されていない）確率が、所望のレベル $\epsilon_S$ を下回るようにすることを目的とする。これは、以下のようにFDR-CEの制御として定式化される：
$R_\alpha(\hat{S}) := P\{ \hat{S}(x) \notin E_\alpha(x) \mid \hat{S}(x) \neq \text{IDK} \}$
ここで、 $E_\alpha(x)$ は $\alpha$ -含意条件を満たすコードスニペットの集合である。

3. 理論的保証とアルゴリズム (ASCG)

著者らは、ASCG（Algorithm for Selective Code Generation）学習アルゴリズムを提案している。

推定: 真の含意集合 $E_\alpha$ は未知であるため、アルゴリズムは生成されたユニットテストから導出された下限二項分布裾部境界 $\hat{L}$ を使用して、含意集合 $\hat{E}_{\alpha, \epsilon_E}$ を推定する。
較正: 較正セット（calibration set）を用いて、アルゴリズムは、FDR-CEの上限が目標 $\epsilon_S$ を超えないことを保証しつつ、閾値を最小化（選択効率を最大化）する最適な閾値 $\tau$ を探索する。
保証: 定理4.3は、学習された選択的生成器が、人間による含意ラベルがなくても、高い確率（ $1-\delta_S$ ）で所望のFDR-CE制約を満たすという理論的保証を提供する。

主な貢献

コードのための選択的生成: 本論文は、選択的予測（以前は自然言語に適用されていた）の概念をコード生成へと拡張し、棄却を通じてハルシネーション率を制御するメカニズムを導入している。
FuzzEvalパラダイム: ファジングツールを使用して、選択関数の学習とコードの正当性評価の両方にユニットテストを自動生成することを提案し、小規模な手動テストスイートの限界を克服している。
FDR-CEの理論的制御: 本研究は、PAC型の保証を持つ学習アルゴリズムを提供し、誤って生成されたコードの割合（回答しないものの中で）が、ユーザー定義のパラメータによって制限されることを保証している。
$\alpha$ -コード含意の定義: 自動解析に適したコードの正当性の確率的な定義を定式化し、NLPにおける意味的含意とコードにおける機能的等価性の間の溝を埋めている。

実験結果

著者らは、以下の多様なセットアップで手法を評価した。

モデル: 4つのコード生成器（GPT-4o, Gemini 1.5 Pro, GPT-4.1, CodeLlama 13B, DeepSeek-R1）。
データセット: 自動生成されたユニットテストを用いて「Fuzz」バージョン（APPS-fなど）に変換された4つのベンチマーク（APPS, Mercury, HumanEval, MBPP）。
言語: Python, C++, Java, JavaScript, Perl。

主な知見:

制御可能性: 提案手法（SCG）は、様々なモデルとデータセットにおいて、FDR-CEを所望のレベル（ $\epsilon_S$ ）に抑えることに成功した。一方で、ベースライン手法（例：SCG-EM, SCG-manual）は、リスクを制御できないか、あるいは些細な効率性（頻繁にすぎる棄却）を示す。
効率性: SCGは、安全性の保証を維持しながら、妥当な選択効率（回答しない回答の比率）を達成している。例えば、GPT-4oにおいて $\epsilon_S=0.3$ の場合、SCGはデータセットに応じて約33-50%の生成回答を保持しながら、FDR-CEを目標以下に維持した。
ファジングの利点: 実験により、ファジング生成されたユニットテストを使用する手法（SCG）は、限られた手動テスト（SCG-small）やテストなし（SCG-EM）の手法よりも、リスク制御と効率性の両面において大幅に優れていることが示された。
先行研究への拡張: 本手法は、既存の高度なモデル（例：GRPOファインチューニングを施したDeepSeek-R1）やランキングベースの手法の上に適用可能な後処理として機能し、統計的な安全保証の追加レイヤーを提供する。

意義と主張

本論文の主要な貢献は、コードモデルのハルシネーション率を直接制御する選択的生成学習アルゴリズムにあると主張している。ファジングを通じてコードの実行可能な性質を活用することで、ヒューリスティックな性能向上を超えて、理論的に制御された安全性を実現できると著者らは述べている。

本研究の意義は、偽発見率に対する「制御可能性の保証」を提供することにあり、これにより、より高い安全基準を必要とするシステムにおいてコード生成器の信頼性を高めることができる。著者らは、本手法はハルシネーション率を制御するものの、全体的な選択効率は依然として基礎となるコード生成器の品質に依存すること、また、理論的保証におけるi.i.d.（独立同一分布）仮定が分布シフト環境への適用を制限する可能性があることを謙虚に注記している。本研究は、ハルシネーションを完全に排除することを主張しているのではなく、むしろそれを統計的な厳密さをもって管理し、制限するメカニズムを提供している。