💬 NLP

Constrained Code Generation with Discrete Diffusion

本論文は、制約充足を離散拡散ノイズ除去プロセスに直接統合し、最小限の修正計算で機能的に正確かつ安全で構文上有効なプログラム生成へと誘導する、トレーニング不要の神経記号フレームワークである制約付きコード拡散（CDC）を導入する。

原著者： Lize Shao, Michael Cardei, Zichen Xie, Ferdinando Fioretto, Wenxi Wang

公開日 2026-05-19

📖 1 分で読めます☕ さくっと読める

原著者： Lize Shao, Michael Cardei, Zichen Xie, Ferdinando Fioretto, Wenxi Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に才能があるが少し不注意な芸術家に、完璧な風景画を描くことを教えると想像してください。その芸術家は、左から右へと一筆ずつ絵を描くのではなく、代わりに、灰色の霧（「マスク」）で完全に覆われたキャンバスから始めます。そして、霧をゆっくりと晴らして下にある画像を明らかにし、最終的な画像が現れるまで、絵を何度も何度も洗練させていきます。これが**離散拡散（Discrete Diffusion）**モデルがコードを生成する方法です。つまり、空白でマスクされたスレートから始め、それを反復的に「ノイズ除去」して動作するプログラムへと変換していくのです。

問題は、この芸術家がコードに「見える」ものを作るのが得意ですが、論理を破綻させる機能エラーや、ハッカーに門戸を大きく開けてしまうセキュリティ脆弱性といった間違いをしばしば犯すことです。通常、間違いに気づいた場合、芸術家に絵全体を捨てて最初からやり直すよう指示する必要があります。これは遅く、無駄です。

CDC（コードのための制約付き拡散：Constrained Diffusion for Code）は、芸術家がまだ絵を描いている最中に、その隣に立ってリアルタイムで助言する賢い芸術評論家のような新しい手法です。

その仕組みを簡単なステップに分解して説明します。

1. 「一時停止して確認する」瞬間

従来の手法では、絵が 100% 完成した時点でのみ確認を行います。間違っていれば、それを廃棄します。
CDC は異なります。芸術家が（一筆ずつではなく）画像全体を同時に描いているため、CDC はプロセスの任意の時点で一時停止できます。それは「未完成」の絵を見て、「この部分は機能しそうか？ここにセキュリティの穴はないか？」と問いかけます。

2. 2 人の専門的な評論家

CDC は、どのような間違いを探しているかによって、2 種類の異なる「評論家」を使用します。

「論理コーチ（GradGuide）」:
- 役割: コードが実際に機能するかを確認します（例：この数学関数は数を正しく加算しているか？）。
- 比喩: 芸術家が橋を描いていると想像してください。論理コーチは単に「間違っている」と言うのではなく、弱く見える特定の柱を指して、「ここの数式がおかしい。その柱だけ描き直そう」と言います。
- 仕組み: コードがテストに合格するかどうかを推測するために、「代理モデル（より小さく高速な AI）」を使用します。失敗を予測した場合、エラーを引き起こしている正確な単語（トークン）を見つけ出し、芸術家に残りの絵はそのままにして、その特定の単語の修正に集中するよう指示します。
「セキュリティ検査官（MDFI）」:
- 役割: コードが安全かを確認します（例：このコードはハッカーにデータを盗ませるでしょうか？）。
- 比喩: 芸術家が銀行の金庫を描いていると想像してください。セキュリティ検査官は、そこにあってはならない隠された隠し扉を見つけます。芸術家に金庫全体を描き直すよう指示する代わりに、「その隠し扉を新しい壁で覆い、ここに鍵を追加しなさい」と言います。
- 仕組み: 危険なパターンを見つけるために、コード構造を読み取る静的解析ツールを使用します。脆弱性が見つかった場合、悪い部分だけを「再マスク（隠す）」し、「この特定の箇所を安全なパターンで修正しなさい」というプロンプトを挿入します。

3. 「外科的な修正」

CDC の魔法は、芸術家に最初からやり直すことを強制しない点にあります。

従来の方法: 「このコードにはバグがある。すべてを削除して新しく書き直せ。」（無駄が多い）
CDC の方法: 「14 行目で小さな間違いをした。残りの完璧な部分はそのままにして、その 3 つの単語だけを消してやり直そう。」

なぜこれが重要なのか（論文によると）

研究者たちは、標準的なコーディング課題（HumanEval-X や MBPP など）とセキュリティテスト（CWEval）でこれをテストしました。その結果、以下のようなことがわかりました。

より良い結果: CDC は、実際に機能し、安全なプログラムの数を大幅に増加させました。例えば、あるテストでは、人気のあるモデルの成功率を 2 倍にしました。
無駄の削減: 従来の手法が最終結果まで待ってからコードの巨大な塊を書き直すことが多かったのに対し、CDC は非常に少数の単語（多くの場合、十数語程度）を編集することで問題を修正しました。
再トレーニング不要: 最も素晴らしい点は、CDC が巨大な AI モデルの再トレーニングを必要としないことです。既存のモデルの上に載せて、より良いガイドを行う「プラグアンドプレイ」のレイヤーです。

要約すると: CDC は、失敗した試みを捨てる「推測と確認」のゲームから、コードが構築されている最中にエラーを捕捉し、最終結果が機能的かつ安全であることを保証するために、時間のかかる全体再生成を無駄にせず、小さく精密な調整を行う「導かれた洗練」のプロセスへと、コード生成を変えます。

技術概要：離散拡散モデルを用いた制約付きコード生成

問題定義

コード生成モデル、特に離散拡散モデルは、部分的に破損したトークン系列の反復的洗練を通じてプログラムを構築する有望なパラダイムとして登場しました。しかし、重大な限界が存在します。これらの生成モデルの訓練目的は目標分布に一致しますが、機能的な正しさ、セキュリティ特性、または厳密な構文の妥当性といったプログラムレベルの制約を本質的に捉えるものではありません。生成されたプログラムがベースモデルの下で極めて妥当に見えたとしても、誤った動作を示したり、悪用可能な脆弱性を含んだりする可能性があります。

既存のガイダンス機構（プロンプティング、再ランク付け、リジェクションサンプリング、事後修復など）は、通常、候補プログラムが完全に生成された後にのみ介入します。このアプローチは、探索空間が極めて組み合わせ的であり、意味的またはセキュリティ制約を満たすプログラムの部分集合が小さな実行可能領域を構成する可能性があるため、コード生成においては非効率的で信頼性が低いです。事後のアプローチは、大規模な接尾辞またはプログラム全体を再生成して、グローバルな構造的または意味的な違反を修正することがよくあります。

離散拡散モデルは、この課題に対処するユニークな機会を提供します。その逆方向のノイズ除去プロセスは、すべての中間ステップでグローバルなプログラム状態を露出させます。この構造は、最終的なコードがコミットされる前に、制約を生成プロセスに直接統合するための自然な介入点を提供します。

手法：コードのための制約付き拡散 (CDC)

本論文は、プログラムレベルの制約を離散拡散モデルの逆方向ノイズ除去プロセスに直接統合する、トレーニング不要のニューロシンボリック推論フレームワークであるコードのための制約付き拡散 (CDC) を導入します。CDC は、拡散サンプリング軌跡を編集可能なプログラム表現として扱います。各ノイズ除去ステップにおいて、フレームワークは以下の 4 つの主要な操作を実行します。

クリーン状態提案: ベースノイズ除去器は、プログラム系列全体にわたるクリーントークンの分布 ( $\hat{x}^{(t)}_0$ ) を予測します。
制約認識ローカライゼーション: 制約評価器 ( $E$ ) が、候補プログラムを目標仕様（例：ユニットテスト、セキュリティアナライザー）に対して評価します。違反スコアと構造化されたフィードバックを返します。その後、ローカライゼーションマップ ( $M$ ) が、このフィードバックを違反の原因となる特定のトークン領域 ( $S_t$ ) に変換します。
制約認識修正: 制約認識オペレーター ( $P_C$ ) が、ローカライズされた領域内の提案分布を修正します。目的は、制約違反を削減しつつ、ベースノイズ除去器の分布（KL 発散を介してアンカー付けされる）に近接した状態を維持することです。
制約付き逆更新: 修正された提案が使用され、逆連鎖を次のタイムステップに進めます。

CDC は、このフレームワークを異なる制約タイプに特化した 2 つの特定のオペレーターで具体化します。

GradGuide（機能的正しさ）: このオペレーターは、実行駆動ラベル（例：テスト合格結果）で訓練された学習済み代理モデル ( $g_\phi$ $g_{ϕ}$ ) を使用して、ソフト制約に対処します。
- トークン分布をソフト埋め込みに変換し、満足度スコアを予測します。
- 代理モデルの違反に対するトークン埋め込みの勾配を計算することでエラーをローカライズし、高サリエンス領域を特定します。
- KL アンカー付き投影（確率分布を実行可能なトークン方向にシフトさせる）と、中間プログラムがまだ制約に違反している場合にコミット済みトークンを再ノイズ除去のために再オープンする制約トリガー型ローカルリマスキングを介して修正を適用します。
MDFI（セキュリティ）: このオペレーターは、静的プログラム分析を使用してハード制約に対処します。
- 静的アナライザーが、中間状態から部分プログラムグラフ（AST とデータフローを組み合わせる）を構築します。
- 脆弱性の証人（例：安全でないデータフローパスまたは構造的パターン）を特定し、それらをトークンスパンにローカライズします。
- 離散的介入を適用します。すなわち、置換（安全でない構成要素のリマスキング）と挿入（欠落しているガードやチェックのための新しいマスクトークンの注入）です。
- 残りのノイズ除去ステップを誘導するために、修復ヒントを直接条件付けコンテキストに注入します。

主要な貢献

本論文は、以下の 3 つの主要な貢献を行います。

制約認識ローカライゼーション: 代理モデルまたは静的アナライザーからのプログラムレベルのフィードバックを、ノイズ除去中の修正のための特定のトークン領域にマッピングする一般的なメカニズム。
制約認識修正: ベースノイズ除去器に近接したままローカライズされた領域を修正するトレーニング不要のオペレーター。これらは、勾配および KL アンカー付き更新を介した微分可能なガイダンスと、ターゲット型リマスキングおよび挿入を介する非微分可能なシンボリックフィードバックの両方をサポートします。
実証的評価: ノイズ除去中に制約を統合することが、機能的正しさ、構文、セキュリティのベンチマークにおいてコード生成を改善し、より少ない編集トークン数で離散拡散および自己回帰ベースラインの両方を上回ることを示す証拠。

実験結果

著者らは、Dream-Coder 7B、DiffuCoder 7B、および Dream-7B をバックボーンとして使用し、HumanEval-X C++、MBPP-C++、CWEval、および LLMSecEval+ 上で CDC を評価しました。

機能的正しさ: CDC は pass@1 および pass@10 レートを大幅に改善しました。HumanEval-X C++ において、CDC は Dream-Coder 7B の pass@1 を 34.1% から 65.2% に、コンパイル成功を 67.1% から 79.2% に改善しました。MBPP-C++ において、pass@1 は 27.7% から 59.2% に改善しました。これらの結果は、いくつかの指標において最先端の自己回帰モデル（例：DeepSeek-Coder 6.7B）を上回りました。
セキュリティ: CDC は、機能とセキュリティの両方の成功を大幅に改善しました。CWEval において、結合 pass@1 (fs@1) は 12.04% から 34.26% に増加しました。LLMSecEval+ において、セキュリティ pass@1 (sec@1) は、バニラモデルの 54.67% から 80.67% に上昇し、自己回帰型のリプロンプティングを上回りました。
効率性とローカライゼーション: CDC は、自己回帰型リプロンプティングと比較して優れた効率性を示しました。自己回帰型手法はしばしばプログラム全体を再生成するのに対し（例：CWEval で中央値 113 トークンの編集）、CDC は高度にローカライズされた編集を実行しました（CWEval で中央値 12 トークン）。これは、CDC が広範な再生成に依存するのではなく、制約に関連する領域に修正を集中させていることを確認しています。

意義と主張

本論文は、離散拡散モデルが制約付きコード生成のための自然な基盤として機能すると主張しています。サンプリング中に露出するグローバルで編集可能な状態を利用することで、CDC は事後フィルタリングやプログラム全体の再生成に依存するのではなく、生成中に焦点を絞った制約修正を可能にします。

著者らは、このアプローチがベースモデルの再訓練なしで、ソフト（代理モデルベース）およびハード（シンボリックアナライザーベース）の制約の両方を統合することを可能にすると強調しています。結果は、ノイズ除去時の制約統合が、拡散ベースのコードモデルを強力な自己回帰生成器と競争可能にし、安全かつ機能的に正しいコードを生成するためのより効率的でターゲットを絞った道筋を提供することを示唆しています。この研究は、最終出力がコミットされる前にモデルを実行可能な解決策へと誘導することにより、ソフトウェア工学のためのより信頼性が高く安全な生成 AI への一歩として位置づけられています。