💬 NLP

Evaluating and Achieving Controllable Code Completion in Code LLM

本論文は、コード生成LLMにおける指示追従性の評価の欠如に対処するために、制御可能なコード補完ベンチマーク（C3-Bench）を導入し、オープンソースモデルとプロプライエタリモデルの間の顕著な性能差を明らかにし、微調整されたモデルがこの新しいベンチマークにおいて最先端の結果を達成することを可能にするデータ合成パイプラインを提案するものである。

原著者： Jiajun Zhang, Zeyu Cui, Lei Zhang, Jian Yang, Jiaxi Yang, Qiang Liu, Zilei Wang, Binyuan Hui, Liang Wang, Junyang Lin

公開日 2026-01-23

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jiajun Zhang, Zeyu Cui, Lei Zhang, Jian Yang, Jiaxi Yang, Qiang Liu, Zilei Wang, Binyuan Hui, Liang Wang, Junyang Lin

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは熟練のシェフ（AI）であり、忙しい厨房で働いていると想像してください。長い間、これらのシェフをテストする方法は単純でした。私たちは彼らに、調理途中の料理（欠損部分の前にあるコード）と、調理が終わった後の料理（欠損部分の後にあるコード）を与え、その中間を埋めるよう求めたのです。もし最終的な料理が美味しく、ユニットテストに合格すれば、そのシェフには金メダルが贈られました。

問題点：「レシピ」が欠けていた
この論文の著者たちは、この古いテスト方法には欠陥があると主張しています。現実の世界では、総料理長は単に「間を埋めて」とは言いません。「間を埋めて。ただし、野菜のみの食材を使って」とか、「間を埋めて。ただし、正確に3行の長さにして」とか、「間を埋めて。ただし、特定の種類のナイフを使って」と言うのです。

現在のAIモデルは、料理を美味しく作ることは得意ですが、どのように作るかという具体的な指示を無視してしまうことがよくあります。野菜を使うように頼まれたのに肉を使ったり、1行で済ませるように頼まれたのに段落を書いてしまったりすることがあります。古いテストでは、食べられるかどうか（コードが動作するか）だけをチェックしており、シェフが注文を聞いたかどうかをチェックしていなかったため、これらを見逃していました。

解決策：C3-Bench（「指示遂行」テスト）
この問題を解決するために、チームはC3-Bench（Controllable Code Completion Benchmark）と呼ばれる新しいテストを作成しました。これは、より厳格な料理コンテストだと考えてください。

単に足りない部分のコードを求めるのではなく、C3-Benchのすべてのテストには、具体的で詳細な指示が付随しています。彼らはこれらの指示を、主に2つのカテゴリーに分類しました。

「やり方」の指示（実装制御 / Implementation-Control）：
- 比喩： 「橋を架けて。ただし、梁（はり）構造ではなく、吊り橋のデザインを使わなければならない。」
- AIは、コードが正しく動作するだけでなく、特定のスタイル、アルゴリズム、または構造に従って記述しなければなりません。例えば、「特定のソート手法を使ってこのリストをソートせよ」や「特定の方法でエラーを処理せよ」といった具合です。
「サイズ」の指示（規模制御 / Scale-Control）：
- 比喩： 「正確に10単語の文章を書け」や「正確に3文の段落を書け」。
- AIは、厳格なサイズ制限（例：正確に5行のコード、あるいは特定のロジックのブロックなど）に適合するようにコードを生成しなければなりません。

彼らが発見したこと
チームは、40種類以上の異なるAIモデル（無料のオープンソースモデルと、高価なクローズドソースモデルの両方）をこの新しいテストで検証しました。その結果、以下のことを発見しました。

「自信過剰な」オープンソースモデル： 古いテストでは、多くの無料のオープンソースAIモデルは、高価なトップティアのモデルと同等の性能を示していました。しかし、この新しいC3-Benchにおいては、彼らは著しく苦戦しました。彼らは古いテストを「暗記」してはいたものの、複雑な指示に従う能力は実際には持っていなかったことが判明したのです。彼らは、答えの鍵を暗記しているが、ひねりのある新しい問題には解けない学生のようなものでした。
ギャップ： 「コードを動かすことができる」モデルと、「指示通りに正確にコードを動かすことができる」モデルの間には、巨大な隔たりがあります。最も賢く高価なモデルでさえ、「サイズ」の指示（例：正確に正しい行数で書くこと）に苦労することがありました。
修正策： 著者たちは単に問題を指摘しただけではありません。彼らは解決策を構築しました。AIがコードを書き、かつ特定の指示に従うという、数千もの新しい学習例を自動生成するパイプラインを作成しました。彼らはこのデータを使用して、彼らの新しいモデルであるQwen2.5-Coder-C3を訓練しました。
結果： この新しいモデルは、指示に従う能力において最高峰となり、新しいテストにおいて他のほぼすべてのモデルを打ち負かしつつ、従来のテストでも優れた性能を維持しました。

まとめ
この論文は、実世界の利用において真に重要な、AIのコーディングスキルを測定する新しい方法を提示しています。それは、**「AIは指示を聞けるか？」**ということです。

彼らは、現在の多くのAIモデルが、正しい音符を奏でてはいるものの、指揮者のテンポ変更を無視してしまう才能あるミュージシャンのようなものであることを見出しました。新しいベンチマークを作成し、指示をより良く聞くようにモデルを訓練する方法を開発することで、著者たちは、単にコードを書くだけでなく、ユーザーの具体的で詳細なニーズに応じて「正しい」コードを書くAIツールを構築するための手助けをしています。彼らは、自分たちのすべてのデータとモデルを、他者が利用し改善できるように公開しています。

技術要約: C3-Bench: コードLLMにおける制御可能なコード補完の評価と達成

問題提起

大規模言語モデル（LLM）はコード補完能力を大幅に進化させてきたが、現在の評価手法は実用的なソフトウェアエンジニアリングのシナリオに対して不十分なままである。従来のベンチマーク（HumanEval、CrossCodeEval、SAFIMなど）は、主にコンテキストに基づく生成されたコードの機能的正確性を、ユニットテストや類似度指標を用いて評価している。しかし、これらはLLMによるプログラミング支援における極めて重要な側面、すなわち、補完プロセス中にきめ細かなユーザー指示に従う能力をほとんど見落としている。現実の開発において、開発者は単に正しく機能するだけでなく、特定の実装制約、構造的要件、またはスコープの制限を遵守したコードを生成することをモデルに要求することが頻繁にある。コード補完におけるこの「指示追従（instruction-following）」能力を厳密に評価するベンチマークの欠如は、ベンチマークの性能と実用的な有用性の間に乖離を生じさせている。

手法

1. 制御可能なコード補完（C3）の定義

著者らは、従来のタプル $(P, S, G, T)$ （Prefix: 接頭辞、Suffix: 接尾辞、Ground Truth: 正解、Unit Test: ユニットテスト）を、 $I$ (Fine-Grained Instruction: きめ細かな指示) を含む形へと拡張し、**制御可能なコード補完（Controllable Code Completion: CCC）**という概念を導入した。このタスクは、モデルに対し、機能的正確性（ $T$ によって検証）と指示への適合性（ $I$ との整合性）の両方を満たすように、中間コード $G$ を生成させることを要求する： $M(P, S, I) \rightarrow G$ 。

2. C3-Benchの構築

Controllable Code Completion Benchmark (C3-Bench) は、HumanEvalおよびSAFIMから派生した2,195件の高品質なPythonタスクで構成されており、以下の4ステップの合成パイプラインを通じて強化されている：

中間コードの抽出: 抽象構文木（AST）を利用して論理的に完全なコードブロックを抽出し、ノードをマスクすることで多様な中間セグメントを作成する。
等価な実装の生成: 指示への適合性をテストするために、同一のコンテキストに対して複数の機能的に等価な実装を生成する。
データフィルタリング: コードの可読性（PEP8）、適切な長さ、および有意な実装の多様性を確保する。
指示の生成:
- 実装制御補完 (Implementation-Control Completion: ICC): 特定の実装戦略（例：アルゴリズム的アプローチ、制御フロー、データ構造）を要求するタスク。ユニットテストを含む1,286のインスタンスが含まれる。
- スケール制御補完 (Scale-Control Completion: SCC): 正確なスコープ制限（例：特定の行数、ステートメントブロック）内でのコード生成を要求するタスク。構造的な適合性に焦点を当てた、ユニットテストを伴わない909のインスタンスが含まれる。

3. 評価指標

Pass@1: ユニットテストを通じて機能的正確性を測定する（ICCのみ）。
指示追従率 (Instruction-Following Rate: IF): 特定の要件への適合性を測定する。これは機能的に正しいケースに対してのみ評価される。
編集類似度 (Edit Similarity: ES): 事前的な品質検証のための静的解析指標。
自動判定: Claude3.5-Sonnetを用いたLLMベースのシステムが、人間の専門家との一致率98%で指示への適合性を検証する。

4. モデル学習 (Qwen2.5-Coder-C3)

指示補完のための学習データの不足に対処するため、著者らは自動合成パイプラインを開発した：

シード生成: Claude3.5-Sonnetを使用して、1,000組の高品質なシードペアを作成した。
大規模合成: Qwen2.5-Coder-32B-Instructを活用し、GitHubのリポジトリから200,000組の指示補完ペアを生成した。
ファインチューニング: 合成されたデータを用いてQwen2.5-Coder-1.5Bおよび32Bのバリアントに教師ありファインチューニング（SFT）を適用し、Qwen2.5-Coder-C3 を作成した。

主な結果

1. 指示追従における性能ギャップ

40以上の主要なLLM（オープンソースおよびプロプライエタリの両方）の包括的な評価により、重大な限界が明らかになった：

オープンソース vs プロプライエタリ: オープンソースモデルは、従来の機能的正確性のベンチマーク（CrossCodeEval、RepoEvalなど）ではプロプライエタリなモデルと同等またはそれを上回ることが多いが、C3-Benchにおける指示追従能力においては大幅な性能差を示している。
指示への感度: プロンプトから指示を取り除くと、Pass@1はほぼ変化しない一方で、IF率は大幅に低下する。これは、現在のモデルが機能的な生成よりも指示への適合を本質的に優先していないことを裏付けている。
スケール制御の課題: モデルは特にスケール制御補完（SCC）タスクに苦戦しており、これはコードのスコープ制約に関する学習目的の限界を示唆している。

2. C3チューニングの有効性

Qwen2.5-Coder-C3 モデルは、C3-Benchにおいて**最先端（SOTA）**の性能を達成している：

ベースとなる指示チューニング済みモデルと比較して、IF率において大幅な向上を示した（例：32BモデルにおいてICCのIF率が+23.7%）。
従来のベンチマークで競争力のある性能を維持しつつ、スケール制御タスクにおいて主要なプロプライエタリモデル（GPT-4o、o1シリーズなど）を凌駕している。
これらの結果は、オープンソースモデルが既存の機能的ベンチマークに過学習しており、制御可能なシナリオにおける汎化性能が不足している可能性があることを示唆しているが、これはターゲットを絞った指示合成によって改善可能である。

3. 高度な能力との相関

C3-Benchにおけるモデルのランキングは、広範なコンテキスト理解を必要とするタスク（ExecRepoBench）や人間による好みの評価（Chatbot Arena-Coding）における性能と強い相関を示しており、指示追従能力がより広範なコード理解のプロキシ（代理指標）であることを示唆している。

重要性と主張

本論文は、C3-Benchがコード補完における初の指示ガイド型ベンチマークを提供し、現在の評価環境における決定的な盲点に対処していると主張している。その重要性は以下の点にある：

系統的な過大評価の露呈: 既存のベンチマークが、実用的かつ指示の多い開発シナリオにおいて、モデルの能力を系統的に過大評価していることを示したこと。
ギャップの解消: オープンソースのコードLLMは、強力な機能的性能を持つにもかかわらず、指示への適合においてプロプライエタリなモデルに遅れをとっていることを特定し、これはターゲットを絞ったデータ合成によって埋めることができることを示したこと。
オープンソース開発の推進: 指示補完データを合成するための簡潔で再現可能なパイプラインを提供し、プロプライエタリなデータに依存することなく、コミュニティがオープンソースモデルを強化できるようにしたこと。

著者らは、将来の研究は、現実世界のソフトウェアエンジニアリングアプリケーションにおける信頼性と制御可能性を確保するために、コードLLMにおける指示追従能力を優先すべきであると結論付けている。さらなる研究を促進するため、すべてのコード、データセット、およびモデルはオープンソースとして公開されている。