技術概要：Code-QA-Bench

問題定義

HumanEval、MBPP、SWE-Bench などの現在の AI コーディングエージェント向けベンチマークは、主にコード生成や課題解決に焦点を当てています。パッチ生成の測定には効果的ですが、既存のコードベースの理解、制御フローの追跡、機能の特定、動作の説明といったコード理解能力を十分に評価できていません。真のコード推論とドキュメントの想起や事前学習による暗記を区別する上で、決定的なギャップが存在します。既存のリポジトリレベルの QA ベンチマークは、完全なドキュメントが整備されたリポジトリのエージェントを評価することが多く、エージェントが実際にコードを読んでいるのか、それともトレーニングデータや提供されたドキュメントから情報を想起しているのかを判断することが困難です。

手法

Code-QA-Bench は、ドキュメントや暗記からコード理解を分離するリポジトリレベルの QA ベンチマークを合成するために設計された、完全自動化されたフレームワークを導入します。このフレームワークは以下の 4 つの中核原則に基づいて動作します。

1. 3 条件実験デザイン

コードアクセス、ドキュメント、暗記の具体的な寄与を定量化するため、各タスクは 3 つの異なる条件下で評価されます。

• クローズドブック: エージェントはリポジトリへのアクセスなしに質問のみを受け取ります。これは事前知識と暗記を測定します。
• コードのみ: エージェントは、すべての自然言語コンテンツ（docstrings、コメント、README、ドキュメントファイル）を除去したリポジトリにアクセスできます。これは純粋なコード構造に基づく推論を測定します。
• ドキュメント付き: エージェントは、すべてのドキュメントを含む完全なリポジトリにアクセスできます。これはドキュメントによって強化されたコード推論を測定します。

主要な指標は、これらの条件間の差分から導き出されます。

• コードのみ - クローズドブック: 暗記を超えたコード読解の真の寄与。
• ドキュメント付き - コードのみ: コード理解に対するドキュメントの有効性。

2. ドキュメント除去（環境レベルの制御）

コード構造に基づく推論を強制するため、フレームワークは各リポジトリの「コードのみ」バージョンを、プログラム的に以下の要素を除去することで作成します。

• Docstrings: AST を介して識別され、構文を維持するために pass を挿入して削除されます。
• コメント: 行全体のコメンとインラインコメントが削除または短縮されます。
• ドキュメントファイル: docs/、doc/ などのディレクトリ、および README*、*.md、*.rst などのファイルが削除されます。
  重要なのは、実行可能コード、インポート、型注釈、文字列リテラルは保持され、識別子からの意味論的シグナルが維持されることです。

3. 回答優先タスク生成

以前の手法がまず質問を生成するのとは異なり、Code-QA-Bench は回答優先パイプラインを採用します。

1. チャンク選択: ドキュメントチャンクを抽出し、コンテンツの質、コード参照、構造的シグナルに基づいてスコアリングします。
2. ゴールド回答生成: ツールを備えたエージェントがソースコード（read_file、list_directory、search_code を使用）を探索し、検証済みの「ゴールド回答」を生成します。エージェントは、ドキュメントよりも少なくとも 1 レベル深く追跡し、テキストに存在しない事実を含めることが求められます。
3. 検証: 「コードのみ監査」により、ゴールド回答にドキュメントからのみ回復可能な主張が含まれていないことを確認します。主張がドキュメント依存である場合、削除または書き換えられます。
4. 質問導出: 検証済みのゴールド回答から自然言語の質問を導出し、タスクが実際のコード構造に基づいていることを保証します。

4. 二重タスクセット

ベンチマークは 2 つの異なるタスクセットを生成します。

• コード導出可能タスク（528 タスク）: ゴールド回答がコード構造のみから回復可能であることが検証されています。これらのタスクは設計を検証します（コードのみ ≈ ドキュメント付き を期待）。
• ドキュメント依存タスク（100 タスク）: ゴールド回答はドキュメントのみから生成され、完全に回答するには意図的にドキュメントが必要です。これらのタスクはドキュメントの有効性を定量化します（ドキュメント付き > コードのみ を期待）。

5. 評価

タスクは、GPT-5.4 による LLM ジャッジが 0〜5 点のスケールで、以下の 3 つの軸に基づいてスコアリングされます。

• 正確性: 事実主張の正しさ。
• 完全性: ルーブリックの主要なポイントの網羅性。
• 具体性: 特定のファイル、関数、またはコードパターンへの言及。
  最終スコアは、これら 3 つの軸の正規化された平均値です。

主要な結果

実験は、SWE-Bench から 10 の Python リポジトリを対象に、4 つの最先端モデル（Claude Opus 4.6、DeepSeek-V4-Pro、Kimi-K2.6、Gemini-3.1-Pro）に対して実施されました。

1. コードアクセスが決定的要因

コードベースへのアクセスは、暗記に比べて大幅な性能向上をもたらします。コードのみ から クローズドブック への平均的な向上は +0.23 であり、ドキュメントが提供する向上の 3 倍です。これは、コードを読むことが、事前知識のみよりも理解に著しく大きく寄与することを確認しています。

2. ドキュメントは modest で測定可能な有用性を提供

ドキュメント依存タスクにおいて、ドキュメントへのアクセスは一貫して統計的に有意な改善をもたらします（ドキュメント付き - コードのみ = +0.071、p < 0.003）。これは、コード構造がエージェントに回答の多くを推測させる一方で、ドキュメントは完全性と正確性を向上させる重要な詳細（設計の根拠、エッジケースなど）を提供することを示唆しています。

3. 実験デザインの検証

コード導出可能タスクにおいて、コードのみ と ドキュメント付き の条件間の性能差は無視できるほど小さく（∆ ≈ +0.007）、ほとんどのモデルで統計的に有意ではありませんでした。これは手法を検証するものです。フレームワークはドキュメントが不要なタスクを正常に分離しており、ドキュメント依存タスクで観察された利益は、評価設定のアーティファクトではなく真の有用性であることを証明しています。

4. モデル固有の知見

• 暗記: モデルはクローズドブック条件で 0.56〜0.68 のスコアを記録し、よく知られたライブラリに対する顕著な事前学習による暗記を示しています。
• 推論対想起: DeepSeek-V4-Pro は コードのみ と クローズドブック の間で最大の差（+0.450）を示し、パラメトリックな想起よりもアクティブなコード探索への依存度が高いことを示唆しています。
• カテゴリ分析: 「なぜ（Why）」の質問が最大のドキュメント差を示すという仮説とは異なり、「どこ（Where）」の質問（機能の特定）がコード導出可能タスクで最も顕著なデルタを示しました。これは、ドキュメントがナビゲーションインデックスとして機能することを示唆しています。

意義と主張

本論文は、Code-QA-Bench が以下の点で AI コーディングエージェントの評価における必要な方法論的転換を提供すると主張しています。

1. 理解と暗記の分離: エージェントがコード読解に依存しているのか、トレーニングデータやドキュメントの想起に依存しているのかを定量的に測定する方法を提供します。
2. 環境レベルの制御: 質問をフィルタリングするのではなく、リポジトリレベルでドキュメントを除去することで、エージェントにコード構造への関与を強制し、既存のベンチマークにおける「汚染」問題に対処します。
3. 自動化と再現性: パイプラインは完全自動化されており、リポジトリに依存せず、文書化された任意の Python リポジトリに適用可能です。これにより、モデルの進歩に伴う継続的なベンチマーク更新が可能になります。
4. 診断的価値: 3 条件デザインは、生成のみのベンチマークでは見逃される診断シグナル（具体性の飽和、暗記レベルなど）を提供し、エージェントの能力をよりニュアンス豊かに捉えます。

著者らは、最先端モデルが強力なコード構造リーダーである一方で、ドキュメントの modest だが一貫した利益は、AI エージェントにとって文書化されたコードベースの重要性が継続していることを浮き彫りにすると結論付けています。このフレームワークはオープンソースであり、評価ツールであると同時に、検証済みのトレーニングデータの源としても機能します。