Context-Augmented Code Generation: How Product Context Improves AI Coding Agent Decision Compliance by 49%
本論文は、コードベースのみのアクセスと比較して製品コンテキスト検索システム（Brief）を AI コーディングエージェントに追加することで、チーム固有の製品決定への準拠度が 49 ポイント向上し、現実的なソフトウェアエンジニアリングタスクにおいて 95% の準拠を達成することを示す制御されたベンチマークを導入する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたの会社のウェブサイト向けに新機能を開発するために、非常に優秀で超高速な見習いプログラマーを雇ったと想像してください。この見習い（AI）は、あなたがこれまでに書いたすべてのコードの行を読み、あなたのコンピュータの仕組みを理解し、クラッシュせずに実際に動作する新しいコードを書くことができます。
しかし、ここに問題があります：この見習いは、あなたの会社の不文律を知らないのです。
実際のオフィスでは、チームごとにコーディングに関する「秘密の合図」のようなものがあります。「もうあの特定のカレンダーウィジェットは使わないことになっている」「データをエクスポートするたびに、セキュリティ監査のためにログを記録しなければならない」「テストは常に、テスト対象のコードのすぐ隣に配置する」といったルールかもしれません。これらのルールはコード自体には書かれておらず、会議の議事録、設計ドキュメント、あるいはチームの集合的記憶の中に存在しています。
この文脈がなければ、優秀な見習いは技術的にはコンパイルは通るものの、チームの最も重要なルールに違反する機能を作ってしまう可能性があります。それは、建築家が都市に特定のゾーニング規制があることを知らなかったために、間違った種類のレンガで美しい家を建ててしまうようなものです。
実験：2 つのアプローチ
この論文の著者らは、AI にこれらの「不文律」へのアクセス権を与えることが役立つかどうかを確認するため、テストを設計しました。彼らは「ダークモードのトグルを追加する」や「検索バーを作成する」などの 8 つのタスクを含む、コードリポジトリというシミュレーションされたオフィス環境を作成しました。これらのタスクには、AI が満点を取るために従う必要がある 41 の特定の「罠」やルールが隠されていました。
彼らは 2 つのバージョンの AI をテストしました。
- 「コードのみ」の見習い（ベースライン）: この AI にはコードファイルが与えられ、「これを作成せよ」と指示されました。この AI は既存のコードパターンを見て、ルールを推測しなければなりませんでした。
- 「文脈を考慮した」見習い（拡張版）: この AI にも同じコードファイルがありましたが、さらに「会社の手引き書（Briefと呼ばれる）」を持っていました。この AI は 1 行のコードも書く前に、「私たちのデザインルールは何ですか？」や「顧客はどのような不満を述べていますか？」といった質問をすることができました。また、構築を始める前に、ステップバイステップの計画（仕様書）が作成されていました。
結果：劇的な飛躍
その差は劇的でした。
- 「コードのみ」の見習いは、ルールを**46%**の割合で守るに留まりました。目に見えないルールを見逃すことがよくありました。例えば、あるタスクでは、コードを見てページネーション用のヘルパー関数を見つけ、「ああ、これはもう完了している！」と判断し、ゼロ行のコードしか書きませんでした。これは、現在のページネーションが壊れており、特定の修正が必要であるという事実を見逃していました。
- 「文脈を考慮した」見習いは、ルールを**95%**の割合で守りました。「手引き書」を確認することで、どのウィジェットを使用すべきか、どのセキュリティログを追加すべきか、コードをどのように構成すべきかを正確に把握していました。
大きな勝利: 文脈を考慮したバージョンは、コンプライアンスを49 ポイント向上させました。
なぜそうなったのか：「目に見えない」ルール対「目に見える」ルール
この論文は明確なパターンを見つけました。
- 目に見えるルール: ルールがコード内のコメントに書かれていた場合（例：「セキュリティにはこの関数を使用すること」）、両方の見習いがそれを発見し、100% の割合で従いました。
- 目に見えないルール: ルールが製品ドキュメントにのみ記載されていた場合（例：「機能フラグには PostHog を使用しているが、コードには含まれていない」）、コードのみの見習いは**0%**の割合で正解しました。一方、文脈を考慮した見習いは、開始前にルールを参照したため、**100%**の割合で正解しました。
ルールを「知っている」ことだけがすべてではない
この論文はまた、文脈を考慮した AI が単にルールを「参照」しただけではなく、異なる方法で作業したことも指摘しています。コーディングを行う前に、要件のチェックリストを含む詳細な計画（仕様書）を作成しました。また、「構築中の相談」機能を持ち、作業中に一時停止して「私はこれを正しく行っていますか？」と尋ねることができました。
著者らは、成功のどの部分が情報の保有に由来し、どの部分がより良いワークフローに由来するかを完全に分離することはできないと認めています。しかし、データは強く、正しい情報（製品コンテキスト）を有することが、他の AI が見抜けなかった問題を解決する鍵であることを示唆しています。
「正解」であることの代償
興味深いことに、文脈を考慮した AI は、手引き書を読み計画を作成する時間を費やしたため、実行コストがわずかに高くなりました（API 料金は約 28% 増）。しかし、メインプロジェクトにすぐにマージ可能なコードを生み出したため、成功したタスクあたりのコストは実際には 68% 低下しました。
コードのみの AI は 1 回あたりの試行コストは安かったものの、人間が修正や書き直しを必要とするコードを生み出したため、長期的にはより高価になりました。文脈を考慮した AI は、より多くのコードとテストを作成し、廃止されたパターンを回避したため、100% の割合で「マージ準備完了」の状態でした。
結論
この論文は概念実証です。それは、AI コーディングエージェントがプロフェッショナルなチームで真に有用であるためには、コードを読むだけでは不十分であることを示しています。彼らには、コードファイルの外に存在する組織的な知識へのアクセスが必要です。つまり、意思決定、顧客の不満、デザインの好み、そしてセキュリティルールです。
AI に「全体像」を与えることで、AI は推測を止め、チームが実際に必要としているものを正確に構築し始めるのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。