Do Context Files Help Coding Agents? A Two-Agent Ablation Study on Real Repositories
本論文は、永続的なコンテキストファイル（例：AGENTS.md）は、失敗の原因がリポジトリ知識の欠如ではなく実装スキルの不足に起因するため、コーディングエージェントの正確性を測定可能なレベルで向上させないことを示す制御されたアブレーション研究を提示し、また、エージェント固有のタスク難易度の変動を通じて、先行する矛盾した知見についても説明するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
デジタル司書 vs. マスター・ビルダー（熟練の建築家）
あなたは、巨大で散らかった作業場の中で、複雑な機械を修理する方法を、非常にスマートだが新人であるロボット助手에게 教えようとしていると想像してください。あなたには、彼を助けるための2つの主な方法があります。第一に、作業場の詳細な地図、道具の使い方に関するルールのリスト、そしてその機械が通常どのように動作するかというガイドを与えることができます。コンピュータープログラミングの世界では、これは「コンテキスト・ファイル」（AGENTS.md や CLAUDE.md と呼ばれることが多い）と呼ばれます。これは、ロボットの机の上に置かれた、「ここでは常に赤いネジを使用します！」と書かれた付箋のようなものです。
第二に、ロボットをただ作業場の中に放り込み、機械そのものを見て、自分でやり方を理解させる方法です。
長い間、AIコーディングアシスタントを開発している人々は、最初の選択肢に夢中になってきました。彼らは、もしロボットがルールをより良く「知って」いれば、より優れたコードを構築できると信じて、これらの指示書を書き上げるために何時間も費やしてきました。しかし、ここで大きな疑問が生じます。マニュアルを読むことは、本当にロボットをより優れたビルダー（建築家）にするのでしょうか？ それとも、単にロボットに自信を持たせるだけで、結局は同じ間違いを犯させているだけなのでしょうか？ これが、新しい研究が解き明かそうとした謎です。この研究は、これらのデジタル指示書がAIコーディングを向上させる魔法の鍵なのか、それとも単なる余計な紙切れに過ぎないのかをテストしました。
大規模マニュアル・テスト
この研究において、研究者たちは厳格な理科の先生のように振る舞いました。彼らは、現在利用可能な最もスマートなAIコーディングエージェントのうち2つ（Anthropic社のClaudeとOpenAI社のCodex）を取り上げ、一連の実世界のコーディング課題を与えました。これらは架空の宿題問題ではありませんでした。クラウド・ツールキットのバグ修正やコンパイラの微調整など、実際のソフトウェア・プロジェクトから取られた実際のタスクです。
「マニュアル」が役に立つかどうかを確認するために、彼らは各ロボットに対して同じタスクを3つの異なる方法で実行しました。
- 「メモなし」ラン： ロボットはタスクを受け取りますが、マニュアルはありません。
- 「常時オン」ラン： ロボットは、あらゆるステップにおいて、フルバージョンのマニュアルを脳内に詰め込まれた状態になります。
- 「オンデマンド」ラン： ロボットは、行き詰まった時に自分で選んで読むことができる、小さく整理されたノートのライブラリを持っています。
彼らは合計288回の実験を行い、最終的なコードを隠された「ゴールドスタンダード（黄金律）」のテストと照らし合わせ、それが実際に機能するかどうかを確認しました。
大きな驚き：マニュアルは「悪い建築」を直せない
結果は、マニュアルを書いている人々にとって衝撃的なものでした。研究によると、コンテキスト・ファイルがあっても、AIが仕事を正しく完了できるかどうかにほとんど差はありませんでした。
ロボットがマニュアルを持っていようと、ライブラリを持っていようと、あるいは何も持っていまいと、成功率はほぼ同じでした。Claudeロボットの場合、マニュアルによる結果の変化は10パーセントポイント以内でした。Codexロボットの場合も、15パーセントポイント以内でした。科学の世界では、これを「帰無結果（null result）」と呼びます。つまり、私たちが重要だと思っていたことが、実は重要ではなかったことを意味します。
研究者たちは、なぜマニュアルが役に立たなかったのかを突き止めるために、さらに深く掘り下げました。彼らは、ロボットが正解にあと一歩のところまで行ったのに失敗したケースを分析しました。その結果、ロボットはマニュアルにある事実（例えば「赤いネジを使わない」といったこと）を知らなかったから失敗したのではなく、**「構築スキル」**が欠けていたために失敗したことが分かりました。
例えるなら、もし天才的な建築家に家の完璧な設計図を与えたとしても、その人がレンガの積み方や照明の配線方法を知らないのであれば、設計図は彼らを救うことはできません。この研究のAIエージェントは、読むことは得意でしたが、「行う」ことにおいて躓いていました。彼らは、機能を設計したり、適切なパターンを選んだり、部品を正しく接続したりすることに苦戦していました。マニュアルは彼らに「どう作るか」を教えることはできず、「建物がどのような見た目であるか」を伝えることしかできなかったのです。
「万能ではない」というひねり
もう一つ、非常に興味深い発見がありました。研究者たちは、あるロボットにとって非常に簡単なタスクが、別のロボットにとっては極めて困難になることがあることに気づきました。それは、数学のパズルが得意な人もいれば、ジャグリングが苦手な人もいるという、個人の特性のようなものです。
このことから、本研究は、過去の研究が混乱していた可能性を示唆しています。もしある科学者が、タスクを簡単に感じているロボットに対してマニュアルをテストし、別の科学者が、タスクを難しく感じているロボットに対してテストした場合、彼らは異なる結果を得ることになるでしょう。マニュアルが実際に役立つかもしれない「スイートスポット（最適領域）」は、AIの脳ごとに異なっているようです。
マニュアルは少しでも役に立ったのか？
では、マニュアルは完全に無意味だったのでしょうか？ 全くそうではありません。その恩恵は非常に限定的で、かつ具体的でした。
- 速度とコスト： ある特定のプロジェクトでは、ロボットがマニュアルを持っている場合、不要で低速なテストの実行を停止しました。これは、ロボットが「このテストには20分かかります」という看板を読んで、それをスキップすることに決めたようなものです。これは時間を節約しましたが、コードをより「良く」したわけではありません。
- 「惜しいミス」のテスト： 研究者たちは、ロボットがもう少しで解けそうだったタスクを取り上げ、そこに高品質な本物のマニュアルを与えて、それが成功へと押し上げてくれるかどうかを試す特別な実験を行いました。しかし、結果は変わりませんでした。最高の指示書を与えられたとしても、ロボットは「惜しいミス」を「成功」に変えることはできなかったのです。
結論
本研究の結論は、テストされたAIコーディングエージェントにとって、完璧な指示書（AGENTS.md）を書くために何時間も費やすことは、おそらくより良いコードを書かせることには繋がらないということです。問題は、ロボットがルールを知らないことではなく、ソフトウェアを構築するという「実際の技術」を習得する必要があるということです。
これらのマニュアルは、ロボットが少し速く動いたり、悪い習慣を避けることでわずかなコストを節約したりする助けにはなるかもしれませんが、壊れたコードを直す魔法の杖ではありません。もしAIアシスタントをより優れたビルダーにしたいのであれば、本研究によれば、単に多くのルールを読ませるよりも、タスクを小さなステップに分解したり、構築方法のより良い例を与えたりする方が、より良い結果が得られるでしょう。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。