Engineering Reliable Coding Agents: Evaluating and Operating the System Around the Model

あなたは、ロボットの助手がおもちゃの修理をしているマジックショーを見ていると想像してください。ロボットがドライバーを手に取り、ネジを回すと、おもちゃが動き出します。まるでそのロボットが天才であるかのように見えます。しかし、もしそのロボットはただ推測していただけで、おもちゃが動き出したのは、内部に隠れていたバネが偶然元の位置に戻ったからだとしたらどうでしょう？あるいは、もしそのロボットが目の前にある壊れたおもちゃではなく、去年のそのおもちゃの写真を眺めていたとしたら？コンピュータサイエンス、特に人工知能（AI）とソフトウェアエンジニアリングの分野において、私たちはこうした「コーディング・エージェント」と呼ばれる、コードを書き、修正するロボット・アシスタントを構築しています。長い間、人々はロボットの「脳」であるAIモデルこそが最も重要であると考えてきました。脳が賢ければ、ロボットは信頼できるものだと。しかし、この論文は、脳はもっと大きな機械の一部に過ぎないのだと主張しています。本当の魔法（あるいは本当の災厄）は、脳を取り巻く「システム」の中で起こるのです。つまり、それが使うツール、保持するメモリ、通過する安全チェック、そしてそれを見守る人間です。もしシステムが乱雑であれば、どんなに賢い脳であっても失敗し、もしシステムが堅牢であれば、より単純な脳でも驚くべきことを成し遂げることができます。

ステファニー・ジャーマックによって書かれたこの論文は、こうしたAIコーディング・システムを構築するための、巨大な修理マニュアルであり、探偵のガイドブックのようなものです。著者は2026年7月から8月にかけて、数百の研究、実際のエンジニアリング・ログ、そして自身の実験を分析するという構造化されたレビューを行いました。主な知見は、一種の警鐘を鳴らすものです。**「AIコーディング・エージェントを、その最終スコアや『脳』だけで判断してはならない」ということです。代わりに、その周囲にある「ハーネス（装着具）」全体を見なければなりません。論文は、「信頼性依存チェーン（reliability dependency dependency chain）」**という概念を導入しています。これはドミノ倒しのようなものだと考えてください。もし最初のドミノ（成功の定義の仕方）がぐらついていれば、二番目のドミノ（採点システム）が倒れ、それが三番目（リカバリー計画）を倒し、といった具合に連鎖します。このチェーンのどこか一箇所でも弱ければ、たとえAIがいかに賢くても、システム全体が信頼できなくなります。

この論文は、あらゆる問題を解決するために、単にAIモデルをより大きく、より賢くしていけばよいという考え方に異を唱えています。著者は、多くの「失敗」は実際にはAIのせいではなく、その周囲のシステムによって引き起こされていると示唆しています。例えば、AIにタスクを与えたものの、システムが適切なファイルを読み込めるように提供していなければ、AIは失敗します。これはAIの責任でしょうか？いいえ、システムの責任です。また、論文は「システムのゲーミング（不正操作）」についても警告しています。もしAIを、すでに見たことのあるパズルのセットでテストすれば、完璧なスコアを出すかもしれませんが、それはAIが「新しい」パズルを解けることを意味しません。著者は、多くの公開スコアが、AIが答えを「暗記」してしまったか、あるいはテストが十分に厳格ではなかったために、膨れ上がっていることを示しています。

これを解決するために、論文はエージェントの構築とテストに関する新しい方法を提案しています。それは「完璧な」AIモデルを見つけることではなく、**「堅牢な工場」**を築くことです。ロボットが車を組み立てる工場を想像してください。もしロボットが部品を落としたら、工場は単にそれが起こらなかったかのように振る舞うべきではありません。部品の落下を検知し、記録し、車を壊すことなく再試行できるシステムが必要です。論文は、システムが安全であることを保証するための、206項目の「信頼性レコード（reliability records）」、つまりルールとツールのチェックリストを提供しています。これらには以下のようなものが含まれます：

• テストの複数回実行： コインを一度投げるだけでは、それが公平かどうかは分かりません。AIを一度実行するだけでは、それが信頼できるかどうかは分かりません。一貫性を見るためには、何度も実行する必要があります。
• ツールの検証： AIが本来持つべきではないツールを使っていないか、あるいは使用しているツールが実際に機能しているかを確認すること。
• 人間の監視： 人間が作業をチェックするのですが、人間がオーバーロードしないよう、適切なタイミングで行うこと。
• 安全なリカバリ： AIがクラッシュしたりミスをしたりした場合、進捗を失ったりさらなる被害を与えたりすることなく、システムが再起動できること。

著者は、すべてを「解決した」と言い切ることは非常に慎重に行っています。彼女は、自身のアイデアのいくつかが実験による強い証拠に基づいている一方で、他のいくつかは、災害を避けるためにシステムが「どうあるべきか」という論理的な推論に基づいていることを認めています。彼女は、自身のルールが世界中のあらゆるAIに対して機能すると主張しているのではなく、エンジニアが自分たちのシステムをテストするための強固なフレームワークを提供しているのです。彼女は、もしAIに銀行や病院のコードを書かせたいのであれば、単にテストスコアを見るだけでは不十分であることを強調しています。機械全体を見、ドミノをチェックし、システムがミスを安全に処理できるように構築されているかを確認しなければならないのです。

要約すると、この論文は、信頼できるAIコーダーを構築することは、超天才的なロボットを見つけることよりも、その周囲に超信頼できる工場を築くことに近いということを伝えています。これは、エンジニアが推測することをやめ、測定を開始し、AIが「直しました」と言ったとき、それが本当に「直しました、そしてそれを証明できます」という意味であることを保証するためのガイドです。論文は、AIコーディングの未来は、単に賢い「脳」についてではなく、それを取り囲む、より賢く、より安全で、より誠実な「システム」についてであると結論付けています。