Code Agents under Split Specifications: An Empirical Study of Silent Failure in System Integration

ソフトウェアの世界では、異なるコンピュータシステムが仕事を完遂するために、互いに通信しなければならないことがよくあります。あるシステムは日付を「日・月」の順で送り、別のシステムは「月・日」の順を期待しているかもしれません。あるシステムは通貨をセント単位で数え、別のシステムはドル単位で数えるかもしれません。こうした小さな違いは、通常、謎ではありません。それらは、どこかの誰かが記録した「事実」なのです。問題が生じるのは、新しい種類の労働者である人工知能（AI）エージェントが、これら二つのシステムの間に橋渡しをするよう命じられたときです。これらのエージェントは、異なるプログラムを接続するためのコンピュータコードを書くことができる強力なツールです。しかし、彼らは単純なルールに従って動いています。それは、「与えられた指示書にある情報のみを使用できる」というルールです。もし指示書に、日付が「日・月」の順か「月・日」の順であるかが書かれていなければ、エージェントはその答えを知る術がありません。エージェントは、自ら選択を下さなければならないのです。

この状況における危険は、エージェントがクラッシュしたり動作を停止したりすることではありません。真の危険は、エージェントが完璧に動作し続けながら、間違った答えを出してしまうことにあります。これは「サイレント・フェイラー（静かな失敗）」と呼ばれます。コードはエラーなく実行され、基本的なテストをパスし、人間のレビュアーには正しく見えるものですが、実際には次のシステムへ誤ったデータを送ってしまうのです。これは企業や組織にとって重大な問題です。なぜなら、エラーが即座に表面化しないからです。代わりに、誤った数値が下流へと流れ込み、何かが壊れていると気づくずっと前に、記録や財務報告、そして意思決定を汚染していくのです。研究者が問いかけたのは単純なことでした。これらの知的なエージェントは、推測できない欠落した事実に直面したとき、立ち止まって助けを求めるのか、それとも自信満々に推測してシステムを破壊してしまうのか、という問いです。

ある研究者が、これが具体的にどの程度の頻度で起こるのかを測定するために調査を行いました。彼らは、AIエージェントが二つのシステムを接続するためのコードを書くという、一連の現実的なタスクを作成しました。いくつかのタスクでは、エージェントには「日付は日・月の順である」といった欠落した事実が明示的に与えられていました。一方、他のタスクではその事実は隠されており、エージェントは質問をしてその事実を見つけることが許されるか、あるいは質問せずにコードを書くことを強制されました。研究者は、これらを、小規模なオープンソースのプログラムから、現在利用可能な最も高度なシステムに至るまで、8種類の異なるAIモデルを用いてテストしました。研究者は単にコードが実行されるかどうかを見たのではなく、その欠落した事実に依存するトリッキーなシナリオを含め、あらゆる可能性において、コードが正しい答えを導き出せるかどうかを確認しました。

結果は、これらのシステムがどのように機能しているかについての厳しい現実を明らかにしました。エージェントに欠落した事実が与えられている場合、彼らは非常に高い成功率を誇り、約88パーセントの確率で正しい接続を構築できました。これは、必要な情報さえあれば、エージェントがその仕事を遂行できる能力を持っていることを証明しています。しかし、事実が隠されており、かつ質問することも禁じられている場合、状況は劇的に変化しました。エージェントは停止もしなければ、混乱していると告げることもありませんでした。代わりに、彼らは慣習を選び取り、コードを書き上げました。これらのケースの62パーセントにおいて、彼らが書いたコードは「サイレント・フェイラー」となっていました。コードはスムーズに実行され、完璧に見えましたが、誤った値を返していたのです。これは、モデルがいかに高度であっても同様でした。事実を与えられれば問題を完璧に解決できる最も強力なシステムであっても、質問を許されない状況では、およそ半分近い確率でサイレント・フェイラーを起こしたのです。

また、研究は、単にエージェントに質問することを許可すれば問題が解決するかどうかについても調査しました。研究者は、答えは「誰が聞き手になるか」に完全に依存するという結論に達しました。最も高度なモデルに質問が許可された場合、彼らはほぼすべての実行において質問を行いました。彼らは推測するのではなく、真実を追い求めたのです。しかし、もし誰も答える者がいなければ、統合プロセスは停滞します。作業は止まり、コードは生成されません。これは異なる種類の失敗ですが、やはり失敗です。研究者は、システムが機能するためには、エージェントの質問を人間や回答を提供できるパートナーシステムへとルーティングするように、パイプライン（エージェントを実行するプロセス）を設計しなければならないことを発見しました。単に通信経路が開いているだけでは不十分であり、質問に答えるための人員や体制が整っていなければ意味がないのです。

研究者はさらに、「欠落した事実を知らない場合は、コードの作成を拒否せよ」という安全ルールについてもテストしました。このルールは、サイレント・フェイラーをほぼゼロにまで抑えることに成功し、エラー率を劇的に減少させました。しかし、それには重い代償が伴いました。エージェントは、利用可能な情報から答えを導き出すことができた場合であっても、コードの作成を拒否したのです。これにより、システムは容易に解決できたはずのタスクに対しても動作を停止してしまい、成功率は81パーセントから18パーセントへと低下しました。研究の結論は、エージェントをより賢くしたり、より慎重になるよう強制したりすることではない、というものでした。解決策は、プロセス自体の設計にあります。組織の境界を越えて事実が欠落していることを検知し、その質問を回答可能な人間やシステムへとルーティングできるように、システムを構築しなければなりません。この具体的な配線がなければ、どれほど有能な人工知能であっても、間違った場所へと続く橋を自信満々に築いてしまうことになるのです。