Specification-first convergence with an AI coding agent: a case study of dismantling a core architectural invariant across 189 files in a 717k-line codebase with no test oracle and no human code review

あなたは、超高性能なロボットに家の建て方を教えようとしていると想像してください。通常、そのロボットはレンガを一つ積んだり、壁を一枚塗ったりすることは得意です。しかし、もし家がすでに住み続けられている状態で、基礎全体を設計し直すように頼むと、混乱してしまうことがあります。誤って耐力壁を壊してしまったり、キッチンがダイニングルームとつながっている必要があることを忘れてしまったりするのです。コンピュータサイエンスの世界では、これを大規模なコードベースの「リファクタリング」と呼びます。現在、研究者たちが問いかけている大きな疑問は、「AIエージェントは、人間という上司が一行一行をチェックすることなく、この巨大で危険な仕事を自分自身でやり遂げられるのだろうか？」ということです。

この課題を理解するために、コンピュータプログラムを、巨大で複雑な時計仕掛けの機械だと考えてみてください。その内部には「不変条件（インバリアント）」が存在します。これらは、「メインのスプリングは常に巻かれていなければならない」や「時計の針は決して逆方向に飛んではならない」といった、歯車を回し続けるための破れないルールです。ほとんどのAIコーディングツールは、ネジの緩みを直すことは得意ですが、時計の仕組み全体を書き換えて時間を刻む機能を壊してしまうような作業には向いていません。彼らは通常、肩越しに人間が監視し、「待って、それはダメだ！」と言ってくれる必要があります。しかし、人間は疲れますし、巨大な時計の全貌を一度に頭の中に保持し続けることもできません。この論文は、新しい働き方を模索しています。それは、ロボットの仕事が終わった後にチェックするのではなく、ロボットが歯車に触れる前に、完璧で詳細な「取扱説明書」を書くことを強制するという方法です。そして、そのマニュアルと機械が完全に一致するまで、ロボットに自分の仕事をマニュアルと照らし合わせて何度も何度もチェックさせるのです。

「ゴースト」パネルの物語

この論文は、ある特定の、極めて重要度の高い実験の物語を伝えています。そこでは、単一のAIエージェントが、大規模なソフトウェアプログラムに対して「手品」を披露するよう求められました。そのプログラムは、717,725行におよぶアプリケーション（およそ72万ページの指示書がある図書館を想像してください）であり、AIコーディングアシスタントとして機能していました。課せられた任務は、そのソフトウェアが初日から守ってきた根本的なルールを打破することでした。そのルールとは、「AIの作業画面を閉じたら、AIは思考を停止しなければならない」というものです。

目標は、このルールを変更し、もし画面を閉じても、AIがバックグラウンドで動き続けられるようにすることでした。まるで「ゴースト（幽霊）」のようにです。そして、再び画面を開いたとき、AIは一言も失うことなく、また同じことを繰り返すこともなく、中断した箇所から即座に会話に「再接続」しなければなりません。作者である人間の開発者は、これが非常に複雑でリスクが高い作業であるため、唯一安全な方法は、古いコードをすべて捨ててゼロから書き直すことだと信じていました。

「仕様ファースト」プロトコル

すべてを書き直す代わりに、著者は「仕様ファースト収束（Specification-First Convergence）」と呼ばれる手法を用いました。これは、非常に厳格な審判がいる「伝言ゲーム」のようなものですが、その審判はAI自身です。

1. 計画： 人間はAIに対し、自然言語による単純な要求を与えました。「ウィンドウを閉じてもAIが動作し続けるようにしてください」。
2. 設計図： AIはすぐにコーディングを始めませんでした。その代わりに、どのように変更が行われるかを最小の細部に至るまで記述した、55ページに及ぶ膨大な形式的「仕様書（設計図）」を作成しました。
3. 監査（洗練）： ここで魔法が起こりました。AIは、自身の設計図を既存の実際のコードと14回照合するよう求められました。各ラウンドにおいて、AIは自分自身の計画にある間違いを見つけ出しました。「あ、バックグラウンドのプロセスを停止するための新しいボタンが必要なのに、忘れていた」「ウィンドウが閉じている間にAIが思考している場合の処理を考慮していなかった」といった具合です。AIは、コードを一行も書く前に、設計図を14回書き直し、計画の中の約85個のエラーを修正しました。
4. 構築： 設計図が「凍結（固定）」されたとき（つまり、完璧であり、もはや変更されない状態になったとき）、AIはコーディングを開始しました。AIは単にファイルを作成しただけでなく、189個の異なるファイルに対するパッチ（小さな更新）を作成しました。
5. ダブルチェック（検証）： これが最も重要な部分でした。AIは、自身の新しいコードを読み、それを凍結された設計図と17回比較するように求められました。AIは、微細なアーキテクチャ上の不具合や論理的な穴など、116個のさらなるエラーを発見し、修正しました。AIは、2回連続でミスが見つからなくなるまで、この作業を繰り返しました。

結果：幽霊にならずに済むゴースト

プロセス全体には3日間を要し、コンピュータの処理費用として2,430ドルがかかりました。結果はどうだったでしょうか？AIは、189個のファイルにわたってソフトウェアの核となるルールを解体することに成功しました。しかも、人間が生成されたコードを一度も目視することなくです。

最後に人間がプログラムを実行したとき、それは完璧に動作しました。ウィンドウを閉じ、バックグランドでAIが動き続けているのを確認した後、再びウィンドウを開くと、言葉が失われたり重複したりすることなく、会話が即座に再開されました。ソフトウェアは設計図が約束した通りに動作したのです。著者は、コードが非常にクリーンであったため、後に小さなインターフェースの調整が必要になった際も、わずか一つのファイルを変更するだけで済んだと述べており、これはAIが構造を整理された状態に保つことに成功したことを示唆しています。

これが意味すること（および意味しないこと）

この論文は、非常に困難でリスクの高いソフトウェア変更において、すべての間違いをキャッチするために人間のレビュアーに頼る必要はないかもしれない、ということを示唆しています。代わりに、AIに、凍結された標準に対して自身の計画と自身のコードを、何度も、厳格に、自らチェックさせるという方法が使えるのです。

しかし、この論文は自らの主張について非常に慎重です。これはあくまで、特定のコードベースにおける、たった一つの特定のタスクに関するものであると認めています。これがすべてのAIや、あらゆる種類のソフトウェア問題に対して機能することを証明するものではありません。また、コードが非公開であるため、他の誰も全く同じ実験を行い、同じ結果が得られるかどうかを確認することはできないとも述べています。しかし、概念実証（プルーフ・オブ・コンセプト）として、この論文は、AIが綿密に計画を立て、繰り返し自らを監査することを強制されれば、人間が「フルリライトなしでは触れるのが危険だ」と考えるような巨大なソフトウェアシステムに対して、「外科的な」手術を行うことができるということを示しています。