Closing the Verification Loop in Generative Development: An External Transactional State Machine and a Field Evaluation of Its Economics and Convergence
本論文は、再現可能で二重検証された準備基準を強制するために外部のトランザクション状態マシンを実装することが、生成的な開発を、オープンループの意見ベースのプロセスから、多様なモデル間で機能的同等性を達成し、最終的には総コストを削減し、ヒューマン・イン・ザ・ループの除去を可能にするクローズドループのシステムへと変革させることを実証するものである。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
現代のソフトウェア制作の展望において、新しい種類の労働者が登場した。それは、コンピュータコードを記述する人工知能である。これらのシステムは、人間のタスクに関する記述を受け取り、驚くべき速さで動作するプログラムを生成することができる。しかし、根本的な問題が残っている。機械はコードを生成することはできるが、その仕事が本当に完了したかどうかを確実に判断することはできないということだ。現在のプロセスは、しばしば「書いて信じる」という事柄であり、人間や機械自身が結果が機能しているかどうかを推測するにとどまっている。これが、隠れたエラーや、後々の高価な修正を招いている。この不確実性は、顧客が求めるものと、実際にソフトウェアが行うことの間のギャлоップ（溝）を生み出している。これを解決するために、研究者たちは、厳格な外部システムが公平な審判として機能し、「完了した」という主観的な意見を、検証可能な事実へと変えられるかどうかを模索している。
独立研究者のアントン・N・スモリンは、このアイデアをテストするために、大規模なフィールド実験を行った。彼らは、ソフトウェア開発のための恒久的かつ不変のレフェリーとして機能する、彼らが「外部トランザクショナル・ステートマシン」と呼ぶ特化したシステムを構築した。会話の中で存在し、チャットが終わると消えてしまう標準的なツールとは異なり、このマシンは要件とゲームのルールを永遠に所有する。それは、ソフトウェアが通過しなければならない厳格なチェックリストを保存し、結果が単なる幸運な偶然ではなく本物であることを保証するために、すべてのテストをクリーンな環境で2回ずつ実行し、「準備完了」または「準備未完了」の署名付きの判定を下す。このマシンは推測しない。測定するのである。もしソフトウェアが失敗した場合、マシンは失敗の具体的な理由を明示し、ルールが満たされるまでプロセスを繰り返す。
このアプローチが実際に機能するかどうかを確認するために、研究者たちは25種類の異なるソフトウェアタスクを含む厳格な比較を設計した。これらのタスクは、画像処理ツールからネットワークリレー、ファイル生成器まで多岐にわたり、5つの異なるプログラミング言語をカバーしている。彼らは各タスクを、3つの異なる手法を用いて3回ずつ実行した。第一に、彼らの新しいマシンに導かれた強力で高価なAIモデルを使用した。第二に、同じくマシンに導かれた、より安価で高速なAIモデルを使用した。第三に、標準的な「書いて信じる」アプローチを模倣して、強力なAIモデルをマシンなしで単独で動作させた。決定的なことに、彼らは、ソロでの試行の結果を、マシンが設定した厳格なバイト単位の期待値と比較するために、第四の独立した審判を導入した。この審判には、コードを編集したり言い訳をしたりする権利はなく、出力がルールと正確に一致しているかどうかを単にチェックするだけである。
結果は、2つのアプローチの間に明確な違いがあることを明らかにした。AIが単独で動作した場合、その機能の中核部分はほぼ常にバイト単位で正確であったが、詳細なチェックの行において、出力が厳格なリファレンスから逸脱していた。これらの逸脱は機能的な欠陥ではなく、プロトコル、診断、およびフォーマットの違いであった。しかし、マシンは、システムに導かれた高価なAIモデルと安価なAIモデルの両方が、実行したすべてのタスクに対して検証済みの結果を生成することを保証した。マシンは、システム誘導型の実行において、どのAIモデルが記述を行っているかにかかわらず、25のタスクすべてに対して検証済みのソフトウェアを正常に提供した。研究者たちは、ソロでの試行における「失敗」は、ソフトウェアの中核機能が動作しているか否かについてではなく、エラーメッセージ、終了コード、フォーマットといった小さな詳細に関するものであることがほとんどであることを見出した。これらは契約によって定義されるべき精密な詳細であるが、人間や単独のAIは、しばしばそれらを異なる形で解釈してしまう。
おそらく最も驚くべき発見は、コストと効率に関するものであった。研究者たちは当初、クローズドループの主な利点は「トークン経済性ではなく、調和可能性（reconcilability）」であると指摘した。なぜなら、ソロの経路の方が生のトークン使用量においては安価に見えるからである。しかし、ソロAIのミスを修正するために人間が必要とする時間を考慮したフルコストを算出すると、マシン誘導型の経路の方が安価であることが判明した。ソロAIは、記述の瞬間には高速であったが、あまりに多くの小さなエラーを生成したため、人間がそれらを修正するために何時間も費やす必要があり、そのコストがマシンシステムによって完全に排除されたのである。さらに、研究者たちは、高品質な結果を得るために強力で高価なAIモデルは必要ではないことも発見した。マシンに導かれた安価なAIモデルは、高価なモデルと全く同じ完璧な出力を生成し、時間はわずかに長くかかるものの、価格はごくわずかであった。
この研究はまた、マシンが最小限の人間の介入でほとんどのタスクを操作できることも示した。AIが指示が不明確であるという点に遭遇した際、マシンは事前に記録されたデフォルトの決定を適用してログを残し、プロセスを継続させた。初期の実験では、74のそのような分岐が、人間の回答なしにマシンのデフォルトによって閉じられた。後の再現ウェーブでは、オペレーターの関与がトリガーされたのは40セルのうち7セルのみであり、残りはマシンが自律的に解決した。研究者たちは、このシステムの価値は単に節約することではなく、「調和可能性」を生み出すことにあると結論付けた。それは、完成した製品という曖訳な概念を、誰もがいつでも検証できる、署名された再現可能な事実へと変えるものである。ルールを会話の外に置き、それを永続的なものにすることで、このシステムはジェネレーティブな開発に通常つきまとう曖昧さを取り除き、機械が確かに検証のループを閉じることができることを証明した。
（以下、原文の構造に従った翻訳の終了）
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。