Orchestrating human–AI software delivery: a retrospective longitudinal field study of three software modernization programs

ソフトウェア構築の世界において、その仕事は長らく人間の手による「職人技」として理解されてきました。エンジニアのチームが集まり、問題を理解し、計画をスケッチし、プログラムを実行させるためのコードを書き、そして公開する前にそのコードに間違いがないかを確認するためにかなりの時間を費やします。数十年もの間、この分野における成功の尺度は、人間がいかに迅速にこれらのステップを完了できるかでした。最近、この作業場に新しい種類の助手が入り込みました。人工知能です。これらのシステムは膨大な量のコードを読み取り、数秒のうちに新しいテキストの行を提案することができます。初期の報告では、単にこれらのツールを個々のプログラマーに手渡すことは、大工に手鋸の代わりに電動のこぎりを与えるのと同様に、彼らをより速くすることを意味すると示唆されていました。しかし、大規模なソフトウェアシステムを構築することは、単に木材を切る速度を上げることではありません。すべての部品が正しく組み合わさっているか、構造が堅牢であるか、そして最終製品が意図した通りに機能するかを確認することなのです。業界にとっての重要な問いは、これらの知的な助手がシステム構築のプロセス全体を真に改善できるのか、それとも単に初期のステップを加速させるだけで、後々になって新たな問題を生み出すだけなのか、ということになりました。

ある研究チームが、ある企業が時間の経過とともにこれらのツールをどのように使用したかを観察することで、この問いに答えるべく取り組みました。彼らは、単一の変数を分離できるラボ内での制御された実験を行ったわけではありません。代わりに、彼らはその企業がすでに完了した3つの主要なソフトウェアプロジェクトを振り返りました。これらは重要な事業でした。一つは銀行システムをCOBOLと呼ばれる古い言語から現代的なものへ移行すること、もう一つは大規模な会計プラットフォームの大規模なアップデート、そして三つ目は住宅ローン申請システムの近代化でした。研究者たちは、これらのプロジェクトが5つの異なるセットアップの下でどのように提供されたかを調査しました。彼らは、人間がすべての作業を行う伝統的なアプローチから始め、人間と人工知能エージェントを組み合わせた新しいプラットフォームの、4つの連続するバージョンへと進んでいきました。

この新しいプラットフォームの最初のバージョンは、本質的にはツールの集合体でした。このセットアップでは、人工知能エージェントは個々のエンジニアの助手として機能しました。彼らは古いコードを分析し、ドキュメントを書き、さらには独自のタスクを実行することさえできました。ここでの結果は入り混じったものでした。チームは、古いコードの理解や新しい計画の策定といったプロジェクトの初期段階が非常に速くなったことを見出しました。しかし、このスピードには代償が伴いました。ワークフローの中に進行中の作業をチェックする中央システムが欠けていたため、最終的な出力の品質が損なわれたのです。より多くのエラーが後半のテスト段階へと紛れ込み、チームはそれらを修正するために、より多くの時間を費やすことになりました。それはまるで、建築家たちがレンガを2倍の速さで積む術を学んだものの、実際には間違った場所に積んでいたために、一度壊してやり直すために多大な時間を要しているような状態でした。

研究者がプラットフォームの後半のバージョンに移行すると、物語は変わりました。決定的な違いは、人工知能が賢くなったことだけではなく、人間と機械の働き方が完全に再編成されたことでした。最も高度なセットアップでは、人工知能はもはや個人のための道具ではなく、調整されたチームの一部となっていました。システムは、計画、コード、およびレビュープロセスがすべて連結された共有ワークスペースを作成しました。人工知能エージェントは、人間がそれを見る前に、特定のルールに照らして自らの作業をチェックすることができ、人間と同じようにコードをレビューに提出することができました。このバージョンではまた、人間と機械が同じタスクに対して肩を並べて働き、責任を共有するというハイブリッドなアプローチも導入されました。

研究者が最終的な最も高度なセットアップを伝統的な人間のみのアプローチと比較したとき、その結果は驚くべきものでした。3つのプロジェクトを完了するのにかかる総時間は、36週間からわずか9週間強へと減少しました。これは単に作業が速くなったということではありません。作業の品質も向上したのです。最終テスト段階で見つかったエラーの数は、100タスクにつき8件以上から、わずか2件へと劇的に減少しました。さらに、初回のリリース時に正しく満たされた要件の割合は、77パーセントから90パーセント以上に上昇しました。研究では労力もモデル化されており、人工知能エージェントを含む新しいチームの作業は、従来のやり方と比較して、シニアレベルの人間エキスパートの労力でいうと87パーセントも少ないことに相当すると推定されました。

研究者たちは、これらの知見がこの特定の企業における、この特定のプロジェクトに関するものであることを注意深く明記しました。彼らは、人工知能自体がこれらの結果をもたらしたと主張したわけではありません。むしろ、彼らは「オーケストレーション（調整）」に魔法があるのだと示唆しました。初期のバージョン、つまり個人にツールを与えただけのものは、スピードを向上させましたが品質を損ないました。一方で、共有されたコンテキストと厳格なチェックを備えた構造化されたワークフローの中に人工知能を統合した後半のバージョンは、スピードと品質の両方を向上させました。この研究は、ソフトウェア配信の未来が、人間を機械に置き換えることでも、単に機械を人間が自由に使えるように与えることでもないことを示唆しています。むしろ、最大の進歩は、一方が他方の弱点を補うように、人間と機械が単一の調整されたシステムへと織り込まれたときに訪れるのです。

この研究は、人工知能が現実世界でどのように成熟しているかについて、明確な絵を描き出しています。それは、単なる高速なタイピングアシスタントという概念を超え、人間と機械のチームがいかにして統一された全体として機能できるかを示しています。データは、人工計算、検証、およびレビューを含むワークフローの中に人工知能が組み込まれたとき、チームがより速く、かつより少ないミスで複雑なシステムを構築できることを示唆しています。この研究は一つの組織に限定されており、これがどこでも起こると証明できるものではありませんが、テクノロジーを単なる道具としてではなく、注意深く設計されたプロセスのパートナーとして扱ったときに何が可能になるかを示す、強力で記述的な記録となっています。今後の道筋は、機械がいかに速くコードを書けるかではなく、機械と人間が共に、より良いものを構築できるように、いかにチームが仕事を組織できるかにある、というのが証拠が示すところです。