VQD-CTS Prediction Model: An AI-Driven Framework for Predicting Cost-to-Serve Using Engineering Velocity, Quality, and Developer Experience

あなたは、大規模で賑やかなピザ屋を経営していると想像してください。あなたにはシェフのチーム（開発者）、豪華なオーブン（テクノロジー）、そして絶え間なく届く注文（ソフトウェア機能）があります。昔は、ピザを作るのにいくらかかるかを知りたい場合、先週どれくらいのピザを作ったかに基づいて推測するだけでした。しかし、それは昨日のカレンダーを見て天気を予測しようとするようなものです。それでは、嵐の雲や風、あるいはオーブンが故障しているかもしれないという事実を見落としてしまいます。

ソフトウェアの世界でも、企業は同様のパズルに直面しています。彼らはチームがいかに速く動いているか（ベロシティ）、どれだけのミスをしているか（品質）、そしてシェフたちが道具や環境にどれほど満足しているか（デベロッパー・エクスペリエンス）を追跡しています。しかし、長い間、これら3つの要素が最終的な請求額、つまり「コスト・トゥ・サーブ（提供コスト）」にどのように加算されるのかを正確に解明することはできませんでした。それは、チーズをたくさん使い、シェフが幸せであったことは分かっていても、その結果、ピザのコストが10ドルになるのか100ドルになるのかが分からないようなものです。この論文は、これらすべての乱雑な詳細を分析し、ピザが焼き上がる前に価格を予測できる超スマートなコンピュータの脳（AI）を構築することで、この謎を解こうとしています。

VQD-CTS 予測モデル：ソフトウェアコストを見通す水晶玉

研究者のバサヴァラージ・チュンチュレとマンテシュ・パティルは、「VQD-CTS 予測モデル」と呼ばれる新しいツールを構築しました。「VQD」は3つの材料で作られた秘伝のソースだと考えてください。それは、Velocity（チームがどれだけ速く動くか）、Quality（どれだけのバグを捕まえたか）、そして Developer Experience（仕事のしやすさ）です。「CTS」は Cost-to-Serve（提供コスト）の略で、サーバーの電気代からバグを修正する人々の給与に至るまで、顧客にソフトウェアを届けるための総額を指します。

チームは単に推測したわけではありません。彼らはAIに、現実的でありながら架空のデータ――異なるソフトウェアプロジェクトの10,000件の記録――を大量に投入し、これら3つの材料がどのように混ざり合ってコストを生み出すかを学習させました。これは、スムーズに進んだシナリオからオーブンが火を噴いたシナリオまで、10,000通りの異なるピザ作りのシナリオを見せることで、ロボットシェフを訓練するようなものです。

彼らは何を発見したのか？

ロボットシェフは驚くほど優秀であることが分かりました。未知のデータでテストした際、モデルは 0.885 というスコア（1.0が完璧とするスケール）を叩き出しました。平たく言えば、このモデルはコストが上がったり下がったりする理由の約90%を説明できるということです。平均して、その価格予測の誤差はわずか 79.93 通貨単位（論文では一般的な単位を使用しているため、スコアボード上の「ポイント」と考えてください）でした。

しかし、本当の魔法はスコアそのものではなく、AIが「なぜコストが発生するのか」について教えてくれた内容にありました。研究者がモデルに「私たちのピザの請求が高くなっている最大の理由は何か？」と尋ねたところ、モデルは4つの主要な容疑者にデジタルな指を指しました。

1. コードの複雑性（Code Complexity）： これが最大の悪役でした。コードが乱雑で理解しにくいと、コストは急増します。それは、あちこちに絡まった電線を使って家を建てようとするようなものです。修理には時間がかかり、どこかに触れるたびに別の場所が壊れてしまいます。
2. 欠陥密度（Defect Density）： これは「コードの中にどれだけのバグが隠れているか」を専門的に表現したものです。バグが多いほど、手戻りや顧客からの苦情が増えるため、プロジェクトはより高価になります。
3. サイクルタイム（Cycle Time）： 「アイデアがある」状態から「あなたのスマホで動いている」状態になるまでにかかる時間です。この時間が長引くと、調整の混乱や機会損失によってコストが上昇します。
4. インフラストラクチャ・コスト・シェア（Infrastructure Cost Share）： これはクラウドサーバーやツールの請求額です。企業が業務の多くをクラウドへ移行するにつれ、この部分が総コストの大きな割合を占めるようになります。

驚きの真実

モデルはまた、少し直感に反するかもしれない事実も明らかにしました。長い間、多くの上司は、単にチームを速く働かせれば（高いベロシティ）、コストは下がると考えてきました。しかし、AIはこう言います。「ちょっと待ってください！」 研究では、コードが乱雑だったりチームが不満を持っていたりする場合、純粋なスピード自体はあまり重要ではないことが判明しました。実際、品質やデベロッパーの体験を無視してスピードだけを追求すると、後で修正しなければならないミスが増えるため、長期的な請求額はむしろ高くなってしまうのです。

もう一つの驚きは、チームの規模は人々が考えているほど重要ではないということでした。組織化され経験豊富なチームであれば、大きなチームが必ずしも高価になるわけではありません。逆に、小さなチームであっても、迷ったり混乱したりしていれば高価になります。重要なのはシェフの数ではなく、彼らがどれだけレシピを知っており、どれだけ鋭いナイフを持っているかなのです。

どの程度確かなのか？

研究者たちはこれらの結果に自信を持っていますが、いくつかの注釈があります。彼らは、現実世界のプロジェクトを模した膨大な合成（コンピュータ生成）データを使用してモデルを構築しました。彼らは、新しいシステムをゼロから構築する（グリーンフィールド）ものから、古いものを修正するもの（ブラウンフィールド）まで、さまざまなタイプのプロジェクトにわたってテストを行い、ほとんどすべてにおいて良好に機能しました。

しかし、彼らはこれがシミュレーションであることを認めています。現実の世界で、このモデルが実際に何百万ドルもの節約につながるかどうかを、実際の企業が丸一年間使用する様子をまだ観察していません。また、モデルが機能するためには、企業がまず優れたデータを持っている必要があることも指摘しています。もし企業が、バグの数やタスクにかかる時間を追跡していない「目隠し状態」であれば、モデルはその魔法を発揮することはできません。

まとめ

VQD-CTSモデルは、ソフトウェアマネージャーにとってのGPSのようなものです。燃料切れ（お金）を心配しながら盲目的に運転する代わりに、彼らはスピード、車の状態、そしてドライバーの気分を見て、その旅にどれだけのコストがかかるかを正確に予測できるようになります。この論文が示唆しているのは、もしお金を節約したいのであれば、単にチームに「もっと速く行け」と言うのではなく、乱雑なコードを片付け、バグを早期に修正し、デベロッパーが満足できる道具を提供することです。それが、より安く、より良いピザを作るための本当のレシピなのです。