Correctness, confidence, and context: Framing software assurance in the AI age

偉大なるソフトウェアのパズル：なぜ「完璧」が目標ではないのか

あなたは、論理と指示によって作られた巨大で目に見えない城を築いていると想像してみてください。これが、ソフトウェアエンジニアが日々行っていることです。彼らは、ピザの注文から飛行機の操縦まで、コンピュータにさまざまなことをさせるためのコードを書いています。長い間、夢見たのは、これらの城を、決して間違いを犯さないほど完璧に築き上げることでした。エンジニアたちは、すべてのレンガが正しい場所に置かれていることを数学的に証明しようとしたのです。しかし、ここに落とし穴があります。現実の世界は混沌としているのです。そこには、指示のリストとして書き出すことのできない、暗黙のルール、文化的習慣、そして「常識」が溢れています。

さて、ここで新しい種類の助っ人がやってきました：人工知能（AI）です。このAIは、まるであらゆる本を読み尽くした超高速の推測者のように、次に何が来るかを推測することに非常に長けています。しかし、物事が正しいことを「証明」しようとした従来のエンジニアとは異なり、このAIは「確率」に基づいて動きます。それは、「これが正しい答えであると確信している」と言うのではなく、「これが正しい答えである確率が90%である」と言うのです。これは大きな問題を引き起こします。安全性を必要とする場面において、推測に基づいて構築されたシステムを、どうすれば信頼できるのでしょうか？ メリー・ショー（Mary Shaw）が取り組んでいるのは、このパズルです。彼女は、「正しさ」に対する考え方を変えようとしています。完璧という不可能な夢から離れ、その仕事に対して「十分に機能するか」を確認するという、より実践的でエンジニアらしいアプローチへと移行しようとしているのです。

---

本論文の核心： 「完璧」から「十分な品質」へ

ソフトウェアエンジニア向けのこの基調講演において、メリー・ショーは、ソフトウェアが100%完璧であることを証明しようとするのをやめ、それが**目的に適っているか（fit for its purpose）**に焦点を当てるべきだと主張しています。彼女は、プログラムが正しいことを証明するために完璧なルールセットを書こうとする従来の考え方は、特にAIを使用する現在においては、すでに壊れていると示唆しています。

彼女の議論のストーリーを、簡単な部分に分けて解説します。

1. シャドウ・プロブレム（影の問題）：AIが見ることができないもの

あなたが、折りたたみ式の紙コップのような複雑な物体を、一度も見たことがない友人に説明しようとしている場面を想像してください。あなたには、壁に映るその影を見せることしかできません。正面から見ると、影は四角形に見えます。横から見ると、三角形に見えます。上から見ると、円に見えます。もし影しかなかったら、あなたはそれを奇妙なブロックだと推測するかもしれませんが、それが水を保持できる「コップ」であるという事実を見逃してしまうでしょう。

ショーは、AIモデルはその影を見ている友人と同じだと述べています。AIは「デジタルの影」、つまりオンライン上に存在するテキスト、コード、データによって訓練されています。しかし、現実の世界は**暗黙知（tacit knowledge）**に満ちています。それは、私たちが書くことはしないけれど、知っていることです。これには、職場の「雰囲気」、文化における暗黙のルール、あるいは経験豊富な整備士がエンジンの異音を聞いたときに抱く直感などが含まれます。これらの知識は書き残されないため、AIは見ることができません。AIは実体ではなく、影だけを見ているのです。AIがソフトウェアを構築しようとする際、これらの極めて重要で目に見えない詳細を見落とし、人間の専門家なら即座に気づくはずのミスを犯す可能性があります。

2. コーディングの「カーゴ・カルト（模倣崇拝）」

ショーは、ある島の人々が、戦争中に飛行機が食料を運んできた話を紹介しています。戦争が終わり、飛行機が来なくなっても、地元の人々は飛行機を呼び戻そうとして、竹で管制塔を作り、隊列を組んで行進しました。彼らは活動の「影」（行進や塔）をコピーしましたが、その「実体」（軍隊のロジックやスケジューリング）を見落としていたのです。

彼女は、AIを使ってコードを書くことが、時に「カーゴ・カルト」になる可能性があると警告しています。私たちは、なぜそのコードがそのようにある必要があるのかという深い理由を理解せずに、見た目さえ整っていればよいコード（影）をAIに書かせているのかもしれません。「バイブ・コーディング（感覚的なコーディング）」（感覚や単純なプロンプトに基づいてコードを書くこと）を行い、隠されたルールを理解しなければ、見た目は良くても、現実の問題が発生した瞬間に崩壊してしまうシステムを築いてしまうかもしれません。

3. 「仕様書」ではなく「資格（クレデンシャル）」

伝統的に、エンジニアは完璧な「仕様書（specification）」、つまりプログラムが何をすべきかを正確に記した巨大で硬直したルールブックを書こうとします。しかし、世界は変化し続けるものであり、すべてを予測することは不可能であるため、これは不可能だとショーは示唆しています。

代わりに彼女は、ソフトウェアを「仕事に応募する人物」のように扱うことを提案しています。その人の生涯の物語すべてを知る必要はありません。必要なのは**資格（credentials）**です。

• ダイビングのインストラクターは、「私は30メートルまで潜れる」と書かれたカードを見せます。
• パイロットは、「私はこの飛行機を操縦できる」という免許証を見せます。
• ソフトウェアシステムも、「私は1,000人のユーザーを処理できる自信が90%ある」、あるいは「私はこの特定のタスクに対して安全であるとテスト済みである」という「資格」を示すべきです。

これらの資格は完璧な証明ではありません。それらは、自分たちがどの程度確信しているのか、その確信がどこから来たのか、そして限界はどこにあるのかについての、正直な表明なのです。「私たちはこれを検証し、その確信の度合いはこれくらいである」と言っているのです。

4. エンジニアの選択：サティスファイシング（満足化）

この論文は、完璧を目指すのではなく、**サティスファイシング（satisficing）**を行うべきだと提案しています。これは、「十分に機能する解決策を見つける」という、少し難しい言葉です。

• ゲームを作っている場合、100%の完璧さは必要ないかもしれません。ゲームが楽しく、安価に作れるのであれば、多少のバグは許容されます。
• 一方で、医療機器を作っている場合は、はるかに高いレベルの確信が必要です。

ショーは、エンジニアは真のエンジニアらしく行動すべきだと主張しています。つまり、コスト、リスク、そして目的を考慮し、目的を達成するために最適なツールの組み合わせを選択すべきだということです。時には、問題が発生してから修正する方が、発生する前に防ごうとするよりも安上がりなこともあります。目標はエラーをすべて排除すること（それは不可能です）ではなく、システムがその特定の仕事に対して安全かつ有用であるように、リスクを管理することなのです。

これが未来に何を意味するか

メリー・ショーは、AIが悪いと言っているわけではありません。AIを、すべてを解決する魔法の杖のように扱ってはならないと言っているのです。私たちは、AIの使い方についてより賢明である必要があります。AIが推測（統計）に基づいて動いていること、そして人間の文化や経験という目に見えない「影」を見ることができないことを、私たちは受け入れなければなりません。

彼女のメッセージは、ソフトウェア・コミュニティへの行動喚起です。「すべてが完璧であると証明できると、ふりをするのはやめよう」。代わりに、誠実なエンジニアになろう。私たちは、自分が何に対して確信を持っており、何に対して確信を持っておらず、そしてその理由は何かを、明確に把握しているシステムを構築すべきです。そうすることで、私たちは「解決不可能な問題を解決した」という罠に陥ることなく、AIを活用してより優れたソフトウェアを構築することができるのです。

要約すると、この論文は、ソフトウェアの未来が数学の教科書的な意味での「正しさ」にあるのではなく、目的に適っていること（fit for purpose）、自らの限界を知ること、そしてデジタル世界を安全に稼働させるためにスマートで費用対効果の高い選択をすることにある、と示唆しています。