あなたは、自動運転車や果物を収穫するロボットのような複雑な機械の未来を予測しようとしていると想像してください。これを行うために、エンジニアはマルコフモデルと呼ばれる確率の「地図」を使用します。この地図は、あらゆる状態がマス目となり、サイコロの目がそのマスから次のマスへの移動を決定する、巨大なボードゲームのようなものです。問題は、ゲームを正しくプレイするためには、各数字が出る確率を正確に知る必要があるということです。現実世界におけるこれらの「サイコロ」とは、遷移確率（例えば、ロボットの腕が滑る確率や、サーバーがダウンする確率など）のことです。

従来、これらの数値を埋めるためには、専門家が機械が行うあらゆる微細な動きの正確な確率を推測しなければなりませんでした。それは、お米が炊き上がるタイミングを知るためだけに、シェフに鍋の中の米粒一つひとつの正確な温度を推測させるようなものです。これは非常に困難であり、もし推測がわずかでも狂えば、その機械の信頼性や速度に関する予測全体が間違ったものになってしまいます。ここで、ベイズ学習が登場します。これは新しい情報に基づいて推測を更新する数学的な手法ですが、それでもなお、出発点となる「事前分布（プライア）」を必要とします。もしその最初の推測が悪ければ、最終的な答えも悪くなってしまいます。

そこで、Simos GerasimouとXingyu Zhaoによって導入された新しいアプローチであるEPIKが登場します。EPIKは、専門家に機械の内部にある目に見えない微細なサイコロの目を推測させる代わりに、彼らが実際に目にすることができる大きな、観察可能な結果を記述するように求めます。それは、シェフに「米粒一つひとつの温度」を聞くのではなく、「お米は通常どのくらいの時間で炊けますか？」とか「鍋が吹きこぼれる頻度はどのくらいですか？」と尋ねるようなものです。研究者たちは、こうした高レベルの現実世界の観察を用いることで、隠れたサイコロの目をより高い精度で逆算できることを発見しました。彼らはこれを果物収穫ロボットと外国為替取引システムでテストし、この手法が単に機能するだけでなく、データがまだ存在しないエネルギー消費量や稀な故障といった、測定が難しい要素を予測するのにも役立つことを示しました。

大きなアイデア：ゲームを観察することでサイコロを推測する

この論文は、ソフトウェア工学における厄介な問題に取り組んでいます。それは、「複雑なシステムのコンピュータモデルをどのようにすれば正確にできるか？」という問題です。ロボットやクラウドサービスなどのモデルを構築する際、私たちは「故障するか？」「完了までにどのくらい時間がかかるか？」といったことを予測するために数学を使用します。しかし、これらの予測は、入力される数値がいかに正確であるかに依存しています。通常、これらの数値は、システムがある状態から別の状態へ移動する確率です。

著者らは、専門家にこれらの低レベルな確率を推測させることは、凧が飛ぶかどうかを予測するために、木の一枚一枚の葉における正確な風速を当てるよう求めるようなものだと主張しています。それは詳細すぎて、専門家は正確に答えられなかったり、データを持っていなかったりします。もし初期値が間違っていれば、検証プロセス全体が失敗し、誤ったエンジニアリング上の決定を導いてしまいます。

EPIK：「逆転の探偵」

この論文は、その手法を逆転させた巧妙なツールであるEPIK（Eliciting Prior Knowledge：事前知識の抽出）を紹介しています。EPIKは、専門家に「ロボットが果物を摘むのに失敗する確率は？」と尋ねるのではなく、「あなたの経験に基づくと、ロボットはどの程度の頻度でミッションを成功させ、通常どのくらいの時間がかかりますか？」と尋ねます。

これらはシステムレベルの特性です。これらは、専門家が実際に理解しており、データを持っている、大局的な結果です。EPIKは、これらの既知の結果を「手がかり」として扱います。そして、ベイズ学習と呼ばれる数学的プロセスを用いて、これらの大きな手がかりから、それらを引き起こした隠れた微細な確率を逆算します。

プロセスは以下のステップで行われます：

1. セットアップ： 果物を収穫するロボットを想像してください。ロボットには、「位置を調整する」状態、「摘み取る」状態、そして「やり直すか諦めるかを決める」状態があります。果実を摘むことに失敗する正確な確率は不明です（これを「隠れたサイコロ」と呼びましょう）。
2. 手がかり： 専門家はEPIKにこう伝えます。「過去200回のミッションから、ロボットは80%の確率で成功し、平均して約4.75秒かかると分かっています」。これらがPK情報に基づく特性（Prior Knowledge-informed properties）です。
3. リバースエンジニアリング： EPIKは、複雑な探索（自然選択のデジタル版である進化アルゴリズムを使用）を実行し、それらの「成功率80%」および「平均4.75秒」という結果を最もよく生み出すような、隠れたサイコロの目のセットを見つけ出します。単に一つの答えを見つけるのではなく、手がかりに適合する可能性のある一連の答えを見つけ出します。
4. 成果： 既知の手がかりに基づいて隠れたサイコロの目を特定した後、EPIKはまだ分かっていない事柄を予測することができます。これらは**捉えどころのない特性（elusive properties）**と呼ばれます。例えば、この特定のタスクにおけるロボットのバッテリー使用量は誰も測定していません。しかし、EPIKはロボットがどのように動いているかを把握しているため、誰も記録していなくても、おそらくのバッテリー使用量を計算することができます。

実験結果が示したこと

研究者たちは、果物収穫ロボットと外国為替取引システムの2つの実世界のシナリオでEPIKをテストしました。彼らは、未知の変数を持つ異なる複雑さのシステムをいくつか作成しました。

• 正確性： 彼らがEPIKの予測を「グラウンドトゥルース（真の値）」と比較したところ、結果は驚くほど近いものでした。EPIKの推測と実際の答えの差は極めて小さかった（テストケースにおいて0.00389未満）のです。これは、EPIKが、大局的な視点を見るだけでシステムの隠れたメカニズムを確実にリバースエンジニアリングできることを示唆しています。
• 「矛盾」テスト： チームは、専門家が矛盾するアドバイスを与えた場合（例：ある専門家はロボットは非常に信頼できると言い、別の専門家は遅いと言う場合）に何が起こるかもテストしました。手がかりが矛盾している場合、EPIKは完璧な適合を見つけるのが難しくなり、推測の「誤差」が増大することが分かりました。これは良い兆候です。なぜなら、手がかりが一致しない場合、モデルは入力データに問題があることを知らせる警告灯として機能するからです。
• 「捉えどころのない特性」の勝利： 最もエキサイティングな部分は、「捉えどころのない特性」の検証でした。果物収穫ロボットのテストでは、成功率と時間のデータはありましたが、エネルギー消費量のデータは全くありませんでした。EPIKは既知のデータを使用して、エネルギー使用量を推定しました。得られたエネルギー使用量の分布は、妥当で論理的な推測であり、意思決定者が実際に活用できるものでした。一方で、EPIKがなければ、盲目的な推測をするか、あるいはその問題を完全に無視するしかありませんでした。

なぜこれが重要なのか

この論文は、ソフトウェア検証のあらゆる問題を解決したと主張しているわけではありませんが、対話を開始するための強力な新しい方法を提示しています。複雑なシステムの優れたモデルを構築するために、システムの微細な詳細に関する専門家である必要はない、ということを示唆しているのです。私たちは、システムの「結果」に関する専門家であればよいのです。

「サイコロを推測すること」から「ゲームを観察すること」へと焦点を移すことで、EPIKは、自動運転車、医療機器、クラウドサービスのような複雑なシステムに対して信頼できるモデルを構築することを容易にします。それは、あらゆる個別の確率を定義するという困難な作業を、システムが現実世界でどのように振る舞うかについて、すでに知っていることを記述するという、より管理しやすいタスクへと変えてくれるのです。そして、まだ分かっていない事柄については、盲目的な推測ではなく、教育に基づいた合理的な推測を行うための数学的な手段を与えてくれます。