CRC-LS-MOCBO: Safe multi-objective causal Bayesian optimization under uncertain causal structures

あなたは、完璧な新しいレシピを考案しようとしているシェフだと想像してください。あなたは、そのレシピが美味しく（味のスコアが高く）、かつ**健康的（栄養のスコアが高い）**であることを望んでいますが、同時に厳格なルールがあります。それは、「誤って誰かを毒殺してはいけない」というルールです。これは「多目的」問題です。つまり、2つの良いことを同時に達成しようとしているのです。

ここで、材料がどのように相互作用するかを正確には知らないと想像してください。レシピに関する大まかなアイデア（「因果グラフ」）は持っていますが、100%確信しているわけではありません。例えば、「塩を加えるとスープが塩辛くなる」とは考えているものの、実は「塩を加えると苦味が出る」のではないかと心配していたり、あるいは、すべてを変えてしまうような隠れた材料を見落としているかもしれないと考えています。

これが、CRC-LS-MOCBOという論文が解決しようとしている問題です。これは、レシピ本が少し曖昧であっても、顧客に毒を与えないように、安全かつ慎重に最高のレシピを見つけ出す「賢い、慎重なロボットシェフ」です。

問題点：なぜ「推測」は危険なのか

通常、コンピュータがシステムの最適な設定（ロボットの動きや薬の投与量など）を見つけようとする際、過去のデータだけを見ます。彼らは「Xを行ったとき、Yが起きた」という事実を見て、XがYを「引き起こした」と仮定します。

しかし、現実世界では、これは罠になります。もし変数を変更すると（例えば塩を加えると）、それが下流にある他の変数（例えば食感）を変化させ、それがさらに味を変化させるかもしれません。もしコンピュータが「原因と結果」のマップを理解していなければ、完璧なレシピを提案したつもりでも、実際には料理を台無しにしたり、最悪の場合、誰かを病気にさせてしまうかもしれません。

これまでの手法は、レシピマップに関する「最も有力な一つの推測」を選び、それに固執することでこの問題を解決しようとしてきました。著者らは、これはリスクが高いと主張しています。もし一つの推測が間違っていた場合、安全境界線が過剰に自信を持ってしまい、誤って毒を供してしまう可能性があるからです。

解決策：「慎重な委員会」

一つのマップを選ぶ代わりに、CRC-LS-MOCBOは「慎重な委員会」のように振る舞います。その仕組みは以下の通りです。

1. マップの委員会: 一つのレシピ本を信じるのではなく、この手法はデータをシャッフルすることで、一連の「あり得る」マップ（「候補グラフ」と呼ばれます）を生成します。単に「最も可能性が高いもの」を一つ選ぶのではなく、妥当な可能性のあるすべての選択肢を、重み付きのリストとして保持します。
2. 「ローテイル（低確率の裾）」安全ルール: これが最も重要なトリックです。新しいレシピが安全かどうかを委員会が投票する際、彼らは単に平均的な意見を採用するのではありません。彼らは、妥当なマップの中で「最悪のシナリオ」を確認します。
   • 比喩: 橋を設計しているエンジニアのグループを想像してください。99%のエンジニアが「橋は安全だ」と考えていても、残りの1%が「もし左から風が吹いたら、崩壊するかもしれない」と考えている場合、委員会はその1%の声に耳を傾けます。単に可能性が低いという理由だけで、そのリスクを無視することはありません。これは**ローテイル構造的リスク集約（low-tail structural risk aggregation）**と呼ばれます。
3. 「安全バッファ」（共形較正/Conformal Calibration）: 委員会による予測があったとしても、コンピュータの予測は依然として多少ずれる可能性があります。そのため、この手法は、過去にミスをした場合に大きくなる「安全バッファ」を追加します。これは、「この量の塩なら安全だと思うが、過去2回失敗しているので、念のために少し余裕を持たせておこう」と言うロボットシェフのようなものです。
4. 残差サロゲート（Residual Surrogate）: この手法は、「最善の推測」となるマップを使ってスタートダッシュを切りますが、その後、マップが犯したミスを補うために柔軟な「残差」モデルを使用します。これは、レシピカードを持っているけれど、味とカードの内容が一致しない場合に修正してくれる「味見係」を付けているようなものです。

数字が示す結果

著者らは、4つの異なる「キッチン（ベンチマーク）」において、600回のシミュレーション実行を行い、このロボットシェフを以下のものと比較しました。

• ランダム探索（盲目的な推測）
• 標準的な非因果的最適化手法（原因と結果を無視したもの）
• 単一の「最善の」マップのみを選択する手法（MAP-CBO）
• 真のレシピを知っている「神モード」のオラクル（True-SCM oracle）

結果は以下の通りです。

• 安全性: CRC-LS-MOCBOのロボットは驚くほど安全でした。違反率（violation rate）は0.0070（つまり、1,000回の試行のうちルールを破ったのはわずか7回）でした。これは、単一マップ手法（0.0117）よりも良く、非因果的手法（約0.021）よりもはるかに優れた結果でした。
• パフォーマンス: 高品質なレシピを見つけ出し、平均安全ハイパーボリューム（safe hypervolume）は4.326でした。
  • これは、ランダム探索（4.002）や非因果的手法（3.841）よりも優れています。
  • 単一マップ手法（4.308）よりもわずかに優れていますが、その差はわずかです。
  • 真のレシピを知っている「神モード」のオラクル（4.478）には、まだわずかに及びませんでした。これは、真のマップを知らないことが、パフォーマンスに多少の影響を与えることを証明しています。

この論文が明確に否定していること

この手法が何ではないかを理解しておくことは極めて重要です。

• 魔法の杖ではありません: 本論文は、この手法が正確な因果知識の代わりになるものではないと明言しています。もし真のマップをお持ちであれば、それを使用すべきです。この手法は、真のマップを持っていない場合の「保守的で再現可能なテンプレート」です。
• あらゆるリスクに対する保証ではありません: 著者らは、この手法を「敵対的な隠れた交絡（システムを欺こうとする非常に賢い敵）」や、現実世界のオンラインシステムに対してはまだテストしていないことを認めています。結果はシミュレーションと半合成データに基づいています。
• あらゆるケースにおける「勝利」ではありません: 12種類のテストシナリオにおいて、この新手法は単一マップ手法よりも優れた結果を出しましたが、すべてのケースで勝ったわけではありません。著者らは、その優位性は「小さく、限定的」であり、完全な支配ではないと慎重に述べています。

結論

この論文は、限られた予算の中で複雑なシステムを探索しており、かつ災難への恐怖がある場合、一つの推測にすべてを賭けるべきではないと示唆しています。代わりに、「重み付けされた可能性のセット」を持ち、「もし〜だったら」という恐ろしいシナリオに耳を傾け、自身のミスから学ぶ安全バッファを備えるべきです。

これらの特定のシミュレーションにおいて、このアプローチは、真実を知ることなく、単一の最善の推測を選ぶよりも、探索をより安全に（違反が少なく）、かつ**わずかに効果的（高いパフォーマンス）**にしました。これは、キッチンを焼き尽くすことなく、未知の世界を探索するための、スマートで慎重な方法なのです。