技術的概要：DT-PBO – 解釈可能な木ベースの代理モデルを用いた選好ベイズ最適化

1. 問題定義

選好ベイズ最適化（PBO）は、探索空間内で意思決定者（DM）が最も好む解を、可能な限り少ないペアワイズ比較（PC）を用いて特定することを目的としています。既存の PBO 手法は主にガウス過程（GP）を代理モデルとして依存していますが、これらのモデルは解釈性の欠如という決定的な限界に直面しています。GP はブラックボックスモデルとして機能するため、DM がなぜ特定の解が好まれるのかを理解することが困難です。この不透明性は、EU の GDPR や NATO の責任ある AI 戦略などの規制枠組みや倫理指針が説明可能性を義務付けている、医療や防衛などの高リスク分野において重大な障壁となっています。さらに、GP に対する事後説明手法は、しばしば基盤モデルと整合性が取れず、誤った洞察をもたらす可能性があります。

本論文は、選好の不確実性をモデル化し、能動学習（サンプル効率）を支援する能力を維持しつつ、本質的に解釈可能な代理モデルの必要性に対処します。

2. 手法：DT-PBO

著者らは、PBO 用に特別に設計された新しい決定木（DT）ベースの代理モデルDT-PBOを提案します。分類やランキングデータで訓練される標準的な決定木とは異なり、DT-PBO はペアワイズ比較データから直接学習します。この手法は標準的な PBO 最適化ループ（図 1）に従いますが、GP 代理モデルを木構造に置き換えています。

2.1 空間の分割（分割ヒューリスティック）

中核的な革新は、ランキングラベルではなく観測された選好に基づいて特徴空間を分割するために設計された一貫性スコア（Consistency Score）分割ヒューリスティックです。

• メカニズム: 比較データ $D_A$ を含むノード $A$ に対して、アルゴリズムは候補となる分割（特徴インデックス $k$ と閾値 $t$）を評価します。
• 一貫性スコア（$S_A$）: 分割は、「勝者」と「敗者」をどの程度うまく分離するかに基づいてスコア付けされます。具体的には、変数 $Z_i(s)$ の経験的平均を計算します。ここで、勝者が分割の片側に、敗者が他方にあれば $+1$、逆であれば $-1$、両方が同じ側にある場合は$0$ となります。スコアはこの平均の絶対値です。
• 跨ぎ要素の除外: 重要な構造的特徴として、あるアイテムが左の子ノードに、もう一方が右の子ノードに属するペア（「跨ぎ要素（straddlers）」）を、子孫の分割に使用されるデータセットから除外します。著者らは数学的に、親分割が確立された後、跨ぎ要素には子ノードの内部構造に関する情報が含まれていないと主張します。この除外は自然に木の成長を制御し、過激なハイパーパラメータ調整を必要とせずに、浅く解釈可能な木を優先します。

2.2 葉パラメータ推定

木構造が決定されると、モデルは能動学習を支援するために各葉に確率的推定値を割り当てます。

• 確率的葉: 単一の値ではなく、各葉 $j$ は平均 $f_j$ を持つガウス分布としてモデル化されます。
• ラプラス近似（LA）: 著者らは、葉全体にわたる潜在効用値が結合多変量ガウス事前分布に従うというベイズ的アプローチを採用します。最大事後確率（MAP）推定値と事後共分散を見つけるためにラプラス近似を使用します。
• 識別可能性: ペアワイズ尤度固有の並進不変性（すべての効用に定数を加えても選好は変わらないこと）を解決するため、和ゼロ制約（$\sum f_i = 0$）が適用されます。これによりモデルが識別可能となり、定数シフト方向における不可避な分散が除去されます。
• ハイパーパラメータ: モデルはノイズ分散と事前分散の比率（$\sigma^2_{noise}/\sigma^2_{prior}$）に依存し、これが最適化を支配する唯一の識別可能なパラメータであることが示されています。

2.3 能動学習

モデルは、次に最も有益なペアワイズ比較を選択するためにqEUBO（Best Option の期待効用）獲得関数を利用します。

• 葉間 vs 葉内: qEUBO は異なる葉間の比較を効果的に選択しますが、予測平均が一定である単一の葉内では機能しません。これに対処するため、著者らは離散設定において葉内優先化のヒューリスティックを採用し、現在最適解を含むと考えられている葉に探索を集中させます。

3. 主要な貢献

1. 木ベースの選好学習: 新規の一貫性ベース分割ヒューリスティックと確率的葉推定を用いて、ペアワイズ比較データから直接解釈可能な決定木を学習するアルゴリズムの開発。
2. 数値的評価: 経験的検証により、DT-PBO が最先端の GP ベースモデル（SkewGP および LA ベース GP）と競争力のある収束を達成すること、特に荒れた最適化ランドスケープ（De Jong、Holder、Schwefel など）を持つ関数において示されました。この手法は、計算実行時間が GP よりも大幅に短い（GP の 10〜400 倍高速）ことを実証しました。
3. 実生活のケーススタディ: 2 つの異なるシナリオにおけるモデルの解釈性と有用性の実証：
   • 寿司の選好: モデルがユーザーの選好を回復し、未見のアイテムに一般化できることを示す。
   • 患者メッセージランキング（PMR）: 「赤旗症候群」や「メッセージの実行可能性」などの特定の機能（特徴）が緊急性を駆動していることを特定し、ブラックボックスの LLM や GP アプローチでは見えない洞察を提供する、高リスクの臨床トリアージタスク。

4. 結果

• 収束: 8 つのベンチマーク関数全体において、DT-PBO は競争力のあるパフォーマンスを発揮します。滑らかで荒れていない関数（Rosenbrock、Hartmann など）ではわずかに劣りますが、荒れた関数においては GP を上回るか同等の性能を示します。
• 効率性: DT-PBO は計算的に優れており、200 反復で約 12 秒の実行時間を要するのに対し、GP 変種では数百から数千秒を要します。これは、カーネル長さスケールのハイパーパラメータ最適化を回避し、ヘッセ行列のサイズを一意のアイテム数（$m$）から葉の数（$m_l$）に削減したことに起因します。
• 頑健性: モデルは選好のノイズに対して頑健であり、ノイズ/事前比率のハイパーパラメータの微小な変化に対して敏感ではありません。
• 解釈性: ケーススタディにおいて、生成された木（深さ 4〜6）は、GP や大規模言語モデル（LLM）のブラックボックス出力とは異なり、ドメイン知識と整合する明確で人間が読み取れるルール（例：「胸痛がある場合は優先する」）を提供します。

5. 意義と限界

本論文は、DT-PBO が PBO におけるブラックボックス GP 代理モデルに対する実行可能で本質的に解釈可能な代替手段を提供すると主張しています。その意義は、サンプル効率の高い最適化と、重要な意思決定分野における説明可能性の必要性との間のギャップを埋める点にあります。透明なモデルを提供することで、意思決定者はより大きな自信と信頼を持って選好を洗練できるようになります。

著者が認める限界:

• 無差別: 現在のモデルは、無差別の記述（$A \sim B$）を明示的にモデル化できません。
• 高次元: 次元が増加するにつれて（$D > 7$）、非荒れ関数における性能が低下します。これは、軸に沿った決定木の分割が、高次元の滑らかな関数に共通する複雑な対角決定境界を扱うのに苦労するためと考えられます。
• 特徴抽出: PMR ケーススタディにおいて、最終モデルの品質は特徴抽出に使用された LLM の信頼性に依存します。

著者らは結論として、限界は存在するものの、DT-PBO は解釈可能な代理モデルが PBO において競争力のある性能を達成できることを成功裏に実証しており、特に解釈性が展開の前提条件となるシナリオにおいて有効であると述べています。