技術要約：ゲート付き分離型構成バンディット (GDCB)

1. 問題提起

本論文は、短期賃貸（STR）価格設定、臨床薬物投与量、与信判断、グリッド需要応答、コンテンツモデレーション、および大規模言語モデル（LLM）のツール利用という、6つの高リスクな産業ドメインに共通して見られる、既存のコンテキストバンディットの分類では捉えきれない反復的なアーキテクチャ・パターンを特定している。

既存のアルゴリズム（LinUCB, LinTS, Hierarchical TS, Factored Bandits, Safe RL, RLHFなど）は、以下の3つのコンポーネントからなる特定の構造をモデル化できていない：

1. 名目上の腕の選択 (Nominal Arm Selection): 離散的または階層的なバンディットが、ベースとなるアクション（例：価格倍率インデックス、投与レベル）を選択する。
2. コンテキスト依存型のスケーリング (Context-Dependent Scaling): 別の教師あり学習モジュール（例：リッジ回帰、ガウス過程、ニューラルネットワーク）が、コンテキスト $x$ に基づいて、名目上の腕を調整するためのスケーラー $\delta_\theta(x)$ を計算する。
3. 実行前のゲーティング (Pre-Execution Gating): ゲート $g$（人間の承認、セーフティ・シールド、コンプライアンス規則）が、構成されたアクションが環境に到達する前に、それを修正または拒否する。

既存のフレームワークは、通常、コンテキストと腕の選択を結合して扱ったり、個別の教師ありキャリブレーション・ループを欠いたり、あるいはゲートを統計的なメカニズムではなく静的な制約としてモデル化したりしている。本論文は、これらの構造的制約を「展開時の摩擦」として扱うことは、それらが持つ統計的資産としての可能性を覆い隠してしまうと主張している。

2. 手法：GDCB フレームワーク

本論文は、ゲート付き分離型構成バンディット (Gated Decoupled Compositional Bandits: GDCB) を、タプル $G = (\mathcal{X}, \mathcal{A}, \Delta, \mathcal{E}, \mathcal{Y}, \Theta, \Phi, \{\delta_\theta\}, g, R)$ として定式化している。

コア・プロトコル

各タイムステップ $t$ において：

1. コンテキスト: 環境が $x_t$ を明らかにする。
2. 名目上の腕: バンディットが事後分布 $\pi_t(\cdot|x_t, H_{t-1})$ から名目上の腕 $a^{nom}_t$ をサンプリングする。
3. スケーラー: 教師あり学習モジュールがスケーラー $\delta_{\theta_t}(x_t)$ を評価する。
4. 構成: 推奨されるアクションは $e^{rec}_t = \Phi(a^{nom}_t, \delta_{\theta_t}(x_t))$ である。ここで $\Phi$ は構成演算子（例：乗算、加算）である。
5. ゲーティング: 実行前のゲートが、最終的な実行アクション $e^{exec}_t = g(e^{rec}_t, x_t)$ を生成する。
6. フィードバック: 環境が結果 $y_t$ と報酬 $r_t$ を返す。
7. 分離された更新:
   • バンディット・ループ: $(x_t, a^{nom}_t, e^{exec}_t, r_t)$ を用いて $\pi_{t+1}$ を更新する。
   • 教師あり学習ループ: 履歴データ $\{(x_s, e^{exec}_s, y_s)_{s \le t}\}$ を用いて $\theta_{t+1}$ を更新する。
   • 重要な相違点: 2つのループは互いに素なパラメータ集合を更新する。これらは出力信号のみを共有する。

主要な仮定

1. 構成の正則性 (Composition Regularity): $\Phi$ はリプシッツ連続である。
2. ゲートの定常性 (Gate Stationarity): ゲート関数 $g$（またはその条件付き分布）は、履歴レジームおよびライブ・レジームの両方において、時間に対して不変である。
3. スケーラーの識別可能性 (Scaler Identifiability): 教師あり学習の損失関数は一意の最小化因子 $\theta^*$ を持ち、推定器は $\sqrt{N}$-一貫性を持つ。

3. 主要な貢献と理論的結果

本論文は、GDCB システムの統計的挙動を特徴付ける4つの構造的定理を確立している。

定理 1: 分散の低減 (Decoupling Variance Reduction)

適切に校正されたスケーラー $\delta_\theta$ は、腕と報酬の間のマッピングから生じるコンテキスト起因の分散を吸収する。

• 結果: スケーラー誤差 $\|\delta_{\hat{\theta}} - \delta^*\|_\infty \le \epsilon$ である場合、経験平均の分散は減少する。
• 示唆: 完全に校正されたスケーラーは、非定常なコンテキストバンディット問題を、近似的に定常な問題へと変換する。これにより事後分布の収束が加速され、リグレットはコンテキストの分散に依存してスケールするのではなく、$O(\sqrt{KT \log T})$（定常レート）としてスケールすることが可能になる。

定理 2: ゲートによる等価性 (Gate-Induced Equivalence)

もしゲート $g$ がコンテキスト依存の実行可能集合への冪等な射影であり、かつ定常であるならば、実行された アクションの分布は、履歴データを生成した方策には依存しない。

• 結果: $P^{hist}(e^{exec} | x) = P^{live}(e^{exec} | x)$。
• 示唆: どのような事前方策の下で収集された履歴データであっても、バンディットの事後分布のための有効な「オンポリシー」なウォームアップとして機能する。極めて重要な点として、ゲートが定常である限り、重要度サンプリング (IS) による補正や二重に頑健な（doubly robust）推定器を用いる必要がなくなる。

定理 3: リグレットの分解 (Regret Decomposition)

総リグレット $R(T)$ は、解釈可能な3つの成分に加法的に分解される：
$$R(T) = R_{bandit}(T) + R_{cal}(T) + R_{gate}(T)$$

• $R_{bandit}$: 腕の選択によるリグレット ($O(\sqrt{KT \log T})$)。
• $R_{cal}$: スケーラーの校正誤差によるリグレット ($O(T/\sqrt{N_{sup}})$)。
• $R_{gate}$: ゲートの不一致またはオーバーライドによるリグレット。
• 示唆: この分解により、システム性能の診断分析が可能になる（例：$R_{cal}$ が支配的な場合は、より多くの教師ありデータが必要であり、$R_{gate}$ が支配的な場合は、ゲートの方策を見直す必要がある）。

定理 4: サンプル複雑性のリフティング (Sample-Complexity Lifting)

バンディットと教師あり学習のループが統計的に互いに素なパラメータ次元で動作するため、それらの学習率は累積しない。

• 結果: 同時 $\epsilon$-最適性を達成するために必要なエピソード数は、和ではなく $\max(N_{bandit}, N_{sup})$ である。
• 示唆: 履歴データは両方のループを同時にウォームスタートさせることができる。併設論文の STR 実装においては、1,461 エピソードの履歴データによって、コールドスタートを約150 エピソードから約30 エピソードへと圧縮した。

4. 実装例と範囲

本論文は、$(\Phi, \delta_\theta, g)$ の選択のみが異なる、6つの明確な産業システムが GDCB のインスタンスであることを示している：

1. STR 価格設定: 乗法的構成、リッジ・スケーラー、人間による承認ゲート。
2. 臨床薬物投与量: 加法的構成、ガウス過程スケーラー、医師による承認 ＋ 安全境界。
3. 与信判断: 乗法的構成、リスク分散スケーラー、規制コンプライアンス・キャップ。
4. グリッド需要応答: 加法的構成、ニューラル・スケーラー、物理ベースの安定性制約。
5. コンテンツモデレーション: 恒等構成、深刻度分類器、モデレーター ＋ 異議申し立てフィルタ。
6. LLM ツール利用: プロンプト構成、検索ベースの事前分布、安全性ポリシー・フィルタ。

さらに、コンテキストがカルマンフィルタの状態推定値であり、その共分散行列がスケーラーによって学習される「カルマン・コンテキスト型 GDCB」のインスタンスについても概説している。これは、「トリプル・コールドスタート」（バンディット、スケーラー、およびフィルタ初期化のすべてをウォームアップする）を可能にする。

5. 重要性と主張

本論文の中心的な概念的再定義は、規制されたドメインにおける構造的制約は、学習の障害ではなく、迅速な展開を可能にするメカニズムであるということである。

• 統計的資産: 高リスクなドメインにおける人間の承認ゲート、コンプライアンス規則、およびセーフティ・シールドは、定常性を強制する。この定常性により、複雑な補正手法（IS など）を必要とせずに、オフポリシーなウォームアップのための履歴データが有効となる。
• 統一理論: GDCB は、これまで個別のアルゴリズム的事例として扱われてきたシステムに対して統一的な理論的枠組みを提供し、なぜそれらが同様のパフォーマンス特性（例：急速なコールドスタートの圧縮）を共有しているのかを説明する。
• 実証的検証: 著者は、併設論文 [Miroshnichenko, 2026b] が、実際のプロダクションデータを用いて最初の実装例である STR 価格設定を検証し、コールドスタート圧縮に関する理論的予測と、IS 補正なしでのウォームアップの妥当性を確認したと述べている。

本論文は、GDCB フレームワークを用いることで、実践者が、ゲートが既に機能しているためにオフポリシー補正を必要としないという理由により、制約のないバンディットよりも正確に、履歴の決定ログから多くの統計的価値を引き出せることを結論付けている。