技術要約：Bootstrap条件付き行動選択と表形式基盤モデル

問題提起

コンテキスト付きバンディット（Contextual Bandits）は、サンプル効率の高いパーソナライゼーションのための枠組みを提供するが、実用的な展開においては、疎で偏ったインタラクションデータ、信頼性の低い不確実性推定、および深刻なコールドスタート・シナリオが障壁となる。大規模システムでは、ユーザーごとのバンディットによるデータ非効率性を避けるためにグローバルな方策（Global Policy）アプローチが標準となっているが、報酬モデルの表現力を損なうことなく、原理に基づいた探索を実現することは依然として困難である。

古典的な手法は、楽観主義や事後分布サンプリングに基づく線形報酬モデルに依存することが多く、表現能力に限界がある。逆に、ニューラル・コンテキスト付きバンディット手法は複雑な報酬をモデル化できるが、バンディットからのフィードバックのみを用いてタスク固有のネットワークをゼロから訓練する必要がある。また、彼らの不確実性推定（線形化やドロップアウトに基づくもの）は、ハイパーパラメータに敏感であり、低データ領域では脆弱である。一方、表形式データにおけるインコンテキスト学習（In-Context Learning; ICL）の最近の進展は、強力な予測器（例：TabPFN, TabICL）を生み出し、これらは単一のフォワードパスを通じて新しいタスクに適応し、ベイズ推論を実質的に償却（amortize）する。しかし、これらの事前学習済みICL予測器を、コンテキスト付きバンディットの行動選択に直接利用できるかどうかは、未解決の問いとして残されている。

手法：BC-ICL

著者らは、BC-ICL（Bootstrap-conditioned action selection using ICL）を提案する。これは、凍結された事前学習済み表形式ICL予測器を、オンライン意思決定のためのランダム化された方策へと変換する手法である。

コアメカニズム

モデルのパラメータをオンラインで更新する代わりに、BC-ICLは固定されたバックボーンモデルが見る「条件付け履歴」をランダム化することで探索を誘発する。アルゴリズムは各ラウンド $t$ において以下のように動作する：

1. ブートストラップ・リサンプリング: 観測されたインタラクション履歴 $D_t$ から、ブートストラップ・リサンプル $\tilde{D}_t$ を描画する（重複を許して $|D_t|$ 個の観測値をサンプリングする）。
2. 条件付け: 凍結されたICL予測器 $M$ を、このリサンプルされたデータセット $\tilde{D}_t$ で条件付ける。
3. スコアリング: 現在のコンテキスト $x_t$ が与えられたとき、モデルはすべての候補行動 $a \in \mathcal{A}$ に対してスコアを算出する。
4. 選択: サンプリングされた最高スコアを持つ行動を選択する： $a_t \in \arg\max_a \hat{\mu}_{\tilde{D}_t}(x_t, a)$。
5. 更新: 観測された報酬を履歴に追加し、プロセスを繰り返す。

アーム・コンテキスト条件付けアーキテクチャ

孤立したアームによるバンディットの失敗モードに対処し、統計的な強さを共有することを促進するために、著者らは特定の特徴量写像 $\Phi_{mult}(x, a)$ を導入している：
$$\Phi_{mult}(x, a) = [x; e_a; (x^\top P) \odot e_a]$$
ここで：

• $x$ は生のコンテキストである。
• $e_a$ は固定されたアーム埋め込みである。
• $P$ は共有された投影行列である。
• $\odot$ は要素ごとの積（アダマール積）を表す。

この表現は、生のコンテキストを保持し、アームのアイデンティティを符号化し、さらに共有された投影コンテキストを介してアームとコンテキストの相互作用を明示的にモデル化する。決定的なのは、条件付け履歴における摂動がこの共通の表現を通じて伝播し、複数のアームに対して同時にスコアに影響を与えることで、共有された探索を可能にする点である。

主な貢献

1. アルゴリズムの提案: ブートストラップ・リサンプリングと凍結されたICL予測器を組み合わせることで、オンラインでの再訓練を必要とせずに、教師あり学習モデルを探索可能な決定規則へと変換するBC-ICLを導入した。
2. アーキテクチャの革新: 共通の投影コンテキスト表現を通じて、アクション間で共有された探索を促進する、乗法的アーム・コンテキスト特徴マップを設計した。
3. 実証的検証: 厳格なオンライン・プロトコル下において、BC-ICL（TabPFNまたはTabICLをインスタンス化したもの）が、線形、カーネル、およびニューラル・コンテキスト付きバンディットのベースラインを上回ることを示す包括的な評価を行った。

実験結果

著者らは、コンテキスト付きバンディット問題に変換された8つのデータセット（UCIリポジトリのCovertype、ISOLET、Letter、MNISTを含む）を用いてBC-ICLを評価した。

• パフォーマンス: BC-ICLはほとんどのデータセットにおいて最も低い累積リグレット（cumulative regret）を達成し、Linear TS、LinUCB、Kernel UCB/TS、NeuralUCB、NeuralTS、およびBootstrapNNといった確立されたベースラインを大幅に上回った。
  • 例: Mushroomデータセットにおいて、BC-ICL-TabICLは、NeuralTSの252.3に対して37.7のリグレットを達成した（85%の削減）。
  • 例: ISOLETにおいて、BC-ICLは学習プロセス全体を通じて、ニューラル・ベースラインと比較して一貫して低いリグレットを維持した。
• 探索メカニズム: アブレーション研究により、ICLモデルの内部的な予測不確実性（貪欲選択または予測分布からのサンプリングによるもの）だけでは、効果的な逐次的意思決定には不十分であることが明らかになった。ブートストラップ・リサンプリング・メカニズムは、困難なデータセットにおいて、貪欲法およびサンプリング・ベースラインよりもリグレットを5〜19%減少させることが示され、効果的な探索にはデータレベルのブートストラップが必要であることが証明された。
• 特徴量エンコーディング: 乗法的特徴マップ（$\Phi_{mult}$）は、単純なワンホット・エンコーディング（$\Phi_{one-hot}$）を大幅に上回り、ISOLETにおいて最終的なリグレットを30〜40%減少させた。これは、アームとコンテキストの相互作用を明示的にモデル化することの重要性を裏付けている。
• 計算効率: 全てのインタラクション履歴を使用すると、BC-ICLはニューラル・ベースライン（例：TabPFNでは7倍遅い）よりも遅くなるが、著者らはKNN（最近傍法）やFIFO（スライディングウィンドウ）といったコンテキスト選択戦略を用いることで、リグレットの性能を維持しながら実行時間を大幅に短縮できることを示した。

意義と主張

本論文は、事前学習された表形式基盤モデルの帰納バイアスを活用することで、BC-ICLがコンテキスト付きバンディットにおける実用的かつ効果的なアプローチを提供すると主張している。タスク固有のネットワークをゼロから訓練する必要を避けることで、特にコールドスタートや低データ領域において、強力なサンプル効率を実現している。

著者らは、この手法はターゲットタスクと一致する帰納バイアスを持つ事前学習済みモデルへのアクセスを前提としていることを注記している。事前学習タスクとの間に大きなミスマッチがある場合、性能が低下する可能性がある。さらに、ブートストラップ手順は計算オーバーヘッドを導入するものの、コンテキスト選択戦略（KNN/FIFO）の使用によって、この手法はスケーラブルになる。理論面では、緩やかな安定性の仮定の下で、BC-ICLのリグレットは安定性項と表現項に分解できることが示唆されているが、これを定式化することは今後の課題である。

本研究は、乗法的なアーム・コンテキスト表現がアクション間で有用な統計的共有を可能にすること、そして事前学習済みICLモデルが、ブートストラップ条件付けと組み合わせることで、オンライン意思決定のための堅牢で探索可能な方策として機能し得るという直感を支持している。