🤖 machine learning

Cross-Domain Off-Policy Evaluation and Learning for Contextual Bandits

本論文は、ターゲットドメインとソースドメインの両方の履歴データセットを活用することで、少数のデータ、決定論的なロギング方策、および新しいアクションといった極めて重要な課題を克服し、既存の手法が高分散や限定的な探索のために失敗するシナリオにおいても効果的な方策評価と最適化を可能にする、新しいクロスドメイン・オフポリシー評価および学習フレームワークを提案する。

原著者： Yuta Natsubori, Masataka Ushiku, Yuta Saito

公開日 2026-07-27

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yuta Natsubori, Masataka Ushiku, Yuta Saito

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、嵐の海を航行しようとしている船の船長だと想像してください。ただし、あなたはこの特定の航路を実際に航行したことは一度もありません。あなたの手元には、これまでの航海の記録（「ログデータ」）が記された地図がありますが、その地図は不完全です。かつての船長が慎重すぎて穏やかな海域しか航行しなかったために、危険な岩礁が未記載であるかもしれません。あるいは、船が小さすぎて全海洋を探索できなかったために、地図自体が欠落しているのかもしれません。コンピュータサイエンス、特に機械学習と呼ばれる分野において、これは**コンテキスト・バンディット（Contextual Bandits）**として知られる一般的な問題です。これは、コンピュータが（映画を推薦したり、薬を提案したり、広告を表示したりするように）現実の世界ですべての選択肢を試すことがコストやリスクになる場合でも、状況（「コンテキスト」）に基づいてどのように意思決定を行うかを学ぶ方法です。

これを解決するために、科学者たちは**オフポリシー評価（Off-Policy Evaluation: OPE）**という手法を用います。OPEは、意思決定のための「フライトシミュレーター」のようなものだと考えてください。新しい戦略を実際の人々に試してリスクを冒す代わりに、古いデータを用いて、その戦略がもし実行されていたらどうなっていたかをコンピュータ上でシミュレートします。問題は、古いデータがあまりに退屈すぎる（船長がたった一つのことしかしていなかった）場合や、新しい戦略が古い船長が決して行わなかったことを試そうとした場合に、ほとんどのシミュレーターが壊れてしまうことです。もし特定の行動に対する記録が古いデータにない場合、シミュレーターはその結果を推測できず、デタラメな予測を出すか、完全に失敗してしまいます。本論文は、古いデータが限定的すぎたり、硬直的すぎたり、あるいは重要な新しい選択肢が完全に欠落していたりするという、非常に困難なシナリオに取り組んでいます。

ここで、博報堂DYホールディングスとコーネル大学の研究者たちが、この壊れたシミュレーターを修正する巧妙な方法を提案しています。彼らはそのアイデアを**クロスドメイン・オフポリシー評価および学習（Cross-Domain Off-Policy Evaluation and Learning）**と呼んでいます。想像してみてください。あなたは新しい、未知の海でサーフィンを学ぼうとしていますが（「ターゲットドメイン」）、あなたの地元のビーチ（「ソースドメイン」）とは波のパターンが異なります。地元のビーチのデータだけを見ていると、そこでは一度も起きていなかった巨大な波に遭遇したときに混乱してしまうかもしれません。しかし、もし隣の海でのサーフィンのビデオを見ることができたとしたらどうでしょうか？たとえ水の状態が少し違っていても、波の物理法則は同じかもしれません。

著者らは、現在の状況における退屈で不完全なデータだけに縛られるのではなく、他の類似した状況（他の「ドメイン」）から洞察を借りることを提案しています。彼らは、すべての病院、国、あるいはユーザーグループはそれぞれ独特である一方で、共通の基礎的なパターンを共有していることが多いということに気づきました。例えば、患者のデモグラフィック（属性）が多少異なっていたとしても、ある治療法は二つの異なる病院において同様に機能するかもしれません。論文では、COPE（Cross-domain Off-Policy Evaluation）という新しい手法を紹介しています。これは、「報酬」（良い結果）を、類似したグループ間で共通する部分（波の一般的な物理法則のようなもの）と、あなたのグループに特有の部分（地元の風のようなもの）の二つに分割して処理します。

他のドメインからのデータを使用して「共通の部分」を特定することで、COPEはあなたの特定のデータでは試されなかった行動の空白を埋めることができます。それは、隣町の地図を使って、自分の町の地図が描き忘れた通りのレイアウトを把握するようなものです。研究者らは、動画共有アプリ（KuaiRec）の実際のデータを用いて検証を行い、ターゲットとなるデータが乏しい場合や、古いデータが硬直的（決定論的）であった場合、あるいは全く新しいアクションを試そうとする場面において、彼らの手法が従来の方法よりもはるかに正確であることを明らかにしました。彼らは、複数のデータソースを組み合わせつつ、それらの違いを慎重に考慮することで、以前の手法では到底及ばなかった、あるいは大きなエラーを出してしまった状況においても、より効果的に新しいポリシーを評価し、学習できることを示しました。

実験において、彼らは新しいアクションが可能な選択肢の最大80%を占めるシナリオや、古いデータが極めて限定的でアクションごとにデータポイントが一つしかないような厳しいシナリオをシミュレートしました。これらの困難なケースにおいて、彼らの新手法は標準的なアプローチと比較してエラーを大幅に減少させました。また、彼らはこの手法が単なる「評価」（戦略のチェック）だけでなく、「学習」（最善の戦略を見つけること）にも有効であることを示しました。この論文は、異なるデータソースを孤立した島々としてではなく、つながりのある一つの家族として扱うことで、ゼロから学習するためのデータが不足している状況においても、よりスマートで安全、かつ適応力の高い意思決定システムを構築できることを示唆しています。

技術要約：コンテキスト・バンディットにおけるクロスドメイン・オフポリシー評価および学習

1. 問題設定

本論文は、現実世界のアプリケーション（例：個別化医療、広告、教育）で頻繁に見られる以下の3つの困難なシナリオに直面した際、既存のオフポリシー評価（OPE）およびオフポリシー学習（OPL）の手法が抱える限界に対処するものである。

決定論的なロギング・ポリシー： 履歴のロギング・ポリシーが特定の行動を確率1で選択するため、確率的な探索が行われない。
新しい行動： 新しいポリシーで利用可能な行動が、履歴のログデータには一度も観測されていない。
フューショット（少データ）環境： ターゲット・ドメインのログデータが極めて限定的である。

逆確率重み付け（IPS）や二重に頑健な（Doubly Robust; DR）といった標準的な推定量は、共通サポート仮定（条件2.1）に依存しており、これは「新しいポリシーが取るあらゆる行動が、ロギング・ポリシーによって非ゼロの確率で選択されていること」を要求する。この仮定が満たされない場合（決定論的な挙動や新しい行動が存在する場合）、これらの推定量は、未探索の行動に関する報酬情報が欠如しているために深刻なバイアスを生じる。さらに、これを緩和するために複数のドメインからデータを統合しようとする素朴な試み（例：IPS-ALL）は、ドメイン間のデータ生成過程（DGP）の違いを無視することで、大幅なバイアスを導入してしまう。

これを解決するために、著者らは新しい問題設定としてクロスドメインOPE/Lを提案する。この設定では、ターゲット・ドメイン（ $T$ ）におけるポリシーを評価および最適化する際、ターゲット・ドメインの限られたログデータだけでなく、複数のソース・ドメイン（ $S$ ）からの履歴ログデータも活用することを目的とする。これらのソース・ドメインは、コンテキスト分布、報酬分布、およびロギング・ポリシーが異なる可能性があるが、同じ行動空間を共有している。

2. 手法

2.1 報酬関数の分解

提案手法の核心は、任意のドメイン $k$ における期待報酬関数 $q_k(x, a)$ を、以下の2つの成分に分解することである：
$q_k(x, a) = \underbrace{g(x, a, \phi(k))}_{\text{ドメイン・クラスター効果}} + \underbrace{h(x, a, k)}_{\text{ドメイン固有の効果}}$

ドメイン・クラスター効果 ( $g$ ): 同一のクラスター $\phi(k)$ 内のドメインに共通する成分。これは、共有された因果効果（例：類似した病院間での治療の一般的な有効性）を捉える。
ドメイン固有の効果 ( $h$ ): 各特定のドメイン $k$ に固有の成分であり、クラスター平均からの偏差を表す。

2.2 COPE 推定量

著者らは、この分解を活用してサポートの不足に対処する**クロスドメイン・オフポリシー評価（COPE）**という推定量を提案する。

クラスター効果の推定： ドメイン・クラスター効果 $g$ に対して、COPEはターゲット・クラスター $\phi(T)$ 内の全ドメインのデータを用いた**多重重要度サンプリング（Multiple Importance Weighting; MIW）**を適用する。これにより、ターゲット・ドメイン内で未探索の行動であっても、クラスター内で探索されていれば、ソース・ドメインの探索データを利用して評価することが可能になる。
固有効果の推定： ドメイン固有の効果 $h$ に対して、COPEはターゲット・ドメインのログデータのみで訓練された報酬回帰（ $\hat{q}_T$ ）を使用する。これにより、ターゲット・ドメインの固有の特性を補正する。

最終的なCOPE推定量は、これら2つの部分を組み合わせたものである：
$\hat{V}_{COPE}(\pi; D_{\phi(T)}) = \underbrace{\frac{1}{n_{\phi(T)}} \sum_{k \in \phi(T)} \sum_{i=1}^{n_k} \frac{\pi(a_i^k|x_i^k)}{p_{\phi(T)}(a_i^k|x_i^k)}(r_i^k - \hat{q}_T(x_i^k, a_i^k))}_{\text{クラスター・データに対するMIW}} + \underbrace{\frac{1}{n_T} \sum_{i=1}^{n_T} \sum_{a \in A} \pi(a|x_i^T)\hat{q}_T(x_i^T, a)}_{\text{ターゲット・データに対する回帰}}$
ここで、 $p_{\phi(T)}(a|x)$ は、重要度重みの分母として機能する、ターゲット・クラスター内で平均化されたコンテキストと行動の結合分布である。

2.3 ポリシー学習への拡張（COPE-PG）

このフレームワークは、ポリシー・グラディエント推定量（COPE-PG）を導出することで、オフポリシー学習（OPL）へと拡張される。この推定量は、同じ分解を用いてポリシー・パラメータ $\theta$ を更新し、ソース・ドメインの勾配を活用することで、新しい行動を選択したり決定論的なロギング・シナリオを扱ったりするポリシーの学習を可能にする。

2.4 理論的特性

緩和されたサポート条件： 本手法は共通クラスター・サポート（条件3.1）に依存しており、これは、ロギング・ポリシーがターゲット・ドメイン単体ではなく、クラスター内で共通のサポートを持っている場合に満たされる。これにより、ターゲット・ドメインのロギング・ポリシーが決定論的であったり新しい行動が存在したりする場合でも、クラスター内に探索データがあれば評価が可能となる。
バイアス分析： COPEのバイアスは、クラスターにおける回帰誤差の加重平均と、ターゲット・ドメインにおける誤差の差として特徴付けられる。**条件付きペアワイズ正確性（Conditional Pairwise Correctness; CPC）**条件（回帰モデルがクラスター内のドメインとターゲット・ドメイン間の相対的な報酬差を正確に保持している場合）の下で、COPEは不偏であることが証明されている。
汎用性： COPEは既存の推定量の厳密な一般化であることが示されている。クラスターサイズが1（ターゲット・ドメインのみ）の場合、標準的なDRに帰着する。クラスターサイズが全ドメインを含む場合、DR-ALLに近づく（ただしバイアス調整を伴う）。

3. 主な貢献

問題設定： ターゲット・ドメインにおけるOPE/Lの課題（決定論的なロギング、新しい行動、少データ）を解決するために、ソース・ドメインのデータを活用する、新しいクロスドメインOPE/Lの設定を導入した。
新奇な推定量（COPE）： 報酬関数の分解（クラスター効果 vs 固有効果）と多重重要度サンプリングに基づく新しい推定量。標準的なIPS/DRよりも緩やかな条件下で不偏性を達成できることが理論的に示されている。
ポリシー・グラディエントへの拡張： 探索の欠如により従来の勾配推定量が失敗するシナリオにおいても、ポリシー学習を可能にするCOPE-PGを開発した。
実証的検証： 実世界のレコメンデーション・データセット（KuaiRec）および合成データを用いた包括的な実験により、MSE、バイアス低減、およびポリシー値の最適化において、ベースライン（IPS, DR, DMおよびそれらの「ALL」ドメイン・バリアント）に対する優位性を実証した。

4. 実験結果

著者らは、様々な条件下でCOPEおよびCOPE-PGをベースライン（IPS(T), DR(T), DM(T), IPS-ALL, DR-ALL, DM-ALL）と比較評価した。

新しい行動： ターゲット・ドメインにおける新しい行動の割合が増加するにつれ、COPEは低いバイアスとMSEを維持したが、ターゲット単体の手法（IPS(T), DR(T)）は高いバイアスに苦しみ、素朴な統合手法（IPS-ALL）はDGPの不一致により失敗した。
決定論的なロギング： ターゲット・ドメインのユーザーの大部分が決定論的なロギング・ポリシーを持つ場合、COPEは低いバイアスを伴う堅牢性を示したが、標準的な手法はバイアスが急速に増大した。
フューショット・データ： 低データ環境（例：1アクションあたり1データポイント）において、COPEは最高のベースラインであるDMを大幅に上回り、あるシナリオではMSEを6.79倍削減した。
OPLの性能： COPE-PGは、高報酬の新しい行動を選択するポリシーを学習することに成功した。これはターゲット単体の手法には欠けている能力である。また、決定論的なロギングの度合いが高まっても、高いポリシー値を維持した。
ハイパーパラメータの感度： 本手法はターゲット・クラスターのサイズ $|\phi(T)|$ に対して頑健性を示し、中程度のサイズ（例：6〜8）において最適な結果が得られた。

5. 意義と主張

本論文は、既存のOPE/L手法は共通サポート仮定によって根本的な限界があり、決定論的なロギング、新しい行動、または疎なデータが関わる現実的なシナリオでは効果的ではないと主張している。問題をクロスドメインOPE/Lとして定式化することで、著者らは関連するドメイン（例：他の病院、国、またはユーザーセグメント）に存在する豊富な履歴データを活用する実用的な解決策を提供している。

本研究の意義は、以下の点にある：

オンラインA/Bテストがリスクが高い、あるいは不可能な高リスク環境において、新しいポリシーの安全な評価および学習を可能にすること。
データの統合に伴うバイアスを導入することなく、ソース・ドメインから探索情報を転移させることで、フューショット設定における「分散とバイアスのトレードオフ」を克服すること。
報酬の分解とMIWを通じて、標準的な手法が失敗する条件下でも不偏性を解析的に保証する、理論的根拠に基づいたアプローチを提供すること。

著者らは、現在のドメイン・クラスタリングはヒューリスティック（経験的な平均報酬）に依存しているものの、本フレームワークが、バンディット問題における原理的なクロスドメイン転移（特に未解決の課題である決定論的なロギングと新しい行動を対象とするもの）の研究に向けた新しい方向性を切り開くものであると結論付けている。