📈 economics

Two-Sided Prioritized Ranking: A Coherency-Preserving Design for Marketplace Experiments

この論文は、オンラインマーケットプレイスにおける価格実験で生じる干渉とプラットフォームの一貫性維持という課題に対し、順位バイアスを利用した「両側優先順位付け（TSPR）」という新しい実験手法を提案し、半合成シミュレーションによりその推定バイアスの低減と統計的検出力の向上を実証しています。

原著者： Mahyar Habibi, Zahra Khanalizadeh, Negar Ziaeian

公開日 2026-03-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Mahyar Habibi, Zahra Khanalizadeh, Negar Ziaeian

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

1. 問題：なぜ普通の「A/B テスト」は失敗するのか？

まず、普通のオンラインショップで新しい価格設定（例えば「10% 割引」）を試すとき、どうやって効果を確認するか想像してみてください。

従来の方法（ユーザー単位）： 「A 組のユーザーには割引価格を見せ、B 組には通常価格を見せる」。
- 問題点： これは**「価格の不公平」**を生みます。同じホテルなのに、人によって値段が違うと、ユーザーは「なぜ俺だけ高いんだ！」と怒ります。また、法律や信頼の問題で、これは多くの企業で禁止されています。
従来の方法（アイテム単位）： 「同じユーザーに見せるリストの中で、一部のホテルだけ割引にする」。
- 問題点： ここに**「干渉（ジャマ）」**という問題が起きます。
- 例え話： 居酒屋のメニューで、「刺身」を半額にするとします。
  - 本来「刺身」を買うはずだった客が、半額だから「刺身」を選びます。
  - その結果、本来「刺身」を買っていただろう客が、他の「焼き鳥」や「おでん」を買わなくなります。
  - すると、「焼き鳥」や「おでん」の売上は、値下げした「刺身」のせいで下がってしまいます。
  - 実験者は「焼き鳥」の売上が下がった理由を「焼き鳥自体が不人気だから」と勘違いしてしまいます。これが**「干渉によるバイアス（誤差）」**です。

結論： 従来の方法では、「公平さ（コヒーレンシ）」と「正確なデータ」の両立ができませんでした。

2. 解決策：TSPR（両面優先順位付け）とは？

この論文が提案するTSPRは、「リストの並び順」をいじるという巧妙な方法です。

【イメージ：レストランのメニュー】
お店には「割引メニュー（実験グループ）」と「通常メニュー（対照グループ）」があります。

A 組の客： メニューの一番上に「通常価格」の料理を並べ、割引料理は奥に隠します。
B 組の客： メニューの一番上に「割引価格」の料理を並べ、通常料理は奥に隠します。

重要なポイント：

全員が同じメニューを見る： どちらの客も、同じ料理（同じホテル）が載っています。値段も、その料理に対しては全員同じです（公平性 OK）。
目立つ場所が違うだけ： 人間はメニューの**「一番上」にしかあまり目が行きません（これを「位置バイアス」**と呼びます）。
- A 組は「通常」の料理に注目し、B 組は「割引」の料理に注目します。
結果の比較：
- 「割引料理」がトップにある B 組の客は、その料理を多く注文します。
- 「通常料理」がトップにある A 組の客は、他の料理を注文します。
- この**「注文パターンの違い」**を分析することで、割引が本当に全体の売上をどう変えたかを正確に計算できます。

3. なぜこれがすごいのか？（魔法の「中継ぎ」）

この方法のすごいところは、「干渉（ジャマ）」を逆手に取っている点です。

普通の失敗例： 割引と通常が混ざり合って、どちらが売れたかわからなくなる。
TSPR の成功例：
- 「割引」をトップに集めることで、その影響を**「増幅」**させます。
- 「通常」をトップに集めることで、対照群の基準を**「明確」**にします。
- さらに、両者の間に**「プラセボ（中継ぎ）」**という、実験に関係ない料理を挟むことで、両者が混ざり合うのを防ぎます。

これにより、**「割引が全体に与えた本当の影響（グローバル効果）」**を、公平性を保ったまま、正確に測ることができます。

4. 実験結果：どれくらい効果があった？

この論文では、Expedia（旅行予約サイト）のデータを使ってシミュレーションを行いました。

従来の方法（A/B テスト）： 誤差が大きく、割引の効果を**「過大評価」**してしまいました（「刺身」が半額になったせいで「焼き鳥」が売れなくなったのを、焼き鳥の不人気と勘違いしたようなもの）。
クラスター法（グループ分け）： 正確なデータは出ましたが、**「データがバラバラすぎて、信頼性が低い」**という問題がありました（サンプル数が極端に減るため）。
TSPR（今回の方法）：
- 誤差が激減： 従来の方法に比べ、誤差が劇的に小さくなりました。
- 精度が高い： グループ分け方法よりも、はるかに安定した結果が出ました。

まとめ：この論文が伝えたいこと

「オンラインショップで価格実験をするとき、ユーザーに不公平な価格を見せるのはダメだし、リストをバラバラにするのもダメ。でも、リストの『並び順』を工夫すれば、公平なまま、正確な実験ができる！」

これは、**「人間の『上を見がち』という癖」**を逆手に取った、とてもスマートで実用的なアイデアです。
Amazon や楽天、ホテル予約サイトなどが、新しい価格戦略を安全にテストする際の「新しい黄金ルール」となり得る画期的な提案です。

論文要約：Two-Sided Prioritized Ranking (TSPR)

タイトル: Two-Sided Prioritized Ranking: A Coherency-Preserving Design for Marketplace Experiments
著者: Mahyar Habibi, Zahra Khanalizadeh, Negar Ziaeian
日付: 2026 年 3 月（arXiv 公開日：2025 年 2 月）

1. 背景と問題定義

オンラインマーケットプレイス（EC サイト、旅行予約サイトなど）では、価格変更などの施策効果を評価するためにランダム化比較試験（A/B テスト）が頻繁に行われています。しかし、ランキングされた検索結果リストにおいてアイテムが競合する環境では、以下の 2 つの重大な課題が存在します。

干渉（Interference）の問題:
- 標準的な A/B テストは「安定単位処置値仮説（SUTVA）」を前提としていますが、マーケットプレイスではこの仮説が破綻します。
- リスト内のアイテムはユーザーの限られた注意力と需要を奪い合っており、あるアイテムの価格変更（処置）が、同じリスト内の他のアイテム（対照群）の需要に影響を与えます（代替効果や補完効果）。
- 従来のアイテム単位のランダム化（Bernoulli ランダム化）では、処置群と対照群が同じリスト内で混在するため、推定値に大きなバイアスが生じます。
一貫性（Coherency）の制約:
- 価格の均一性: 同じアイテムに対して異なるユーザーが異なる価格を見ることは、法的・倫理的（価格差別への懸念）およびブランド信頼の観点から許容されません。
- カタログへの完全アクセス: 実験中に特定のアイテムを非表示にしたり、ユーザーごとに異なるアイテムセットを表示したりすることは、ユーザー体験を損ない、代替パターンの歪みを引き起こすため不可です。
- これらの制約により、ユーザー単位でのランダム化（全アイテムを処置/対照にする）や、アイテムの非表示化を伴う実験デザインは採用できません。

課題: 干渉が存在し、かつ「価格の均一性」と「全カタログへのアクセス」を維持する必要がある条件下で、価格変更の「グローバルな処置効果（Global Treatment Effect）」をどのように正確に推定するか？

2. 提案手法：Two-Sided Prioritized Ranking (TSPR)

著者らは、Two-Sided Prioritized Ranking (TSPR) という新しい実験デザインを提案しました。これは、ランキングシステムにおける「位置バイアス（Position Bias）」を利用し、処置曝露（Treatment Exposure）に系統的な変動をもたらすことで、干渉下での推定を可能にする手法です。

核心的なアイデア

位置バイアスの活用: ユーザーはリストの上位にあるアイテムにより多くの注意力を向けます。TSPR は、この特性を利用して、処置群と対照群のアイテムがリストのどの位置に表示されるかを意図的に操作します。
両側ランダム化と優先順位付け:
1. アイテムの分割: 全アイテムを「処置群（Treated）」「対照群（Untreated）」「プラセボ群（Placebo）」の 3 つにランダムに分割します（プラセボ群はバランスと汚染防止のために重要です）。
2. クエリ（ユーザー）の分割: 流入するクエリを A グループと B グループにランダムに割り当てます。
3. リストの再排序:
  - A グループ: 「対照群」→「プラセボ」→「処置群」の順で優先順位を付け、対照アイテムを上位に表示します。
  - B グループ: 「処置群」→「プラセボ」→「対照群」の順で優先順位を付け、処置アイテムを上位に表示します。
一貫性の維持: すべてのユーザーは同じアイテムセット（全カタログ）を見ることができ、各アイテムの価格（処置状態）もユーザー間で一貫しています。違いは「どのアイテムが上位に表示されるか（曝露の度合い）」のみです。

推定論理

グローバルな処置効果（全アイテムが処置された場合の対、全アイテムが対照の場合の対）を推定します。
リストの深さ（Rank Depth）ごとの部分的な成果（Partial Outcome）を比較します。
処置アイテムが上位に集中しているグループ（B）と、対照アイテムが上位に集中しているグループ（A）の成果差を分析し、位置バイアスによる歪みを補正する関数（ $\tau(l)$ ）を用いて、グローバルな効果量（ $\Phi$ ）を復元します。

3. 評価と結果

Expedia のホテル検索データに基づいた半合成シミュレーション（Semi-synthetic simulation）を用いて、TSPR の性能を評価しました。

比較対象

Bernoulli ランダム化 A/B テスト: 従来のアイテム単位ランダム化（干渉により大きなバイアスがある）。
クラスターランダム化: アイテムをクラスター化して処置を割り当てる（バイアスは低いが高分散）。

主要な結果

バイアスの低減:
- Bernoulli ランダム化は、干渉によるバイアス（-0.0337）が大きく、処置効果を過大評価する傾向がありました。
- TSPR（パラメトリック推定）はバイアスを大幅に低減（-0.0133）し、真値（-0.0691）に近づけました。
分散（効率性）の向上:
- クラスターランダム化はバイアスは低いものの、ランダム化単位が少ないため分散が極めて大きく（標準偏差が TSPR の約 8 倍）、推定の精度が低かったです。
- TSPR は、バイアスと分散のトレードオフが非常に優れており、最小の RMSE（平均二乗誤差）を達成しました。
統計的検出力:
- TSPR は、クラスターランダム化に比べて標準偏差が 4.9 倍〜8.3 倍小さく、より少ないサンプル数で統計的に有意な結果を得られる可能性があります。

4. 主要な貢献

一貫性を維持した干渉下での推定手法:
- 価格均一性や全カタログアクセスという実務的な制約を破ることなく、干渉下でのグローバル処置効果を推定できる新しい実験デザインを提案しました。
位置バイアスの識別変数としての利用:
- 通常はノイズやバイアスの源とされる「位置バイアス」を、処置曝露を操作するための識別変数として積極的に活用する枠組みを構築しました。
プラセボブロックの導入:
- 処置群と対照群の間にプラセボアイテムを配置することで、両群のアイテム品質の偏りを防ぎ、処置効果の純粋な評価を可能にしました。
実証的な有効性の提示:
- 大規模なホテル検索データを用いたシミュレーションにより、既存の手法（Bernoulli、クラスターランダム化）をバイアスと分散の両面で凌駕することを示しました。

5. 意義と応用

実務への適用性: TSPR は、既存のレコメンデーションシステム内でランキングの優先順位を調整するだけで実装可能であり、ユーザーへの価格変更やカタログの分割といった高コスト・高リスクな操作を必要としません。
プラットフォーム実験の指針: 「干渉が存在する環境でも、プラットフォームの構造（ここではランキングと注意力）を利用することで、因果推論が可能である」という重要な示唆を与えています。
適用範囲: 強い位置バイアスが存在し、供給制約（在庫不足）が実験期間中に発生しない環境（slack supply）で特に有効です。ライドシェア、EC、広告配信など、ランキングベースのマッチング市場全般に応用可能です。

結論:
TSPR は、マーケットプレイス実験における長年の課題である「干渉」と「一貫性制約」のジレンマを解決する、実用的かつ統計的に強力なアプローチです。特に、価格実験などにおいてユーザーの信頼を損なわずに、正確な因果効果を推定したい企業にとって、重要な手法論的進展と言えます。