テクニカル・サマリー：不可能なものと比較してはならない

問題提起

大規模な推薦システムにおいて、対照学習（Contrastive Learning）はユーザー表現を学習するための標準的なパラダイムとなっている。これらの手法は通常、観測されたユーザーとアイテムのインタラクションをポジティブ（正例）とし、同一ミニバッチ内の他のアイテムをネガティブ（負例）として扱う。ランダムなミニバッチ・サンプリングに潜む、一般的かつしばしば暗黙的な仮定は、**ユニバーサルな露出（Universal Exposure）**である。これは、いかなるユーザーも理論上はあらゆるアイテムに露出され得るという考え方である。

この仮定は、Karrot（Danggeun Market）のような、設計段階で地理的に露出が制限されているローカル・コミュニティ・プラットフォームにおいては成立しない。このようなプラットフォームでは、ポリシーによって、大多数のユーザーとアイテムのペアは**不可能（Impossible）である。つまり、ユーザーの表示可能領域の外にあるアイテムは、そのユーザーに決して露出されることはない。その結果、標準的なランダム・バッチングは、大量の「不可能なネガティブ（Impossible Negatives）」**を導入することになる。これらは、ユーザーの好みの欠如によるものではなく、地理的なルールによってそのユーザーには決して表示され得なかったアイテムである。

論文では、ネガティブを以下の2種類に区別している：

1. 実現可能なネガティブ（Feasible Negatives）: ユーザーが露出される可能性があったが、エンゲージメント（反応）を選択しなかったアイテム。これらは意味のある嗜好シグナルを保持している。
2. 不可能なネガティブ（Impossible Negatives）: プラットフォームの制約により、ユーザーに決して露出されることがなかったアイテム。これらは、非エンゲージメントがユーザーの選択ではなくシステムによって決定されているため、嗜好に関するシグナルをほとんど、あるいは全く持たない。

不可能なネガティブがトレーニング・バッチ内で支配的になると、対照学習のシグナルが希釈され、ユーザー表現の識別性が低下する。

手法：領域制約付きバッチ・サンプリング（RCBS）

「不可能なネガティブ」の問題に対処するため、著者らは**領域制約付きバッチ・サンプリング（Region-Constrained Batch Sampling: RCBS）**を提案している。これは、モデルのアーキテクチャや損失関数を変更することなく、ミニバッチの構築方法を修正するデータレベルの補正手法である。

コア・メカニズム

RCBSは、領域均質（Region-homogeneous）なミニバッチを構築する。ユーザーをプラットフォーム全体から一様にランダムにサンプリングする代わりに、RCBSは特定の地理的領域 $r$ からユーザーをサンプリングする。

• 実現可能性の定義: ユーザーの領域とアイテムの領域の距離が、ユーザー固有の露出半径 $\delta_u$ 以内である場合、そのユーザーとアイテムのペアは「実現可能」と定義される。
• バッチ構築: 特定の領域プール $U_r$ からユーザーを一様にサンプリングすることで、バッチ $\mathcal{B}_r$ を形成する。バッチ内のすべてのユーザーは同様の露出制約を共有しているため、他のユーザーに関連付けられたアイテムは、ターゲットとなるユーザーにとって極めて高い確率で**「実現可能なネガティブ」**となる。

理論的影響

著者らは、ランダム・バッチングの下では、不可能なネガティブの期待割合（$\rho$）が高くなり、領域数に比例して増加することを導出した。対照的に、RCBSは確率質量を単一の領域に集中させることで、$\rho$ をゼロに近づける。

• より困難なネガティブ（Harder Negatives）: 不可能なネガティブを「実現可能なネガティブ」に置き換えることで、RCBSは自然に、より「困難な」ネガティブを導入する。実現可能なネガティブは、ユーザーが「見ることができたはずなのに、見なかった」アイテムを表しており、ユーザーの嗜好を学習するためのより強力で情報量の多いシグナルを提供する。
• IPSとの相補性: 本論文では、RCBSは逆傾向スコア法（Inverse Propensity Scoring: IPS）と相補的であると述べている。IPSは観測されたペア間の露出バイアスを補正するが、露出確率がゼロであるペア（不可能なペア）を扱うことはできない。RCBSは、トレーニング・バッチが主に実現可能なペアで構成されることを保証し、その上でIPSが残存する不均衡を補正できるようにする。

主な貢献

1. 問題の特定: 領域制約のある推薦システムにおける「不可能なネガティブ」という特有の問題を特定し、それを標準的な嗜好ベースのネガティブと区別した。
2. RCBSの提案: ミニバッチ内に地理的な均質性を強制することで、不可能なネガティブを削減する、シンプルかつ効果的な手法である領域制約付きバッチ・サンプリングを導入した。
3. 実証的検証: 広範なオフラインおよびオンライン評価を通じて、RCBSがユーザー表現の質とダウンストリームのパフォーマンスを向上させることを示した。
4. プロダクションへのデプロイ: RCBSを通じて学習されたユーザー埋め込みは、Karrotにおける様々なアプリケーションにおいて、プロダクション環境へ正常にデプロイされている。

実験結果

オフライン評価（ユーザーモデリングの事前学習）

• 指標: Recall@10 および Recall@100
• 知見: RCBSで学習されたモデルは、ランダム・バッチのベースラインを一貫して上回った。
  • Random-Train: 不可能なネガティブの比率（$\rho_{train}$）が 0.98 のとき、R@10 は 0.100 であった。
  • RCBS-Train (fine): $\rho_{train}$ が 0.30 に減少したとき、R@10 は 0.149 に達した。
• 観察: 不可能なネガティブの比率が低いほど、Recall指標が高いことと強い相関があった。さらに、RCBSで学習されたモデルをRCBSベースの評価（RCBS-Eval）で評価すると、Random-Evalよりも低いスコアとなった。これは、実現可能なネガティブが、不可能なネガティブよりも「より困難で挑戦的なネガティブ」として機能していることを裏付けている。

ダウンストリーム・タスクのパフォーマンス

3つのダウンストリーム・タスクに適用した際、RCBSで学習されたユーザー埋め込みは、ランダム・バッチのベースラインに対して一貫した改善を示した：

• ホームフィード・ランキング: NDCG@10 が +1.18% 向上。
• ホームフィード・リトリーバル: Recall@10 が +7.56% 向上（リトリーバルと事前学習の目的関数の構造的な類似性に起因し、最大の改善幅となった）。
• ディスプレイ広告ランキング: PR-AUC が +3.38% 向上。

オンライン A/B テスト

最も優れた性能を示したモデル（RCBS-Train fine）をプロダクションの A/B テストに投入した：

• ホームフィード（ランキング + リトリーバル）: クリック数が +10.0%、インプレッション数が +5.12%、デイリー・アクティブ・ビューア（DAV）が +1.91% 増加。
• ディスプレイ広告: eCPM が +6.01%、広告 CTR が +7.46% 増加。

意義と主張

本論文は、「不可能なネガティブ」の問題が、地理によって露出が厳格に制限されている場所（フードデリバリー、マッチングアプリ、ローカルマーケットプレイスなど）において、極めて重要でありながら見落とされがちな問題であることを主張している。バッチング・プロセスを領域均質に制約するという単純な操作によって、著者らは以下のことを証明した：

1. トレーニング・シグナルが強化される: 不可能なネガティブを実現可能なネガティブに置き換えることで、ユーザーの嗜好をより正確に反映できる。
2. パフォーマンスはスケーラブルである: この手法は、リトリーバルとランキングの両方の指標を包括的に改善し、プロダクション環境において大きなビジネスインパクトをもたらす。
3. シンプルさが効果を発揮する: この解決策はモデルアーキテクチャや損失関数の変更を必要とせず、地理的に制約のあるシステムにおける標準的なランダム・バッチングの、実用的なドロップイン・リプレースメント（置き換え）となる。

著者らは、RCBSは構造的な「不可能性」を効果的に対処できる一方で、今後の課題として、動的な制約に対する適応的な領域グルーピングや、傾向ベースのデバイアス手法とのさらなる統合を探索できる可能性があると結論づけている。