技術要約: BACH (Bayesian Admixture of Contrastive Heads)

1. 問題提起

ツータワー型リトリーバー（Two-tower retrievers）は、大規模な候補生成における標準的な手法であり、ユーザーとアイテムを共通の埋め込み空間にマッピングし、内積によってスコアリングします。しかし、標準的な単一ベクトルモデルは、多様で弱いつながりを持つ興味を持つユーザーを表現することに苦慮しており、しばしばすべての興味を埋め込み空間内の単一の点へと崩壊させてしまいます。これにより、支配的な興味が過剰に表現される一方で、他の興味へのサービスが不足するという結果を招きます。

マルチインタレストモデルは、ユーザーの$k$個の埋め込み（ヘッド）を生成し、これらのヘッド間の最大内積によってアイテムをスコアリングすることで、この問題を解決しようと試みています。しかし、既存のアプローチには以下の2つの決定的な限界があります：

1. ルーティングの崩壊 (Routing Collapse): 「ハード・ルーティング」（正例となるアイテムに対して最も高いスコアを持つヘッドのみが勾配を受け取る手法）による学習は、「勝者総取り」のダイナミクスを生み出します。初期状態においてわずかに劣っていたヘッドは選択される頻度が低くなり、更新も少なくなるため、次第に支配的なヘッドのコピーへと崩壊していき、実効容量が$k$を下回ってしまいます。
2. ユーザーごとの興味重みの欠如: 既存の手法は$k$個のヘッドを対称的に扱い、各ヘッドが次のアイテムを説明する可能性がどの程度あるかという、ユーザーごとの推定値を提供しません。その結果、サービングのルールは最大スコアを持つヘッドを選択するか、あるいは暗黙的な一様事前分布の下でトップリストの和集合を取ることになり、特定のユーザーにおける興味の異質性を反映できていません。

2. 手法: BACH

著者らは、マルチインタレスト・ツータワー・リトリアルを、変分推論によって適合された「パーユーザーのソフトマックスの混合（per-user mixture of softmaxes）」として再定義する BACH (Bayesian Admixture of Contrastive Heads) を提案しています。

生成モデル

BACHは、$k$個のユーザーヘッドを有限混合モデルのコンポーネントとして扱います。ユーザー$u$とアイテム$i$について：

• 潜在的なコンポーネント指標 $z_n \in \{1, \dots, k\}$ が、パーユーザーの事前分布 $\pi_u$（混合重みベクトル）とともに導入されます。
• $z_n = r$ であるという条件の下で、アイテムは第$r$のユーザー埋め込み $u^{(r)}$ によって定義されるサンプリングされたソフトマックス分布から生成されます。
• 観測データの対数尤度は、潜在的なヘッドに関する周辺化されたものです：$p(i|u) = \sum_r \pi_u^{(r)} p_r(i|u)$。

変分推論と認識事後分布

対数和項（log-of-sum term）のために、対数尤度の直接的な最適化は困難です。BACHは、エビデンス下限（ELBO）を最大化するために変分推論を採用しています。

• 認識事後分布 (Recognition Posterior): サービング時に扱いにくいモデル自身の負の依存関係を持つ事後分布の代わりに、BACHはヘッドに対する球状認識事後分布 $\gamma_n$ を導入します。
• カーネルの選択: 事後分布は球状密度（デフォルトは Power-Spherical、代替案として von Mises-Fisher）を用いてモデル化されます。この密度は、ヘッドの方向 $u^{(r)}$ と集中パラメータ $\kappa_r$ によってパラメータ化されます。
• 責任度 (Responsibilities): 変分分布（責任度） $\gamma_n^{(r)}$ は次のように計算されます：
  $$\gamma_n^{(r)} = \frac{\pi_u^{(r)} \sigma_r(n)}{\sum_{r'} \pi_u^{(r')} \sigma_{r'}(n)}$$
  ここで、$\sigma_r(n)$ はヘッドと正例アイテムの間のアライメントに基づく球状密度値です。

最適化

モデルは、以下の項目についてELBOを共同で最大化します：

1. 埋め込み ($\theta, \phi$): ユーザーヘッドとアイテムタワーは、責任度重み付きコントラスティブ損失を通じて訓練されます。ハード・ルーティングとは異なり、勾配は責任度 $\gamma_n^{(r)}$ によって重み付けされながら、すべての$k$個のヘッドを通じて流れます。これにより、ルーティングの崩壊を軽減します。
2. 混合重み ($\pi_u$): ゲーティングタワー $\pi_\xi(x_u)$ がパーユーザーの重みを生成します。これらの重みはELBOにおける事前分布として機能し、サービング時にも各ヘッドの重み付けとして再利用されます。
3. 集中パラメータ ($\psi$): 集中パラメータ $\kappa_r$ は、コントラスティブ事後分布の鋭さを適合するように学習されます。重要なことに、$\kappa_r$ はKLダイバージェンス項を通じてのみELBOに寄与するため、これらは自己正規化され、明示的な事前分布やクリッピングを必要としません。

サービング

サービング時、BACHは自己正規化された混合密度によってアイテムをランク付けします：
$$m(i|u) = \sum_{r=1}^k \pi_u^{(r)} C_d(\kappa_r) \omega_{\kappa_r}(\langle u^{(r)}, v_i \rangle)$$
これにより、効率的なリトリーバルが可能になります：

• ソフト・ランキング: アイテムはハードなmaxではなく、ソフトな混合によってランク付けされるため、崩壊した、あるいは低質量なヘッドが最小限の寄与しかできないようになっています。
• グローバル・コードブック・バリアント: BACHは、ヘッドが全ユーザー間で共有される（固定されたトピックのコードブック）「グローバル」モードをサポートしており、$\pi_u$ はパーソナライズされたままとなります。これにより、事前計算可能なリトリーバルが可能になります。つまり、各ヘッドの候補リストをオフラインで計算し、サービング時に $\pi_u$ によって重み付けを行うことで、パーユーザーの最近傍探索を排除できます。

3. 主な貢献

• 変分定式化: マルチインタレスト・リトリーバルを、ハード・ルーティングによる決定論的なarg-maxを、変分推論によって適合されたパーユーザーのソフトマックス混合として定式化しました。
• ルーティング崩壊の軽減: 勾配をソフトな責任度に基づいてすべてのヘッドに分散させることで、一般的なハード・ルーティングに見られる「勝者総取り」のダイナミクスを防ぎます。
• パーユーザーの興味重み付け: モデルは、各ヘッドの重要性を定量化する明示的なパーユーザー混合重み ($\pi_u$) を学習し、これをサービング時にリトリーバルの重み付けとして再利用することで、既存手法における興味の異質性の欠如に対処します。
• 自己正規化される集中パラメータ: 集中パラメータ $\kappa_r$ はELBOのKL項を通じてデータに適合されるため、外部の事前分布を必要とせず、自然に有界に保たれます。
• サービング整合的なスコアリング: 「すべての候補を、そのベストなヘッドによってスコアリングする（scoring every candidate by its best head）」という、従来のターゲット・ルーティングよりも優れた「サービング整合的」な目的関数を用いた訓練が、従来の手法を凌駕することを実証しました。

4. 実験結果

著者らは、MovieLens-20M、Taobao、Netflix の3つの大規模ベンチマークでBACHを評価しました。

• パフォーマンス: BACHは、すべての指標（Recall@K, NDCG@K, AUPRC）およびすべてのヘッド数（$k \in \{8, 16, 32\}$）において、すべてのベースライン（単一ベクトル、MIND/ComiRecのようなハード・ルーティングのマルチインタレスト、およびmax-ルーティングのバリアント）を上回りました。
• ランキング上位での向上: 改善はランキングの上位（AUPRC, R@10）で最も顕著であり、ユーザーの意図とのより良いアライメントを示しています。
• ルーティングのアブレーション: 「all-multihead」（すべての候補をそのベストなヘッドでスコアリングする）は、「pos-multihead」（ターゲット・ルーティング）よりも大幅に優れており、その差は$k$が増加するにつれて拡大することが判明しました。BACHは、このall-multiheadベースラインをもさらに改善しました。
• カーネルのバリアント: Power-Spherical (p-BACH) と von Mises-Fisher (v-BACH) のバリアントは同等の性能を示し、その利得は特定の球状カーネルではなく、変分混合構造に起因することが示されました。
• グローバル・コードブック: グローバル・コードブック・バリアント（共有ヘッド、パーソナライズされた重み）は、強力なパフォーマンス（人気ベースラインを2〜5倍上回る）を達成しながら、事前計算可能な低レイテンシのサービングとコールドスタートへの堅牢性を提供しましたが、完全なパーソナライズド・ヘッドと比較すると精度面でのトレードオフがありました。

5. 意義と主張

本論文は、BACHが、ハード・ルーティングの構造的な欠陥に直接対処する、原理に基づいた確率的フレームワークを提供すると主張しています。変分混合として問題を扱うことで、以下のことを実現しています：

1. 堅牢性: 複雑な正規化ヒューリスティクスなしに、ヘッドの崩壊を排除します。
2. キャリブレーション: サービングの一貫性を高める、校正されたパーユーザーの興味重みを生成します。
3. 柔軟性: 完全なパーソナライズド・ヘッドから、事前計算可能なグローバル・コードブックに至るまで、展開オプションのスペクトラムを提供し、精度とサービング効率のトレードオフを可能にします。

著者らは、この手法が、サービング可能なトラクタブルなアーキテクチャを維持しながら、実世界の規模の大きなデータセットにおいてリトリーバルの品質を向上させることを強調しています。