技術要約：一つの階層、二つのシステム

問題提起

マルチマーチャント（複数業者）のeコマースカタログは、根本的な表現上の課題に直面している。すなわち、同等または関連する製品が、異なるマーチャント固有の識別子（ID）の下にリストされていることで、プラットフォーム全体で行動エビデンスが断片化してしまうという問題である。既存のソリューションは、粒度と汎用性のバランスを取ることに苦慮している。

• マーチャント固有のリスティングIDは、正確な同一性を保持するものの、異なるマーチャント間での同等製品への嗜好シグナルの転送に失敗し、信頼できる嗜好を学習するためのデータが疎になる。
• **専門家定義のタクソノミー（分類体系）**は、より広範なエビデンスの共有を可能にするが、きめ細かなパーソナライゼーションやディスカバリー（発見）には粗すぎる場合が多い。
• **クエリ再構成（Query Reformulation）**システムは、生のクエリ文字列の遷移に依存しているため、スペルミス、略語、類義表現によってエビデンスが断片化しやすい。さらに、同一のクエリ文字列であっても、異なるビジネス垂直分野間で異なる意図を混同してしまう可能性がある。

核心となる問題は、パーソナライゼーションに必要な識別性を維持できるほど精緻でありながら、レコメンデーションと検索の両ドメインにおいてエビデンスの集約と意図の洗練をサポートできるほど階層的である、単一の製品表現を特定することである。

メソドロジー

著者らは、パーソナライズされたアイテムランキングとクエリ再構成という二つの異なるシステムのための共通の製品表現として、学習されたセマンティックID（SID）階層を利用した統合フレームワークを提案している。

1. 共有製品階層の構築

階層は、カタログコンテンツを用いて**残差量子化K-means（RQ-K-means）**により構築される。

• 埋め込み（Embedding）: 製品プロファイル（商品名、ブランド、サイズ）は、学習済みテキストエンコーダー（gemini-embedding-001）を使用して、高次元ベクトル（3,072次元）にエンコードされる。
• 量子化（Quantization）: ベクトルは、各ステージに512個のセントロイドを持つ3段階の残差量子化を受ける。
• 構造: 各製品には、3つのコードシーケンス $s_i = [c_{i,0}, c_{i,1}, c_{i,2}]$ が割り当てられる。深さ1、2、3における接頭辞（L1、L2、L3）は、カタログの入れ子状のパーティションを定義する。
• 特性: この階層は、製品コンセプトを段階的な具体性を持って捉える。長い共有接頭辞は、バランスの取れたコード使用量を維持しながら、高い意味的コヒーレンス（一貫性）と優れたグループ分離（低いDavies-Bouldin指数）と相関する。

2. アプリケーションA：パーソナライズされたアイテムランキング

SID階層は、複数のセマンティック解像度で消費者行動を集約することにより、ディスカバリー・サーフェス（例：カテゴリカルーセル）におけるランキングを強化するために使用される。

• 高密度特徴量（Dense Features）: 行動統計（注文頻度、購入最新性、パフォーマンス率）は、消費者、サブマーケット、およびグローバルなコンテキストにおけるSID接頭辞（L1、L2、L3）にわたって集約される。これにより、モデルは広範なコンセプトと微細なバリアントの両方に対して嗜好を学習できる。
• シーケンス特徴量: SIDコードは、SentencePiece（BPEの変種）を使用して「SPMトークン」としてトークン化される。これらのトークンは、候補アイテムと消費者履歴（過去180日間の順序付けられた製品）の両方を表す。
• モデルアーキテクチャ: CTR（クリック率）、ATC（カート追加率）、CVR（コンバージョン率）を予測するマルチタスクニューラルネットワークは、これらの高密度集約データとシーケンス埋め込みを取り込む。共有埋め込みテーブルにより、モデルは候補製品のサブワードを履歴上の消費者嗜好に直接関連付けることができる。

3. アプリケーションB：クエリ再構成

階層は、製品コンセプトに基づいて検索クエリを接地（グラウンディング）し、推奨クエリピルの精度を向上させる。

• クエリからコンセプトへの接地: クエリは、曖昧さを解消するためにビジネス垂直条件に基づき、関連するATCイベントに基づいて主要なSID接頭辞（L1またはL2）にマッピングされる。
• 遷移モデリング:
  • 横方向のナビゲーション（Lateral Navigation）: 接地されたSID接頭辞間の遷移は、正規化相互情報量（NPMI）を用いてモデリングされ、横方向のピボット（例：ミルク $\to$ シリアル）を捉える。
  • 階層的洗練（Hierarchical Refinement）: 並行するパスとして、L2接頭辞からそのL3の子要素へと下降する経路があり、これにより、きめ細かな意図が自己ループへと崩壊することを防ぐ（例：ミルク $\to$ 全乳）。
• レンダリングとフィルタリング: 言語モデルがターゲットとなるコンセプトを消費者向けのクエリへとレンダリングする。候補は、提案が実行可能であることを保証するために、マーチャントのアクティブな品揃えに対してフィルタリングされる。

主な貢献

1. プロダクション規模の研究: 本論文は、レコメンデーションと検索の両システムにおいて再利用可能な表現として、学習されたSID階層を大規模に展開した事例を提示している。
2. タスク特化型の適応: 単一の階層がいかにして二つの異なる目的をサポートできるかを示している。
   • ランキング: SID接頭辞上でインタラクションを集約し、複数の粒度で嗜好をモデル化する。
   • 再構成: クエリを製品コンセプトに接地し、階層内での遷移をモデリングすることで、横方向のナビゲーションと階層的洗練の両方をサポートする。
3. 経験的な優位性: 学習されたSIDは、意図の識別性を保持する点において専門家定義のタクソノミーに、また行動遷移をマイニングする点において生のクエリ文字列に勝ることを実証している。

結果

オフライン評価

• ランキング: アブレーション研究により、SID由来の特徴量を除去した場合（FC-A）は、フルモデル（FC）と比較して大幅な性能低下を招くことが示された。フルモデルは、ベースラインに対して MRR@5 で +6.98%、NDCG@5 で +6.76% の向上を達成したが、アブレーションモデルの向上はそれぞれ +2.10%、+2.92% に留まり、SID特徴量が向上の大部分を牽引していることが示された。
• 再構成: 専門家のタクソノミーと比較して、SIDは意図が崩壊する遷移の割合を 18.8% から 10.9% に減少させた。生のクエリ文字列グラフと比較して、SIDベースのシステムは、ランク1の推奨の判定品質を 0.522 から 0.734 に向上させた。

オンライン評価

• ランキングへの影響: フルな処理（SID特徴量 + 同時更新）により、平均カルーセルATC（カート追加）率が 5.5% 向上し、特にポジション1で +8%、ポジション2で +16% の利得があった。また、小計（subtotal）も 0.31% 増加した。注目すべき点として、この処理は人気集中を抑制し、最初のカルーセルポジションにおけるアイテムの平均的な過去の知名度（popularity）を 18.1% 低減させた。
• 再構成への影響: SIDベースの再構成モジュールは、購入MRR を +0.558% 向上させ、ATCポジションを 1.571% 低減させ、検索スクロール深さを 1.866% 低減させた。これは、ユーザーがより少ない労力で、より早く購入可能な製品に到達できたことを示している。

意義

本論文は、共有されたセマンティック製品階層が、各アプリケーションに必要なタスク固有のコンテキストを保持しながら、レコメンデーションと検索の両方を効果的にサポートできると主張している。階層の構築（カタログコンテンツに基づく）をその適用（行動コンテキストに基づく）から切り離すことにより、システムは、二つのシステムのモデルパラメータや学習目的を共有することなく、クロスマーチャントの嗜好転送と、粗から細へのクエリナビゲーションを可能にする。このアプローチは、マルチマーチャントのeコマース環境における行動エビデンスの断片化に対する、スケーラブルな解決策を提供するものである。