技術要約：Mind the Gap: LLMを用いたマルチバーティカル・レコメンデーションにおける行動サイロの架け橋

1. 問題提起

DoorDashのようなマルチバーティカル（多角的な業種展開を行う）型Eコマースのエコシステムにおいて、新しいドメイン（例：グローサリー、リテール、ビューティー）への拡大は、重大なパーソナライゼーションの課題、すなわち「コールドスタート」問題を引き起こします。ユーザーは、これらの新興バーティカルにおけるエンゲージメント履歴が不足していることが多く、関連性の高いレコメンデーションを生成することが困難になります。一方で、これらのプラットフォームは、確立された高トラフィックなバーティカル（例：レストラン注文）から得られる豊富な行動データを有しています。本研究が取り組む核心的な課題は、新しいドメインにおける直接的な履歴データに依存することなく、データが豊富なバーティカルからデータが乏しいバーティカルへと、いかに効果的に潜在的な知識を転移させ、レコメンデーションの品質を向上させるかという点です。

2. メソドロジー

著者らは、大規模言語モデル（LLM）を利用してセマンティックな特徴量エンジニアリングを行い、非構造化された行動データから構造化されたユーザー嗜好特徴を合成する、新しいフレームワークを提案しています。

2.1 階層的検索拡張生成（Hierarchical RAG）

本システムは、非構造化されたユーザーシグナル（レストランの注文履歴および検索クエリ）を、4段階の内部製品タクソノミー（L1–L4）にマッピングするための階層的RAGパイプラインを採用しています。

• カスケード推論: プロセスはカスケード推論戦略を通じて動作します。モデルはまず、広範なトップレベル（L1、L2）のタクソノミーへの親和性を特定します。これらの信頼度の高い分類が、その後のより粒度の細かいレベル（例：L3）での生成的な検索空間を制約します。この反復的な精緻化により、もっともらしいが誤ったサブカテゴリが生成されることを防ぎます。
• 特徴量の焦点: 本番環境のマルチタスク学習（MTL）ランカー向けに、システムは特にL2およびL3の親和性をターゲットとしています。これは、L1は一般的すぎて汎用性が高く、L4はスパース性（希薄性）が過度になるためです。

2.2 生成的特徴合成

フレームワークは、ユーザー表現を拡張するために2つの異なるクラスの特徴量を生成します。

1. 長期的なクロスバーティカル親和性プロファイル: 累積的なレストラン注文履歴から推論される、潜在的かつ歴史的な嗜好を捉えます。
2. 短期的なインテント（意図）プロファイル: プラットフォーム上の最近の検索活動から派生する、直近かつ一時的な関心をモデル化します。

2.3 プロンプトエンジニアリングと制御

高精度かつ決定論的な出力を確保するため、著者らは厳格なプロンプトエンジニアリングの制御を実装しました。

• コンテキスト入力: プロンプトは、レストラン名と注文アイテムを時系列で結合し、直近の行動を優先させた上で、検索クエリと併せて提示します。
• 信頼度フィルタリング: モデルには、生成された各親和性に信頼度スコアを割り当てるよう指示されます。信頼度が閾値0.8を超えるタクソノミーのみが採用されます。これは、不適切な関連付けを排除するための自己修正メカニズムとして機能します。
• 出力制約: モデルは、提供されたリスト内の正確なタクソノミーの綴りを出力するように制限されており、存在しないカテゴリの捏造を防いでいます。

2.4 本番環境のMTLへの統合

LLM由来の特徴量は、既存の本番環境マルチタスク学習（MTL）ランキングモデルに統合されます。

• 特徴量拡張: ユーザーの親和性を表す新しいスパース特徴量（$u_{LLM}$）は、既存のユーザーエンゲージメントベクトル（$u_{eng}$）およびアイテム特徴量ベクトル（$i_{eng}$）と結合されます。
• 埋め込み戦略: 可変長のカテゴリ特徴量（タクソノミーIDのリスト）は、共有埋め込みテーブルを介して高密度ベクトルにマッピングされ、ジャグな（長さが不揃いな）入力テンソルを処理するために平均プーリングを用いて集約されます。
• モデルアーキテクチャ: 拡張された特徴量ベクトルは、共有MLPトランクに入力され、その後、クリック率、カート追加、購入などの目的関数を共同で最適化するタスク固有の予測ヘッドへと送られます。

2.5 最適化

• モデル選択: コストパフォーマンス分析の結果、GPT-4o-miniが最適なモデルとして特定されました。これは、GPT-4oと同等の品質を提供しつつ、大幅に低い計算コストを実現しています。
• コスト削減: プロンプトキャッシュ（静的な指示およびタクソノミー用）の実装と、ジャストインタイムの特徴量実体化（新しいユーザーアクションが発生した際にのみ親和性を更新する）により、全体の計算コストを約80%削減しました。

3. 実験評価

3.1 オフライン評価

提案されたモデルは、履歴エンゲージメントおよびアイテム属性のみを用いて訓練されたベースラインMTLモデルに対し、15日間のホールドアウトデータセットを用いて評価されました。

• 指標: パフォーマンスは、AUC-ROC（受信者操作特性曲線の下辺面積）およびMRR（平均逆順位）によって測定されました。
• コホート分析:
  • 全体集団: 提案モデルは、AUC-ROCで4.4%の相対的なリフト、MRRで4.8%のリフトを達成しました。
  • コールドスタート消費者: このコホートでは、AUC-ROCが4.0%向上、MRRが1.1%向上し、歴史的な嗜好がバーティカル間で効果的に転移できるという仮説が検証されました。
  • パワー消費者: このグループは検索クエリのシグナルから最も恩恵を受け、AUC-ROCで5.2%の向上、MRRで2.2%の向上を達成しました。

3.2 オンライン・シャドウ展開

オフラインの知見を検証するため、システムはライブトラフィックに対してシャドウモードで展開されました。

• 結果: LLM拡張モデルは、一般集団においてベースラインに対し、AUC-ROCで4.3%の改善、MRRで3.2%の増加を示し、実世界での有効性を裏付けました。

3.3 特徴量の品質評価

定性的および定量的な評価により、生成された特徴量の妥当性が確認されました。

• 人間による評価: 検索クエリから派生した特徴量は、レストランの注文と比較して、「非常にパーソナライズされている」と判定された割合が70.7%でした（レストラン注文は53.0%）。
• LLM-as-a-Judge: GPT-4oを用いて関連性をスコアリングした結果、検索クエリは再び注文履歴を上回り（高度にパーソナライズされている割合：検索クエリ 61.6% vs 注文履歴 56.6%）、検索意図の明示的な性質と一致しました。

4. 主な貢献と意義

本論文は、マルチバーティカル・マーケットプレイスにおける行動データのギャップに対処することで、より包括的で適応性の高いレコメンダーシステムを構築するための実用的な道筋を提示しています。

• 新規フレームワーク: 非構造化されたユーザーデータから多段階のタクソノミー特徴を導出するための、階層的RAGパイプラインの導入。
• セマンティックな架け橋: LLMが効果的なセマンティック・ブリッジとして機能し、データ豊富なバーティカル（レストラン）からデータが乏しいバーティカル（グローサリー/リテール）へと知識を転移させ、コールドスタート問題を解決できることを実証。
• プロダクションへの適合性: LLM生成の特徴量が、戦略的なモデル選択とキャッシュ管理を通じて計算コストを制御しながら、本番環境のMTLランキングモデルに統合でき、大幅なパフォーマンス向上をもたらすことを証明。
• 行動的洞察: あるバーティカルから推論された潜在的なユーザーの親和性が、別のバーティカルにおいて、特にそのドメインにおける直接的な履歴を持たないユーザーに対して、パーソナライゼーションを大幅に改善できることを検証。

5. 今後の展望

著者らは、今後の研究に向けた3つの具体的な方向性を挙げています。

1. 高度なプロンプティング: Chain-of-Thoughtや自己修正といったパラダイムの調査、および、より効率的な小型のドメイン特化型LLMのファインチューニングの探索。
2. ファンネルの統合: 生成的な特徴量をレコメンデーション・ファンネルのより早い段階、具体的には候補者リトリーバル（候補抽出）ステージに統合し、より相乗的なエンドツーエンドのシステムを構築すること。
3. 時間的ダイナミクス: より適応的でセッション認識型のレコメンデーションモデルを構築するために、親和性の時間的ダイナミクスを探索すること。