🤖 AI

Generative Long-term User Interest Modeling for Click-Through Rate Prediction

本論文は、CTR 予測のための生成型長期ユーザー興味モデルである GenLI を提案するもので、従来のターゲット中心の検索を興味生成モジュールに置き換えることで、多様かつ相互作用を考慮したユーザー興味を捉えつつ、効率性と精度の向上のために $O(1)$ の行動検索複雑性を達成する。

原著者： Jiangli Shao, Kaifu Zheng, Hao Fang, Huimu Ye, Zhiwei Liu, Bo Zhang, Shu Han, Xingxing Wang

公開日 2026-05-18

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jiangli Shao, Kaifu Zheng, Hao Fang, Huimu Ye, Zhiwei Liu, Bo Zhang, Shu Han, Xingxing Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたがシェフだと想像してください。顧客が次に何を注文したいか推測しようとしています。あなたは、過去数年間にわたってこの顧客が閲覧したり、クリックしたり、購入したりしたすべての事柄を記録した巨大なノートを持っています。これが、この論文で議論されている「長期的なユーザー行動」です。

目標は、特定の新しいアイテム（新しいレストランや製品など）を顧客がクリックするかどうかを予測し、「クリック率（CTR）」、つまり実際に提示されたものを選ぶ頻度を向上させることです。

ここには、従来の方法の問題点と、この新しい論文であるGenLIがそれをどのように解決するかが示されています。

従来の方法：「ターゲット中心」の検索

以前、システムは、あなたが現在手に持っている本の「正確なタイトル」と一致する本だけを探す司書のように機能していました。

フィルター: あなたがピザの画像を見ている場合、システムはあなたの履歴全体をスキャンし、ピザに最も似ている 10 のアイテムだけを抽出します。
欠点: これは全体像を見失っています。あなたはピザが大好きかもしれませんが、ハイキング、SF 映画、ガーデニング道具の購入も大好きかもしれません。「ピザに似た」ものだけを調べることで、システムはあなたの他の情熱を見逃します。それは、人の好きな食べ物だけで判断し、その人格を無視するようなものです。
速度の問題: そのピザに似た 10 のアイテムを見つけるために、司書は現在のアイテムを履歴の「すべてのアイテム」と一つずつ比較しなければなりません。履歴が数百万アイテムに膨れ上がると、これは信じられないほど遅くなります。それは、藁の山から針を見つけるために、藁の一片一片を個別にチェックしようとするようなものです。

新しい方法：GenLI（「生成」シェフ）

著者たちは、GenLIと呼ばれる新しいシステムを提案しています。単に一致するものを探すのではなく、GenLI はまず顧客の現在の気分や興味を理解し、その後に関連する履歴を見つけようとします。これは 3 つの創造的なステップで機能します。

1. 興味生成器（IGM）：場の空気を読む

「ピザに似たものは何か？」と問う代わりに、GenLI はあなたの最近の行動（直近の数回のクリック）を見て、「このユーザーは今、どんなタイプの人なのか？」と問いかけます。

それはあなたの興味に関する 3 つの異なる「気分マップ（分布）」を作成します。
- 明示的興味: あなたが明確にクリックしたもの（例：「私は間違いなくピザが欲しい」）。
- 暗黙的興味: システムが提示したがクリックしなかったもの（例：「サラダを見たがクリックしなかったが、まだお腹が空いていないだけかもしれない」）。
- 相対的興味: 両者の差（例：「今、サラダよりもピザを好んでいる」）。
比喩: これは、シェフがキッチンの空気味を味わうようなものです。現在の注文に似ている材料をただ掴むのではなく、シェフは顧客が「スパイシーな気分」にあるか、「ノスタルジックな気分」にあるかを察知します。これは、特定のターゲットアイテムを見る前に起こるため、隠れた興味を見逃すことはありません。

2. 行動検索（BRM）：魔法のような検索

GenLI がこれらの「気分マップ」を持ったら、巨大な履歴から関連するアイテムを見つける必要があります。

従来の方法: ターゲットアイテムを履歴のすべてのアイテムと比較する（遅い！）。
GenLI の方法: 単純な検索を使用します。「気分マップ」が事前に計算されているため、システムは単にスコアカードをチェックします。それは、「スパイシー」セクションや「ノスタルジック」セクションに瞬時にジャンプできる、事前にソートされた索引を持っているようなものです。
結果: それはそれらの気分に合う上位のアイテムを選択します。これは信じられないほど高速です（数学的には $O(1)$ であり、アイテムが 100 個であれ 1000 万個であれ、かかる時間は同じごくわずかです）。

3. 興味融合（IFM）：風味のブレンド

最後に、システムは各「気分」のために見つかったアイテム（スパイシーなもの、ノスタルジックなものなど）を、あなたが現在見ている現在のアイテムと混ぜ合わせます。最終的な予測を行う前に、どの程度の興味に焦点を当てるかを決定するために、「ゲート機構（賢いスイッチ）」を使用します。

なぜこれが重要なのか（結果）

この論文は、中国の巨大なライフスタイル・配送アプリである**美団（Meituan）**からの実世界データや、Amazon や Taobao などの公開データセットでこれをテストしました。

精度: GenLI は、それ以前の「最先端（state-of-the-art）」のモデルすべてよりも、ユーザーがクリックするものを予測する能力に優れていました。ユーザーの他の興味を無視しなかったため、予測精度が大幅に向上しました。
速度: 遅い、一つずつの比較を止めたため、はるかに高速になりました。これは、ミリ秒単位で意思決定を行う必要があるオンラインシステムにとって不可欠です。
実世界での成功: 論文によると、GenLI はすでに美団の広告システムに導入されています。現在、毎日数億人のユーザーにサービスを提供しています。ライブテスト（A/B テスト）では、クリック率が**0.776%向上し、千回表示あたりの収益が1.567%**増加しました。

まとめ

要約すると、従来のシステムは、あなたが手に持っている本に似た本だけを発見する司書のようでした。GenLIは、まずあなたの現在の気分と多様な好みを理解し、あなたが手に持っている本のタイトルを確認することさえなく、棚から完璧な本を瞬時に引き出す司書のようです。それはより速く、より賢く、プラットフォームにとってより多くの収益を生み出します。

技術サマリー：クリック率予測のための生成長期的ユーザー興味モデリング（GenLI）

問題定義
クリック率（CTR）予測は、広告および推薦システムにおける基本的なタスクであり、大量の履歴行動系列から導き出される正確な長期的ユーザー興味モデリングに大きく依存しています。現在の最先端のアプローチは、通常、一般検索ユニット（GSU）と正確検索ユニット（ESU）からなる 2 段階のフレームワークを採用しています。GSU はターゲットアイテムとの類似性に基づいて関連する行動のサブセットを検索し、ESU はアテンション機構を通じてそれらを集約します。

著者は、既存のターゲット中心の GSU アプローチにおいて 3 つの重要な限界を特定しています：

不完全な興味表現： 特定のターゲットアイテムに関連する行動のみに焦点を当てることで、これらのモデルは他の潜在的なユーザー興味を見落とし、偏りがあり不完全な興味特徴をもたらします。
計算ボトルネック： 類似性に基づく検索プロセスは、ターゲットアイテムとすべての履歴行動との間のペアワイズ類似性スコアの計算を必要とします。ユーザーの行動系列が成長し（しばしば数千のアイテムに達する）、これはオンラインサービスにとって時間のかかるボトルネックとなります。
無視された行動間相互作用： ペアワイズアーキテクチャは、ターゲットアイテムを個々の行動に対して孤立して比較し、ユーザーの履歴行動の間に存在する相互作用情報やパターンを軽視しています。

手法：GenLI フレームワーク
これらの課題に対処するため、著者はGenLI、すなわち生成長期的ユーザー興味モデリングフレームワークを提案します。従来の検索ベースの手法とは異なり、GenLI はターゲット非依存の生成アプローチを採用します。このフレームワークは 3 つの中核モジュールから構成されます：

興味生成モジュール（IGM）：
- 入力： IGM はターゲットアイテムではなく、短期行動系列（最も最近の $l$ 個の行動）を利用します。
- 機構： これはマルチヘッドアテンション（MHA）を用いてこれらの短期行動を処理します。クエリベクトルは、最新の行動の埋め込みと、相互作用知識を捉えるための学習可能なクエリベクトルで構成されます。
- 出力： このモジュールは、リアルタイムのユーザー興味の異なる側面を表す複数の離散的な興味分布を生成します：
  - 明示的興味（ $\mathbf{p}_E$ ）： クリックなどの直接的な相互作用から導き出され、クリックされたアイテムに対する負の対数尤度で最適化されます。
  - 暗黙的興味（ $\mathbf{p}_I$ ）： クリックなしで露出されたアイテム（インプレッション）から導き出され、安定した長期的な好みを表します。
  - 相対的興味（ $\mathbf{p}_R$ ）： 明示的分布と暗黙的分布の差（ $\mathbf{p}_E - \mathbf{p}_I$ ）として定義され、ユーザー興味の推移と意思決定の対比を捉えます。
- 主要な特徴： このプロセスはターゲット非依存であり、生成された分布がより広範で多様なユーザー興味を包含することを保証します。
行動検索モジュール（BRM）：
- 機構： ペアワイズ類似性を計算する代わりに、BRM は単純なルックアップ操作を実行します。生成された各興味分布に対して、履歴行動は、分布インデックスにマッピングされた一意の ID（モジュロ演算を介して）に基づいてスコア付けされます。
- 効率性： これにより、各行動の重み付けにかかる時間計算量を $O(1)$ に削減します。
- 選択： このモジュールは、3 つの興味分布（ $\mathbf{B}_I, \mathbf{B}_E, \mathbf{B}_R$ ）それぞれに対してトップ $k$ の行動を選択し、合計 $K$ 個の検索された行動を生成します。このプロセスは本質的に生成フェーズからの相互作用情報を組み込み、ノイズをフィルタリングします。
興味融合モジュール（IFM）：
- 集約： 各分布から選択された行動は、ターゲットアイテム埋め込みをクエリとして使用して、マルチヘッドアテンションを用いて個別に集約されます。
- 融合： 生成された興味埋め込みは連結され、ゲート機構（シグモイド活性化を備えた MLP）を介して処理され、最終的な長期的ユーザー興味特徴ベクトル（ $\mathbf{x}_l$ ）を生成します。
- 予測： この特徴は、短期興味、サイド情報、およびターゲットアイテム埋め込みと連結され、標準的な MLP を介して CTR を予測します。

主要な貢献

長期的興味のための最初の生成アプローチ： 著者は、CTR 予測タスクにおいてターゲット中心の検索から離れ、長期的ユーザー興味をモデル化するために生成手法を初めて導入したと主張しています。
エンドツーエンドフレームワーク： GenLI は、興味生成、行動検索、興味融合を統合し、既存の CTR モデルに容易に組み込むことができる統一されたエンドツーエンドで学習可能なフレームワークに統合しています。
多様性と効率性： ターゲット非依存の分布を生成することで、モデルは多様かつ完全なユーザー興味を捉えます。同時に、ルックアップベースの検索は、マッチングベースの手法と比較して計算複雑性を大幅に削減します。

実験結果
著者は、GenLI を Amazon（Book）、TaoBao、および Meituan からの大規模産業データセットの 3 つのデータセットで評価しました。

オフライン性能：
- Amazon および TaoBao データセットにおいて、GenLI は TWIN、SIM、ETA などの強力なベースラインを上回る最先端（SOTA）の性能を達成しました。具体的には、最良のベースラインに対して、Amazon で 0.61%、TaoBao で 1.03% の絶対的な AUC 改善を示しました。
- 産業データセットにおいて、GenLI は TWIN に対して AUC を 0.22% 改善し、推論時間を削減しました（TWIN は 7.9ms に対し、GenLI は 4.6ms）。
- 除去実験（アブレーション研究）は、生成された 3 つの分布すべて（明示的、暗黙的、相対的）が性能に寄与することを確認し、その中で明示的興味が最も直接的な影響を持つことを示しました。
オンライン性能：
- 交通量の 30% を処理する Meituan のフードデリバリープラットフォームでの A/B テストにおいて、GenLI は生産環境のベースラインと比較して、CTR で0.776% の増加、および千回表示あたりの収益（RPM）で1.567% の増加を示しました。
- このモデルは実世界の広告システムに完全に展開され、毎日数億人のユーザーにサービスを提供しています。

意義と主張
本論文は、GenLI が産業用 CTR システムの重要な要件である精度と効率性のバランスに成功したと主張しています。ターゲット中心の検索パラダイムから、生成型でターゲット非依存のモデリングアプローチへ移行することで、GenLI は不完全な興味捕捉と高い計算遅延という限界を克服します。著者は、ペアワイズマッチングのボトルネックなしに多様で潜在的な興味をモデル化する能力が、スケーラブルな堅牢なパーソナライゼーションを可能にすると強調しています。成功した展開とポジティブなオンライン指標は、長期的ユーザー興味モデリングにおける生成手法の実用的な応用価値を検証しています。