技術要約：生成型レコメンデーションのための嗜好分離に基づく時間認識型拡散モデル (TDPM)

1. 問題提起

生成型レコメンダー（GR）は、従来のアイテムIDをセマンティック・インデックス（SID）に置き換えることで、ユーザーが次にインタラクトする可能性が高いアイテムを直接生成することを可能にし、変革的なパラダイムとして台頭しています。近年の研究では、その生成能力から拡散モデルをGRのバックボーンとして活用する試みがなされていますが、決定的な限界が残っています。それは、既存の拡散ベースのGRが、ユーザーのインタラクション履歴に含まれるすべてのアイテムに対して一律の拡散プロセスを適用しているという点です。

この一様性は、ユーザーの嗜好が非定常であり、時間とともに進化するという性質を考慮できていません。実際、ユーザーの嗜好は多面的な要因によって形成されます：

• 長期的な一貫性： 時間とともに蓄積される安定した関心（例：サッカー愛好家が継続的にスポーツ用品を購入する）。
• 短期的な逸脱： 最近の焦点となるイベントや外部刺激によって引き起こされる、急激な関心の変化（例：突然ゲームパッドを購入する）。

標準的な拡散モデルは、すべての履歴アイテムを無差別に扱い、ユーザー行動の動的な時間経過に矛盾する一様な分布を仮定しています。本論文は、このギャップを埋めるためには、拡散プロセスを時間とともに進化するユーザーの嗜好を明示的に統合するように適応させる必要があると主張しています。

2. 手法：TDPMフレームワーク

著者らは、SIDベースのレコメンデーションにおける標準的な拡散プロセスを修正した、新しいGRフレームワークであるTDPM（Preference Disentanglementに基づくTime-Aware Diffusion）を提案しています。核心となるイノベーションは、時間認識型のトークンマスキング戦略を駆動するために、ユーザーの嗜好を2つの異なるコンポーネントに**分離（Disentangle）**することにあります。

2.1 セマンティックID（SID）の生成

既存のSIDベースのGRに従い、TDPMはまず、LLMを用いてアイテムのメタデータ（テキスト、カテゴリなど）を密な埋め込みに変換します。その後、これらの埋め込みはResidual Quantization K-Means (RQ-KMeans) を用いて離散的なマルチレベルSIDへと圧縮されます。これにより、各アイテムに対して意味的な近接性を保持した階層的なトークンシーケンスが作成されます。

2.2 嗜好の分離（Preference Disentanglement）

TDPMは、ユーザーの嗜好を以下の2つの潜在変数に分解します：

1. 期間的嗜好 ($p_{period}$): 安定した長期的なユーザープロファイルを表現します。これは、直近のインタラクションが現在の関心により重みを持つという直感を反映し、時間インデックス（履歴内の位置）の単調増加関数としてモデル化されます。
2. ポイント的嗜好 ($p_{point}$): 一時的な短期的な関心の逸脱を表現します。これは、インタラクション履歴における隣接するアイテム間のセマンティックな偏差（例：コサイン距離）に基づいて計算されます。大きな偏差は、関心の急激な変化を示します。

2.3 時間認識型トークン拡散

TDPMは、標準的なノイズ付加の代わりに、フォワード拡散プロセスとして時間認識型トークンマスキングを採用しています。履歴内の $j$ 番目のアイテムに対するマスキング確率 ($p_j$) は、期間的嗜好とポイント的嗜好を融合させることで動的に決定されます：
$$p_j = \alpha + \beta \cdot [\lambda \cdot p_{period} + (1 - \lambda) \cdot p_{point}]$$

• 適応的重み付け ($\lambda$): 2つの嗜好のバランスを取るハイパーパラメータです。重要なことに、$\lambda$ は固定されていません。モデルが安定するにつれて、期間的嗜好への焦点を徐々にシフトさせるように、訓練中にべき乗則に従った成長スケジュールに従います。
• メカニズム: マスキング確率が高いアイテム（高い重要性または偏差を示すもの）は、より積極的にマスキングされます。これにより、モデルはこれらの重要な信号を再構成することを学習し、安定したパターンと急激な変化の両方を捉えることが強制されます。

2.4 最適化戦略

訓練は2段階のパラダイムに従います：

1. ウォームアップ段階: ユニフォームなトークンマスキングを使用して、SID語彙と共起パターンに関するモデルの事前学習を行い、安定した初期化を保証します。
2. 時間認識型トークンマスキング段階: ユニフォームなマスキングを、提案された嗜好分離戦略に置き換えます。ターゲットアイテムのSIDは、推論タスク（次アイテム予測）に合わせるため、完全にマスクされます。

2.5 推論

推論中、モデルはユーザーのSID履歴とそれに続く $m$ 個のマスクトークンを受け取ります。モデルは、SID語彙から構築された接頭辞木（Trie）によってガイドされた制約付きビームサーチを用いて自己回帰的な生成を実行し、生成されたシーケンスが有効なアイテムに対応することを保証します。

3. 主な貢献

本論文は以下の貢献を主張しています：

• 時間進化する嗜好の初の統合: 著者らの知る限り、拡散ベースの生成型レコメンデーションに、時間とともに進化するユーザーの嗜好の特性を統合した最初の研究です。
• 新しい分離メカニズム: ユーザーの嗜好を安定した「期間的嗜好」と一時的な「ポイント的嗜好」に分離し、各アイテムに対する拡散の強度を適応的に制御することを可能にするTDPMの提案。
• 性能の優位性: 広範な実験により、TDPMが最先端のベースライン（従来の逐次モデル、SIDベースのGR、および他の拡散ベースのレコメンダーを含む）を大幅に上回ることが示されました。

4. 実験結果

著者らは、Amazonの3つの公開されている実世界のデータセット（Beauty、Sports and Outdoors、Toys and Games）でTDPMを評価しました。

• ベースライン: RNN/CNN/Transformerベースの逐次モデル（GRU4Rec, SASRec, BERT4Rec）、SIDベースのGR（TIGER, LC-Rec）、および他の拡散ベースのレコメンダー（PreferDiff, DDSR, PreferGrow）と比較しています。
• 性能: TDPMは、最高のベースライン手法に対して大幅な改善を達成しました。
  • HR@20: 最大 29.21% の向上。
  • NDCG@20: 最大 25.45% の向上。
• アブレーション研究:
  • ポイント的嗜好を除去すると、性能が約10%低下し、関心の偏差を捉える必要性が示されました。
  • 期間的嗜好を除去すると、より大きな低下（約20%）が発生し、安定した長期的な嗜好が不可欠な基礎を形成していることが強調されました。
  • 両方を除去した場合（ユニフォームなマスキングに戻した場合）、最悪の性能となり、標準的な一様な拡散は逐次レコメンデーションには不十分であることを裏付けました。
• ハイパーパラメータの感度: 中程度の初期バランス（$\lambda_{start} \approx 0.5$）と大きな成長曲率（$k=2.0$）を組み合わせることで、長期的な一貫性に焦点を当てる前に両方の嗜好を学習できるようになり、最適な結果が得られることが分かりました。

5. 意義と主張

本論文は、TDPMの主な意義は、標準的なモデルの一様なフォワード拡散プロセスと、本質的に非一様で時間とともに進化するユーザーの嗜好分布との間のギャップを埋めることにあると断言しています。

嗜好の一貫性と関心の偏差を明示的にモデル化することで、TDPMは従来の拡散ベースのGRの「アイテムに依存しない（item-agnostic）」性質を超越しています。著者らは、彼らの時間認識型トークン拡散は、単なる漸進的な改善ではなく、逐次レコメンデーションのシナリオにおいて拡散モデルが効果的であるための必要な適応であると主張しています。結果は、嗜好を分離することで、拡散プロセスがインタラクション履歴の中で最も情報量の多い部分に集中できるようになり、より正確で堅牢な次アイテム予測につながることを示唆しています。