🤖 AI

FEDIN: Frequency-Enhanced Deep Interest Network for Click-Through Rate Prediction

本論文は、周波数領域解析とターゲット認識スペクトルフィルタリングを活用してノイズの多い行動データから低エントロピーの周期的ユーザー興味パターンを分離し、それによって最先端のシーケンシャル推薦ベースラインを上回る性能を発揮する、新規のクリック率予測モデル FEDIN を提案する。

原著者： Zenan Dai, Jinpeng Wang, Junwei Pan, Dapeng Liu, Lei Xiao, Shu-Tao Xia

公開日 2026-05-06

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zenan Dai, Jinpeng Wang, Junwei Pan, Dapeng Liu, Lei Xiao, Shu-Tao Xia

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

友人が次に何を買いたいかを推測しようとしていると想像してください。その人の購買履歴を見ると、テント、次に寝袋、次に懐中電灯、次にランダムな靴下、次にコーヒーメーカー、そしてまた別のテントが購入されています。

問題点:
あなたの次の行動を推測しようとするほとんどのコンピュータプログラム（「クリック率予測」と呼ばれる）は、このリストを単純なタイムラインとして扱います。ノイズに混乱させられます。なぜ靴下を買ったのでしょうか？間違いだったのでしょうか？それとも贈り物だったのでしょうか？コンピュータはこれらのランダムで「ノイズの多い」クリックに気を取られ、より大きな図景を見極めるのに苦労します。つまり、「この人はキャンプが大好きだ」という点です。

従来の方法:
以前のモデルは、このリストを「スローモーション」（時間領域）で見ることでこれを修正しようとしました。すべてのアイテムに重み付けを試みましたが、リストが長く、あるいは散漫であれば、ランダムなアイテム（靴下）が重要なパターン（キャンプ用品）を埋め尽くしてしまいました。

新たな発見（FEDIN）:
この論文の著者、FEDIN は「ひらめき」の瞬間を迎えました。リストをタイムラインとして見るのをやめ、代わりに音波（周波数領域）として見ることで、魔法のようなパターンが現れることに気づいたのです。

友人の購買履歴を曲のように考えてみましょう。

真の関心（キャンプ）: これらは、強くて一定な太鼓のビートのようです。パターンとして繰り返されます。データの「音」の中では、これは明確で大きな音として現れます。
ノイズ（ランダムな靴下）: これは雑音やホワイトノイズのようです。散漫で、混沌としており、リズムを持っていません。

秘密の武器：「ターゲット」の音叉
ここが論文が発見した巧妙な部分です。曲だけを聞くだけではいけません。特定のアイテム（「ターゲット」）について考えながら、その曲を聞く必要があります。

「この人はテントが好きでしょうか？」と問いかけ、その人の履歴を音波として聞くと、「キャンプ」の太鼓のビートが非常に大きく、明確に聞こえます。ノイズは消え去ります。
「この人はテントが好きでしょうか？」と問いかけましたが、実際にはテントが嫌いな場合、音波は単に混沌とした雑音のように見えます。

この論文ではこれを**「スペクトルエントロピー」**と呼んでいます。平易な日本語で言えば：

低エントロピー（良い）: 音が整理され、焦点が合っています（明確な音のように）。これはユーザーがそのアイテムを本当に好んでいることを意味します。
高エントロピー（悪い）: 音が散漫で、乱れています（雑音のように）。これはそのアイテムがその人にとって無関係であることを意味します。

FEDIN の仕組み（2 エンジン車）:
FEDIN は、単一の思考方法を使うのではなく、2 つのエンジンが連携して働く車を作ります。

時間エンジン（ローカル視点）: これは物語を読むように、履歴をステップバイステップで見ていきます。テントを寝袋の前に買ったことに気づきます。これは即座の物語を捉えます。
周波数エンジン（グローバル視点）: これはリスト全体を音波として見ます。特別なフィルター（「スペクトルフィルター」）を使用して、明確でリズミカルなパターン（キャンプ用品）を増幅し、雑音（ランダムな靴下）を減衰させます。重要なのは、このフィルターは特定のアイテム（ターゲット）を見ているときのみ作動することです。

結果:
コンピュータはこれら 2 つの視点を組み合わせます。「わかった、物語的には最近テントを買ったし、音波もキャンプ用品に対する強くて明確なリズムを示している」と言います。

なぜ優れているのか:
この論文は、Tmall、Taobao、Alipay という 3 つの巨大なショッピングデータセットでこれをテストしました。その結果、FEDIN は以前のモデルよりも「ノイズ」（ランダムなクリック）を無視する能力がはるかに優れていることがわかりました。データが散漫であったり、欠落していたりしても、FEDIN は冷静さを保ちます。なぜなら、たとえ「雑音」が大きくても、ユーザーの真の関心という「太鼓のビート」を聞き分けることができるからです。

まとめ:
FEDIN は、単に買い物リストを読むだけでなく、そのリストのリズムに耳を傾ける、より賢い推薦システムです。あなたが興味を持っている特定のアイテムにチューニングすることで、ユーザーの真の情熱を背景ノイズから瞬時に分離し、はるかに正確な予測を実現します。

技術的概要：FEDIN – クリック率予測のための周波数強化型深層関心ネットワーク

問題定義

クリック率（CTR）予測のためのシーケンシャル推薦モデルは、ユーザー関心内の潜在的な周期的パターンを捉える上で重大な課題に直面しています。現実世界のユーザー行動シーケンスは、長期的な周期的習慣と短期的な確率的ノイズの混合であることが多く、RNN（再帰型ニューラルネットワーク）、Transformer、SSM（状態空間モデル）などを利用する純粋な時間領域アプローチは、ポイントごとのノイズに対して敏感になる傾向があります。これらのモデルは、特に長いシーケンスにおいて、安定した周期的パターンとランダムなクリックを分離することに苦労します。

一方、周波数領域分析はノイズ除去やパターン認識に適したグローバルな視点を提供しますが、既存の周波数ベースのアプローチ（FMLP-Rec、FEARec、DIFF など）は、通常、ユーザーシーケンスを孤立して扱います。これらはターゲットアイテムの文脈を考慮することなく、生行動シーケンスに対して周波数分析を適用します。著者らは、この「ターゲット非依存」なフィルタリングは最適ではないと主張します。なぜなら、ユーザーの行動シーケンスは多形性であり、特定のターゲットアイテムを文脈として持たなければ、モデルは真のシグナルを表す周波数成分と背景ノイズを表す成分を効果的に区別できないからです。

手法：FEDIN アーキテクチャ

提案される**周波数強化型深層関心ネットワーク（FEDIN）**は、時間領域と周波数領域の視点を融合するデュアルブランチアーキテクチャを通じて、これらの限界に対処します。このフレームワークは、ユーザー行動シーケンス $X \in \mathbb{R}^{L \times D}$ とターゲットアイテム $X_{tar} \in \mathbb{R}^D$ を入力として受け取り、ユーザー関心表現 $U$ を予測します。

1. 前処理

モデルは、ブランチにデータを投入する前に分布シフトとユーザー行動の非定常性を軽減するため、前処理ステップとして**可逆インスタンス正規化（RevIN）**を採用します。

2. 時間領域ブランチ（局所的進化）

このブランチは、関心の局所的な逐次進化を捉えることに焦点を当てます：

ターゲットアテンションによる粗いフィルタリング： ターゲット認識型アテンションメカニズムが重み付けスコアを計算し、時間分解能を維持しながらポイントごとのノイズをフィルタリングし、重み付けされたシーケンス $X_{attn}$ を生成します。
パッチング Transformer による微細な進化： 長いシーケンスを効率的に処理し、局所的な時間的意味を捉えるために、 $X_{attn}$ を非重複のパッチに分割します。Transformer エンコーダがこれらのパッチ間の依存関係をモデル化し、時間領域の関心表現 $X_{time}$ を生成します。

3. 周波数領域ブランチ（グローバル周期性）

このブランチは中核的な革新であり、ターゲット認識型スペクトルフィルタリングメカニズムを使用して構造化された調和パターンを分離するように設計されています：

ターゲット条件付きスペクトル： 生シーケンスを変換する先行研究とは異なり、FEDIN はまずターゲットアテンションスコア $X_{score}$ を計算し、各過去の行動がターゲットアイテムとどの程度関連しているかを捉えます。これらのスコアは、高速フーリエ変換（FFT）を介して周波数領域に変換され、ターゲット条件付きスペクトル $\hat{X}_{score}$ を作成します。
ターゲット認識型スペクトルフィルタリング： スペクトルはアテンションスコア（ $\hat{X}_{attn}$ ）によって変調され、ユーザーがターゲットと強い共鳴を示す周波数成分を強調します。
学習可能スペクトルフィルタ： 複素数値 MLP が複素スペクトル上の学習可能フィルタとして機能します。これは、支配的な調和周波数を適応的に増幅し、高エントロピーノイズを抑制することで、クリーンな周波数表現 $\hat{X}_{freq}$ を生成します。
適応的共鳴スケーリング： 適応的ゲーティングメカニズムが、ターゲット条件付きスペクトルのスペクトル明瞭度（エントロピー）に基づいて周波数ブランチの出力をスケーリングします。これにより、モデルは明確な共鳴パターンが検出された場合のみ周波数ビューに依存し、そうでない場合は時間領域にフォールバックすることを保証します。

4. ユーザー関心アグリゲータ

両ブランチからの出力（ $X_{time}$ および $X_{freq}$ ）は合計されて混合表現を形成します。その後、Top-k ターゲットアテンションメカニズムが適用され、最終的なユーザー関心 $U$ を導き出します。このメカニズムは、ターゲットとの類似度が最も高い $k$ 個のアイテムのみを保持し、マスキング戦略を使用して微分可能性を確保するとともに、弱いか矛盾するシグナルによる強いシグナルの希薄化を防ぎます。

主要な貢献

経験的観察： 著者らは、ユーザーアテンションスコアが正のターゲットアイテムと負のターゲットアイテムを条件とした場合に、明確なスペクトルエントロピー分布を示すことを特定しました。真のユーザー関心は低いエントロピーを持つ高密度なスペクトルパターンとして現れ、無関係な行動は高エントロピーノイズとして現れます。これは、ターゲット認識型スペクトル推薦の理論的基盤を提供します。
FEDIN フレームワーク： ターゲット認識型周波数ブランチを従来の時間領域モデルと統合するハイブリッドフレームワークの提案です。この設計は、周波数分析のグローバルなノイズ耐性と、時間領域モデルの局所的な逐次精度を効果的に組み合わせます。
性能と堅牢性： 広範な実験により、FEDIN が最先端のシーケンシャルベースラインを常に上回り、ノイズに対する優れた堅牢性を示すことが実証されました。

実験結果

モデルは、Tmall、Taobao、Alipayの 3 つの公開データセットで評価されました。

ベースライン： DIN、DIEN、SASRec、BERT4Rec、GRU4Rec、BST、DIFF の 6 つの最先端モデルと、Sum Pooling ベースラインとの比較が行われました。
性能： FEDIN は、GAUCおよびAUCの両方の指標において、すべてのデータセットで最高の性能を達成しました。例えば、Tmall データセットでは、FEDIN は GAUC 0.9658、AUC 0.9666 を達成し、最良のベースライン（DIN: 0.9547/0.9518）を大幅に上回りました。
アブレーション研究： 時間領域ブランチまたは周波数領域ブランチのいずれかを除去すると性能が低下し、両者の必要性が確認されました。周波数フィルタの「ターゲット認識」側面を除去し（静的フィルタに置き換えて）も低下が生じ、ターゲット文脈が効果的なスペクトルフィルタリングに不可欠であるという仮説が検証されました。
ノイズ耐性： 合成ノイズ実験（Drop Noise および Replace Noise）により、ノイズ率が増加するにつれて、周波数領域ブランチは時間領域ブランチと比較して著しく高い安定性を維持することが示されました。スペクトルフィルタリングは、高エントロピーノイズ成分を効果的に減衰させます。

意義と主張

本論文は、スペクトルパターンのターゲット条件付き性質を活用することで、シーケンシャル推薦に対する新たな視点を提供すると主張しています。著者らは、単に生行動シーケンスを周波数領域で分析するだけでは不十分であり、ターゲットアイテムは特定の共鳴パターンを活性化するために必要な条件として機能すると述べています。

時間領域モデルの代替ではなく補完として周波数領域分析を統合することで、FEDIN はグローバルな周期性の捕捉と局所的な逐次詳細の保持の間のバランスを達成します。この研究は、このデュアルブランチアプローチが、現実世界のユーザー行動ログに固有のノイズと疎性に対する優れた堅牢性を提供し、多様なデータセットにわたってより安定した正確な CTR 予測につながることを実証しています。著者らは、FFT 演算に起因し、周波数ブランチの計算コストが $O(L \log L)$ であり、長いシーケンスに対して標準的なセルフアテンションメカニズム（ $O(L^2)$ ）よりも効率面で優れていると指摘しています。