🤖 AI

FEDIN: Frequency-Enhanced Deep Interest Network for Click-Through Rate Prediction

本文提出了一种名为 FEDIN 的新型点击率预测模型，该模型利用频域分析和目标感知频谱滤波，从噪声行为数据中分离出低熵周期性用户兴趣模式，从而在性能上超越了最先进的序列推荐基线。

原作者： Zenan Dai, Jinpeng Wang, Junwei Pan, Dapeng Liu, Lei Xiao, Shu-Tao Xia

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Zenan Dai, Jinpeng Wang, Junwei Pan, Dapeng Liu, Lei Xiao, Shu-Tao Xia

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在猜测一位朋友接下来想购买什么。你查看他们的购物历史：他们先买了一个帐篷，然后是一个睡袋，接着是一个手电筒，随后是一双随机的袜子，再然后是一台咖啡机，最后又买了一个帐篷。

问题所在：
大多数试图预测你下一步行动（称为“点击率预测”）的计算机程序，会将这份列表视为一条简单的时间线。它们会被噪声搞糊涂：为什么他们会买那双袜子？是买错了吗？还是作为礼物？计算机被这些随机、嘈杂的点击分散了注意力，难以看清大局：这个人热爱露营。

旧方法：
之前的模型试图通过以“慢动作”（时域）查看列表来解决这个问题。它们尝试为每个物品赋予权重，但如果列表很长或杂乱无章，那些随机物品（如袜子）就会淹没重要的模式（如露营装备）。

新发现（FEDIN）：
本文作者 FEDIN 经历了一个“尤里卡！”时刻。他们意识到，如果不再将列表视为时间线，而是将其视为声波（频域），一种神奇的模式就会显现。

将朋友的购物历史想象成一首歌：

真实兴趣（露营）： 这就像强劲、稳定的鼓点。它们以某种模式重复出现。在数据的“声音”中，这表现为清晰、响亮的音符。
噪声（随机袜子）： 这就像静电或白噪声。它是分散的、混乱的，没有节奏。

秘密武器：“目标”音叉
这是论文发现的巧妙之处：你不能只听这首歌本身。你必须在思考特定物品（即“目标”）的同时聆听这首歌。

如果你问：“这个人喜欢帐篷吗？”并将他们的历史作为声波来聆听，那么“露营”的鼓点会变得超级响亮清晰，噪声随之消退。
如果你问：“这个人喜欢帐篷吗？”但他们实际上讨厌帐篷，那么声波看起来就只是混乱的静电。

论文将这种现象称为**“谱熵”**。用通俗的话来说：

低熵（好）： 声音井然有序且聚焦（如同清晰的音符）。这意味着用户确实喜欢该物品。
高熵（坏）： 声音杂乱无章且分散（如同静电）。这意味着该物品与他们无关。

FEDIN 如何运作（双引擎汽车）：
FEDIN 不再仅用一种方式思考，而是构建了一辆拥有两个协同工作的引擎的汽车：

时间引擎（局部视角）： 它逐步查看历史，就像阅读一个故事。它看到他们在睡袋之前买了帐篷。它捕捉到了即时的故事脉络。
频率引擎（全局视角）： 它将整个列表视为声波。它使用一种特殊滤波器（“频谱滤波器”）来放大清晰、有节奏的模式（露营装备），并抑制静电（随机袜子）。关键在于，该滤波器仅在针对特定物品（目标）进行查看时才会启动。

结果：
计算机将这两种视角结合起来。它说：“好吧，故事表明他们最近买了帐篷，而且声波也显示出露营装备具有强烈、清晰的节奏。”

为何更优：
该论文在三个庞大的购物数据集（天猫、淘宝、支付宝）上测试了这种方法。他们发现，与之前的模型相比，FEDIN 在忽略“噪声”（随机点击）方面表现优异得多。即使数据杂乱无章或缺失部分信息，FEDIN 也能保持冷静，因为它仍能听到用户真实兴趣的“鼓点”，即便“静电”很响亮。

总结：
FEDIN 是一种更智能的推荐系统，它不仅仅阅读购物清单，而是聆听该清单的节奏。通过调谐到你感兴趣的特定物品，它能瞬间将用户的真实热情与背景噪声区分开来，从而实现更准确的预测。

技术摘要：FEDIN——用于点击率预测的频率增强型深度兴趣网络

问题陈述

用于点击率（CTR）预测的序列推荐模型在捕捉用户兴趣中潜在的周期性模式方面面临重大挑战。现实世界中的用户行为序列往往是长期周期性习惯与短期随机噪声的混合体。纯粹基于时域的方法，包括那些利用循环神经网络（RNN）、Transformer 和状态空间模型（SSM）的方法，往往对逐点噪声敏感。这些模型通常难以将稳定的周期性模式与随机点击解耦，尤其是在长序列中。

虽然频域分析提供了一种适合去噪和模式识别的全局视角，但现有的基于频率的方法（例如 FMLP-Rec、FEARec、DIFF）通常孤立地处理用户序列。它们对原始行为序列应用频域分析，而未考虑目标物品的上下文。作者认为，这种“目标无关”的过滤是次优的，因为用户的行为序列是多态的；如果没有具体的目标物品作为上下文，模型就无法有效区分代表真实信号的频率分量和代表背景噪声的频率分量。

方法论：FEDIN 架构

提出的**频率增强型深度兴趣网络（FEDIN）**通过融合时域和频域视角的双分支架构解决了这些局限性。该框架接收用户行为序列 $X \in \mathbb{R}^{L \times D}$ 和目标物品 $X_{tar} \in \mathbb{R}^D$ 作为输入，以预测用户兴趣表示 $U$ 。

1. 预处理

该模型采用**可逆实例归一化（RevIN）**作为预处理步骤，以减轻分布偏移和用户行为的非平稳性，然后再将数据输入到各个分支中。

2. 时域分支（局部演化）

该分支专注于捕捉兴趣的局部序列演化：

通过目标注意力进行粗粒度过滤：一种目标感知注意力机制计算加权分数，以过滤掉逐点噪声，同时保留时间分辨率，生成加权序列 $X_{attn}$ 。
通过 Patching Transformer 进行细粒度演化：为了高效处理长序列并捕捉局部时间语义，将 $X_{attn}$ 分割为不重叠的块（patches）。Transformer 编码器对这些块之间的依赖关系进行建模，生成时域兴趣表示 $X_{time}$ 。

3. 频域分支（全局周期性）

该分支是核心创新，旨在利用目标感知频谱过滤机制隔离结构化的谐波模式：

目标条件频谱：与将原始序列进行变换的先前工作不同，FEDIN 首先计算目标注意力分数 $X_{score}$ ，以捕捉每个历史行为与目标物品的相关性。这些分数通过快速傅里叶变换（FFT）转换到频域，生成目标条件频谱 $\hat{X}_{score}$ 。
目标感知频谱过滤：频谱通过注意力分数（ $\hat{X}_{attn}$ ）进行调制，以突出用户与目标表现出强烈共振的频率分量。
可学习频谱滤波器：一个复值 MLP 作为复频谱上的可学习滤波器。它自适应地放大主导谐波频率，同时抑制高熵噪声，生成清洗后的频率表示 $\hat{X}_{freq}$ 。
自适应共振缩放：一种自适应门控机制根据目标条件频谱的频谱清晰度（熵）对频域分支输出进行缩放。这确保了模型仅在检测到清晰的共振模式时才依赖频域视角，否则回退到时域。

4. 用户兴趣聚合器

两个分支的输出（ $X_{time}$ 和 $X_{freq}$ ）相加形成混合表示。随后应用Top-k 目标注意力机制以导出最终的用户兴趣 $U$ 。该机制仅保留与目标相似度最高的 $k$ 个物品，并使用掩码策略以确保可微性，并防止强信号被弱信号或冲突信号稀释。

主要贡献

实证观察：作者发现，当以正负目标物品为条件时，用户注意力分数表现出截然不同的频谱熵分布。真实的用户兴趣表现为高度集中的频谱模式，具有较低的熵，而不相关的行为则表现为高熵噪声。这为目标感知频谱推荐提供了理论基础。
FEDIN 框架：提出了一种混合框架，将目标感知频域分支与传统时域建模相结合。该设计有效地结合了频域分析的全局抗噪性和时域建模的局部序列精确性。
性能与鲁棒性：大量实验表明，FEDIN 在所有数据集上 consistently 优于最先进的序列基线模型，并表现出对噪声的卓越鲁棒性。

实验结果

该模型在三个公共数据集上进行了评估：天猫（Tmall）、淘宝（Taobao）和支付宝（Alipay）。

基线模型：与六种最先进模型（DIN、DIEN、SASRec、BERT4Rec、GRU4Rec、BST、DIFF）及一个求和池化基线进行了比较。
性能：FEDIN 在所有数据集的GAUC和AUC指标上均取得了最佳性能。例如，在天猫数据集上，FEDIN 实现了 0.9658 的 GAUC 和 0.9666 的 AUC，显著优于最佳基线模型（DIN：0.9547/0.9518）。
消融研究：移除时域分支或频域分支均导致性能下降，证实了两者都是必要的。移除频率滤波器的“目标感知”方面（将其替换为静态滤波器）也导致了性能下降，验证了目标上下文对于有效频谱过滤至关重要的假设。
抗噪性：合成噪声实验（Drop Noise 和 Replace Noise）表明，随着噪声率增加，频域分支比时域分支保持了显著更高的稳定性。频谱过滤有效地衰减了高熵噪声分量。

意义与主张

该论文声称，FEDIN 通过利用频谱模式的目标条件特性，为序列推荐提供了新颖的视角。作者断言，仅在频域中分析原始行为序列是不够的；目标物品是激活特定共振模式所必需的条件。

通过将频域分析作为时域建模的补充而非替代进行整合，FEDIN 在捕捉全局周期性和保留局部序列细节之间取得了平衡。这项工作表明，这种双分支方法提供了对现实世界用户行为日志中固有的噪声和稀疏性的优越鲁棒性，从而在多样化的数据集上实现了更稳定、更准确的 CTR 预测。作者指出，由于 FFT 操作，频域分支的计算成本为 $O(L \log L)$ ，对于长序列而言，这比标准自注意力机制（ $O(L^2)$ ）具有效率优势。