🤖 machine learning

Self-Balancing Gradient Allocation for Heterogeneity-Aware Feature Generation in Click-Through Rate Prediction

本文提出了 HeteGenCTR，这是一种新颖的点击率预测框架，通过引入自平衡梯度分配机制和难度引导注意力，解决了异构特征字段间的生成难度不平衡问题，从而相较于最先进基线显著提升了模型性能和冷启动处理能力。

原作者： Moyu Zhang, Yun Chen, Yujun Jin, Jinxin Hu, Yu Zhang, Xiaoyi Zeng

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Moyu Zhang, Yun Chen, Yujun Jin, Jinxin Hu, Yu Zhang, Xiaoyi Zeng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在训练一支学生团队参加一场涵盖多门学科的巨型考试。考试内容包罗万象，从基础算术到高级量子物理，从记忆简单词汇到分析复杂的历史序列。

在旧有的做法中（即论文中描述的“均匀生成”方法），老师对待每一门学科都完全一样。他们为每个学生在每道题目上投入相同的时间和精力。

问题所在：“简单”学科占据主导
由于数学题目简单，学生们能迅速解答并获得满分。老师看到这些满分成绩，便继续将重心放在数学上，因为这样“有效”。与此同时，学生们在艰难的量子物理和历史题目上挣扎。由于老师忙于为数学的成功喝彩，这些高难度学科从未获得足够的练习。它们始终薄弱，尽管正是这些高难度学科决定了学生能否进入顶尖大学（或者在此案例中，决定计算机能否预测你想购买什么）。

论文将这种现象称为“生成难度不平衡”。简单特征（如简单类别）主导了训练过程，而艰难且重要的特征（如你独特的用户 ID 或复杂的浏览历史）则被忽视。

解决方案：HeteGenCTR
作者提出了一种名为HeteGenCTR的新系统。你可以将其想象为一位聪明的老师，他意识到并非所有学科都生而平等。这位老师不再给每个人分配相同的时间，而是为每门学科使用一种特殊的“难度计”。

以下是其工作原理，通过两个主要工具实现：

1. 自平衡评分系统（损失分配）

想象老师有一条特殊规则：“学生掌握某门学科越困难，该学科的分数权重就越高。”

工作原理：系统自动衡量“重构”（预测）每个特征的难度。
- 如果某个特征很简单（例如一个简单的“是/否”类别），系统会说：“好的，你已经掌握了”，并降低分配给它的分数权重。
- 如果某个特征很难（例如在数百万人中独特的用户 ID），系统会说：“这很难！我们需要在此聚焦”，并增加其分数权重。
结果：计算机停止在简单内容上浪费能量，而是将其“脑力”（梯度）倾注到那些对预测点击真正至关重要的、高价值的困难特征上。

2. 难度引导的注意力（“聚焦”机制）

现在，想象学生们正在小组合作。在旧系统中，擅长数学的学生会主导对话，大声喊出他们的答案，淹没了那些试图解决高难度物理问题的学生。

HeteGenCTR 增加了第二条规则：“让专家安静，倾听学习者。”

工作原理：在计算机的“大脑”（神经网络）内部，有一个机制控制每个特征“倾听”其他特征的程度。
- 如果某个特征已经是专家（容易学习），系统会告诉它“闭嘴”，并更被动地倾听。它不再让简单特征劫持小组讨论。
- 如果某个特征正在挣扎（难以学习），系统会放大它的声音，使其能从小组其他成员那里获得更多关注，从而更快地学习。
结果：困难特征获得了提升所需的信息，而不是被简单特征淹没。

为何这很重要

该论文在来自大型电商平台（如阿里巴巴）的真实世界数据上测试了此方法。他们发现：

更精准的预测：通过解决不平衡问题，系统在预测用户点击行为方面变得更为出色。
助力“冷启动”：最大的改进体现在新用户或稀有用户（历史数据极少的人群）身上。在旧系统中，这些用户是个噩梦，因为他们的数据过于稀疏且难以学习。HeteGenCTR 专门针对这些难以学习的模式，为新用户提供了更好的体验。
现实世界的成功：他们在实际网站上进行了在线测试（A/B 测试）。与之前的最佳模型相比，新系统使点击量增加了4.7%。

核心结论

该论文认为，不能对所有数据特征一视同仁。有些容易，有些困难。如果平等对待它们，简单的特征就会占据主导，而那些困难的特征（通常也是最重要的）将无法学习。HeteGenCTR 是一个智能的、自我调整的系统，它自动将更多的关注和资源分配给数据中困难的部分，确保整个系统学得更好、更快。

技术摘要：面向点击率预测中异质性感知特征生成的自平衡梯度分配

1. 问题定义：生成难度不平衡

本文指出了现有生成式点击率（CTR）预测方法（如 DGenCTR 和 SGCTR）的一个根本性局限。尽管这些方法成功利用离散扩散模型为所有特征字段提供稠密的重构监督（不同于仅监督最终二元标签的判别式模型），但它们将特征生成视为一个同质化任务。

实际上，CTR 特征空间具有高度异质性，包含：

高基数 ID 字段（例如用户 ID、物品 ID），拥有数百万个唯一值。
中等基数的稀疏分类属性。
稠密数值特征。
变长行为序列。

作者认为，这些字段具有截然不同的内在重构难度。高基数 ID 字段和序列的重构难度显著高于低基数分类字段或数值字段。现有方法在训练期间对所有字段分配相等的损失权重。这导致了生成难度不平衡：

梯度主导：易于重构的字段早期收敛并主导训练梯度，将共享模型参数拉向优先表征这些简单字段的表示。
慢性欠拟合：对下游 CTR 任务最具信息量的字段（高基数 ID 和序列）仍处于欠拟合状态，因为相对于其难度，它们接收到的梯度信号不足。
注意力不平衡：在去噪网络中，已收敛的简单字段倾向于主导注意力机制，抑制了向更难、高信号字段的跨字段信息流动。

现有的多任务学习技术（如 GradNorm、PCGrad）是为离散的任务边界设计的，并不直接适用于特征生成中连续的单字段难度变化。

2. 方法论：HeteGenCTR

作者提出了HeteGenCTR，这是一个基于离散扩散的异质性生成框架。其核心创新是一个统一的单字段难度信号，该信号同时驱动两个协调机制，而无需引入额外的超参数。

核心组件：可学习的对数难度参数

模型为每个特征字段 $i$ 学习一个标量参数 $s_i$ ，代表该字段重构不确定性的对数方差（同方差难度）。这些参数与去噪网络联合训练。

机制 1：自平衡损失

源自多任务最大似然估计框架（受 Kendall 等人启发），总生成损失被重构为包含单字段不确定性权重。

公式：目标是最小化负对数似然：
$\mathcal{L}_{bal} = \sum_{i=1}^{N} \left[ \exp(-s_i) \cdot \ell_i + \frac{s_i}{2} \right]$
其中 $\ell_i$ 是单字段重构损失。
动态重平衡：权重 $\exp(-s_i)$ $exp (- s_{i})$ 与重构难度成反比。
- 如果字段难以重构（高 $\ell_i$ ），平衡条件驱动 $s_i$ 变小，从而导致更大的损失权重。
- 如果字段容易（低 $\ell_i$ ）， $s_i$ 增大，降低其权重。
稳定性：作者证明，对于固定的网络参数，该平衡是一个唯一的、严格凸的全局最小值。该机制创建了一个负反馈回路，自动将梯度预算重新分配给当前最需要的字段。

机制 2：难度引导的注意力

为了在表示层面解决不平衡问题，学习到的 $s_i$ 参数调节 HSTU（分层序列变换器单元）去噪网络内的注意力机制。

查询缩放：字段 $i$ 的注意力查询通过 $\exp(-s_i/2)$ 进行缩放：
$\tilde{q}_i = \exp\left(-\frac{s_i}{2}\right) \cdot q_i$
效果：
- 困难字段（小 $s_i$ ）接收更大的查询范数，导致更锐利的注意力分布，从而积极地收集相关上下文。
- 简单字段（大 $s_i$ ）接收更小的查询范数，产生更柔和、更均匀的注意力，减少其对池化表示的影响。
对齐：缩放因子 $\exp(-s_i/2)$ 经过数学推导，以确保注意力层面的加权与损失层面的加权（ $\exp(-s_i)$ ）保持一致，确保两种机制强化相同的难度信号。

训练流程

HeteGenCTR 遵循耦合的两阶段范式：

预训练：模型使用自平衡损失和难度引导的注意力重构所有特征字段（包括作为额外字段处理的点击标签）。
微调：直接继承预训练的评分函数，并使用标准二元交叉熵针对 CTR 预测进行微调，无需架构更改。

3. 主要贡献

问题形式化：本文正式识别并刻画了“生成难度不平衡”，证明了特征字段的统一处理会导致简单字段抑制高信号 ID 和序列字段的学习。
统一框架（HeteGenCTR）：提出一个框架，利用一组可学习的难度参数同时驱动：
- 自平衡损失聚合（损失层面的梯度重平衡）。
- 难度引导的注意力调制（表示层面的信息流控制）。
理论保证：提供了稳定性分析，表明自平衡平衡是一个严格的局部最小值，并推导了注意力缩放系数以确保与损失加权的一致性。
参数效率：该解决方案无需引入新的超参数进行调优，仅向模型添加了 $N$ 个标量参数（每个字段一个）。

4. 实验结果

作者在五个数据集（Criteo、Avazu、KDD12、Amazon 和一个专有工业数据集）上评估了 HeteGenCTR，并进行了在线 A/B 测试。

性能：HeteGenCTR 在所有数据集上始终优于最先进的判别式（DeepFM、DCN、HSTU）和生成式（GenCTR、DGenCTR、SGCTR）基线。在特征异质性较高的数据集（Amazon、工业数据集）上，改进最为显著。
消融研究：
- 移除自平衡损失（仅保留注意力调制）导致性能显著下降，证实损失重加权是主要驱动力。
- 移除注意力调制（仅保留损失重加权）也导致性能下降，证实如果注意力机制仍然偏向简单字段，仅靠梯度重平衡是不够的。
难度参数分析：
- 学习到的参数 $s_i$ 按预期演变：简单字段（数值、低基数）的值迅速增加（降低其权重），而困难字段（ID、序列）的值增加缓慢，维持高权重。
- 收敛后的权重显示，ID 和序列字段获得的实际损失权重显著高于其他字段。
冷启动影响：该模型为冷启动用户（历史点击少于 10 次）和长尾物品提供了不成比例的提升，在这些场景中 ID 嵌入最稀疏且最难重构。
在线 A/B 测试：在大规模电商平台部署后，HeteGenCTR 实现了4.7% 的 CTR 相对提升，且未增加服务延迟（因为生成组件完全是离线的）。

5. 意义与主张

本文主张，异质性感知生成是生成式 CTR 建模中一个关键但此前被忽视的维度。通过解决生成难度不平衡，HeteGenCTR 确保最具信息量的特征（ID 和序列）在预训练期间获得充分的监督。

作者强调，他们的解决方案是整体且无参数的，从单一学习信号中推导出损失重加权和注意力调制。他们断言，这种方法不仅提高了排序指标（AUC），还增强了概率校准（LogLoss）和稀疏数据环境下的鲁棒性，解决了当前生成模型如何聚合多字段目标的一个根本缺陷。