Mitigating Early Training Collapse in CTR Models

想象一下，你正在教一个超级聪明的机器人去预测人们会点击哪些广告。你给了它一个海量的数据库，它开始学习了。但这里有一个奇怪的转折：这个机器人学得太快、太好了。仅仅经过一天的学习（一个“轮次/epoch”），它就达到了巅峰，然后立即开始遗忘所有有用的东西，转而开始死记硬背随机的噪声。这就像一个学生读了一遍教科书，在练习题测试中拿了 A，但因为他只记住了练习题的答案而不是真正的概念，导致他在正式考试中不及格。

这篇由华为研究人员撰写的论文，调查了为什么这种“单轮次崩溃（one-epoch crash）”会在点击率（CTR）模型中发生，以及如何修复它。

罪魁祸首：过多的稀有词汇

主要问题不在于机器人学得太快，而在于数据中充满了“稀有词汇”。在广告的世界里，很多事情都会频繁发生（比如“鞋子”或“披萨”），但有些事情发生得非常罕见（比如“左撇子、霓虹绿、复古烤面包机”）。

研究人员发现，机器人试图为每一件事物都编写一套特殊的秘密代码，甚至是那些几乎从不出现的物体。因为这些稀有项目出现的次数极少，机器人为它们生成的“秘密代码”是摇摆不定且不稳定的。机器人最终记住了这些稀有且不稳定的模式，而不是学习真正的规则。这就像是通过背诵一本字典来学习一门语言，而那本字典中 90% 的单词都是由一个每年只说一次话的人编造出来的。

为什么无效（“减速”陷阱）

你可能会认为解决方案就是告诉机器人学慢一点。研究人员尝试通过降低“学习率”（即机器人更新大脑的速度）来实现这一点。

结果如何？这确实有一点点帮助，但并没有阻止崩溃。机器人仍然会在一天后达到巅峰，然后开始表现糟糕。因此，仅仅减慢学习过程并不是万能的修复方法。

真正的解决方案：清洗数据

论文提出了两种强大的方法来解决这个问题，它们的效果比减速要好得多：

1. 扔掉稀有内容： 研究人员发现，如果你简单地删除那些过于稀有的特征（即“词汇”），机器人就会停止尝试去记忆它们。这带来了最大的提升。
2. 对稀有内容进行分组： 与其删除稀有项目，不如将它们归类到一个统一的“其他（Other）”桶中。这能防止机器人为那些它几乎见不到的东西做出疯狂的猜测。

当他们这样做时，机器人不仅仅是在一天内达到巅峰。它在 3 到 4 天的训练过程中都在持续进步！

证据：数字不会撒谎

团队在一个拥有数亿样本的海量工业级数据集上进行了测试。以下是与原始设置相比的情况：

• 仅仅减速： 分数仅提升了 +0.15%。
• 移除稀有特征： 分数提升了 +0.33%，并让机器人在 3–4 个轮次内持续学习，而不是仅 2 个轮次。
• 对稀有值进行分组： 分数提升了 +0.04%，并帮助机器人持续了 2–3 个轮次。

他们还测量了机器人预测“正确点击”的能力（精确度-召回率 AUC/Precision-Recall AUC）。移除稀有特征使该指标提升了 +1.5%，而仅仅减速只增加了 +1.2%。

它在现实世界中有效吗？

是的。他们没有止步于计算机模拟；他们将此应用到了一个真实的在线广告系统中。结果非常明确：

• 广告主的总价值上升了 1.88%。
• 每千次展示收入（RPM）上升了 2.02%。
• 研究中表 2 中标记为“CVR”的指标跳升了 3.39%。（注：虽然论文的缩写表将 CVR 定义为转化率，但表 2 中的特定指标被标注为“CVR”，并与其他性能指标并列；3.39% 这个数字代表了该特定报告指标的提升幅度）。

总结

研究人员得出结论，机器人的早期崩溃并不是因为它学得太快，而是因为数据中充满了稀有且微弱的信号。通过清洗数据并移除或对稀有项进行分组，机器人可以学习到更稳定、更有用的模式。这是一个简单的修复方法，但它决定了一个是会在一天后放弃的机器人，还是一个能持续变聪明数日的机器人。