🤖 AI

Self-Evolving Recommendation System: End-To-End Autonomous Model Optimization With LLM Agents

本文介绍了一种利用 Google 的 Gemini 大语言模型智能体（LLM agents）通过双环工作流自主生成、验证并部署优化后的模型架构与奖励函数的自我演进推荐系统，并成功证明了在 YouTube 生产环境中，该系统与传统的工程开发相比，具有更优越的开发速度与性能表现。

原作者： Haochen Wang, Yi Wu, Daryl Chang, Li Wei, Lukasz Heldt

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Haochen Wang, Yi Wu, Daryl Chang, Li Wei, Lukasz Heldt

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下这样一个世界：你最喜欢的视频应用不仅仅是在猜测你接下来想看什么，而是实际上在学习如何让这种猜测变得越来越准，而且每天都在自我进化。这就是**强化学习（Reinforcement Learning）**的领域，它是人工智能的一个分支，其中的计算机程序就像一个充满好奇心的探险家。它尝试不同的动作（比如给你推送一个猫咪视频或是一个烹饪教程），观察结果（你是看了它？还是喜欢它？），并根据好的选择获得“奖励”。其目标是随着时间的推移实现奖励的最大化。但棘手之处在于：弄清楚究竟该如何给予这个“奖励”是非常困难的。这就像是在教一只狗去衔取东西，但你不会说狗语，而且狗要过好几周才会告诉你它是否开心。在传统情况下，人类必须花费数年时间来微调规则，猜测狗（或用户）真正想要的是什么，并手动重写代码。这篇论文提出了一个大胆的问题：我们能否构建一个系统，让它能够自主进行这种微调、实验和重写，而不需要人类在每一步都手把手地引导？

谷歌的研究人员提出了一个被称为**自进化推荐系统（Self-Evolving Recommendation System）**的解决方案。把它想象成一个数字工厂，那里的机器不仅能制造产品，还能在工厂运行的同时重新设计工厂布局、发明新工具并改写说明书。这个系统的核心是 LLM Agent（大语言模型智能体）——由大语言模型驱动的专门化计算机程序（这类 AI 能够写故事或与你聊天）。这些智能体充当了一支超级聪明、不知疲倦的机器学习工程师团队。它们不仅仅是微调一些数字；它们会阅读代码，针对系统运作方式提出天马行空的构想，编写测试这些构想的代码，然后检查结果。

该系统的运作类似于一场节奏截然不同的两人接力赛。第一位选手是 Offline Agent（离线智能体），即“快循环”。这个智能体是一个过度活跃的思想机器。它每五分钟就会“醒来”一次，观察海量数据，并生成数百个新的假设。它就像一位厨师在品尝汤品时，立刻想到：“如果加一撮肉桂会怎样？”或者“如果把菜刀换成搅拌机会怎样？”它利用“代理指标”（即快速、易于衡量的信号，用以暗示一个想法是否可行）来快速测试这些想法。如果测试碗里的汤味道不对，智能体就会转向下一个想法。

第二位选手是 Online Agent（在线智能体），即“慢循环”。它是一位谨慎的战略家。它从“快循环”中挑选出最好的想法，并在真实世界中、在真实用户身上进行测试。这是“北极星”测试。新配方是否真的让人们更快乐了，或者让他们观看的时间更长了？这需要时间——几天甚至几周——因为人类行为的变化是缓慢的。在线智能体决定哪些想法值得保留，哪些应该被丢弃，从而确保只有最有希望的改变才能进入最终的菜单。

论文发现，这个自主化的团队表现得异常出色。当他们让这些 AI 智能体在 YouTube 的推荐系统中自由发挥时，这些智能体不仅仅是在微调设置；它们还发现了全新的软件结构方式。例如，智能体发现将模型的“引擎”从一种数学类型切换到另一种类型（从 Adagrad 切换到 RMSprop）可以让系统学习得更快。它们甚至发明了一种新的“门控路径（gated path）”架构，这是一种让信息在系统中流动的巧妙方式，而人类此前从未尝试过。最令人印象深刻的是，它们重新设计了“奖励”系统本身。智能体不再仅仅统计点击量，而是学会了如何结合复杂的信号——比如用户是否分享了视频，或者是否长时间观看——从而创造出一个更聪明的“幸福感”定义。

结果是显著且可衡量的。在测试中，AI 驱动的变更改善了 YouTube 用户的关键指标，其表现优于许多人类工程师在同一时期所做的变更。该系统运行实验的速度是人类无法企及的，每周可以测试数百个想法，而人类只能测试寥寥数个。虽然论文指出，AI 仍然需要人类来设定宏观规则并检查最终结果，但它暗示，未来构建这些系统的方式可能不再像是一群工程师在深夜苦修代码，而更像是一位园丁在照料一株会自动修剪、自动播种的植物，使其每天都长得更好。作者证实了这种方法在现实世界中是行之有效的，证明了 AI 智能体确实可以扮演专家工程师的角色，发现那些既是结构性又是语义性的改进，而不仅仅是数值上的微调。

技术摘要：自我演进的推荐系统

问题定义

优化全球视频平台的大规模推荐系统涉及在庞大的超参数搜索空间中进行探索，并设计复杂的优化器、架构和奖励函数。该领域的一个关键瓶颈是“对齐差距”（alignment gap），即可微训练代理（损失函数）与不可微、延迟且稀疏的长期用户满意度指标（北极星指标）之间的差距。

传统的自动化机器学习（AutoML）方法局限于在固定搜索空间内调整数值型超参数。它们缺乏以下语义推理能力：

解释过去的实验结果，以假设为什么特定的用户群体未得到充分服务。
从零开始发明全新的奖励逻辑或架构组件。
在无需大量人工迭代的情况下，弥合离线代理优化与在线业务目标之间的鸿沟。

作者将该任务定义为一个双层优化问题：

底层： 训练一个排序模型（由权重 $\theta$ 参数化），以最小化给定系统配置 $\Phi$ （优化器、架构、奖励）下的可微代理损失 ( $L_{proxy}$ )。
上层： 寻找最优配置 $\Phi^*$ ，以最大化真实的在线北极星指标 $M$ ，同时受限于系统约束。传统上，这种上层搜索是由人类研究员手动完成的。

方法论：自我演进系统

本文提出了一种端到端的自主系统，其中大语言模型（LLM）智能体充当专门的机器学习工程师（MLE）。该系统通过围绕共享的实验日志（一个包含配置、离线得分和在线指标的持久知识库）将发现过程解耦为两个同步的推理循环。

1. 离线智能体（快速循环）

该智能体作为一个高频候选生成器运行（每 5 分钟运行一次）。其目标是提名潜在的模型改进方案，以最小化离线指标或最大化与关键信号的相关性。

专业人格（Personas）： 为了防止幻觉并管理上下文限制，系统实例化了三个不同的智能体人格，每个人格都有特定的工具和目标：
- 优化器人格（Optimizer Persona）： 在优化算法空间（例如从 Adagrad 切换到 RMSprop）和超参数空间中进行搜索。它使用 compute_loss 工具来为候选方案评分。
- 架构人格（Architecture Persona）： 提议神经拓扑结构的结构性变异（例如引入门控路径机制）。它使用 compute_loss 来评估可学习性和表达能力。
- 奖励人格（Reward Persona）： 通过分析用户日志进行奖励工程（例如发现“分享视频会带来更高的观看时长”等新信号）。它使用 compute_eval 来计算与损失无关的代理指标，因为修改奖励函数会改变优化格局，使得直接进行损失比较变得无效。
输出： 该智能体生成“增量”（delta）变更（对当前配置的修改）而非完整文件，以确保上下文效率并减少语法错误。

2. 在线智能体（慢速循环）

该智能体作为一个低频实验策略师运行（每日运行一次）。它通过验证候选方案来应对延迟的北极星指标。

功能： 它对离线智能体产生的候选方案进行排序，选择前 $K$ 个用于实战实验。
生命周期管理： 它通过五个阶段管理实验生命周期：选择（对候选方案进行排序）、模型训练、在线实验、指标合成（获取在线指标）以及清理（回收无望候选方案的资源）。
安全性： 在将候选方案提升至生产流量之前，它会执行护栏机制（例如确保特定指标不会恶化超过阈值）。

核心贡献

工业级系统的自主 MLE 框架： 作者引入了一个分层智能体系统，其中 LLM 作为专家 MLE，管理工业模型开发的完整生命周期，包括假设生成、代码实现到 A/B 测试。
语义发现： 系统证明了基于 LLM 的智能体可以超越简单的参数微调，进而发现全新的架构组件（如门控路径架构）和能更好地对齐长期用户满意度的多目标奖励函数。
加速实验速率： 该框架验证了智能体系统在开发速度和模型性能方面均能超越手工调优的基准线，有效地推动了推荐系统技术的前沿演进。

结果与部署

该系统已部署在 YouTube 的多个关键业务表面。结果显示，与传统的工程化基准相比，性能有了显著提升：

性能增益：
- 优化器： 将遗留的 Adagrad 切换到 RMSprop，使 YouTube 层级指标提升了 +0.06%，表面层级指标提升了 +0.12%。
- 架构： 发现“门控路径”（GLU）架构带来了 +0.06%（YouTube 层级）和 +0.14%（表面层级）的增益。
- 奖励工程： 多目标奖励合成使表面层级指标提升了 +0.17%，在这一历史上难以通过人工进行奖励工程的领域中超越了人类基准。
- 效率： 通过调整批大小（batch size）和轮数（epoch），系统在不牺牲业务指标的情况下实现了 8 倍的训练时间提升。
对比影响： 在六个月的时间里，对于 YouTube 层级指标，该智能体系统生成的改进效果优于 64% 的传统人工发布方案；对于表面层级指标，则优于 73% 的方案。
消融实验：
- 模型能力： 具有高级推理能力的更大模型（Gemini 2.5 Pro）明显优于较小的变体（Gemini 2.5 Flash），证实了算法发现受益于深度思考能力。
- 上下文与人格： 提供完整的、经过排序的过去实验历史，并使用“专家 MLE”的人格设定，对于性能至关重要。移除这些因素会导致发现质量显著下降。
效率： “想法到数据”的周期得到了显著加速，系统每周生成约 100 个实验，而人类工作流仅为 1–10 个，且相对于人类工程工时，LLM 的 Token 成本极低。

意义与主张

论文声称，这项工作代表了迈向转变的重要一步，即将机器学习工程师的角色从手动代码生成和调优，转向定义战略护栏和长期愿景。

超越 AutoML： 该系统展示了从“自动化调优”（从固定空间中选择）向“自主科学发现”（生成新假设和结构性变化）的转变。
泛化性： 该框架成功适配到了一个具有完全不同特征模式和模型配置的 YouTube 不同推荐表面，且无需重新设计，这表明该系统优化的是“发现的过程”而非仅仅记忆特定数据集。
可扩展性： 通过将高频的离线发现与低频的在线验证解耦，该系统消除了人类认知带宽作为瓶颈的问题，从而能够探索那些人工工作流无法触及的配置空间的“长尾”。

作者总结道，自主的、由 LLM 驱动的演进可以在开发速度和模型性能方面均超越传统的工程工作流，建立了一种全新的工业机器学习范式。