Linear and Neural Dueling Bandits with Delayed Feedback
本文通过提出新颖的线性和神经网络算法来解决具有随机延迟反馈的上下文对偶老虎机问题，这些算法在损失函数中利用逆概率加权机制以确保无偏估计，实现了次线性遗憾界，并通过大量实验证明了其有效性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你是一位厨师，正试图为一家餐厅打造完美的菜单。你并不知道顾客会喜欢哪些菜肴，因此必须进行测试。
经典问题：“口味测试”
在机器学习领域，这被称为**对偶老虎机（Dueling Bandit）**问题。与其询问顾客“给这道菜从 1 到 10 打分”（这既困难又主观），你只需让他们在两道菜之间做出选择：“你更喜欢意大利面还是披萨？”
计算机（即智能体）通过展示成对的选项并观察哪一道获胜来学习。随着时间的推移，它会找出最适合供应的菜肴。
现实世界的故障：“慢邮件”
本文描述的问题在于，在现实世界中，反馈并不总是即时到达的。
- 在餐厅里： 顾客可能点餐、用餐，然后三天后才告诉你他们很喜欢。或者，他们可能一言不发地离开。
- 在人工智能中： 当优化大语言模型（LLM）时，人类可能需要数小时甚至数天来审查两个不同的人工智能回复，并指出哪一个更好。有时，这种反馈会在处理过程中丢失。
如果厨师忽略这些“慢邮件”，他们可能会继续供应糟糕的菜肴，因为尚未收到投诉。如果他们猜测顾客“可能”说了什么（即插补），可能会出错，从而继续供应错误的食物。
本文的解决方案：“公平记分员”
作者 Xiangyi Wang 及其同事创建了一个新系统来处理这种“慢邮件”问题。他们构建了两个版本的智能厨师：
- LDB-DF（线性厨师）： 适用于简单、直接的偏好。
- NDB-DF（神经厨师）： 适用于复杂、棘手的偏好（例如理解语言中微妙的幽默或细微差别）。
他们如何解决延迟问题？
他们使用了一种巧妙的技巧，称为逆概率加权（Inverse Probability Weighting, IPW）。
把它想象成一个抽奖票系统：
- 通常情况下，如果你只收到 10 位顾客中 1 位的反馈，而其余 9 位反馈较慢，你的数据就会产生偏差。你以为这 1 位顾客代表了所有人，但他们可能只是声音最响亮的那一个。
- 作者的系统表示：“既然我们只收到了 10 人中的 1 人的反馈，我们将把这一票视为代表10 个人的投票。”
- 通过数学上“增强”那些确实到达的反馈的权重，他们抵消了那些尚未到达的反馈所导致的偏差。这确保了即使邮件缓慢，厨师也能学到真相。
结果：经证实有效
该论文从数学上证明了该方法的有效性。他们表明，即使存在延迟，“智能厨师”（LDB-DF 和 NDB-DF）的学习速度几乎与反馈即时到达时一样快。
他们通过两种方式进行了测试：
- 模拟场景： 他们利用虚构数据创建了计算机模拟，以验证数学原理是否成立。
- 现实世界测试： 他们利用该系统帮助优化大语言模型的提示词（prompts）。在此测试中，系统必须找出向人工智能提问的最佳方式以获得最佳答案，尽管人类评审员需要时间来评分。
核心结论：
该论文声称，通过使用这种“公平记分员”方法，人工智能系统在人类反馈缓慢或偶尔缺失的情况下能够学得更好。他们证明，忽略延迟或猜测缺失数据会导致错误，而他们的新方法能保持学习的准确性和高效性。
该论文并未声称：
- 它并未声称这将治愈疾病或解决气候变化问题。
- 它并未声称这适用于所有类型的延迟（仅适用于特定的随机延迟）。
- 它并未声称这是解决所有人工智能问题的最终方案，而只是针对带有延迟的基于偏好的学习的一个特定修复方案。
简而言之：他们为人工智能构建了一种更聪明的方法，使其能够从“缓慢”的人类意见中学习，确保人工智能不会因沉默而感到困惑。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。