Failures Are Fated, But Can Be Faded: Characterizing and Mitigating Unwanted Behaviors in Large-Scale Vision and Language Models
本文提出了一种事后深度强化学习方法，该方法在有限的人类反馈下，刻画大规模视觉与语言模型的失效图谱，并对其进行重构，以减轻诸如准确性错误、偏见和失调等不良行为。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一个超级聪明的机器人助手，它能识别猫、写摘要或者画图。它大部分时间表现都很棒。但有时，它会犯一些奇怪的错误：它可能会把雪人误认为云朵，写出的摘要听起来像胡言乱语，或者画出的科学家形象看起来完全就是一个典型的卡通人物。
这篇名为《失败是命中注定的，但可以被淡化》（"Failures Are Fated, But Can Be Faded"）的论文，讲述了一种在机器人进入现实世界之前，发现这些错误并修复它们的新方法，而无需从头开始重建整个机器人。
以下是他们实现这一目标的三个简单步骤：
1. 问题所在：“黑盒”式的错误
通常，当工程师构建一个模型时，他们了解其中的规则。但对于这些庞大的 AI 模型，我们并不知道机器人为什么会失败。这就像驾驶一辆汽车，引擎运转完美，但有时只有在下雨且你在爬坡时刹车才会失灵。你无法测试每一种雨天、山坡、速度和时间的组合来寻找问题，因为可能性太多了。
2. 解决方案：“失败探索者”（深度强化学习）
作者创建了一个特殊的“侦探”AI（使用一种称为深度强化学习的方法），它的唯一任务就是试图搞破坏，让主机器人出错。
把机器人的世界想象成一张巨大的、看不见的地图。有些区域是安全的（机器人表现良好），而有些区域是危险的（机器人会失败）。
- 侦探的任务： 侦探 AI 在这张地图上四处走动，尝试不同的操作。它可能会说：“如果我把‘教授’这个词改成‘厨师’会怎样？”或者“如果我把图像调暗一点会怎样？”
- 奖励机制： 每当侦探找到主机器人出错的地方时，它就会得到一个“击掌”（奖励）。它搞破坏得越多，侦探就越开心。
- 两种探索方式：
- 宏观层面（广撒网）： 侦探进行大幅度的跳跃，以寻找那些明显的、大规模的危险区域。
- 微观层面（缩放镜头）： 一旦发现危险区域，侦探就会进行缩放，通过极其细微、精确的变化来观察机器人究竟是在哪里出错的。
3. 人为干预：“什么对我们很重要？”
侦探可能会发现一个技术上的错误，但在现实生活中并不重要。例如，机器人可能在热带城市下雪时会出错，但那里根本不下雪。
这就是人类介入的地方。系统会向人类展示一个失败情况的 3D 地图（类似于热力图）。人类可以指着它说：“忽略关于雪的失败；我更在意关于雨的失败。”这有助于系统将注意力集中在真正重要的错误上。
4. 修复方法：“淡化”失败
一旦找到了坏点，且人类确认了“修复这一个”，团队并不会丢弃这个机器人。相反，他们会进行一次微调（fine-tune）。
想象机器人是一个一直做错某道特定数学题的学生。你不需要把他送回幼儿园重新学习，你只需要针对那道特定的题目给他进行额外的练习。
- 他们会对机器人进行训练，但只针对那些导致失败的特定类型的输入进行训练。
- 结果： 地图上的“危险区域”缩小了或移动了。机器人学会了更好地处理这些棘手的案例。
论文中的现实案例
团队在三种不同类型的机器人上进行了测试：
- 图像分类器（“眼睛”）： 他们发现某些光照或旋转会导致机器人误认物体。修复后，机器人在黑暗环境下识别物体的能力提升了。
- 文本摘要器（“作家”）： 他们发现添加错别字或改变句子结构会让机器人写出毫无意义的内容。修复后，生成的摘要变得更加清晰。
- 图像生成器（“艺术家”）： 他们发现当被要求画一个“科学家”时，机器人几乎总是画一个男人。在人类指出这种偏见后，他们对机器人进行了微调，使其开始更频繁地绘制女性科学家，从而减少了偏见。
核心观点
这篇论文认为，错误是不可避免的（“命中注定”），但我们不必忍受它们（“可以被淡化”）。通过使用智能侦探 AI 来绘制出模型在哪里以及为何失败的精确地图，并让人们挑选需要修复的失败点，我们可以让这些强大的工具变得更安全、更可靠，而无需从头开始。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。