ReCap: Retrieval-Guided Refinement for Image Captioning Enhancement via Reinforcement Learning
本文介绍了 ReCap，这是一个通过利用多模态检索来识别幻觉和遗漏，从而通过精炼图像描述来提升性能的检索引导强化学习框架，其在无需额外标注的情况下，性能超越了监督微调以及像 GRPO 这样的现有强化学习方法。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在数字世界中，计算机正在学习同时进行视觉观察与语言表达。这些被称为大型视觉语言模型的系统，能够观察一张照片并描述其中正在发生的事情。这种能力对于帮助视障人士在周围环境中导航、组织海量图像库以及教机器理解视觉世界至关重要。然而，这些数字观察者尚未达到完美。虽然它们通常能识别出照片中的主要主体，但却经常会虚构不存在的细节或忽略重要的细微差别。它们可能会声称一个人正拿着一个红色的球，而实际上那个球是蓝色的；或者它们可能未能注意到阳光正在地面上投下长长的影子。这种“幻觉”或忽视事实的倾向，使得它们的描述在处理严肃任务时显得不可靠。
多年来，研究人员一直试图通过向计算机展示成千上万个正确描述的示例来修复这一问题，这个过程类似于学生通过教科书进行学习。最近，另一种方法应运而生，即允许计算机进行自主练习，当它描述正确时给予数字奖励，描述错误时给予惩罚。这种被称为强化学习的方法展现出了潜力，但它往往难以推动计算机突破其初始极限。计算机倾向于重复那些安全、熟悉的短语，而不是探索描述场景的新方式，从而导致其深度、准确观察的潜力无法得到充分挖掘。
一项新研究引入了一种不同的引导这些学习型计算机的方式，它依赖于比较的力量，而非仅仅是重复。来自阿里巴巴及其他机构的研究团队开发了一个名为 Re3Cap 的系统。该系统并非要求计算机在真空中猜测正确答案，而是先给它一组相似的图像进行观察。想象一下，计算机正在看一张网球运动员的照片。在它撰写描述之前，系统会在其数据库中寻找与该照片非常相似的其他照片。然后，它会阅读人类为那些相似照片所写的描述。通过将自己的初稿与这些针对相似场景的人类编写的真实描述集进行对比，计算机可以发现自己的错误。如果计算机说球员戴着帽子，但所有相似的照片都没有显示帽子，系统就会将其标记为一个可能的错误。如果计算机忽略了球场是绿色的这一事实，而每一段相似照片的描述都提到了绿色，系统就会知道要添加这一细节。
研究人员构建了两个特定的工具来管理这个过程。第一个工具充当一名细心的编辑，扫描相似图像的描述，以寻找出现频率最高的特征。它告诉计算机：“保留这些细节，因为对于这类场景来说，它们是一致真实的。”第二个工具则充当质量检查员。它观察计算机所看到的原始照片与它记录下的内容之间的差异。如果计算机写了一个并不在图片中的网球，或者漏掉了一个清晰可见的影子，这个工具就会识别出这些具体的差距。随后，它将反馈信息传回给计算机，不是作为一个简单的评分，而是一组指令：删除虚构的球，添加缺失的影子，并保留关于球员站姿的准确细节。
这个过程允许计算机在定稿之前完善自己的工作。研究人员在由 500 张图像组成的标准数据集上对几种不同类型的视觉语言模型进行了测试。他们发现，通过使用这种检索引导的方法，计算机生成的描述比以往的方法显著更加准确。在衡量模型理解物体间关系的测试中，这种新方法比标准的强化学习方法平均提高了 8.64%。或许最令人惊讶的是，这种方法表现得如此出色，甚至超越了那些使用数千个人工标注示例进行训练的模型，而后者是一个更为昂贵且耗时的过程。
这项研究表明，提升图像描述能力的诀窍不仅在于更多的数据，还在于如何更聪明地利用现有的数据。通过让计算机将其自身的观察结果与一群相似的案例进行交叉引用，它学会了如何区分什么是真实存在的，什么是它仅仅想象出来的。研究人员指出，该系统具有鲁棒性，这意味着即使检查的相似图像数量发生轻微变化，它也能正常工作。然而，他们也承认，该方法依赖于拥有一个庞大且多样化的图像集合；如果相似照片的库太小，系统就无法找到纠正自身所需的模式。
最终，这项工作为教机器以更清晰的方式观察世界提供了一条新路径。它表明，通过引导人工智能通过相似经验的视角来看待世界，我们可以帮助它克服虚构事实的倾向。其结果是一个不仅能生成文字，而且能构建出植根于图像现实的描述的系统，使我们离实现计算机能够真正理解并描述周围视觉世界的未来更近了一步。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。