Adjudicated Captioning: Multi-Agent Alignment Scoring and Consensus-Distilled Beam Arbitration for Strict Zero-Shot Image Captioning

想象一下，你正试图教一个机器人去描述一张它从未见过的图片。你不能在它的“学校时代”将图片与其正确的描述同时展示给它；在严格零样本学习（strict zero-shot learning）的世界里，这会被视为“违反了严格的零样本学习协议”。相反，你给了机器人一个庞大的文本描述库，以及一副能够根据文字大致猜出图片长什么样的特制眼镜。机器人的任务是观察一张新照片，从库中找到最相似的描述，然后利用这些描述来写出一句新的标题。

长期以来，这个过程一直遭遇着一个令人沮丧的瓶颈。机器人会找到一些相似的描述，挑选出最好的几个，然后让它的内部“语言大脑”去完成句子。问题在于，一旦机器人开始写作，它就不再检查它所说的话是否真的与图片相符了。它变得过于关注表达是否流畅和语法是否正确，往往忽略了视觉细节。这就像是一个导游背诵了一段关于名山的剧本，但一旦导览开始，他就在那里滔滔不绝地谈论所有山峰有多美，却忘了提到眼前的这座山其实是一座火山。

这篇论文正是针对这一问题展开研究的。研究人员在人工智能和计算机视觉领域提出了一个新方法，旨在让机器人保持诚实。他们称之为“裁定式标题生成”（Adjudicated Captioning）。他们并没有重新训练机器人的大脑（因为这需要同时看到图片和答案）；相反，他们安装了一组严厉的“法官”，在多个阶段对工作进行检查，并添加了一个智能的、具有自我修正能力的层级，运行在机器人完成初步草稿之后。

以下是他们的新系统是如何运作的，我们用一个简单的故事来说明：

旧方法：一次性检查
在旧系统中，机器人看着一张滑雪者的照片，并询问它的库：“哪些词汇与此接近？”它找到了九条相似的描述。它挑选了其中最好的五条，然后它的语言大脑开始写作。它写道：“一名滑雪者和一名滑雪者正在摆姿势。”系统到此为止。它从未问过：“等等，图片里真的有两个人吗？”它只是信任它的语言大脑是正确的。这导致它在名为 CIDEr（一种衡量标题质量的标准测试）的标准测试中得分为 108.0。

新方法：多阶段法庭
作者意识到机器人需要不止一次的检查。他们构建了一个流水线，其中有三位新的“法官”协同工作，且这些法官从未见过“正确答案”（即地面真值/ground truth）。

1. 更强大的图书管理员（第一阶段）： 首先，他们把机器人的普通眼镜换成了更锐利的眼镜。他们没有使用标准镜头，而是使用了一个庞大且强大的模型（OpenCLIP ViT-bigG/14）来寻找初始描述。仅此一项就让机器人变得更聪明，将得分提升到了 111.6。
2. 交叉质询者（第二阶段）： 接下来，他们增加了一位第二位法官。这位法官不仅看文字，还使用一种特殊的“交叉注意力”（cross-attention）工具（BLIP-ITM 验证器）来深入研究图片与文本之间的关系。它会对图书管理员找到的前九条描述进行重新排序，选出最好的五条。这位法官与图书管理员不同；它能捕捉到图书管理员遗漏的东西。如果图书管理员认为照片的主题是“一个人”，这位法官可能会意识到实际上是“两个男人”。这一步至关重要，因为两位法官经常产生分歧，而这种分歧有助于系统找到真相。
3. 最终仲裁者（第四阶段）： 最后，机器人生成一个包含 20 个可能句子的列表（即“束搜索/beam”）。通常情况下，它只会选择那个听起来最流畅的句子。但现在，两个新的、自学成才的小型 AI 头部（分别命名为 TriFuse 和 MemAttend）介入了。这两个头部会观察这 2 0个句子，并针对每一个句子提出三个问题：
   • 语言大脑喜欢它吗？
   • 更强大的图书管理员认为它与照片匹配吗？
   • 交叉质询者认为它与照片匹配吗？

这两个新头部是以一种巧妙的方式进行训练的。它们不需要老师来提供正确答案。相反，它们观察上述三位法官。如果所有三位法官都认为某个特定的句子是最好的，那么新的头部就会学习选择该句子。这就像一个学生通过观察专家小组对正确答案的一致意见来学习，而不是直接被告知答案。

结果
通过添加这些检查，他们的系统不仅听起来更自然，而且变得更加准确。在 COCO Karpathy 测试中，新系统达到了 117.6 的 CIDEr 分数，相比之前最好的 108.0 有了巨大的飞跃。更令人印象深刻的是，它击败了一种利用其他 AI 生成的“伪”图像进行自我训练的方法（该方法得分为 109.9），而这一切都是在机器人训练期间从未见过任何配对图像和标题的情况下实现的。

论文还在不同类型的照片（如来自 Flickr30k 和 NoCaps 的照片）上测试了该系统。该系统也在这些任务上提高了分数，分别增加了 +8.1 和 +5.7 个点，证明了这种“多法官”方法即使在机器人未专门训练过的图片上也同样有效。

他们排除了什么
研究人员非常谨慎地证明了这并非魔法。他们证明了仅仅增强语言大脑的力量并不是解决之道；改进来自于他们检查图像-文本匹配的“位置”和“方式”。他们还表明，仅仅增加第二个法官是不够的；法官必须是不同类型的模型（一个是双编码器，一个是交叉注意力匹配器），这样它们才能捕捉到不同类型的错误。他们甚至测试了一个“负面”想法：尝试使用最差的描述来教机器人“不要说什么”。实验结果显示，这样做反而让情况变糟了，这证明了专注于最佳匹配才是正确的路径。

他们有多确定？
论文对这些数字非常有信心。他们多次运行了测试，发现结果非常稳定，只有由于计算硬件特性导致的极微小的随机波动（约 0.1 分）。他们还展示了这种改进并非仅仅因为使用了在完全相同的测试集上训练的特定版本的法官；即使他们换入一个在不同照片集上训练的法官，系统仍然取得了显著的提升。

简而言之，这篇论文表明，AI 标题生成的停滞并不是因为机器人太笨，而是因为它们太信任自己的话语。通过添加一个由独立的、自监督法官组成的团队，在每一步都对工作进行验证，该系统学会了更准确地描述世界，且完全没有破坏严格零样本学习的规则。