💻 computer science

Chain-of-Caption: Training-free improvement of multimodal large language model on referring expression comprehension

本文提出了 Chain-of-Caption，这是一个无需训练的框架，通过利用工具策略性地结合多种文本和视觉上下文，显著提升了多模态大语言模型的指代理解性能，在无需微调的情况下，在各种基准测试中实现了 5% 到 30% 的准确率提升。

原作者： Yik Lung Pang, Changjae Oh

发布于 2026-02-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Yik Lung Pang, Changjae Oh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在和一位非常聪明但有点丢三落四的机器人朋友玩“躲猫猫”（Where's Waldo?）游戏。你向机器人展示一张拥挤的图片，并对它说：“找到那个穿着蓝色衬衫、戴着墨镜的男人。”

机器人看着图片并指出了一个位置。有时，它是对的。但通常情况下，它可能会指向一个穿着白色衬衫的男人，或者它可能指对了那个人，但画出的框却太大了，把半个天空和旁边的一棵树都圈了进去。

这篇论文是关于如何教这个机器人成为一名更好的侦探，而无需让它学习多年或从头开始重新学习所有知识。作者们将他们的新方法称为**“描述链”（Chain-of-Caption）**。

以下是它的工作原理，分为简单的步骤：

1. 问题所在：机器人会被分心

目前的“多模态大语言模型”（MLLMs）就像是能够阅读和观察的超级聪明的图书管理员。它们很擅长寻找物体，但当图片过于拥挤或目标隐藏在背景中时，它们会感到困惑。它们可能会猜对大致区域，但无法精准定位物体的确切边缘。

2. 解决方案：给机器人一份“小抄”

作者们意识到，如果在机器人尝试寻找目标之前给它一点额外的帮助，它的表现会更好。他们把这种额外的帮助称为**“上下文”（Context）**。

他们测试了两种类型的“小抄”：

文本列表（落地描述/Grounded Description）： 与其只说“找那个男人”，不如让机器人先列出它在图片中看到的所有东西，就像一份购物清单，但带有坐标。
- 示例： “1. 穿着绿色衬衫的男人 [位置]，2. 大象 [位置]，3. 橙色卡车 [位置]。”
- 通过拥有这份列表，机器人可以将你的请求（“穿蓝色衬衫的男人”）与它自己的列表进行交叉比对，看看哪个项目最匹配。
缩放镜头（裁剪/Cropping）： 如果机器人猜出了一个位置，作者们允许机器人“放大”那个地方。这就像是拍下那个区域的照片，然后再次展示给机器人看。这有助于机器人只关注相关的部分，忽略干扰性的背景。

3. “描述链”循环：侦探的检查清单

真正的魔力发生在他们将这些工具组合成一个循环时，就像侦探在检查自己的工作一样：

第一步： 机器人列出图像中看到的所有东西（落地描述）。
第二步： 利用该列表，它尝试寻找目标并在其周围画一个框。
第三步（检查）： 机器人问自己一个简单的“是/否”问题：“这个框里的东西真的是那个穿蓝色衬衫的男人吗？”
- 如果是： 太棒了！它保留这个答案。
- 如果不是： 机器人不会放弃。它会对刚才画错的框进行拍照，写下一段描述它实际看到了什么的文字（例如：“这是一个穿着白色衬衫的男人”），并将这条笔记添加到它原始的列表中。
第四步： 机器人利用这个更详细的新列表再次尝试。这就像是在说：“好吧，我知道那个穿白色衬衫的男人不是目标，所以我再去寻找蓝色的衬衫。”

4. 结果：无需重新训练

这篇论文最棒的部分在于，他们不需要重新训练机器人，也不需要喂给它成千上万本新书。他们只是改变了提问的方式。

类比： 把这想象成在考试前给学生一份更好的复习指南，而不是让他们回到小学重新学习字母表。
结果： 当他们在标准的图片谜题（数据集如 RefCOCO）上测试时，机器人在寻找物体的确切边缘方面表现得显著更好。
- 简单来说，如果机器人以前的表现是“基本正确”（70% 的准确率），这种方法将其推向了“完美正确”（在某些情况下超过 90% 的准确率）。
- 它在寻找难以观察到的物体或图片中有许多相似物体时表现得尤为出色。

总结

这篇论文介绍了一种名为**“描述链”（Chain-of-Caption）**的“免训练”技巧。它通过以下方式将智能 AI 变成了一个自我纠错的侦探：

先让它列出它看到的所有东西。
让它放大它所猜的位置。
让它检查自己的工作，并在猜错时写下哪里错了，然后再次尝试。

这种简单的思维链条使得 AI 能够更精确地在图片中寻找物体，而无需任何昂贵或耗时的重新训练。

技术摘要：Chain-of-Caption：无需训练的提升多模态大语言模型在指代性目标定位（REC）任务上的表现

问题陈述
指代性目标定位（Referring Expression Comprehension, REC）是视觉-语言学习领域中一个长期存在的挑战，要求模型根据文本描述在图像中定位特定物体。虽然多模态大语言模型（MLLMs）在 RefCOCO 等基准测试上已取得了高精度（在 0.5 IoU 阈值下 >80%），但在高 IoU 阈值（>0.7）下仍表现挣扎。现有模型在目标物体位于背景中、被部分遮挡或存在多个同类实例时经常失效。此外，当前的方法往往混合使用各种提供上下文的工具，却未能隔离各个组件的具体贡献，导致性能提升的来源尚不明确。

方法论
作者提出了 Chain-of-Caption，这是一个无需训练的框架，旨在通过利用 MLLM 的多任务能力（基于定位的描述生成、视觉问答 (VQA) 和图像描述生成）来迭代优化预测，从而增强通用型 MLLM 的 REC 性能。该方法通过以下阶段运行：

上下文增强： 框架引入了文本和视觉上下文。
- 文本上下文（基于定位的描述）： 通过提示词引导 MLLM 检测图像中的指定数量物体，输出包含物体描述及其对应边界框坐标的编号列表。这种“基于定位的描述”充当了文本查询与视觉场景之间的桥梁。
- 视觉上下文： 框架利用初始预测区域周围的图像裁剪来聚焦模型的注意力，并通过可视化边界框来提供空间引导。
迭代优化（Chain-of-Caption）：
- 初始化： 模型针对目标文本 ( $t$ ) 生成初始的基于定位的描述 ( $g$ ) 和初始边界框预测 ( $b$ )。
- 验证循环： 模型利用其 VQA 能力来验证由 $b$ 定义的裁剪区域是否与目标描述相匹配，并返回二元答案“是”或“否”。
- 修正： 如果答案为“否”，模型会为失败的裁剪区域生成一段描述 ( $c$ )。该描述连同之前的边界框一起被附加到基于定位的描述中，以更新上下文。
- 重新预测： 模型使用这一丰富的上下文来生成新的边界框预测 ( $b_{CoC}$ )。该过程重复进行，直到验证返回“是”或达到最大尝试次数。

核心贡献

上下文工具分析： 本文系统地评估了文本上下文（物体描述 vs. 基于定位的描述）和视觉上下文（裁剪 vs. 绘制边界框）对 REC 性能的各自影响。
无需训练的框架： Chain-of-Caption 通过仅依赖提示工程和模型固有的多任务能力来提升 MLLM 的性能，无需任何微调。
迭代定位： 该框架独特地结合了基于定位的描述与利用 VQA 和描述生成的自我修正循环，以处理模糊或困难的定位任务。

实验结果
实验在 RefCOCO、RefCOCO+、RefCOCOg 以及更具挑战性的 Ref-L4 数据集上进行，使用了 NVILA-8B、NVILA-15B 和 Qwen2.5-7B 模型。

上下文的影响： 研究发现，虽然简单的物体描述影响微乎其微，但基于定位的描述显著提高了高 IoU 阈值（0.7 和 0.9）下的准确率，尽管它略微降低了 0.5 IoU 下的性能。裁剪操作提高了高阈值下的准确率，但降低了低阈值下的性能。
性能提升： Chain-of-Caption 在各种 IoU 阈值下均展现出相对于基准模型的显著提升。在 NVILA-8B 模型上，它实现了 5% 到 30% 的性能增益。具体而言，在 Ref-L4 上，该方法将 Acc0.7 从 30.28% 提升至 56.63%（+26.35%），将 Acc0.9 从 2.82% 提升至 25.16%（+22.34%）。
模型缩放： 该框架在不同规模的模型上均证明了其有效性。值得注意的是，尽管 NVILA-15B 在基础形态下表现不如 NVILA-8B，但 Chain-of-Caption 使 NVILA-15B 能够超越较小的模型，这表明较大的模型具有更优越的上下文学习能力。
局限性： 该方法依赖于模型遵循格式指令（例如输出用于边界框的 JSON 格式）的一致性能力。作者指出，Qwen2.5-7B 在基础形态下难以保持一致的输出格式，需要特定的提示策略来确保可靠性。

意义
论文声称 Chain-of-Caption 实质性地提高了边界框检测的准确度，特别是在高 IoU 阈值（>0.7）下，从而实现了更精准对齐的边界框。通过隔离不同上下文类型的影响，作者证明了将文本概念通过边界框坐标进行定位是提高 REC 最有效的机制。这项工作强调，现有的 MLLM 具备通过迭代式上下文生成和验证来优化自身预测的潜在能力，为实现高精度定位提供了一条无需承担重训计算成本的新路径。

1. 问题所在：机器人会被分心

2. 解决方案：给机器人一份“小抄”

3. “描述链”循环：侦探的检查清单

4. 结果：无需重新训练

总结

类似论文