💻 computer science

DRAgent: Discriminative Reasoning Agent for Referring Expression Segmentation

DRAGent 是一种新颖的由多模态大语言模型（MLLM）驱动的指代性表达分割（Referring Expression Segmentation）框架，它通过采用一种判别式推理机制，从检测器生成的空间中选择最佳候选目标来引导基础分割模型，从而取代了直接的坐标生成，进而提升了定位精度。

原作者： Yujie Qi, Luyan Zhang

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yujie Qi, Luyan Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能领域，存在着一个被称为“指代性表达分割”（referring expression segmentation）的特定挑战。想象一下，计算机正在观察一张照片，这时有人说：“找到那个坐在蓝色椅子上的红球。”目标不仅仅是识别出球和椅子的存在，而是要精确到像素级别，为那个特定的红球勾勒出轮廓。这种能力对于需要与物理世界交互的机器人和自主系统至关重要；如果机器无法首先准确识别出一个物体的起始与终点，它就无法抓取该物体。多年来，研究人员一直试图通过教导大型语言模型充当机器的“眼睛”来解决这个问题，让它们直接生成目标物体的坐标，就像书写一组地图导向指令一样。然而，这种方法有一个根本性的缺陷：当计算机试图将连续的视觉空间转化为字符串形式的文本数字时，它往往会迷失方向，导致生成的轮廓模糊或错误，尤其是在包含许多相似物品的拥挤场景中。

一组研究人员提出了一种解决这一难题的不同方法，将计算机的角色从“制图员”转变为“精心的选择者”。他们不再要求人工智能从零开始创造物体的位置，而是让一个独立的、专门的工具先撒下一张由候选对象组成的“大网”，标记出图像中看到的每一个潜在物体。随后，大型语言模型被赋予了一项更简单、更可靠的任务：查看这份标记好的可能性清单，并决定哪一个符合描述。这种被称为 DRAgent 的方法，将任务视为在选项中进行“辨析”，而非生成位置。系统首先对清单进行筛选，保留最可能的候选对象，然后对剩余的这少数几个选项进行第二次、更仔细的检查，以验证哪一个真正符合描述。一旦选定了正确的方框，分割模型就会利用该方框来绘制最终精确的轮廓。

研究人员发现，这种“筛选与验证”的两步走过程显著减少了困扰以往方法的错误。通过避免将视觉空间直接转换为文本坐标这一困难任务，该系统保持了词汇与图像之间更清晰的联系。为了让语言模型在选择过程中表现得更出色，团队开发了一种过滤掉不可靠推理的训练方法。他们教导模型进行自我检查，确保其用于挑选物体的逻辑确实与图像中可见的内容相符，而不仅仅是听起来很有道理。在包含数千张图像和复杂描述的标准基准测试中，这种新方法取得了极高的准确率，特别是在物体密集分布或描述冗长详细的场景下。研究结果表明，为了让机器真正理解视觉指令，让它们从一组明确的可能性中进行选择，往往比强迫它们凭空猜测答案更为有效。

技术摘要：DRAgent —— 用于指代性表达分割的判别式推理智能体

1. 问题陈述

指代性表达分割（Referring Expression Segmentation, RES）旨在根据自然语言表达生成目标对象的像素级掩码。虽然最近的方法利用多模态大语言模型（MLLM）结合基础分割模型（如 SAM），但它们面临两个关键局限性：

生成式方法的定位偏差： 当前的方法通常将视觉定位视为一个生成坐标预测问题。MLLM 将连续的空间坐标序列化为离散的文本标记（自回归生成）。这种表示方式无法保持空间关系的连续性，导致定位粗糙或存在偏差。在具有密集对象或相似外观的复杂场景中，这种“单次”生成容易与干扰项混淆，从而向下游分割模块传递错误的空间提示。
不可靠的推理链监督： 用于训练的利用推理链（例如思维链，CoT）的方法通常依赖于两种数据：要么是人工标注的（成本高、不可扩展），要么是由外部 MLLM 生成的。后者往往会产生逻辑不一致的推理过程，或者在语言上看似合理但在视觉上缺乏依据的路径，导致模型学习到不稳定的模式。

2. 方法论：DRAgent

作者提出了 DRAgent，这是一个由 MLLM 驱动的框架，它将视觉定位从坐标生成重新定义为在检测器生成的候选空间内的判别式目标选择。该流水线由三个阶段组成：

A. 候选对象检测

与其要求 MLLM 生成坐标，不如首先使用一个开集词汇检测器（Grounding DINO）构建一个高召回率的候选集 $O = \{o_1, o_2, \dots, o_n\}$ 。目标类别由 LLM 从文本查询 $Q$ 中提取，并输入给检测器以生成边界框。

B. 两阶段判别式推理 (DR)

MLLM 充当视觉-语义目标判别器，而非坐标生成器。它通过一个级联的两阶段机制选择最佳候选对象：

候选级初步筛选：
- 检测到的候选对象通过索引化的标记集合（Set-of-Mark, SoM）边界框在图像上进行可视化。
- MLLM 选择与查询 $Q$ 最匹配的前 $K$ 个候选对象。
- 为了确保召回率，会将与前 $K$ 个框的交并比（IoU）超过阈值 $\gamma$ 的额外候选对象加入，从而形成第二阶段候选集 $O_{top}$ 。
实例级验证：
- $O_{top}$ 中的每个候选对象都分别使用 SoM 框进行渲染。
- 提示 MLLM 执行特定的视觉问答任务（例如：“观察红色边界框。它是否紧密包围了描述为‘{Q}’的对象？”）。
- 验证分数： 系统不是依赖于单个生成的标记，而是根据正向回答（“Yes”）与负向回答（“No”）回答标记集的相对对数概率（logits）计算验证分数 $S_i$ 。具有最高分数的候选对象被选为目标。

C. 像素级分割

选定的边界框作为空间提示，引导基础分割模型（SAM）生成最终的像素级掩码。

D. 训练策略：自一致性过滤数据流水线

为了增强 MLLM 的判别式推理能力，作者引入了一个用于基于 LoRA 的有监督微调（SFT）的数据流水线：

自一致性生成： MLLM 为候选区域生成结构化响应（推理链、描述、答案）。
自验证（闭环）： 将生成的描述作为新的查询反馈给 MLLM，以验证一致性。
过滤： 只有当初始答案与地面真值（ground truth）匹配，且闭环验证确认了重构后的描述时，该推理链才会被保留用于训练。这过滤掉了那些在语言上合理但在视觉上错误的推理链。

3. 核心贡献

视觉定位的重新定义： DRAgent 将 MLLM 的角色从生成坐标转变为在检测器生成的候选空间内进行判别式选择，从而减轻了定位偏差。
两阶段 DR 机制： 一种结合了候选筛选与实例级视觉验证的新颖推理策略，用以提高复杂场景下的选择稳定性。
自一致性过滤的数据流水线： 通过强制执行推理、描述与视觉证据之间的闭环一致性，构建可靠的推理链数据用于 SFT，解决了训练信号不稳定的问题。

4. 实验结果

实验在 RefCOCO、RefCOCO+ 和 RefCOCOg 基准测试上进行，使用累积交并比（cIoU）作为评价指标。

性能表现： DRAgent 取得了具有竞争力的结果，特别是在 RefCOCOg 上达到了领先水平（val(U) 为 76.78%，test(U) 为 77.54%），超越了隐式 MLLM 方法和显式视觉定位生成方法。
消融研究：
- 两阶段 DR 机制相比单阶段基准显著提升了性能（在 RefCOCOg 上的平均 cIoU 从 66.84% 提升至 75.42%）。
- 自一致性过滤的推理数据比原始 CoT 数据或不带 CoT 的 SFT 效果更好，证实了可靠监督的价值。
- 参数分析表明，在 $K=4$ （前 $K$ 个候选对象）和 $\gamma=60\%$ （IoU 阈值）时达到最优性能。

5. 重要性与主张

本文认为，近期基于 MLLM 的 RES 方法的主要局限在于将定位视为一个生成式坐标问题。通过引入判别式目标选择器，DRAgent 利用了 MLLM 的推理能力进行验证而非生成。

作者认为，这种方法对于具有长篇幅、组合式表达的数据集（如 RefCOCOg）特别有益，因为在这些数据集中，候选对象之间细粒度的视觉-语义比较至关重要。此外，所提出的数据流水线提供了一种可扩展的方案，用于训练判别式推理，而无需依赖昂贵的人工标注或不可靠的外部生成，从而为视觉-语义对齐提供了更鲁棒的信号。该框架证明了将候选生成与目标判别解耦可以有效减少对齐误差并提高分割精度。