Grasp Any Region: Towards Precise, Contextual Pixel Understanding for Multimodal LLMs

本文提出了 Grasp Any Region (GAR) 框架，通过引入 RoI 对齐特征回放技术，使多模态大语言模型能够在保留全局上下文的同时实现任意区域的精准感知与多区域交互推理，并构建了 GAR-Bench 基准以验证其在复杂场景理解及视频任务中的卓越性能。

要点

这篇论文介绍了一个名为 GAR (Grasp Any Region，抓取任意区域) 的新模型，以及一个用来测试它的“考场”（GAR-Bench）。

为了让你轻松理解，我们可以把现在的多模态大模型（MLLM）想象成一个拥有超级大脑的“观察员”。

1. 以前的观察员遇到了什么麻烦？

以前的观察员（现有的多模态模型）很擅长**“看全景”**。你给它一张照片，它能告诉你：“这是一只猫在沙发上睡觉。”这很厉害，但不够精细。

如果你让它**“只看猫”**，它往往就犯迷糊了：

• 问题 A（缺乏全局视野）： 如果照片里有一只青蛙形状的拖鞋，以前的模型如果只盯着拖鞋看，可能会误以为那是一只真的青蛙。因为它忽略了背景（卧室、床），不知道这是个玩具。
• 问题 B（无法处理多个目标）： 如果你问：“那个穿红衣服的人（A）和那个拿球拍的人（B）在做什么？”以前的模型通常只能分别描述 A 和 B，很难把 A 和 B 的关系（比如"A 正在把球打给 B"）串联起来。

这就好比一个近视眼医生，只让你看局部，却忘了让你看整体，结果把“假牙”当成了“真牙”。

2. GAR 是怎么解决的？（核心魔法）

GAR 就像给这位观察员装上了一副**“智能变焦眼镜”**，它有两个绝招：

绝招一：RoI 对齐特征回放（RoI-aligned Feature Replay）

• 比喻： 想象你在看一幅巨大的油画。
  • 旧方法： 把画剪下来，只把“猫”的那一小块拿给观察员看。观察员因为看不到画框和背景，就以为那是只真猫。
  • GAR 的方法： 观察员先看整幅画（保留全局背景），然后戴上“智能眼镜”，把“猫”的那块区域放大看细节。
  • 效果： 它既看到了猫的细节（毛茸茸的），又看到了背景（它是拖鞋），所以它不会把拖鞋当成真青蛙。它**“zoom in"（放大细节）的同时，没有"zoom out"（丢失全局）**。

绝招二：多提示词互动（Multiple Prompts Interaction）

• 比喻： 以前观察员是“单线程”的，你问一个，它答一个。
• GAR 的方法： 它是“多线程”的。你可以同时指着画里的三个人（A、B、C），问：“他们三个在干什么？”GAR 能瞬间理解他们之间的关系网（比如：A 在打 B，C 在笑）。它不再把物体看作孤立的个体，而是看作一个互动的整体。

3. 新的“考场”：GAR-Bench

为了证明 GAR 真的变聪明了，作者们没有用老一套的考试，而是建了一个**“高难度迷宫”**（GAR-Bench）。

• 以前的考试： 问“这是什么颜色？”（太简单）。
• GAR 的考试：
  • 陷阱题（非实体识别）： 镜子里有个倒影，问你“镜子里的人是真的吗？”（需要结合全局判断那是反射，不是真人）。
  • 关系题： 指着三个物体问：“谁在打谁？”（需要理解复杂的互动）。
  • 位置题： “那个红色的球是左数第几个？”（需要理解空间顺序）。

4. 成绩如何？（战绩辉煌）

GAR 在这个新考场上表现惊人：

• 小身材，大能量： 一个只有 1B（10 亿参数） 的小模型，在理解复杂关系的能力上，竟然打败了 78B（780 亿参数） 的超级大模型（InternVL3-78B）。这就像一个小学生解开了博士生的难题。
• 举一反三： 它甚至没专门学过视频，但在视频理解测试中，也能打败专门训练过的视频模型。这说明它的“观察力”是可以迁移的。
• 描述精准： 在描述细节时，它能准确说出“这是一只青蛙拖鞋”，而不是“一只青蛙”。

总结

这篇论文的核心思想是：想要真正看懂世界，不能只看局部，也不能只看大概，必须“局部细节”和“全局背景”同时在线。

GAR 就是这样一个**“既见树木，又见森林”**的超级观察员。它不仅能精准描述你指的任何东西，还能理解这些东西之间千丝万缕的关系，甚至能识破镜花水月的假象。这标志着人工智能从“被动看图说话”向“主动深度理解”迈出了一大步。

技术摘要

这是一篇发表于 ICLR 2026 的论文《GRASP ANY REGION: TOWARDS PRECISE, CONTEXTUAL PIXEL UNDERSTANDING FOR MULTIMODAL LLMs》（GRASP ANY REGION：迈向多模态大模型的精确、上下文感知像素理解）的技术总结。

1. 研究背景与问题 (Problem)

现有的多模态大语言模型（MLLMs）虽然在整体图像描述和通用问答方面表现出色，但在处理密集、复杂的视觉场景时存在显著局限：

• 缺乏细粒度分析能力：难以捕捉复杂的物体细节和物体间的相互关系。
• 区域级理解的矛盾：现有的区域级 MLLMs 通常被优化为孤立地理解给定的区域（如通过掩码或边界框），往往忽略了至关重要的全局上下文。
  • 典型案例：如果只给模型看一只青蛙形状的拖鞋的局部裁剪图，模型可能会将其误识别为真实的青蛙，因为它丢失了“卧室/床”这一全局背景信息。
  • 现有方法缺陷：基于池化局部特征的方法丢失细节，而仅关注单区域描述的方法（如 DAM）则缺乏全局视野，导致推理错误。
• 交互与推理不足：现有模型难以处理多个提示（Prompts）之间的复杂交互和组合推理（例如：判断两个物体是否在镜子中，或者描述三个物体之间的动态关系）。

2. 核心方法 (Methodology)

为了解决上述问题，作者提出了 Grasp Any Region (GAR) 框架，旨在实现综合的区域级视觉理解。其核心创新包括：

A. 模型架构：RoI 对齐特征重放 (RoI-aligned Feature Replay)

这是 GAR 解决“局部细节”与“全局上下文”权衡问题的关键技术：

1. 全局编码：模型首先使用 AnyRes 技术对完整的、未裁剪的图像（连同掩码提示）进行编码，生成富含上下文信息的全局特征图。
2. 特征提取：基于输入的掩码，推导出对应的感兴趣区域（RoI）边界框。
3. RoI-Align 重放：利用 RoI-Align 技术，直接从全局特征图中提取与 RoI 相关的特征向量。
   • 优势：提取的特征天生具有上下文感知能力（因为源自全图），既保留了足够的局部细节，又维持了全局信息。这使得模型在“放大”查看细节时，不会“失去”对整体场景的把握。
4. 提示编码：引入轻量级的掩码编码机制，将二值掩码嵌入到 ViT 的 Patch 嵌入中，作为空间引导。

B. 训练数据流水线 (Training Data Pipeline)

为了从单区域识别进阶到多区域复杂推理，作者构建了包含 250 万样本的 GAR-2.5M 数据集，分为三个阶段：

1. 增强识别能力 (Round 1)：结合 Describe Anything-1.5M 和细粒度的 ImageNet-21K 子集，训练种子描述器，生成 45.6 万条细粒度描述，提升基础物体识别精度。
2. 支持多提示交互 (Round 2)：引入 Panoptic Scene Graph (PSG) 数据集，利用 Qwen2.5-72B 作为“合并器”，生成：
   • 14.4 万条融合关系上下文的物体描述。
   • 14.4 万条针对复杂关系理解的问答对。
   • 12.6 万条多项选择题。
   • 总计构建 41.4 万条关系感知数据，专门用于训练多提示交互能力。

C. 评估基准：GAR-Bench

作者提出了一个新的基准 GAR-Bench，不仅评估单区域理解，更强调多提示交互和组合推理：

• GAR-Bench-Cap：多提示描述任务，评估模型描述多个视觉提示之间复杂关系和交互的能力。
• GAR-Bench-VQA：多视角视觉问答，分为两个子任务：
  • 感知 (Perception)：评估对颜色、形状、材质等基础属性的识别。
  • 推理 (Reasoning)：评估高阶认知能力，包括：
    • 位置 (Position)：在复杂网格结构中定位物体。
    • 非实体识别 (Non-Entity Recognition)：区分真实物体与镜像/阴影/屏幕显示（需全局上下文）。
    • 关系 (Relation)：在冗余提示干扰下，推断多个物体间的空间或逻辑关系。

3. 主要贡献 (Key Contributions)

1. 提出了 GAR 模型：一种能够同时利用全局上下文和局部细节进行精确区域理解的 MLLM 架构。
2. 创新了 RoI-aligned Feature Replay 技术：有效解决了区域级理解中局部细节与全局上下文难以兼顾的难题，避免了“只见树木不见森林”的推理错误。
3. 构建了 GAR-Bench：首个系统评估多提示交互和复杂组合推理的区域级基准，填补了现有基准仅关注单区域描述的空白。
4. 构建了大规模高质量数据集：通过多阶段流水线构建了包含 250 万样本的 GAR-2.5M，显著提升了模型在细粒度识别和关系推理上的能力。

4. 实验结果 (Results)

实验表明，GAR 在多个维度上达到了 State-of-the-Art (SOTA)：

• 区域级理解与描述：
  • GAR-1B（10 亿参数）在 DLC-Bench 上超越了 DAM-3B（30 亿参数）+4.5 分。
  • 在 GAR-Bench-VQA 上，GAR-1B 甚至超越了 InternVL3-78B（780 亿参数），证明了其架构的高效性。
  • GAR-8B 在 GAR-Bench-Cap 和 DLC-Bench 上均取得最高分，超越了包括 GPT-4o 在内的私有模型。
• 多提示交互与推理：
  • 在涉及多物体关系、非实体识别（如镜像判断）的任务中，GAR 表现出显著的推理优势，能够正确利用全局上下文纠正局部误判。
• 零样本视频迁移能力：
  • GAR-8B 在零样本设置下，在 VideoRefer-BenchQ 上超越了在域内数据训练的 VideoRefer-7B，表明其强大的理解能力可以轻松迁移到视频领域。
• 通用能力保持：
  • GAR 在 V*, MMVP, RealWorldQA 等通用多模态基准上保持了优秀的性能，未因专注于区域理解而牺牲通用能力。

5. 意义与影响 (Significance)

• 范式转变：将区域级 MLLM 从“被动描述孤立区域”转变为“主动利用全局上下文进行对话和推理”。
• 解决核心痛点：通过 RoI-aligned Feature Replay 技术，为社区提供了一种高效解决“局部细节 vs 全局上下文”权衡的通用方案。
• 推动复杂场景理解：GAR-Bench 的提出为评估 MLLM 在密集场景、复杂物体交互及非实体识别方面的能力提供了更准确的标准，推动了模型向更高级的视觉推理发展。
• 视频理解潜力：证明了基于图像训练的模型在零样本情况下也能具备强大的视频理解能力，为视频 MLLM 的发展提供了新思路。

总之，该论文通过架构创新和数据构建，显著提升了多模态大模型在复杂、密集场景下的细粒度感知和组合推理能力，为构建更智能的视觉理解系统奠定了重要基础。