PoSh: Using Scene Graphs To Guide LLMs-as-a-Judge For Detailed Image Descriptions

本文提出了利用场景图引导大语言模型作为裁判的 PoSh 指标，并发布了包含艺术领域专家标注的 DOCENT 数据集，以解决现有评估方法难以衡量长文本图像描述中细粒度属性与关系错误的难题，从而更准确地评估视觉语言模型在复杂场景下的描述能力。

要点

这篇论文介绍了一个名为 POSH 的新工具，以及一个名为 DOCENT 的新测试场。它们共同解决了一个大问题：如何给 AI 生成的“详细图片描述”打分？

想象一下，你是一位博物馆的馆长，或者是一位需要为视障人士描述画作的志愿者。现在的 AI（视觉语言模型）能看图说话，但以前我们很难判断它说得“好不好”。

1. 核心问题：以前的“尺子”太粗糙了

过去，我们评价 AI 写图片描述，就像是用一把只有“对”和“错”两个刻度的尺子去量一件精美的刺绣。

• 旧方法（如 CIDEr, SPICE）： 它们主要看 AI 是否提到了“猫”、“桌子”这些大词。如果 AI 说“一只猫在桌子上”，而参考描述是“一只黑猫在木桌上”，旧尺子可能觉得差不多。
• 新挑战： 对于视障人士或需要详细信息的场景，细节决定成败。如果 AI 把“倒水的人”说成了“喝水的人”，或者把“红色的鸟”说成了“蓝色的鸟”，这种关系错位在旧尺子下可能根本测不出来，或者测不准。

这就好比：你让 AI 描述一幅画，它把画里“正在倒水的男人”描述成了“正在喝水的男人”。虽然它提到了“男人”和“水”，但动作和对象的关系全错了。

2. 解决方案：POSH（像侦探一样找茬）

作者们发明了一个叫 POSH 的新评分系统。你可以把它想象成一位拥有“透视眼”的资深艺术评论家。

POSH 的工作流程分三步，非常聪明：

1. 拆解骨架（场景图提取）：
   POSH 不会只盯着文字看，它先把 AI 写的描述和标准的“参考答案”都拆解成骨架图（场景图）。

   • 比喻： 就像把一篇复杂的文章拆解成“谁（物体）”、“什么样（属性）”、“在做什么/和谁在一起（关系）”的清单。
   • 例如：把“倒水的男人”拆解为：[男人] + [属性：倒水] + [关系：对着杯子]。

2. 逐项对质（LLM 作为裁判）：
   然后，POSH 会利用另一个大语言模型（LLM）作为“裁判”，拿着 AI 的骨架图去和参考答案的骨架图逐项对质。

   • 比喻： 裁判会问：“参考答案里说‘穿红裙子的女人’，你的描述里有‘穿红裙子的女人’吗？还是只写了‘女人’？”
   • 它能精准地定位到哪一句话、哪一个词出了问题（是漏了细节？还是搞错了关系？）。

3. 综合打分：
   最后，它把这些细碎的“找茬”结果汇总，给出一个总分。

   • 优点： 这个分数不仅告诉你“好不好”，还能告诉你“哪里不好”（是漏了细节，还是搞错了关系）。而且，因为它用的是开源模型，谁都能用，不用花钱买 API，结果完全可复现。

3. 新考场：DOCENT（艺术界的“高考”）

为了证明 POSH 真的好用，作者们不能只用网上的普通照片（那些图太简单了，AI 很容易蒙对）。他们找来了美国国家美术馆的 1750 幅名画、素描和雕塑，建立了一个新基准 DOCENT。

• 为什么选艺术？ 艺术品的细节极其丰富（光影、姿态、复杂的背景关系），而且通常有专家写的详细解说词作为“标准答案”。
• 人工打分： 他们请了 24 位艺术系的学生和专家，像改卷子一样，逐字逐句地给 AI 生成的描述找错（漏了什么？写错了什么？）。这非常耗时（平均每条描述要 18 分钟），但数据极其珍贵。

4. 实验结果：POSH 赢了

作者们用 DOCENT 这个“考场”测试了各种评分工具：

• POSH vs. 传统工具： POSH 的打分和人类专家的打分高度一致。它比那些传统的“字数统计”工具准得多。
• POSH vs. 最强 AI（GPT-4o）： 令人惊讶的是，POSH（一个开源的小模型）在判断细节错误的能力上，甚至超过了昂贵的 GPT-4o。
• 作为“教练”： 作者还发现，如果把 POSH 当作 AI 的“教练”（奖励函数），让 AI 根据 POSH 的反馈去自我改进，AI 生成的描述质量会显著提升，比传统的训练方法更好。

5. 总结与意义

一句话总结：
POSH 就像给 AI 写图片描述装上了一套**“显微镜”和“纠错本”**，不仅能给分，还能精准指出哪里写错了，而且免费、开源、可重复。

这对我们意味着什么？

• 对盲人/视障人士： 未来的 AI 能生成更准确、更详细的画作描述，真正帮助他们“看见”世界。
• 对 AI 开发者： 提供了一个更好的工具来训练和评估模型，不再盲目地让 AI 生成文字，而是追求精准的细节。
• 对社会： 这是一个更公平、更透明的评估标准，不再依赖昂贵的闭源模型（如 GPT-4），让全球的研究者都能参与进来。

这篇论文的核心精神就是：在 AI 追求“像人一样说话”的路上，我们不能只看它“说了什么”，更要看它“说得对不对、细不细”。 POSH 就是那把能衡量“细度”的尺子。

技术摘要

这篇论文提出了一种名为 POSH (PrOofing Scene grapHs) 的新指标，用于评估视觉语言模型（VLM）生成的详细图像描述（Detailed Image Descriptions）。同时，作者引入了一个新的基准数据集 DOCENT，专门用于评估艺术品领域的详细图像描述。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 评估挑战：尽管 VLM 在图像描述方面取得了进展，但现有的评估指标（如 CIDEr, SPICE）主要针对短文本设计，且 tuned 用于识别对象识别错误等旧式问题。对于长文本的详细描述，这些指标缺乏对属性（attribute）和关系（relation）依附的敏感性，也无法将错误定位到具体的文本片段。
• 现有方法的局限：
  • 人工评估：成本高，耗时费力，难以规模化。
  • 现有自动指标：大多产生单一的总体评分，缺乏可解释性，无法指出具体哪里错了（是漏掉了细节还是描述错了关系）。
  • LLM-as-a-Judge：虽然灵活，但通常依赖闭源 API（如 GPT-4），缺乏可复现性，且往往缺乏基于细粒度错误的结构化依据。
• 领域缺口：现有的详细图像描述基准（如 DOCCI, DCI）多基于网络图片，缺乏对视觉复杂度高、需要专家级描述的艺术品（绘画、素描、雕塑）的评估，且缺乏细粒度的人工标注。

2. 方法论 (Methodology)

A. POSH 指标 (The Metric)

POSH 是一种基于参考（Reference-based）的评估指标，其核心思想是利用场景图（Scene Graphs）作为结构化评分标准，引导开源大语言模型（LLM）作为裁判。它分为三个步骤：

1. **场景图提取 **(Scene Graph Extraction)：

   • 从生成的描述（Generation）和参考描述（Reference）中分别提取句子级的场景图。
   • 场景图包含对象（Objects）、属性（Attributes）和关系（Relations），并保留对象依附关系。
   • 利用依赖解析（Dependency Parsing）和共指消解（Coreference Resolution）技术，将文本转化为结构化的三元组，确保每个组件都定位到具体的文本片段。

2. **细粒度评分 **(Granular Scoring)：

   • 利用场景图作为结构化评分标准（Rubrics）。
   • 通过问答（Question Answering, QA）机制，让一个开源 LLM（如 Qwen）判断生成文本中是否包含了参考场景图中的特定组件（对象、属性或关系），反之亦然。
   • 关键创新：为了解决实体歧义（例如多个“男人”），POSH 会生成唯一的标识符（Unique Identifiers，如“穿白衣服的女人”），并在三遍扫描中测试这些标识符在文本中的存在性。
   • 输出细粒度分数：
     • **错误分数 **(Mistakes/Precision)：衡量生成文本中是否存在参考中不存在的错误描述。
     • **遗漏分数 **(Omissions/Recall)：衡量生成文本是否遗漏了参考中的关键细节。

3. **粗粒度评分 **(Coarse Scoring)：

   • 将细粒度分数聚合，计算整体的错误率、遗漏率和总体质量分数。
   • 由于粗粒度分数直接源于细粒度的定位错误，因此该指标具有高度的可解释性（Interpretable），能明确指出模型在哪些具体描述上出了问题。

B. DOCENT 基准数据集 (The Benchmark)

为了验证 POSH，作者构建了 DOCENT 数据集：

• 数据来源：美国国家美术馆（NGA）的开放数据，包含 1,750 幅艺术作品（绘画、素描、雕塑）。
• 参考描述：由专家编写的辅助文本（Alt-text），详细描述色彩、姿态、相对位置等，平均长度和复杂度远高于现有基准。
• 生成数据：使用 4 个当前主流 VLM（LLaVA-1.6, Molmo, GPT-4o, Claude 3.5）生成的描述。
• 人工标注：
  • 招募了 24 名艺术史专业的学生/研究人员。
  • 细粒度标注：标注具体的错误（Precision）和遗漏（Recall）的文本片段。
  • 粗粒度标注：对成对生成的描述进行排序（错误、遗漏、总体质量）。
  • 标注耗时：细粒度约 18 分钟/图，粗粒度约 5 分钟/图。

3. 主要贡献 (Key Contributions)

1. POSH 指标：首个结合场景图结构和 LLM-as-a-Judge 的指标，能够生成基于细粒度错误定位的可解释、可复现的评分。
2. DOCENT 数据集：首个专注于艺术品详细描述的基准，包含专家级参考文本以及细粒度和粗粒度的人工判断，填补了该领域的空白。
3. 实验验证：证明了 POSH 在相关性上优于现有指标（包括 GPT-4o-as-a-Judge），且完全开源可复现。
4. 奖励函数应用：展示了 POSH 作为强化学习（RL）的奖励函数，能比监督微调（SFT）生成更高质量的描述。
5. 模型评估：利用 POSH 和 DOCENT 评估了开源和闭源模型，揭示了当前模型在处理复杂场景动态时的局限性。

4. 实验结果 (Results)

• 与人工评估的相关性：
  • 在 DOCENT 上，POSH 与人工评分的斯皮尔曼相关系数（Spearman $\rho$）比最佳开源替代方案高出 +0.05，甚至超过了 GPT-4o-as-a-Judge。
  • 在预测错误（Mistakes）和遗漏（Omissions）的排序上，POSH 均表现最佳。
• 鲁棒性：
  • 在 CapArena（网络图片数据集）上，POSH 同样表现出色，证明了其对图像类型的鲁棒性。
  • 在包含 3 个以上人物的复杂子集中，POSH 的表现甚至优于更大的 VLM 裁判（LLaVA-Critic）。
• 细粒度定位能力：
  • 在识别错误和遗漏的 F1 分数上，POSH 分别达到了 0.580 和 0.680，显著优于基于嵌入（Embedding）或传统重叠度（Overlap）的基线模型。
• 作为奖励函数：
  • 使用 POSH 对模型进行强化学习（DAPO 算法）微调后，生成的描述在遗漏细节（Recall）上显著改善（+0.432 分），虽然错误率略有上升（-0.243 分），但总体质量提升（+0.135 分）。
• 效率：
  • POSH 在单张 H100 GPU 上处理 400 个样本仅需 15 分钟（约 2 秒/图），而依赖 GPT-4 的 DCScore 需要 2 小时以上。

5. 意义与影响 (Significance)

• 推动辅助技术：详细图像描述对于视障人士的无障碍访问（Accessibility）至关重要。POSH 和 DOCENT 为开发更可靠的辅助文本生成工具提供了评估标准。
• 可复现性与透明度：POSH 完全基于开源模型（Open-weight），解决了闭源 API 作为裁判带来的不可复现和高成本问题。
• 新的评估范式：从单一的“总体质量”评分转向“结构化细粒度”评分，帮助研究人员更清晰地理解模型在属性、关系和空间理解上的具体缺陷。
• 挑战现状：实验表明，即使是当前最先进的 VLM（包括 GPT-4o），在完全覆盖复杂艺术品的细节（如人物姿态、相对位置）方面仍存在显著困难，确立了新的研究任务。

总结：POSH 通过引入场景图作为结构化中间表示，成功地将 LLM 的灵活性与结构化评估的严谨性相结合，为详细图像描述这一高难度任务提供了一个可解释、低成本且与人类判断高度一致的评估框架。