💻 computer science

SCLARO: A Dataset for Grounded Scenario-Level Scene Understanding and ScenarioCLIP for Benchmarking

本文介绍了 SCLARO，这是一个包含 615,805 张图像的大规模数据集，这些图像在多种场景下都标注了基于定位的目标、关系和动作信息，并提出了 ScenarioCLIP，一种三层基准测试模型，该模型在联合场景理解和域外泛化方面优于现有方法。

原作者： Advik Sinha, Saurabh Atreya, Aashutosh A V, Sk Aziz Ali, Abhijit Das

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Advik Sinha, Saurabh Atreya, Aashutosh A V, Sk Aziz Ali, Abhijit Das

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图教一个机器人如何理解一张照片。

目前的多数机器人就像是带着相机的游客：它们能告诉你，“这是一个女人在吃西兰花的画面。”它们能掌握大局。但它们在细节上却表现挣扎。它们可能意识不到是哪位女士拿着勺子，或者没意识到西兰花其实是在一个碗里面，或者那个碗正放在炉子上。它们将场景看作是一堆物体的模糊集合，而不是一个相互关联的故事。

这篇论文介绍了一个解决该问题的方案，它由两个主要部分组成：一本全新的教科书（数据集）和一个旨在向其学习的全新学生（AI 模型）。

1. 教科书：SCLARO

作者创建了一个巨大的图书馆，名为 SCLARO（场景-上下文局部动作、关系与物体定位）。把它想象成一个收集了超过 61.5 万张日常生活照片的集合——包括厨房、街道、公园和驾驶场景。

这本教科书之所以特别，在于它的标注（标签）方式。作者并没有仅仅在页面底部写下一句话，而是将每张图像分解为三个特定的理解层级：

宏观故事（全局动作）： “一个女人正在吃西兰花。”
角色阵容（物体）： “女人”、“西兰花”、“碗”、“勺子”、“炉子”。
相互连接（关系）： 这是核心秘诀。这本书不仅列出了物品，还围绕特定的交互作用画出了小小的“聚光灯”框。
- 它精确地标出了女人拿着勺子的位置。
- 它标出了西兰花坐在碗里的位置。
- 它标出了碗在炉子上的位置。

作者使用了 AI 助手团队来阅读图像、识别物体，然后画出这些“聚光灯”框，以展示动作发生的精确位置。他们结合了来自五个不同公开来源的数据，构建了这个庞大的图书馆。

2. 学生：ScenarioCLIP

为了证明这本教科书是有用的，作者构建了一个新的 AI 模型，名为 ScenarioCLIP。

想象一个正在参加考试的学生。

旧学生（如 PyramidCLIP）： 这些模型试图使用单一的“大脑”同时学习整个画面、物体和关系。这就像试图用一只耳朵同时聆听一场交响乐、一段小提琴独奏和一段鼓点独奏。它们能捕捉到整体氛围，但会错过具体的音符。
新学生 (ScenarioCLIP)： 这个模型拥有三只专门的耳朵（编码器）：
1. 一只耳朵聆听整个场景（宏观故事）。
2. 一只耳朵只专注于单个物体（角色阵容）。
3. 一只耳朵只专注于交互作用（相互连接）。

为了确保这三只耳朵不会产生混淆或相互矛盾，该模型使用了一个“教师”系统（称为知识蒸馏）。想象一位睿智的老师在慢慢引导学生，说道：“嘿，你在勺子上看到的细节必须与你关于女人的描述相匹配。”这让学生的理解在所有层级上保持一致。

3. 结果：学生通过测试了吗？

作者通过各种挑战测试了这个新学生与旧模型的表现：

寻找正确的图片（零样本检索）： 如果你要求 AI，“给我看一张女人拿着勺子的照片”，ScenarioCLIP 比旧模型更能精准找到匹配项。它在识别特定物体和关系方面有了显著提升。
捕捉细节（目标检测）： 当被要求在物体周围画框时，新模型更加准确。
理解故事（场景图分类）： 当被问及关系（例如，“西兰花在做什么？”）时，新模型在建立联系方面表现得更好。
“现实世界”测试（泛化能力）： 作者在从未见过的图片（来自 MS-COCO 等不同数据集）上测试了该模型。尽管它是基于 SCLARO 教科书训练的，但它并没有忘记如何处理通用图像。事实上，它的表现优于旧模型，这证明了学习特定的关系实际上有助于它更好地理解世界，而不是变差。

核心结论

这篇论文认为，要真正理解一个场景，AI 需要停止仅仅观察“整体画面”，而开始关注事物之间具体的连接。

通过创建一个强调这些连接的海量数据集（SCLARO），并构建一个既能分别学习又能协同学习的模型（ScenarioCLIP），作者展示了 AI 可以从仅仅识别“那里有什么”进化到理解“事物是如何相互关联的”。

注：局限性
作者承认，由于他们使用机器人来创建教科书，因此可能会存在一些错误（例如，机器人把云朵误认为帽子）。此外，由于某些罕见的关系在照片中出现频率较低，它们很难被捕捉。但总体而言，该系统的表现优于以往的模型。

技术摘要：SCLARO 与 ScenarioCLIP

问题陈述

当前的计算机视觉场景理解范式在落地（grounded）的多层级推理方面面临着关键性的空白。虽然大规模视觉-语言预训练（VLP）数据集提供了全局图像-文本对，但它们缺乏用于推理细粒度场景构成（即特定物体、物体间的关系以及执行的动作）所需的结构化、关系性落地信息。相反，现有的场景图数据集（如 Visual Genome、OpenPSG）虽然提供了关系结构，但缺乏进行有效 VLP 预训练所需的规模和标注多样性。

因此，像 CLIP 这样的模型在区分语义相似但上下文迥异的场景（例如“人拿着包”与“人拿着伞”）时会表现挣扎，因为在训练期间缺乏落地的关系监督。此外，像 PyramidCLIP 这样对齐全局和物体级特征的层级模型，未能显式地建模物体间关系，导致上下文落地监督的有效性未能得到量化评估。

方法论

1. SCLARO 数据集

为了填补数据空白，作者引入了 SCLARO（场景-上下文动作、关系与物体定位），这是一个涵盖室内、室外及驾驶场景的 615,805 张图像语料库。该数据集由五个公开来源构建而成：CC3M、OpenPSG、Panoptic Video Scene Graph (PVSG)、Multi-Moments in Time 以及 KITTI2015。

该数据集的独特之处在于其三层级的标注结构，通过一个三阶段自动化流水线生成：

第一阶段（结构化场景标注）： 一个开源视觉-语言模型（Ovis-Gemma 9B）生成全局动作描述、物体实例列表以及一组关系三元组 (object1, relation, object2)。
第二阶段（物体定位）： 使用 GroundingDINO 为所有识别出的物体预测边界框。
第三阶段（聚焦区域构建）： 利用 SAM（Segment Anything Model）和径向基函数（RBF）权重，该流水线构建了聚焦于关系的区域。这些是特定的图像裁剪区域，突出了特定交互发生的空间上下文（例如，“女人”正在“拿着”一个“碗”所在的区域），从而为关系级监督提供了显式的视觉落地。

最终数据集包含 740 个动作类别、4,812 个物体类别和 225,609 个独特的关系三元组。

2. ScenarioCLIP 模型

为了对 SCLARO 进行基准测试，作者提出了 ScenarioCLIP，这是一种层级化的三级视觉-语言模型，旨在联合编码全局上下文、物体和关系。

架构： 与使用共享编码器的 PyramidCLIP 不同，ScenarioCLIP 采用了解耦编码器：
- 三个不同的视觉编码器（ $f_{V,G}, f_{V,O}, f_{V,R}$ ），分别用于全局图像、物体裁剪图和关系聚焦区域。
- 三个不同的文本编码器（ $f_{T,G}, f_{T,O}, f_{T,R}$ ），分别用于动作描述、物体名称和关系三元组。
训练目标：
- 对比对齐 ( $L_{CA}$ )： 在每个层级独立地对齐视觉和文本嵌入（全局-全局、物体-物体、关系-关系），使用对称的图像-文本对比损失。
- 知识蒸馏 ( $L_{KD}$ )： 一种 EMA（指数移动平均）教师-学生机制，强制执行层级间的语义一致性。
  - 视觉模态： 全局视觉教师正则化局部物体和关系嵌入（全局上下文 $\to$ 局部）。
  - 文本模态： 方向相反；细粒度的物体/关系文本嵌入正则化全局文本嵌入（局部细节 $\to$ 全局），因为具体的描述比宽泛的动作描述提供更精确的内容。

核心贡献

SCLARO 数据集： 一个大规模、落地的数据集，提供了跨越多种视觉领域的动作描述、物体边界框和关系聚焦区域，弥合了 VLP 规模与场景图结构之间的鸿沟。
ScenarioCLIP： 一个具有解耦编码器和非对称模态内知识蒸馏的三级模型，证明了显式的关系级监督可以提升表示质量。
全面的基准测试： 一个涵盖零样本检索、线性探测、物体检测、谓词分类、场景图分类以及域外泛化能力的评估协议，将 SCLaro 确立为场景级理解的标准。

实验结果

作者在多个任务中将 ScenarioCLIP 与 PyramidCLIP 及各种零样本基准模型（CLIP、SLIP、TripletCLIP、FineCLIP）进行了对比评估：

零样本检索： ScenarioCLIP 显著优于 PyramidCLIP 和基准模型。在物体检索（Top-1: 比 PyramidCLIP 高出 14.19%）和关系检索（Top-1: 高出 3.13%）方面观察到了显著增益。结果表明，对于细粒度任务，解耦编码器比共享编码器能学习到更好的表示。
线性探测： 与 PyramidCLIP 相比，ScenarioCLIP 在动作、物体和关系方面的 Top-1 准确率均更高。
谓词与场景图分类： ScenarioCLIP 提升了谓词分类（PredCls）和场景图分类（SGCls）的平均召回率（mR@K），证实了其改进的关系推理能力。
物体检测： 使用 Faster R-CNN 头部，ScenarioCLIP 在平均精度（AP）上较 PyramidCLIP 呈现出持续的增益，表明解耦的物体表示可以作为更优的骨干网络。
域外泛化： 在外部基准测试（MS-COCO 和 Visual Genome）上，ScenarioCLIP 达到或超过了 vanilla CLIP，并显著优于 PyramidCLIP。这表明 SCLARO 预训练并未导致灾难性遗忘，且基于关系聚焦的预训练能有效地迁移到未见领域。

意义与主张

论文声称 SCLARO 和 ScenarioCLIP 展示了落地的、关系级监督在视觉-语言预训练中的价值。作者断言：

缺乏显式关系建模的模型（如 PyramidCLIP）在推理组合场景结构方面存在局限。
SCLARO 数据集通过将关系特定的文本与空间落地的区域配对，填补了一个关键空白。
ScenarioCLIP 的解耦架构结合非对称知识蒸馏，在不牺牲通用能力的前提下，实现了卓越的物体和关系理解性能。

作者将这项工作定位为未来研究落地、组合式场景理解（包括场景图生成和关系推理）的基础。他们也审慎地承认了局限性，指出该数据集依赖于自动化流水线（可能会保留一些幻觉现象），且关系词汇自然存在长尾分布。