💻 computer science

Human-Centric Image Retrieval Using Scene Graphs with Person Layout and Nonverbal Social Cues

本文提出了一种以人为中心的图像检索方法，该方法利用场景图来编码 2.5D 人体布局和非语言社交线索（如注视、朝向和手势），从而实现超越全局视觉相似性的交互结构化比较。

原作者： Yeon-Jae Lee, Jong-Hyun Kim

发布于 2026-10-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Yeon-Jae Lee, Jong-Hyun Kim

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在当今庞大的数字图书馆中，寻找一张特定的图像往往感觉就像在像素的草堆中寻找一根针。传统的计算机系统在识别照片中存在哪些物体方面已经做得相当出色；它们可以告诉你一张图片包含一只狗、一棵树或一群人。它们还可以根据颜色、光照或场景的整体氛围来匹配图像。然而，这些系统往往难以理解照片中人们之间正在发生的故事。计算机可能会看到两张拥有相同人数和相似背景的图像，并假设它们是相同的，即便其中一张图像中的人们正沉默地背对背站立，而另一张图像中的人们则正倾向彼此，进行眼神交流并分享一场对话。人类场景的意义不仅在于那里有谁，还在于他们是如何排列的，他们如何注视彼此，以及连接他们的那些无形的注意力线条。

韩国仁荷大学的研究人员开发了一种新方法，教计算机识别这些微妙的社会联系。该方法并非仅仅观察整体画面，而是为场景中的人构建了一张结构图。他们将每个人视为地图上的一个点，并在他们之间画线，以代表他们的互动方式。这些线条并非随机绘制，而是基于真实的视觉线索，例如一个人的视线方向、身体的转向、手臂的位置以及他们彼此站立的距离。通过将这些细节与深度感（即分辨谁站在谁前面）相结合，该系统创建了一个详细的社交情境蓝图。这使得计算机不仅能根据图像看起来像什么进行搜索，还能根据图像中的人是如何相互关联的进行搜索。

该团队的方法始于获取一张照片并识别其中的每一个人。对于每个人，系统会确定其位置并利用关键点（如肩膀、肘部和膝盖）估算其身体轮廓。至关重要的是，该系统并未止步于平面的二维视图。它使用一种技术来估算每个人距离摄像头的远近，从而创造出一种深度感，有助于区分谁站在前景，谁站在背景。这种深度信息至关重要，因为两个人在屏幕上可能看起来靠得很近，但在现实世界中实际上站得很远，反之亦然。一旦映射好位置，系统就会分析每对人之间的空间，以确定其联系的性质。它会检查他们的头部是否转向彼此，他们的身体是否排列成暗示正在交谈的方式，或者他们的姿势是否表明他们正在向对方伸手。

所有这些信息都被编织成一个单一且紧凑的场景描述。这一描述捕捉了人数、他们在空间中的布局以及他们之间社会纽带的强度。当用户想要寻找类似的图像时，系统会将此描述与包含数百万张照片的海量数据库进行对比。它不仅仅寻找具有相同颜色或背景的图片。相反，它寻找的是人们排列方式相似且交互的无形线条与查询相匹配的场景。例如，如果用户搜索一张“两人正在进行严肃对话”的图像，系统会优先考虑那些两人面对面并专注注意力的图像，即使背景与搜索图像完全不同。它会忽略那些人们虽然站在一起但看向相反方向的图像，即使光照和颜色完全一致。

研究人员在包含 56 万张图像的数据库上测试了他们的方法，发现这种结构化方法显著提高了搜索结果的质量。在许多情况下，该系统成功检索到了视觉上截然不同但共享相同社交动态的图像。当他们移除分析中的社会连接部分时，系统区分不同类型互动的能力大幅下降。例如，在一次涉及 26 张搜索图像的测试中，移除社交线索导致在 18 个案例中首选结果发生了变化。这证明了该系统是在依靠人类互动的微妙细节（如目光和身体朝向）来做出决策，而非仅仅匹配照片的总体外观。该方法在分析视频方面也展现了潜力，它可以识别群体动态发生变化的时刻，例如人群突然重新组织，或是一场对话开始时，从而将这些社交变化与简单的视觉变化（如光线变化或相机角度变化）区分开来。

尽管该系统功能强大，但研究人员也谨慎地指出了它的局限性。它依赖于计算机检测人物和估算姿态的能力，而在拥挤场景、弱光环境或人员部分被遮挡时，这可能会变得困难。该系统并不知道人们在说什么或在想什么；它只能解释图像中可见的物理信号。它看到一个身体转向另一个人并推断出一种联系，但无法确认这种姿态背后的意图。尽管存在这些限制，这项工作仍代表了机器理解以人为中心的场景方面的重大进步。通过超越简单的物体识别，转而绘制人类非语言交流的复杂网络，研究人员赋予了计算机一种看待世界的新方式：不再仅仅将其视为物体的集合，而是将其视为一系列关系。这实现了一种更直观、更有意义的搜索体验，即查询的答案是在人们讲述的故事中找到的，而不仅仅是他们穿着的颜色。

技术摘要：基于人员布局与非语言社交线索的人类中心化场景图图像检索

问题陈述

现有的图像检索方法主要依赖于全局视觉特征（如颜色、纹理、背景）或物体级语义信息。虽然这些方法在处理通用场景相似性方面非常有效，但难以捕捉对以人为中心的场景至关重要的空间排列和交互结构。具体而言，标准方法无法区分那些虽然共享相似背景或物体数量，但在非语言社交线索（如人际距离、注视方向、身体朝向和手势）上存在显著差异的图像。例如，两个并排站立的人如果面向相反方向，可能并不存在互动；而两个距离较远的人如果朝向一致，则可能正在交谈。核心问题在于：如何基于人类中心化场景的结构相似性（特别是人员布局和非语言关系结构），而非仅仅基于全局视觉外观来进行图像检索。

方法论

所提出的框架将以人为中心的场景建模为一个场景图（Scene Graph），其中人作为节点，非语言社交线索作为边。检索过程包含四个主要阶段：

1. 人员检测与节点构建

系统检测图像中的人物并估计人体关键点（COCO 17关键点格式）。每位人员 $p_i$ 被表示为一个包含以下内容的节点 $v_i$ ：

2D 位置： 图像平面上的参考点（根据检测置信度，优先选择脚踝，其次是臀部，最后是边界框中心）。
2.5D 位置： 使用单目深度估计计算出的相对深度感知位置。
属性： 人体大小、平均关键点置信度、姿态嵌入以及场景内重要性得分。
姿态嵌入： 通过自监督训练的 PoseGCN 编码器生成，将关键点结构转换为 64 维特征向量。

2. 2.5D 布局估计

为了解决仅 2D 布局的局限性，该方法采用单目深度估计（使用 Depth Anything V2）来计算每个人的代表性深度值（边界框内的中值深度）。该深度经过归一化处理，并与图像坐标结合，创建出 2.5D 位置 ( $x^{2.5D}$ )。这种表示法捕捉了前后相对关系，而无需进行完整的 3D 重建，使系统能够区分在 2D 平面上看似接近但在不同深度的人。

3. 非语言社交关系边的构建

对于每一对人员，基于六种非语言线索构建关系边 $e_{ij}$ ：

注视/头部方向： 头部相互面对的程度。
身体朝向： 肩膀/臀部向量的对齐情况。
手臂手势： 手腕/肘部相对于另一人的方向。
接近度： 2.5D 欧几里得距离。
深度关系： 前后相对差异。
重要性： 人体大小、中心性和置信度的加权组合。
这些线索经过归一化处理，并组合成加权的关系强度得分。

4. 检索与评分

系统采用两阶段检索策略：

候选集筛选： 场景图被总结为一个固定长度的描述符（380 维），包含人员计数、节点属性、布局分布和边强度的统计数据。通过对这些描述符进行余弦相似度计算，快速筛选出数据库中的前 $M$ 个候选对象。
结构保持匹配： 对于筛选出的候选对象，系统执行 匈牙利匹配（Hungarian matching），以寻找查询图与候选图之间的最优节点对应关系。
最终得分计算： 最终检索得分 $S(I_q, I_c)$ $S (I_{q}, I_{c})$ 结合了：
- 描述符相似度 ( $S_{desc}$ )： 全局图相似度。
- 布局相似度 ( $S_{lay}$ )： 匹配节点的绝对位置和相对距离结构。
- 社交关系相似度 ( $S_{soc}$ )： 对匹配对的关系边特征进行比较，侧重于“核心”高强度边，以避免来自背景人物的噪声。
- 人数一致性 ( $C_{cnt}$ )： 一个惩罚项，如果查询图像与候选图像的人数差异显著，则降低得分。

该方法还通过 社交峰值（Social Peak） 检测扩展到了视频分析，旨在识别帧间社交关系结构发生显著重组的时间点，这种重组不同于简单的运动或视觉变化。

核心贡献

场景图表示法： 一种新型的人类中心化检索方法，将人员布局和非语言社交线索（注视、姿态、手势）共同表示为结构化图，超越了全局视觉嵌入。
2.5D 人员布局： 集成了单目深度估计以创建相对 2.5D 布局，使系统能够考虑前后关系和深度感知的接近度，这是 2D 布局无法实现的。
显式非语言建模： 构建了关系边，通过注视、身体对齐和手势显式地模拟潜在社交互动的强度和结构，而非仅仅是物体的共现。
结构保持检索评分： 一种综合评分机制，平衡了全局描述符相似度、布局相似度、社交关系相似度和人数一致性，从而能够检索具有相似交互结构的图像，即使其视觉效果不同。
实证验证： 通过定性分析和组件移除实验证明，非语言关系线索能显著调整检索排名，对于那些视觉相似但结构不同的图像尤为如此。

实验结果

该方法在包含 560,000 张以人为中心图像的数据库上进行了评估，涵盖了对话、会议、人群和体育运动等 26 个查询图像。

定性检索： 系统成功检索到了具有相似交互结构的图像（例如，面对面的交谈、群体聚焦），即使背景、光照和服装各不相同。
消融分析： 移除社交关系组件 ( $S_{soc}$ ) 会导致 26 个查询中的 25 个在 Top-5 结果中出现重新排序，并改变了 18 个查询的 Rank-1 结果。这证实了非语言线索对于区分全局特征或简单布局无法分离的场景至关重要。
视频分析： 在视频实验中，“社交峰值”成功识别了结构重组的时刻（例如，球员改变阵型、人员离开群体），这些时刻与字幕叠加或色彩变化等低级视觉变化截然不同。该方法展示了与基于颜色和梯度变化检测的互补行为。

重要性与声明

本文声称其主要意义在于将决定以人为中心场景含义的关系元素（空间排列、交互语境）转化为可搜索的结构化表示。

互补性： 作者将此方法定位为并非要取代全局视觉检索或低级视频变化检测，而是一种补充方法。它捕捉的是全局嵌入所忽略的人与人之间的关系结构，也是低级视觉线索（颜色、梯度）无法解释的内容。
结构化理解： 研究表明，有效的以人为中心的检索需要建模人们是如何排列以及如何互动的，而不仅仅是存在哪些物体。
对意图的克制： 论文明确指出，非语言线索是可观察到的视觉关系（注视、姿态）的结构性指标，并不推断实际的心理意图、言语内容或特定的社会身份。“社交峰值”被定义为结构转换点，而非必然的语义事件峰值。

该框架为基于空间和关系语境进行检索人类中心化场景提供了基础，为图像和视频分析提供了一种更细致的方法，在交互结构至关重要的场景中尤为如此。