🤖 machine learning

Seeing and Knowing in the Wild: Open-domain Visual Entity Recognition with Large-scale Knowledge Graphs via Contrastive Learning

该论文提出了一种名为 KnowCoL 的知识引导对比学习框架，通过将图像、文本描述与 Wikidata 结构化知识融合至共享语义空间，显著提升了开放域视觉实体识别任务中罕见及未见实体的识别精度。

原作者： Hongkuan Zhou, Lavdim Halilaj, Sebastian Monka, Stefan Schmid, Yuqicheng Zhu, Jingcheng Wu, Nadeem Nazer, Steffen Staab

发布于 2026-03-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Hongkuan Zhou, Lavdim Halilaj, Sebastian Monka, Stefan Schmid, Yuqicheng Zhu, Jingcheng Wu, Nadeem Nazer, Steffen Staab

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 KnowCoL 的新方法，旨在解决计算机视觉中一个非常棘手的问题：如何在“野生”环境中，认出图片里那些从未见过的、成千上万个具体的物体或人物，并准确叫出它们的名字。

为了让你轻松理解，我们可以把这项技术想象成教一个超级聪明的“侦探”如何破案。

1. 以前的侦探遇到了什么麻烦？

在传统的电脑视觉任务中，就像是在教学生认动物。老师只给看猫、狗、老虎的照片，考试时也只考这三种。学生只要背下特征就能拿高分。

但在“开放域”（Open-domain）的世界里，情况完全不同：

考题无限多：图片里可能是“埃菲尔铁塔”、“某只特定的猫”、“一种罕见的兰花”，甚至是“某个不知名的小镇广场”。
没见过：训练时没见过的东西，考试时全都会出现（这叫“零样本”识别）。
名字太像：比如“水星”（Mercury），它既可以是太阳系里离太阳最近的行星，也可以是化学元素汞。如果只靠看图猜字，电脑很容易搞混。

以前的方法主要有两种：

死记硬背（双编码器）：把图片和文字强行配对。但这就像只背了单词表，遇到生词就懵了。
先猜后搜（两步法）：先让 AI 描述图片（比如“这是一个金色的轮子”），然后拿着这个描述去维基百科搜。但这就像把一幅精美的油画压缩成一句大白话，很多细节（比如“这是伦敦眼”而不是普通的摩天轮）在压缩过程中丢失了，导致搜出来的结果不准确。

2. KnowCoL 的绝招：给侦探配一本“超级百科全书”

这篇论文提出的 KnowCoL 框架，核心思想是：不要只靠“看”和“猜”，要利用“知识”来推理。

我们可以用三个生动的比喻来解释它的运作方式：

比喻一：从“认脸”到“认人设”

以前的 AI 认人，就像在街上看到一个人，只记得“他戴眼镜、穿红衣服”。
KnowCoL 则不同，它把图片里的物体，抽象成一个**“概念”**。

看到“伦敦眼”，它不仅仅看到“轮子”，而是联想到：它是一个“摩天轮”（类别），位于“伦敦”（地点），是“旅游景点”（属性）。
它把图片、文字描述和维基百科里的结构化知识（比如：A 是 B 的一种，B 在 C 地），全部压缩进同一个**“语义空间”**。

比喻二：把“模糊的线索”变成“精准的坐标”

想象你在玩一个巨大的寻宝游戏，地图上有几百万个宝藏点（维基百科里的实体）。

旧方法：你拿到一张模糊的线索卡（图片），然后大声喊出“我要找那个像轮子的东西！”，然后让系统去翻几百万本书找谁叫“轮子”。这很容易找错。
KnowCoL 方法：它手里有一本**“超级关系网”（知识图谱）。当你看到图片时，它立刻在脑海里构建出一个“概念坐标”**：
- 它是“轮子”吗？是。
- 它是“摩天轮”吗？是。
- 它在“伦敦”吗？是。
- 它是“旅游景点”吗？是。
  通过这种多维度的知识对齐，它不需要猜名字，而是直接在这个巨大的知识网络里，找到那个坐标最匹配的宝藏点（比如直接定位到 Q160659 伦敦眼）。

比喻三：对比学习（Contrastive Learning）——“找不同”的游戏

论文的核心技术叫“对比学习”。这就像玩“找茬”游戏：

把一张“伦敦眼”的照片，和关于“伦敦眼”的文字描述、维基百科里的结构知识放在一起，告诉 AI：“这些是一伙的，要把它们拉近。”
把“伦敦眼”的照片和“普通摩天轮”或“车轮”放在一起，告诉 AI：“这些不是一伙的，要把它们推远。”
通过这种不断的“拉近”和“推远”，AI 学会了在复杂的知识网络中，精准地找到那个唯一正确的实体。

3. 这个侦探有多强？

论文在 OVEN 这个巨大的测试集上进行了实验，结果非常惊人：

小身材，大能量：他们用的模型只有 20 亿参数（2B），而之前的顶尖模型（如 Auto-VER-14B）有 140 亿参数。KnowCoL 的体积只有对手的 1/35，但效果却更好。
零样本能力：对于训练时完全没见过的实体，KnowCoL 的准确率比之前的最好水平提高了 10.5%。
为什么强？ 因为它不仅看了图，还“读”了维基百科的结构化知识（比如“属于”、“位于”、“是...的子类”）。这让它在面对生僻词或容易混淆的词时，能像真正的专家一样进行逻辑推理，而不是死记硬背。

总结

简单来说，这篇论文做了一件很酷的事：
它不再让 AI 仅仅做一个**“看图说话”的复读机**，而是给它装上了**“维基百科大脑”**。

通过把图片、文字和知识图谱里的关系（比如父子关系、部分整体关系）融合在一起，AI 学会了**“透过现象看本质”**。即使它从未见过某个特定的建筑或生物，只要它能理解这个物体在知识网络中的位置，它就能准确叫出它的名字。

这就好比，你不需要背下全世界所有街道的名字，只要你懂得“路”、“城市”、“方向”这些概念，并且手里有一张巨大的关系地图，你就能在任何陌生的地方找到正确的路。

论文技术总结：Seeing and Knowing in the Wild

论文标题：Seeing and Knowing in the Wild: Open-domain Visual Entity Recognition with Large-scale Knowledge Graphs via Contrastive Learning
中文译名：野外视觉与认知：基于大规模知识图谱对比学习的开放域视觉实体识别

1. 问题背景与挑战 (Problem & Challenges)

核心任务：
开放域视觉实体识别（Open-domain Visual Entity Recognition, OVEN）旨在将图像及其伴随的文本查询（表达意图）链接到海量且不断演变的真实世界概念（如 Wikidata 中的实体）。与传统的固定类别分类任务不同，OVEN 是一个开放集（Open-set）任务，其标签空间包含数百万个实体，且大部分实体在训练阶段是未见过的（Unseen），呈现长尾分布。

主要挑战：

标签空间巨大且长尾：涉及数百万实体，训练集中未覆盖的稀有实体极多。
语义歧义性：仅靠视觉特征难以区分具有相似外观但概念不同的实体（例如“水星”可能指行星或化学元素）。
现有方法的局限性：
- 双编码器方法（如 CLIP 变体）：往往将实体视为孤立标签，忽略了实体间丰富的语义关系和结构化知识，导致泛化能力不足。
- 两阶段生成方法（如生成文本标签后检索）：在将丰富视觉内容转化为简化文本标签时会造成信息丢失，且基于文本匹配（如 BM25）的检索容易因同义词或多义词导致语义歧义。

2. 方法论：KnowCoL 框架 (Methodology: KnowCoL)

作者提出了知识引导的对比学习（Knowledge-guided Contrastive Learning, KnowCoL）框架。该框架的核心思想是将图像、文本描述以及来自 Wikidata 的结构化知识映射到共享的语义空间中，利用实体间的层级和关系进行零样本推理。

2.1 核心组件

双编码器架构 (Dual-Encoder Paradigm)：
- 输入端：使用预训练的 CLIP 图像编码器（ $f_\theta$ ）和文本编码器（ $f_\lambda$ ）分别提取输入图像和文本查询的特征。
- 融合模块：通过一个可学习的融合器（Fuser，默认采用简单的加法操作 $f_\gamma$ ）将图像和文本特征融合，得到输入表示 $z_{input}$ 。
- 实体端：对于每个候选实体，利用其维基百科描述文本和首图（Lead Images）生成多模态表示（ $z_{entityText}$ 和 $z_{entityImage}$ ）。
知识图谱嵌入 (Knowledge Graph Embeddings, KGE)：
- 利用 Wikidata 的结构化知识（实体 $E$ 、关系 $R$ 、三元组 $T$ ）。
- 定义节点嵌入 $\phi(e)$ 和关系嵌入 $\psi(r)$ ，将结构化知识注入潜在空间。
- 实体在潜在空间中的表示不仅包含其自身的图文信息，还通过 KGE 编码了其与其他实体的关系（如“实例是”、“子类”等）。
损失函数设计 (Loss Functions)：
为了在共享空间中对齐不同模态并注入知识，模型优化三个损失项的加权和：
- 对齐损失 (Alignment Loss, $L_a$ )：对比损失，拉近输入（图像 + 文本）与对应真实实体嵌入的距离，推远不匹配的对。
- 代理损失 (Proxy Loss, $L_p$ )：确保实体节点嵌入（KGE）与其多模态表示（图文）在语义上对齐。节点嵌入作为多模态信息的“代理”。
- 知识图谱损失 (KE Loss, $L_{KE}$ )：基于翻译模型（如 TransE）的对比损失，用于学习三元组 $(h, r, t)$ 的结构合理性，确保实体嵌入符合 Wikidata 的拓扑结构。
- 总损失： $L = L_a + \beta_1 L_p + \beta_2 L_{KE}$ 。
推理过程：
给定输入，计算其嵌入 $z_{input}$ ，然后与所有候选实体的多模态平均嵌入（文本 + 图像）计算相似度，选择相似度最高的实体 QID 作为预测结果。

3. 关键贡献 (Key Contributions)

提出 KnowCoL 框架：首个将大规模通用知识图谱（Wikidata）与视觉 - 语言预训练模型深度结合的开放域实体识别方法。它摒弃了信息丢失严重的两阶段生成策略，采用端到端的双编码器架构。
多模态知识融合机制：创新性地设计了三种损失函数，将 Wikidata 的结构化知识（关系、层级）、文本描述和视觉上下文（首图）统一映射到共享语义空间，实现了真正的语义消歧。
卓越的零样本泛化能力：实验证明，该方法在未见实体（Unseen Entities）上的识别性能显著提升，且模型规模远小于现有的生成式大模型。
全面的消融研究：深入分析了不同知识类型（首图、层级关系）、融合策略（加法、MLP、Transformer）以及 KGE 方法（TransE, TransH 等）对性能的影响。

4. 实验结果 (Results)

在 OVEN 基准测试（包含 14 个图像数据集，标签为 Wikidata QID）上进行了评估：

性能表现：
- KnowCoL-bigG（基于 ViT-bigG/14，20 亿参数）取得了 38.8% 的调和平均准确率（HM），显著优于现有最先进方法。
- 对比生成式模型：相比 Auto-VER-14B（140 亿参数）和 PaLI-17B（170 亿参数），KnowCoL-bigG 在参数量少 7 倍 的情况下，性能更优。
- 对比双编码器基线：相比 CLIP2CLIP（0.9B 参数），KnowCoL-L（0.4B 参数，使用相同 ViT-L-14 骨干）将 HM 从 11.4% 提升至 31.5%，提升了约 2.8 倍。
未见实体（Zero-shot）提升：
- 最小的模型（KnowCoL-L）在未见实体上的准确率比 SOTA 提升了 10.5%，尽管其参数量仅为 SOTA 模型的 1/35。
- 这表明引入外部结构化知识极大地增强了模型对未见概念的泛化能力。
消融分析结论：
- 知识类型：移除首图或层级关系（如 "Instance of"）会导致性能显著下降，特别是未见实体识别。
- 融合策略：简单的加法融合在未见实体上表现最好；复杂的 Transformer 融合虽然提升了已知实体的准确率，但导致了严重的过拟合，降低了零样本泛化能力。
- KGE 方法：TransE 配合余弦相似度表现最佳，与 CLIP 的预训练目标最契合。

5. 意义与价值 (Significance)

范式转变：该工作证明了在开放域视觉识别中，**结构化知识（Knowledge Graphs）**是解决语义歧义和长尾分布的关键，而非单纯依赖更大的生成式模型。
效率与效果的平衡：展示了通过引入外部知识，可以用小得多的模型参数量实现甚至超越超大参数生成模型的性能，为资源受限场景下的开放世界识别提供了新思路。
可解释性与推理：通过利用实体间的关系（如“部分 - 整体”、“子类”），模型具备了类似人类的上下文推理能力，能够区分视觉相似但语义不同的实体（如区分不同的地标建筑或生物物种）。
未来方向：论文指出未来可探索非欧几里得空间（如双曲空间）来更好地捕捉知识图谱中的层级结构，进一步提升表示能力。

总结：KnowCoL 通过巧妙地将 Wikidata 的结构化知识融入对比学习框架，成功解决了开放域视觉实体识别中的长尾分布和语义歧义问题，在保持模型轻量化的同时，实现了目前该领域最强的零样本泛化性能。