QPredSGG: Hybrid Quantum Predicate Learning for Long-Tailed Scene Graph Generation

本文介绍了 QPredSGG，这是一个将因果特征增强网络（Causal Feature Enhancement Network）的谓词头替换为参数高效的量子谓词头（Quantum Predicate Head）的量子-经典混合框架，通过在显著降低模型复杂度的同时提高在 Visual Genome 150 数据集上的平均召回率，实现了长尾场景图生成任务中的最先进性能。

要点

想象一下，你正在观察一张繁忙的公园照片。试图理解这张图像的计算机不仅仅需要说出“我看到了一个人和一匹马”。它需要理解其中的故事：“这个人正在骑马。”

这项任务被称为场景图生成（Scene Graph Generation）。计算机构建了一张图像的地图，其中物体是点，而它们之间的关系则是连接这些点的线。

问题所在：“人气王”偏差

这篇论文指出，目前计算机学习这种方式的一个重大缺陷。它们是在一个名为 Visual Genome 的大规模数据集上进行训练的。在这个数据集中，有些关系非常普遍（如“在……之上”、“属于”、“在……之中”），而另一些关系则非常罕见且具体（如“穿着”、“追逐”或“在……上绘画”）。

这就像一个教室，90% 的学生都叫“约翰”。如果老师问：“最常见的名字是什么？”学生们几乎总是会猜“约翰”。即使教室里还有一个名叫“泽菲尔（Zephyr）”的学生，尽管他其实更有趣，但学生们也会因为“约翰”出现的频率更高而忽略他。

在计算机世界中，这意味着 AI 变得非常擅长猜测常见的关系，但在处理稀有、具体的关系时表现得非常糟糕。这被称为长尾问题（Long-Tail Problem）。

解决方案：量子“专家”

该论文的作者 Prerana Ramkumar 及其团队决定尝试一些新方法。他们没有使用一个庞大、沉重的计算机大脑来进行最终决策，而是用一个微小的**混合量子头（Hybrid Quantum Head）**替换了那个部分。

以下是他们是如何实现的，使用了类比的方法：

1. 重体力劳动（经典部分）： 想象一位非常聪明的传统图书管理员（“CFEN 骨干网络”），他阅读书籍并总结故事。这部分保持不变。它获取视觉信息，并创建关于两个物体之间关系的详细长篇摘要（4,096 个数字）。
2. 量子专家（新部分）： 他们没有将这个长篇摘要交给一个庞大、昂贵的决策者，而是将其压缩成一个微小的 16 位摘要。然后，他们将这个微小的摘要输入到一个量子电路中。
   • 你可以把量子电路想象成一个神奇的过滤器或特殊的透镜。它不需要很大就能发挥作用。它利用量子物理学的奇特规则（如叠加和纠缠）来观察这 16 个数字，并做出判断：“这是‘骑’还是‘穿’？”
3. 结果： 专家做出一个猜测，然后由一个小型经典计算机进行检查。

他们测试了什么

研究人员将此视为一项科学实验，旨在寻找完美的“量子专家”。他们测试了：

• 使用多少“量子比特（qubits）”： 他们尝试了 4 个和 8 个。
• 如何转换数据： 他们尝试了不同的方式将数字转化为量子态（例如“角度嵌入/Angle Embedding”对比“振幅嵌入/Amplitude Embedding”）。
• 电路应该有多复杂： 他们尝试了具有不同层数的电路。

重大收获

以下是他们的发现，用通俗易懂的话来说：

• 小即是美： 最好的版本仅使用了 4 个量子比特（他们测试的最小尺寸）。它只有 96 个可训练参数。为了让你有个概念，其余的计算机模型拥有数百万个参数。量子部分就像是一个巨大厨房里的一位高效小厨师，只负责完成“决定关系”这一项工作。
• 更擅长处理稀有事物： 当他们训练系统去额外关注稀有关系（使用一种特殊的“加权”训练方法）时，量子头在识别这些“泽菲尔”式的关系方面变得更出色了。
  • 旧的标准计算机模型大约能正确识别 41% 的稀有关系。
  • 他们新的 4 量子比特量子模型正确识别了 57%。
  • 即使是 8 量子比特的版本也保持在 55% 的强劲水平。
• 没有损失对常见事物的处理能力： 在变得更擅长处理稀有事物的同时，模型并没有失去识别常见事物（如“在……之上”或“在……之中”）的能力。它保持了极高的全局准确率。
• 真实硬件测试： 他们不仅仅是在模拟器上运行，他们实际上在真实的量子计算机（一台 IBM 超导芯片）上运行了一个微型版本。它成功运行了！它没有崩溃或给出随机答案。它正确识别了 9 个测试案例中的 6 个，证明了这个微小的量子大脑确实可以在真实的、带有噪声的硬件上运行。

权衡

论文还指出了一个问题。如果你让量子电路变得太深（增加更多层使其变得更“聪明”），它运行起来会更慢，并且消耗更多的计算资源。所谓的“甜点位（最佳平衡点）”是一个既足够聪明、又足够浅层的电路。

总结

简而言之，这篇论文表明，你并不需要一台巨大的量子计算机来改进 AI。通过仅仅将最后的决策步骤更换为一个微小、高效的量子模块，你可以帮助 AI 停止忽略图像中那些稀有且具体的联系。这就像是用一位安静、训练有素的专家，取代了一个嘈杂且带有偏见的群体，这位专家能听到那些被所有人忽略的细节。

技术摘要

技术摘要：QPredSGG —— 用于长尾场景图生成的混合量子谓词学习

1. 问题陈述

场景图生成（SGG）旨在将图像表示为由物体（节点）及其语义关系（边）构成的结构化图，这些关系通常表示为三元组 $\langle \text{主语}, \text{谓词}, \text{宾语} \rangle$。当前 SGG 系统的一个关键瓶颈是 Visual Genome 等数据集中存在的谓词长尾分布问题。频繁出现的通用谓词（如“在……之上”、“属于”、“在……之中”）占据了大部分标注关系，而语义特定的谓词则较为罕见。

因此，使用传统目标函数训练的标准模型往往倾向于优化全局召回率（Global Recall, R@K），即预测高频类别，从而导致对稀有但具有信息量关系的**平均召回率（Mean Recall, mR@K）**表现不佳。虽然现有的去偏策略（如因果推理、损失重加权）已改善了平均召回率，但在诸如因果特征增强网络（CFEN）等最先进框架中的谓 predicate 分类阶段，仍然依赖于大型经典多层感知器（MLP）。这些决策模块参数量巨大，这引发了一个疑问：一个更紧凑的决策模块是否能在保持或提高长尾识别性能的同时，实现更高效的处理。

2. 方法论

本文提出了 QPredSGG，一种混合量子-经典架构，旨在用**量子谓词头（QP-Head）**替换 CFEN 主干网络中的经典谓词头。该方法遵循一个四阶段实验流程：

• 主干网络与特征压缩： 系统利用 CFEN 主干网络，该网络采用双向树长短期记忆网络（BiTreeLSTM）来提取上下文成对嵌入（$h_{ij} \in \mathbb{R}^{4096}$）。在进行量子处理之前，这些高维特征通过一个经典的线性层投影到一个压缩的、与量子兼容的向量（例如，针对 4 个量子比特的 16 维向量）。
• 混合量子架构 (QP-Head)：
  • 编码： 压缩后的特征通过角度嵌入（Angle Embedding）（将特征映射为旋转角度）或振幅嵌入（Amplitude Embedding）（归一化并映射到状态振幅）被编码进参数化量子电路（PQC）。
  • 变分电路： 编码后的状态通过由旋转门和纠缠模板组成的训练层。研究评估了两种模板：基础纠缠层（BEL）和强纠缠层（SEL）。
  • 读取： 电路以测量结束，产生期望值，这些值随后被输入到一个轻量级的经典读取层，以生成 51 个谓词类别的逻辑值（logits）。
• 偏差感知训练： 为了解决长尾不平衡问题，所有模型均使用**加权交叉熵（WCE）**损失进行训练。应用逆频率权重，将稀有类与频繁类的惩罚比例上限设定为 46 倍，确保优化器在不破坏训练稳定性的前提下，优先处理稀有谓词。
• 评估指标： 通过全局召回率（R@50, R@100）和平均召回率（mR@50, mR@100）评估性能。此外，还分析了量子特有的指标，包括表达能力（Expressibility）（与 Haar 随机保真度的 KL 散度）和纠缠度（Entanglement）（冯·诺依曼熵）。

3. 核心贡献

本文概述了五项主要贡献：

1. 混合量子谓词头： 引入了 QP-Head，这是一个紧凑的参数化量子电路，用于替换 SGG 流程中的经典 MLP，同时保留了关系特征主干。
2. 受控架构研究： 对 QP-Head 在不同量子比特数（4 对比 8）、编码策略（角度对比振幅）、纠缠模板（BEL 对比 SEL）以及电路深度（2, 4, 6 层）下的表现进行了系统性评估。
3. 偏差感知评估： 分析了 QP-Head 在类别平衡训练下的表现，以确定其是否能提高稀有谓词的识别能力（mR），而非仅仅提高高频类别的性能。
4. 量子质量与效率分析： 分析了语义性能与电路级诊断（表达能力、纠缠度）以及计算开销（参数量、运行时间）之间的相关性。
5. 物理 QPU 验证： 在真实的超导量子处理器（IBM ibm_fez）上执行紧凑的 4 量子比特 QP-Head，以验证其在状态矢量模拟之外的可行性。

4. 实验结果

实验在 Visual Genome 150 (VG-150) 数据集的谓词分类（PredCls）设置下进行。

• 训练动态： 与标准交叉熵相比，类别平衡训练（WCE）显著提高了 mR@50（从约 0.17 提升至约 0.26），且未降低全局召回率。
• 4 量子比特搜索： 在 4 量子比特配置中，结合强纠缠层的振幅嵌入表现最佳，实现了 57.25% 的 mR@100（相比之下，经典 CFEN 参考模型的 mR@100 为 41.1%），且仅使用了 96 个可训练量子参数。该配置利用了 16 维的压缩表示。
• 扩展至 8 量子比特： 扩展到 8 个量子比特（256 维状态空间）后，性能依然强劲，达到 55.38% 的 mR@100，并使用了 384 个量子参数。全局召回率保持稳定（R@100 > 0.90）。
• 深度消融实验： 将电路深度从 2 层增加到 6 层提高了表达能力（较低的 KL 散度），但也显著增加了运行延迟（从约 214ms 增加到约 474ms）。4 层配置在表达能力与计算成本之间提供了最佳的权衡。
• 参数效率： 量子组件占总模型参数量的不到 0.001%，作为经典特征提取器之上的紧凑决策层。
• 硬件执行： 在 IBM ibm_fez QPU 上，4 量子比特模型成功处理了 9 个验证三元组，实现了 66.67% 的批次准确率。至关重要的是，输出并未坍缩到单一的主导类别，尽管存在硬件噪声，仍保留了类别判别结构。
• 对比： QP-Head 各变体在 mR@100 上优于经典 CFEN 参考模型（57.25% 对比 41.1%），同时保持了具有竞争力的全局召回率，且使用的可训练参数远少于经典头。

5. 意义与主张

本文温和地主张，紧凑的混合量子谓词头可以支持复杂视觉推理任务中参数高效的长尾关系分类。

• 并非无条件优势的主张： 作者并未声称具有广泛的量子优越性。相反，他们提供了受控证据，证明在成熟的经典流水线中集成小型 NISQ 时代量子电路可以作为一个有效的决策模块。
• 可行性： 该工作证明，混合量子模型可以在模拟环境中进行训练，并在物理硬件上执行，而不会出现坍缩为随机或单一类别的现象，即使在严重的维度压缩情况下也是如此。
• 实用性： 结果表明，只要对架构（编码和纠缠）进行仔细调优，量子组件可以在不引入过高参数开销的前提下，提高稀有谓词的平均召回率。

研究结论指出，尽管目前的评估局限于 PredCls 和模拟环境，但 QP-Head 代表了将混合量子组件集成到场景图生成中以高效应对长尾偏差的一个充满前景的方向。