Diagnosing Simulation and Hardware Barriers to Cross-Size Transfer in Equivariant Quantum Reinforcement Learning

问题陈述

组合优化（CO）问题（如旅行商问题，TSP）是物流和网络设计的核心，但它们属于 NP-hard 问题，使得对于大规模输入寻找精确解变得难以实现。虽然强化学习（RL）和量子强化学习（QRL）提供了启发式策略，但一个主要的扩展性瓶颈仍然存在：大多数 QRL 方法在面对每一个新的问题实例或规模时，都需要从头开始重新训练。

本文研究了等变量子电路（Equivariant Quantum Circuits, EQC）——通过编码置换对称性来确保参数数量与问题规模无关——是否可以促进零样本跨规模迁移（zero-shot cross-size transfer）。具体而言，作者探讨了在小规模 $n$ 城市 TSP 实例上训练得到的参数 $\theta_n$，是否可以直接迁移到大规模 $m$ 城市实例（$m > n$）而无需重新训练，以及这种迁移在真实的量子硬件执行环境下是否依然有效。

方法论

作者采用了一个五阶段、协议匹配的评估流水线，旨在隔离模拟近似、噪声和有限采样对真实迁移行为的影响。本研究使用了 Skolik 等人 [11] 的 EQC 架构（深度 $L=1$，包含两个可训练标量 $\beta, \gamma$），并应用于欧几里得 TSP 实例。

该流水线进展如下：

1. 基础阶段（Base Stage）： 在 12 节点验证轨道上选择稳定的训练方案（冻结观测值缩放，报告最佳检查点）。
2. N1（源策略）： 使用精确态矢量模拟（exact statevector simulation），在 $n \in \{5, 10, 15, 20\}$ 个城市规模上进行从头开始的训练。
3. N2（精确迁移）： 使用精确态矢量模拟，评估跨规模的零样本迁移和微调效果（例如，$5 \to 10$, $10 \to 15$）。
4. N3（扩展前沿）： 使用矩阵乘积态（MPS）模拟、含噪 MPS（IBM 噪声模型）以及高键维数扫描，将规模扩展至更大尺寸（$n$ 最高达 100），以表征模拟保真度的极限。
5. N4（硬件执行）： 在 Quantinuum 俘获离子硬件（H2-2, Helios-1）和模拟器上执行相同的迁移策略，随后开展覆盖五个设备（Quantinuum, IBM, Rigetti, IQM）、跨越两种量子比特技术和四家供应商的跨平台研究。

理论框架

论文推导了一个条件诊断迁移界限（conditional diagnostic transfer bound），用于描述在给定规模 $n$ 训练的情况下，目标规模 $m$ 的预期性能 $P_m(\theta^*_n)$。该界限将性能下降分解为：

• 源泛化（Source Generalization）： 一个控制经验性能与真实源性能之间差距的项 $G^{roll}_n(\delta)$。
• 迁移惩罚（Transfer Penalty, $D_{n \to m}$）： 由以下部分组成：
  • 参数失配（Parametric Mismatch）： 与参数 $\ell_1$ 范数及相对规模跳跃 $(m-n)/m$ 成线性比例。
  • 结构平滑度（Structural Smoothness）： 一个基于 Beardwood–Halton–Hammersley 缩放规律（建模为 $\sqrt{m} - \sqrt{n}$）的项 $\Psi(n, m)$，代表策略在不同图规模间的平滑程度。

作者明确指出，该界限是诊断性且针对最坏情况的，旨在识别缩放结构而非高精度预测数值差距。他们还澄清，所研究的特定 EQC 架构（模型 B）可以通过李代数方法（模型 A）进行经典模拟，他们将这种可模拟性作为一种“测量工具”（基准真相），而非声称具有量子优势。

关键结果

1. 经过验证的区间内迁移

在经过验证的区间内（较小的规模跳跃，如 $5 \to 10$），零样本迁移在所有六次完成的评估中均优于目标规模训练。$5 \to 10$ 的迁移实现了 5.07% 的平均最优性差距，优于从头开始训练的基准。这表明，当规模跳跃适中时，EQC 编码的结构性见解可以在不同规模间进行泛化。

2. 三个独立的扩展性障碍

在超出验证区间后，三个截然不同的障碍阻碍了稠密、全连接（all-to-all）EQC 架构的扩展：

• 障碍 B1：后端诱导的信号损失（模拟/截断）

  • 观察： 在 MPS 模拟中，键维数为 $\chi=64$（许多研究的标准值）会导致 $n=20$ 时发生灾难性失败（平均差距 85.22%），即使是在同规模迁移的情况下也是如此。
  • 原因： 全连接纠缠结构产生的纠缠增长使低键维数近似失效。截断误差超过了信号强度（$\langle Z_i Z_j \rangle$），从而破坏了贪婪动作的排序。
  • 阈值： 可靠的策略级精度需要 $\chi \ge 256$，这在计算上对于较大的 $n$ 是难以承受的。

• 障碍 B2：跨规模迁移退化（大规模跳跃）

  • 观察： 随着规模跳跃 $|m-n|$ 的增加，性能呈现平滑但显著的下降（例如，$5 \to 20$ 的差距上升至约 12–18%）。
  • 原因： 这符合理论迁移界限，由参数失配和结构转变驱动。虽然微调可以恢复部分性能（例如，$15 \to 20$ 的差距从 13.9% 降至 10.6%），但仅靠零样本迁移不足以应对大幅度的跳跃。

• 障碍 B3：有限采样执行惩罚（硬件）

  • 观察： 在硬件上，差距从约 5%（态矢量模拟）膨胀至 31.3%（含 4096 次采样的无噪声模拟器）和 45.3%（实际硬件）。
  • 原因： 动作边际（候选 Q 值之间的差异）处于采样噪声水平（shot-noise floor）（$1/\sqrt{N_s}$）之下。在 4096 次采样下，噪声水平约为 0.016，而平均动作边际约为 0.006。因此，贪婪决策在统计上无法被解析（40 个决策中有 37 个的 $z < 2$）。
  • 跨平台确认： 对五个设备（Quantinuum, IBM, Rigetti, IQM）的调研证实，该惩罚是由原生双比特门计数和误差抑制决定的，而非采样预算问题。
    • 俘获离子（全连接，45 个门）：45.3% 差距。
    • 超导量子比特（路由式，153–172 个门，未缓解）：108–125% 差距（实际上是随机路径）。
    • 超导量子比特（已缓解，172 个门）：67.8% 差距。
  • 结论： 仅仅增加采样次数无法解决问题，因为信噪比从根本上受到门诱导偏差和稠密观测算子族极低单边对比度的限制。

意义与主张

作者明确不声称具有计算量子优势。所研究的 EQC 架构是可经典模拟的。相反，本文的意义在于：

1. 建立诊断标准： 提供了一种可重复、协议匹配的方法论，用于评估 QRL 中的跨规模迁移，并将迁移行为与模拟器或硬件伪影区分开来。
2. 识别架构障碍： 证明了典型的稠密、全连接 EQC 拟设面临着根植于其连通性的基本障碍（B1, B2, B3）。全连接拓扑导致高效张量网络模拟失效（B1），加剧了迁移惩罚（B2），并产生了当前硬件无法解析的微小动作边际（B3）。
3. 提出前进方向： 研究结果表明，稀疏等变电路设计是实现同时缓解这三个障碍的必要架构改进方案，而非仅仅依赖于增加采样预算或误差抑制。

文章总结道，虽然 EQC 为迁移提供了一种有前景的归纳偏置，但其目前的稠密实现形式在不进行架构修改的情况下，无法在现有硬件上扩展到具有工业应用价值的规模。