技术摘要：诊断等变量子强化学习中跨规模迁移的模拟与硬件障碍

1. 问题陈述

本文探讨了用于组合优化的等变量子强化学习（QRL）的可扩展性与可迁移性，特别是针对欧几里得旅行商问题（TSP）。虽然等变量子电路（EQC）提供了一种参数高效的架构，其可训练参数的数量与问题规模（例如城市数量）无关，但目前尚未验证在现实执行条件下，在小规模实例上训练出的策略能否成功迁移到更大规模的实例上。

核心研究问题是：在相同的 EQC 架构下，在小规模 $n$ 城市实例上训练得到的参数 $\theta_n$，能否在不进行重训练的情况下，成功迁移到大规模 $m$ 城市实例（$m > n$）？这种迁移在从理想化模拟向噪声硬件过渡的过程中是否依然有效？

作者明确声明不对量子优势做出任何主张。相反，本研究利用特定 EQC 架构具有经典可模拟性的特点，将其作为一种诊断工具，旨在为未来评估 QRL 主张建立严谨的标准。

2. 研究方法

理论框架

作者开发了一个条件诊断迁移界限（conditional diagnostic transfer bound），用于分析零样本（zero-shot）迁移性能。

• 误差分解： 从规模 $n$ 到 $m$ 的性能下降（$D_{n \to m}$）被分解为：
  1. 参数失配（Parametric Mismatch）： 源于电路生成器（例如 $1/n$ 与 $1/m$）的缩放。
  2. 结构平滑度（Structural Smoothness）： 源于底层问题几何结构的改变以及策略景观（policy landscape）的平滑度。
• 假设： 该界限依赖于关于联合等变性、展开源泛化性以及“提升策略平滑度”（由 Beardwood–Halton–Hammersley 定理启发而非直接推导）的假设。该界限旨在识别缩放结构，而非预测精确的数值差距。

实验流水线

本研究采用了一个五阶段、协议匹配的评估流水线，以将迁移行为从后端伪影中分离出来。经过训练的相同 EQC 检查点在以下环境中执行：

1. 态矢量模拟（Statevector Simulation）： 精确模拟（基准真相）。
2. 矩阵乘积态（MPS）模拟： 具有不同键维数（$\chi$）的张量网络模拟。
3. 噪声模拟： 结合了基于 IBM 硬件噪声模型的模拟。
4. 硬件仿真（Hardware Emulation）： Quantinuum H 系列无噪声模拟器。
5. 真实硬件： 在 Quantinuum 俘获离子设备（H2-2, Helios-1）上的执行，以及涉及超导设备（IBM, Rigetti, IQM）的跨平台评估。

所使用的 EQC 架构是深度 $L=1$ 的 Skolik 等人的 ansatz，其特征是一个量子比特对应一个城市，通过 $ZZ$相互作用实现全连接纠缠，并通过$RX$旋转实现节点混合。至关重要的是，在$L=1$时，该策略仅有两个可训练标量（$\beta, \gamma$），且与$n$ 无关。

3. 核心贡献

A. 跨规模迁移的诊断框架

本文建立了一个将问题结构变化与策略敏感性分离的理论框架。它推导出了一个将目标性能与源性能、参数失配及结构平滑度联系起来的迁移界限。该框架明确具有“诊断性”，旨在解释为什么迁移失败，而非保证迁移成功。

B. 协议匹配的多后端评估

这是首个在受控、协议匹配条件下，对完全相同的 QRL 检查点在多种后端（精确、张量网络、噪声、仿真器及硬件）进行评估的研究。该方法将真实的迁移行为与特定模拟器或硬件噪声引入的伪影区分开来。

C. 识别出三个独立的障碍

研究隔离了阻碍密集型、全连接 EQC 可扩展执行的三个不同障碍：

1. 障碍 B1（后端诱导的信号损失）： 在张量网络模拟（MPS）中，全连接纠缠产生的纠缠增长使得低键维数近似失效。即使在没有迁移的情况下（同规模），在 $\chi=64$ 时的截断误差也会破坏策略质量（例如在 $n=20$ 时存在 85% 的差距），导致模拟在测试迁移之前就已不可靠。
2. 障碍 B2（跨规模迁移退化）： 即使使用完美的后端，性能也会随着规模跳跃（$m-n$）的增加而平滑但显著地下降。这与理论迁移界限一致，即惩罚项随相对规模跳跃和结构平滑度而缩放。
3. 障碍 B3（有限采样执行惩罚）： 在硬件上，候选动作之间的差异（动作边际/action margins）低于采样噪声水平。
   • 机制： 贪婪决策的边际约为 $6 \times 10^{-3}$，而 4,096 次采样的噪声水平约为 $1.6 \times 10^{-2}$。
   • 结果： 贪婪决策在统计上无法被解析。增加采样次数虽有帮助，但存在临界点；超过该点后，门误差偏差将占据主导地位。
   • 量化： 迁移差距从 $\sim 5\%$（态矢量）扩大到 $\sim 31.3\%$（无噪声模拟器，仅含采样噪声）以及 $\sim 45.3\%$（真实硬件）。

4. 主要结果

• 验证区间： 在小规模跳跃（例如 $5 \to 10$ 个城市）且使用精确模拟的情况下，零样本迁移在所有评估中均优于在目标规模上从头开始训练。
• MPS 局限性： 对于 $n=20$，键维数为 $\chi=64$ 时会产生 85% 的最优性差距，而需要 $\chi=256$ 才能恢复接近精确的性能。这表明标准的 MPS 模拟不足以处理中等规模的全连接 EQC。
• 硬件性能：
  • Quantinuum（俘获离子）： 实现了 45.3% 的平均差距。由于俘获离子的全连接特性（45 个原生双比特门），保留了部分策略结构，使差距维持在随机路径（92.5%）的一半左右。
  • 超导设备（IBM, Rigetti, IQM）： 未经处理的设备表现出严重的退化（差距达 108–125%），表现并不比随机路径好。这归因于将全连接映射到有限晶格拓扑结构时所需的 SWAP 开销，导致原生双比特门计数激增至 153–172 个。
  • 缓解措施： 完全经过缓解处理的 IBM 设备将差距降低至 67.8%，这表明误差缓解可以部分替代连接性，但无法完全恢复因高门计数电路导致的策略结构丢失。
• 采样预算： 在超过临界点（即采样噪声与动作边际相遇的点）之后，增加采样次数并未提高超导设备的性能，证实了失效模式已从统计方差转向了系统性的门误差偏差。

5. 意义与主张

本文明确不对量子优势做出任何主张。所研究的 EQC 架构是经典可模拟的（通过李代数方法），作者利用这种可模拟性作为“测量工具”来建立基准真相。

本工作的意义在于：

1. 设定诊断标准： 它提供了一种严谨、可重复的方法来评估 QRL 的主张，强调“在理想化模拟中的迁移”并不等同于“可扩展的执行”。
2. 识别根本原因： 研究将跨规模迁移和硬件执行的失败归因于并非学习算法本身，而是该架构的拓扑来源：密集的、全连接的结构。这种连接性导致了纠缠增长（B1）、参数失配（B2）以及过高的门计数导致的噪声主导（B3）。
3. 未来方向： 作者得出结论，该领域可扩展量子优化的途径在于稀疏等变电路设计。减少连接性被视为同时缓解上述所有三个障碍的必要架构手段。

总而言之，本文是一项警示性且具诊断性的研究，证明了尽管等变先验在理论上具有潜力，但当前的密集型 ansatz 在模拟和硬件执行方面面临着由于纠缠缩放和采样噪声限制而导致的不可逾越的障碍。