技术摘要：Lantern：用于物理引导扩散模型的冲突感知梯度融合，应用于量热计模拟

1. 问题陈述

量热计簇射（如使用 Geant4）的蒙特卡洛（MC）模拟是高亮度大型强子对撞机（HL-LHC）面临的计算瓶颈。虽然扩散模型已成为一种快速且高保真度的替代方案，但其标准的去噪目标纯粹是统计性的。因此，模型在最小化损失的同时，可能会无法重现底层的物理相关性，特别是在不同量热层（layers）和体素（voxels）之间。

现有的物理启发式生成方法并不适用于该领域，因为它们通常假设：

1. 存在闭式控制律或 PDE 残差（而随机簇射并不具备此类特性）。
2. 存在硬性的逐样本约束（簇射物理是由系综统计定义的，而非除了总能量之外的逐样本守恒定律）。
3. 标准的多任务学习（MTL）组合规则（例如 PCGrad、GradNorm）将生成目标与物理辅助目标视为同等地位的对手。这种“对等对待”往往会降低生成保真度，因为辅助梯度可能会覆盖去噪梯度，导致模式崩溃（mode collapse）或训练不稳定。

此外，标准的评估指标，如 Fréchet 物理距离（FPD）和 Kernel 物理距离（KPD），虽然在特征空间中比较样本，但无法捕捉层与层、体素与体素之间特定的相关结构。

2. 方法论

提出的框架 Lantern 通过一种新颖的指标、两个物理感知辅助损失以及一个冲突感知梯度融合规则来解决这些问题。该架构遵循基于 CaloDREAM 的两阶段设计（能量网络和形状网络），所有创新均应用于形状网络。

2.1 相关性 Frobenius 距离 (CFD)

为了解决标准指标的盲点，作者引入了 相关性 Frobenius 距离 (CFD)。

• 定义： 一个衡量层级（layer-wise）和体素级（voxel-wise）尺度下相关结构保真度的单一归一化得分。
• 机制： 它计算参考样本（Geant4）和生成样本在相邻层和横向位置之间的 Pearson 相关系数，从而形成一个相关性张量。CFD 是生成相关张量与参考相关张量之间的归一化 Frobenius 距离。
• 效用： 它能诊断出代理模型在何处偏离了真实的物理相关结构，而 FPD 和 KPD 可能会忽略这一点。

2.2 物理感知辅助损失

编码了两个软性的、逐样本的物理损失，以捕捉无法通过闭式约束表达的结构：

1. 方差稳定体素残差损失 (Variance-Stabilized Voxel Residual Loss)：
   • 基于计数统计学，其中波动规模随能量平方根变化。
   • 它对模型干净估计值 ($\hat{x}_0$) 与真实值 ($\tilde{x}_0$) 之间的残差应用逆方差加权。
   • 使用 Huber 惩罚项以防止异常值主导更新。
   • 冲突： 该损失经常与去噪目标发生冲突，尤其是在训练后期。
2. 图拉普拉斯损失 (Graph Laplacian Loss)：
   • 根据探测器几何结构（面共享邻居）编码局部平滑约束。
   • 它不是最小化信号的粗糙度（这会抹除簇射结构），而是最小化预测信号的拉普拉斯量与参考信号拉普拉斯量之间的差异。
   • 冲突： 该损失通常与去噪目标保持一致。

2.3 GradBlend：冲突感知梯度融合

为了在不降低生成目标性能的前提下结合去噪梯度 ($g_d$) 和辅助梯度 ($g_a$)，作者提出了 GradBlend。与基于对等关系的 MTL 方法不同，GradBlend 将更新幅度锚定在去噪梯度上，同时仅在有利时允许辅助梯度引导方向。

• 机制：
  1. 方向： 计算两个梯度的单位向量。形成一个暂定的融合方向。如果冲突角 ($\theta_{conf}$) 较大（梯度相反），则会对辅助梯度的贡献进行门控（在 $120^\circ$ 到 $150^\circ$ 之间线性衰减至零）。
  2. 幅度： 步长严格锚定在去噪梯度的范数 ($\|g_d\|$) 上，并由取决于冲突角的因子进行缩放 ($\max(\cos(\theta_{conf}/2), 0.05)$)。
  3. 结果： 辅助梯度可以引导更新方向，但不能增加步长或覆盖去噪目标。如果梯度发生强烈冲突，步长会缩小，从而保证稳定性。

2.4 训练调度

由于 GradBlend 会对梯度进行归一化，辅助权重实际上起到了简单的开关作用。作者采用了 S3 调度方案：

• 辅助项在预热（warmup）后激活。
• 至关重要的是，在训练的最后几个 epoch 中，辅助项会被关闭（gated off）。
• 这种“末端仅去噪阶段”对于体素损失（其在训练后期会产生冲突）至关重要，以确保完整的样本覆盖并防止召回率崩溃。Laplacian 损失对该调度不敏感。

3. 主要贡献

1. CFD 指标： 第一个用于评估层级和体素尺度下簇射相关性保真度的单一得分指标。
2. 物理感知损失： 两种辅助损失（方差稳定体素残差和图拉普拉斯），它们在不需要闭式约束的情况下编码了软性的逐样本结构。
3. GradBlend： 一种梯度融合规则，通过将步长幅度锚定在去噪梯度上，并根据冲突情况对辅助梯度的方向影响进行门控，从而保持去噪目标的主导地位。
4. 经验验证： 证明了标准 MTL 规则（PCGrad、GradNorm、IMTL-G、ConFIG）在处理此问题时会将 FPD 降低 2–100 倍，而 GradBlend 则能在不发生回归的情况下吸收物理信号。

4. 结果

实验在 CaloChallenge 的数据集 2（6,480 个体素，45 层）上进行。

• 相对于基线的保真度：
  • 标准 MTL 方法（Base+PCGrad、Base+GradNorm 等）与仅去噪基线（Base）相比，显著降低了 Fréchet 物理距离（FPD）。例如，Base+IMTL-G 配合 Laplacian 损失导致的 FPD 为 3454（而 Base 为 30.87）。
  • Lantern（Base+GradBlend）保持了与仅去噪基线相当的 FPD（使用 Laplacian 时为 25.97，使用 Voxel 时为 32.84），同时提高或匹配了 CFD。
  • Lantern 在所有训练模型中实现了最佳的 CFD（使用 Laplacian 时为 0.120），优于仅去噪基线（0.122）。
• 稳定性： 训练曲线显示，标准 MTL 方法的辅助损失会出现剧烈波动（数个数量级），而 Lantern 使辅助损失保持稳定并接近基线曲线。
• 消融实验： 去除末端仅去噪阶段（S1/S2 调度）会导致体素损失使 FPD 膨胀并引发模式崩溃（mode collapse）。Laplacian 损失对调度具有鲁棒性，但体素损失需要末端阶段来保持样本覆盖。
• 分类器 AUC： Lantern 和去噪基线实现的 AUC 接近 0.5（表明与 Geant4 不可区分），而失败的 MTL 基线表现出较高的 AUC（例如 Base+IMTL-G Laplacian 为 0.874），表明其易于从真实分布中分离出来。

5. 意义与主张

论文声称，Lantern 成功地弥合了随机级联中统计生成模型与物理引导训练之间的鸿沟，在这些场景下不存在逐样本的控制方程。

• 核心主张： 只有当组合规则保护了主要的生成目标时，物理引导对于强生成代理才是安全的。将物理和生成视为对等地位会导致灾难性的保真度下降。
• 机制： 通过将方向与幅度解耦并将步长锚定在去噪梯度上，GradBlend 允许模型吸收软性物理约束（相关结构），而不会牺牲生成簇射的统计有效性。
• 指标贡献： CFD 的引入提供了一个必要的诊断工具，用于评估标准分布指标可能遗漏的相关结构。
• 局限性： 作者指出，目前的方法是在单个受控设置（数据集 2）上展示的。GradBlend 的阈值（角度门控、幅度底限）和调度关闭 epoch 均为经验性设定，需要进一步分析。这项工作并不声称取代完整的模拟，而是为特定的高能物理应用提供高保真度的代理。