💻 computer science

Phase Marginalization for Patch-Grid Instability in Vision Transformers

本文介绍了相位边际化（Phase Marginalization），这是一种无需训练的后验方法，通过在多个结构化网格相位上聚合预测，来缓解视觉 Transformer 中存在的补丁-网格相位相关不稳定性，从而在分割、深度估计和局部匹配任务中提升密集预测性能，并具有良好的成本-精度权衡。

原作者： Oğuzhan Ercan

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Oğuzhan Ercan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图拍一张完美的城市街道照片，以便统计每一辆车和每一棵树。现在，想象你必须将这张照片切割成正方形方块网格，像拼图一样进行分析。

问题：“网格偏移”故障
在视觉 Transformer（一种观察图像的 AI）的世界里，计算机将图像切割成固定大小的正方形（即“补丁/patches”）来理解它。论文中称之为“补脱网格”（patch grid）。

问题的关键在于：从哪里开始切割非常重要。
如果你的切割网格向左或向右仅移动几个像素，拼图块的边缘就会发生变化。原本完美处于一个方块内的汽车，现在可能会被分割到两个方块中。因为 AI 只能看到它被分配到的碎片，这种微小的偏移会干扰它，尤其是在物体边缘附近。论文称之为“相位不稳定”（phase instability）。这就像是在向朋友描述一张照片，但每次你描述时，你都从稍微不同的位置开始切割照片，导致描述的内容发生了变化。

解决方案：“相位边际化”（四方投票法）
作者提出了一种巧妙且免费的修复方法，叫做相位边际化（Phase Marginalization）。他们并没有尝试重建 AI 或重新训练它，而是简单地让 AI 将同一张图像观察四次，但每次都会稍微移动切割网格的位置。

把它想象成一个由四位评委组成的委员会：

评委 A 从左上角开始切割照片。
评委 B 将网格向右移动一半。
评委 C 将网格向下移动一半。
评委 D 将网格向下和向右各移动一半。

每位评委根据其特定的网格做出预测。然后，系统将所有四个预测结果完美地对齐回原始照片，并对它们进行平均处理。

为什么这有效
通过获取这四个略有不同的视角的“平均票数”，AI 平滑了网格线带来的异常现象。如果某一位评委因为汽车被尴尬地分割开而感到困惑，其他三位评委很可能已经清晰地看到了它。最终的结果更加稳定且准确。

实验结果
论文在三个主要任务上测试了该方法：

分割（Segmentation）： 识别图像中的物体（例如将道路与建筑物区分开）。
深度（Depth）： 弄清楚物体距离有多远。
匹配（Matching）： 在两张不同的照片中找到同一个点。

在每种情况下，使用这种“四方投票”（具体为 4 次偏移， $K=4$ ）都让 AI 的工作表现得更好，且无需任何额外的训练。这是一种微小但持续的提升。

黄金平衡点
作者还检查了进行更多次偏移（如 8 次或 16 次）是否会有更大的帮助。他们发现，4 次是黄金平衡点。

4 次偏移： 提升显著，速度合理。
8 次或 16 次偏移： 准确度几乎没有上升，但计算机需要付出更多努力且运行更慢。

总结
这篇论文发现，AI 切割图像的方式可能会无意中干扰其答案。他们的解决方案很简单：不要只切一次。用四种不同的方式去切割，让 AI 对所有情况进行预测，然后合并答案。这是一个免费且简单的升级，使 AI 更加可靠，尤其是在观察物体边缘时。

技术摘要：针对视觉 Transformer 中补丁网格不稳定性（Patch-Grid Instability）的相位边际化处理

1. 问题陈述：补丁网格相位不稳定性

视觉 Transformer (ViT) 依赖于固定的补丁化（patchification）过程，将图像转换为 Token 序列。这引入了一个离散的空间相位：像素如何分配给 Token 取决于补丁网格相对于图像坐标系的对齐方式。本文将这种补丁网格相位（patch-grid phase）识别为一种“干扰变量”，它会导致密集预测任务（如分割、深度估计、局部匹配）中出现相位依赖型不稳定性。

具体而言，将补丁网格移动几个像素（一个相位偏移 $\phi$ ）可能会改变模型可获取的 Token 证据，尤其是在相邻像素属于不同类别或深度的语义边界附近。如果模型的密集预测结果在补丁网格发生偏移时发生显著变化，则表明该模型存在不稳定性。这与通用的图像扰动（如噪声或旋转）不同，它代表了非重叠补丁分词（non-overlapping patch tokenization）中固有的特定架构量化伪影。

2. 方法论：相位边际化

本文提出了相位边际化（Phase Marginalization），这是一种事后（post-hoc）、无需训练的推理封装方法，旨在不修改骨干网络或重新训练模型的情况下缓解这种不稳定性。

核心机制

该方法将补丁网格相位视为一个需要进行边际化处理的变量。模型不再仅使用单一的标准网格（ $\phi = (0,0)$ ）进行前向传播，而是通过一个结构化的相位偏移集合 $\Phi_K = \{\phi_1, \dots, \phi_K\}$ 对图像进行评估。

相位平移（Phase Shifting）： 对于每个相位 $\phi_k$ ，使用相位平移算子 $S_{\phi_k}$ （涉及反射填充和裁剪）来平移补丁网格，从而处理输入图像。
推理（Inference）： 一个冻结的 ViT 编码器和密集头（dense head）为每个相位生成一个 Logit 图 $z_{\phi_k}$ 。
逆对齐（Inverse Alignment）： 每个输出都使用逆对齐算子 $A^{-1}_{\phi_k}$ 映射回原始图像坐标系。这涉及重塑（reshaping）、双线性上采样（使用 align-corners=False）以及裁剪，以恢复原始分辨率。
聚合（Aggregation）： 将对齐后的 Logit 进行平均，得到最终预测：
$\bar{z}(p) = \frac{1}{K} \sum_{k=1}^K \mathcal{A}^{-1}_{\phi_k}(z_{\phi_k})(p)$

主要变体：均匀相位边际化

核心贡献是采用 $K=4$ 的均匀相位边际化（Uniform Phase Marginalization）。对于偶数大小的补丁 $P$ ，该方法采样了子补丁相位空间中的四个标准象限：
$\Phi_4 = \{(0,0), (0, P/2), (P/2, 0), (P/2, P/2)\}$
这种方法在计算上等同于一个 4 次前向传播的测试时增强（TTA）集成，但它采样的是特定的补丁网格对齐相位，而非通用的图像变换。

次要变体（审计）

论文还评估了若干作为次要审计的已学习及适配变体，包括：

学习型相位特征注意力（Learned Phase-Feature Attention）： 一个训练好的模块，根据局部方差学习如何加权特定相位的特征。
部分编码器微调（Partial Encoder Tuning）： 在使用相位注意力的同时，解冻最后几个编码器块。
预 Transformer 平均（Pre-Transformer Averaging）： 在自注意力机制之前对补丁嵌入进行平均（一个负向设计变体）。
深度特定融合（Depth-Specific Fusion）： 为深度估计定制的带有残差修正的变体。
这些被视为探索性对比，而非主要提出的方法。

3. 核心贡献

现象定义： 论文正式将补丁网格相位不稳定性定义为密集 ViT 预测中一个可测量的干扰变量，并将其与 CNN 中的通用偏移混叠（shift-aliasing）区分开来。
方法提议： 引入了均匀相位边际化，这是一种无需训练、事后处理的程序，通过对结构化补丁网格相位进行聚合来提升性能。
实证证据： 该方法在分割、深度估计和局部特征匹配任务中，较之 $K=1$ 的基准线展现出了一致性的改进。
受控对比： 通过与通用的基于偏移的 TTA 以及规模研究（ $K=4, 8, 16$ ）进行对比，建立了 $K=4$ 作为实际计算成本与准确度之间权衡的有效性。

4. 实验结果

该方法在语义分割（GTA5→Cityscapes, SYNTHIA→Cityscapes, ADE20K）、深度估计（NYU Depth v2）和局部特征匹配（HPatches）上进行了评估。

性能提升： 均匀相位边际化（ $K=4$ $K = 4$ ）在所有测量设置中均优于 $K=1$ $K = 1$ 基准线。
- 分割： 在 ADE20K 和跨域设置（如 GTA5→Cityscapes）中，性能提升范围为 +0.76 至 +1.39 mIoU。
- 深度： 在 NYU Depth v2 上将 RMSE 从 0.6506 降低至 0.6277。
- 匹配： 提高了 HPatches 上的准确率（例如 DINOv2 提升了 +3.75%）。
与 TTA 的比较： 在一个具有相同四次前向传播预算的 Cityscapes 受控实验中，均匀相位边际化比通用的基于行偏移的 TTA 提供了小幅优势（+0.31 mIoU），这表明专门采样补丁网格相位比通用的图像平移更有效。
规模研究： 当 $K$ 超过 4 时，收益递减。 $K=8$ 基本没有变化，而 $K=16$ 在显著增加延迟的情况下几乎没有带来额外的准确度，验证了 $K=4$ 是实际应用中的默认选择。

5. 重要性与主张

论文将补丁网格相位定位为 ViT 中一种可测量的稳定性来源，可以通过无需架构重构或重新训练的方式来缓解。

诊断效用： 该方法可以作为一个简单的诊断工具；高相位方差表明模型的预测对任意网格对齐非常敏感。
实用基准： 它提供了一个“简单的诊断及事后边际化基准”，用于密集型 ViT 预测。
部署： 不同于需要重新设计模型或训练方案的架构解决方案（如 Swin, PVT 或重叠补丁），相位边际化是一种轻量级的推理封装，兼容冻结的骨干网络（如 DINO 类模型）。

作者保持了谦逊的基调，将该方法描述为一种必要的修正手段，旨在纠正特定的量化伪影，而非替代架构创新，从而提高现有密集预测流水线的鲁棒性和泛化能力。