RePer-360: Releasing Perspective Priors for 360$^\circ$ Depth Estimation via Self-Modulation

RePer-360 提出了一种基于自调制的畸变感知框架，通过轻量级几何对齐引导模块和自条件 AdaLN-Zero 机制，在保留预训练透视先验的同时实现了对全景深度估计的高效领域适配，仅需 1% 的训练数据即可显著超越标准微调方法。

要点

这是一篇关于如何让 AI 更聪明地理解“全景图”深度的论文。为了让你轻松理解，我们可以把这项技术想象成**“教一位习惯了看普通照片的画家，如何画好 360 度全景图”**。

1. 核心问题：画家的“水土不服”

想象一下，你有一位超级厉害的画家（这就是现在的深度基础模型，比如 Depth Anything）。他非常擅长画普通的透视照片（就像我们手机拍的照片，有明确的近大远小，视野有限）。

但是，现在我们需要他画360 度全景图（就像 VR 眼镜里的世界，把整个球体压扁在一张长方形纸上）。

• 问题出在哪？ 全景图在边缘处会有严重的扭曲（就像把地球仪强行压成地图，两极会被拉得很长）。
• 后果： 这位画家如果直接拿他的老经验去画全景图，就会“水土不服”。他习惯了平面的几何规律，看到扭曲的全景图就会晕头转向，画出来的深度（物体离你有多远）全是错的。

2. 以前的解决方案：要么“拼凑”，要么“重学”

为了解决这个问题，以前的方法主要有两种，但都有缺点：

• 方法一（拼凑法）： 把全景图切成很多小块，假装它们是普通照片，画完后再拼回去。
  • 缺点： 就像拼图，接缝处容易有裂痕，而且拼起来很慢，效率低。
• 方法二（重学法）： 让画家扔掉旧经验，用海量的全景图数据重新训练他。
  • 缺点： 这需要海量的全景图数据（就像要收集几百万张全景图），成本太高，而且容易让画家把原本擅长的“透视感”给忘了（过拟合）。

3. RePer-360 的妙招：给画家戴上一副“智能眼镜”

这篇论文提出的 RePer-360，既不是拼凑，也不是重学，而是给这位画家戴上了一副**“智能调节眼镜”**。

这副眼镜的核心思想是：“保留你的老经验，但根据新环境微调你的笔触。”

具体是怎么做的？（三个关键步骤）

第一步：双视角“导航员” (Geometry-Aligned Guidance)
画家（模型）主要看全景图（ERP 投影），但这幅图是扭曲的。
于是，RePer-360 派出了一个**“导航员”。这个导航员手里拿着同一场景的立方体投影图**（CP 投影，就像把全景图切成 6 个正方形盒子，每个面都是正常的透视）。

• 比喻： 导航员看着正常的立方体盒子，告诉画家：“看，这里虽然在全景图里被拉长了，但在立方体里它是直的。”
• 作用： 导航员不直接替画家画画，而是指引画家哪里该注意细节，哪里该保持平滑。

第二步：智能“调音台” (Self-Modulation / SCAdaLN-Zero)
这是最精彩的部分。画家不需要把旧经验全部推翻（不需要重学），也不需要把导航员的话直接画在纸上（不需要硬融合）。
RePer-360 在画家的脑子里装了一个**“智能调音台”**。

• 比喻： 就像音乐家演奏时，不需要换乐器，只需要通过旋钮微调音量和音色。
• 原理： 导航员提供的信息，被用来微调画家神经网络里的**“缩放”和“偏移”**参数。
  • 如果某处扭曲严重，调音台就告诉画家：“这里把笔触收一点，别画太夸张。”
  • 如果某处细节丰富，调音台就告诉画家：“这里把笔触放一点，画细致点。”
• 好处： 这样既保留了画家原本对“透视”的深刻理解（老经验没丢），又让他能完美适应全景图的扭曲（新环境适应了）。

第三步：立方体“质检员” (Cubemap Consistency Loss)
为了防止画家在画的时候把“北极”和“赤道”搞混（因为全景图里这两处像素分布不均），RePer-360 引入了一个**“质检员”**。

• 比喻： 质检员把画好的全景图，重新折叠回 6 个立方体面，检查每个面的深度是否合理。
• 作用： 确保画家在画扭曲严重的地方（比如头顶或脚下）时，依然能保持几何结构的正确，不会因为像素太多或太少而产生偏见。

4. 成果：用极少的数据，达到惊人的效果

• 数据效率极高： 以前的方法可能需要 12 万张全景图来训练，而 RePer-360 只需要**1%**的数据（约 1000 张）就能达到甚至超过别人的效果。
• 效果更好： 在同样的训练数据下，它的准确度（RMSE）比之前的最佳方法提高了约 20%。
• 视觉表现： 看图 5 和图 6，以前的方法（PanDA-L）容易把墙上的花纹误认为是深度的起伏，或者把天花板画得过于夸张；而 RePer-360 画出的深度图，墙壁是直的，天花板是平的，结构非常清晰自然。

总结

RePer-360 就像是一位**“老练的导游”带着“经验丰富的画家”**去旅行。

• 导游（导航模块）指出哪里地形特殊（全景扭曲）。
• 画家（预训练模型）不需要重新学习怎么走路，只需要根据导游的提示，微调一下自己的步伐（自调制模块）。
• 最后，他们既保留了画家的老练，又完美适应了新的地形，而且只用了很少的练习时间（数据）。

这项技术证明了：在 AI 领域，有时候“微调”比“重练”更聪明，保留老经验并加以引导，往往能事半功倍。

技术摘要

这是一份关于论文 RePer-360: Releasing Perspective Priors for 360° Depth Estimation via Self-Modulation 的详细技术总结。

1. 研究背景与问题 (Problem)

• 核心挑战：现有的深度基础模型（如 Depth Anything Models, DAMs）在透视图像（Perspective Images）上表现优异，但在 360°全景图像（Panoramic Images）上泛化能力显著下降。
• 根本原因：透视域与全景域之间存在巨大的几何失配（Geometric Discrepancy）。全景图像的畸变（Distortion）破坏了预训练模型所学习的透视统计先验。
• 现有方法的局限性：
  1. 投影融合类（Projection-based Fusion）：将全景图切分为多个透视视图进行推理再融合（如 MoGe-2, ST2360D）。这种方法计算开销大、推理延迟高，且往往将视图视为独立处理，未能显式建模全局球面几何，导致局部伪影。
  2. 全量微调类（Full Fine-tuning）：利用大量 360°数据微调透视模型（如 PanDA）。虽然能保持全局几何一致性，但严重依赖大规模全景数据。在数据有限时，微调容易覆盖（Overwrite）预训练的透视先验，导致特征漂移（Representation Drift）和泛化能力下降。
  3. 特征融合尝试：作者初步尝试了互补投影（ERP 和 CP）的特征融合，但发现显式融合会扰动预训练的特征统计分布，导致性能提升微乎其微。

2. 方法论 (Methodology)

作者提出了 RePer-360，一种畸变感知（Distortion-aware）的自调制（Self-Modulation）框架。其核心思想不是通过特征融合来覆盖预训练知识，而是利用互补投影作为引导信号（Guidance Signal），通过归一化层的参数调制来适应全景域，同时保留预训练的透视先验。

框架主要包含三个关键模块：

A. 几何对齐引导模块 (Geometry-Aligned Guidance, GAG)

• 目的：从互补投影中提取调制信号，而非直接融合特征。
• 输入：
  • ERP 分支：等距柱状投影（Equirectangular Projection），保留全局上下文但存在严重畸变。
  • CP 分支：立方体贴图投影（Cubemap Projection），由预训练骨干网络提取，具有更强的局部几何一致性（尽管全局不连续）。
• 处理流程：
  1. 统计对齐：将 CP 特征投影到 ERP 域，并通过仿射变换（Affine Normalization）使其统计分布（均值和方差）与 ERP 特征对齐，以保留 CP 的高质量局部细节。
  2. 自适应门控：计算一个空间自适应的权重图（Gate Heatmap），动态平衡对齐后的 CP 特征和原始 ERP 特征。
     • 在细节丰富区域，更多依赖 CP 的几何线索。
     • 在平滑区域，更多依赖 ERP 的上下文稳定性。
• 输出：生成几何感知的引导信号 $F_{GAG}$，用于后续调制。

B. 自条件 AdaLN-Zero 模块 (Self-Conditioned AdaLN-Zero, SCAdaLN-Zero)

• 机制：将 GAG 生成的引导信号注入到 Transformer 块的归一化层（Normalization Layers）中，而不是通过残差连接直接修改特征值。
• 具体实现：
  • 利用轻量级网络（SiLU + 深度可分离卷积）将 $F_{GAG}$ 转换为缩放（Scale, $\gamma$）和平移（Shift, $\beta$）参数。
  • 这些参数作用于 LayerNorm 之后，对特征进行隐式调制：$F_{out} = F_{norm} \odot (1 + \gamma) + \beta$。
  • 引入 Zero-Initialization 策略：初始化时模块退化为标准 Transformer，确保训练稳定性。
• 优势：这种“参数空间调制”而非“特征值融合”的方式，能够在修正畸变的同时，严格保留预训练模型的几何结构先验，避免特征漂移。

C. E2C 一致性损失 (E2C Consistency Loss, ECCLoss)

• 动机：ERP 投影中极地区域像素占比过大，而赤道区域几何信息丰富，导致监督信号不平衡。
• 方法：将预测的深度图和真实深度图从 ERP 域转换回 CP 域（立方体贴图），在 CP 域计算尺度 - 平移不变的平均绝对误差（SSI-MAE）。
• 作用：强制模型在不同投影域之间保持几何一致性，减少球面畸变带来的监督偏差，提升训练稳定性。

3. 主要贡献 (Key Contributions)

1. 范式转变：将全景适应问题重新定义为“基于引导的畸变感知域适应”，利用互补投影作为引导信号进行先验保留式迁移，而非硬性的特征融合。
2. 新框架 RePer-360：提出了包含 GAG 和 SCAdaLN-Zero 的自调制框架，实现了从透视到全景的稳定对齐。
3. 数据效率与性能：
   • 仅需 1% 的训练数据（相比之前的 SOTA 方法如 PanDA-L 使用的 120k 对数据，RePer-360 仅使用约 1k-8k 对数据）即可超越现有最先进方法。
   • 在相同训练数据规模下，RMSE 相对提升了约 20%（最高达 22.4%）。
4. 理论洞察：证明了显式特征融合会破坏预训练统计分布，而基于归一化的参数调制是保留先验并适应新域的有效途径。

4. 实验结果 (Results)

• 数据集：在 Matterport3D 和 Stanford2D3D 两个真实世界室内全景数据集上进行了评估，并在 Structured3D 和 Deep360 上进行了零样本（Zero-shot）测试。
• 定量对比：
  • 在 Matterport3D 上，相比 PanDA-L（经过大规模半监督预训练），RePer-360 的 Abs Rel 降低了 12.3%，RMSE 降低了 17.3%。
  • 在 Stanford2D3D 上，Abs Rel 降低了 34.2%，RMSE 降低了 22.3%。
  • 在零样本设置下（仅用合成数据训练），在 Stanford2D3D 上的 Abs Rel 提升了 42.3%。
• 定性分析：
  • 相比 PanDA，RePer-360 能更好地保留场景几何结构和细微细节，特别是在严重畸变区域。
  • PanDA 倾向于将墙面纹理误判为深度变化，而 RePer-360 能更准确地重建平面结构。
• 消融实验：
  • 验证了 SCAdaLN-Zero 比显式的交叉注意力（Cross-Attention）融合更有效。
  • 证明了 GAG 引导信号比单一分支（仅 ERP 或仅 CP）信号更优。
  • 展示了 RePer-360 的特征漂移（Feature Drift）远小于 PanDA，表明其更好地保留了预训练先验。

5. 意义与价值 (Significance)

• 解决数据瓶颈：为 360°深度估计提供了一种极低数据依赖的解决方案，使得在缺乏大规模高质量全景标注数据的情况下，也能利用强大的透视基础模型。
• 保护预训练先验：提出了一种通用的“自调制”思路，即通过归一化层参数注入引导信号，而非破坏性融合，这为将预训练视觉模型迁移到几何失配的其他领域（如其他畸变图像、不同传感器数据）提供了新的理论依据。
• 性能突破：在大幅减少训练数据量的同时实现了性能超越，证明了“质量优于数量”以及“结构化适应优于暴力微调”在特定几何任务中的有效性。

总结：RePer-360 通过巧妙的“引导 - 调制”机制，成功解耦了全景畸变适应与透视先验保留之间的矛盾，以极小的数据成本实现了 360°深度估计的 SOTA 性能。