CylinderSplat: 3D Gaussian Splatting with Cylindrical Triplanes for Panoramic Novel View Synthesis

本文提出了 CylinderSplat，一种基于新型圆柱体三平面表示的双分支前馈框架，旨在解决全景图像中遮挡和稀疏视角下的几何重建难题，并在单视图及多视图全景新视图合成任务中实现了最先进的重建质量与几何精度。

要点

这篇论文介绍了一个名为 CylinderSplat 的新技术，它的目标是让电脑能根据几张全景照片（360 度照片），快速、逼真地“脑补”出整个 3D 场景，让你可以从任何角度自由观看，就像真的置身其中一样。

为了让你更容易理解，我们可以把这项技术想象成**“用不同形状的积木搭建一个虚拟世界”**。

1. 核心难题：为什么以前的方法不够好？

想象一下，你想用乐高积木（3D 数据）搭建一个房间，但手里只有几张从不同角度拍的照片。

• 旧方法（像“方盒子”积木）： 以前的技术喜欢用正方体（笛卡尔坐标系）来搭建。这就像用方方正正的积木去拼一个圆形的地球仪。虽然拼得出来，但在边缘和角落（比如天花板和地板的交界处）会非常别扭，要么拼不圆，要么出现很多缝隙和扭曲。而且，如果照片拍得不够多（比如只有一两张），积木之间会有很多空隙，导致你从某些角度看过去，会发现墙是透明的，或者地板是缺失的。
• 新挑战： 现在的 VR 和全景相机拍的是 360 度照片，这种“圆滚滚”的视角，用“方盒子”积木去拼，就像用直尺去量圆周长，天生就不匹配。

2. 我们的解决方案：CylinderSplat（圆柱体积木）

作者发明了一种叫 CylinderSplat 的方法，它做了两件聪明的事：

第一招：换个“积木形状”——圆柱体三平面

作者发现，现实世界里的房子、街道，大部分是由垂直的墙和水平的地板/天花板组成的（这被称为“曼哈顿世界”假设）。

• 以前的“方盒子”： 很难完美贴合圆形的视野。
• 以前的“球体”： 虽然贴合圆形视野，但在描述直直的墙壁和地板时，就像用球面去贴一张平纸，容易变形。
• CylinderSplat 的“圆柱体”： 作者设计了一种圆柱形的积木结构。
  • 想象一下： 就像把一张长方形的纸卷成一个圆筒。
  • 优势： 这个圆筒的侧面（墙壁）是直的，顶面和底面（天花板和地板）也是平的。这完美契合了现实世界的建筑结构，同时也完美包裹了 360 度的全景视野。用这种积木去拼，既没有缝隙，也不会扭曲。

第二招：双管齐下的“施工队”

为了处理照片拍得少、有遮挡（比如树挡住了后面的房子）的情况，CylinderSplat 派出了两支施工队：

1. 像素队（Pixel Branch）——“眼见为实”：

   • 任务： 专门处理照片里看得清楚的地方。
   • 比喻： 就像一群拿着高清相机的工人，哪里拍得清楚，他们就在那里精准地放积木。这部分还原度很高，细节很丰富。
   • 缺点： 如果照片里某个角落被挡住了（比如树后面），他们就没法放积木，那里就会变成黑洞。

2. 体积队（Volume Branch）——“脑洞补全”：

   • 任务： 专门处理被挡住或没拍到的地方。
   • 比喻： 这是一群拥有“透视眼”和“想象力”的工程师。他们利用上面提到的圆柱形积木，根据周围的环境，推测出被挡住的地方应该长什么样，并主动把积木填进去。
   • 关键点： 他们用的就是那个特制的“圆柱体积木”，所以补出来的墙是直的，地板是平的，不会补歪。

最终效果： 这两支队伍合作，一支负责把看得见的地方做得精美，另一支负责把看不见的地方补得合理。最后，电脑把这两部分拼在一起，你就得到了一个完整、没有漏洞、可以从任何角度观看的 3D 世界。

3. 这项技术有多厉害？

• 速度快： 以前重建一个场景可能需要几个小时，现在像“喂饭”一样，喂进去几张图，几秒钟就能生成 3D 场景，可以实时在 VR 眼镜里看。
• 适应性强： 不管你是只给一张照片（单视角），还是给好几张（多视角），它都能搞定。
• 更真实： 在测试中，无论是看墙壁的直度，还是看地板的平整度，它都比以前的方法（比如 OmniScene 或 PanSplat）要好得多，尤其是在照片之间距离很远（稀疏视角）的情况下，它依然能补全细节，不会出现黑窟窿。

总结

简单来说，CylinderSplat 就是给电脑换了一副更懂“全景”和“现实建筑”的眼镜（圆柱体坐标系），并派出了两支配合默契的工人队伍（像素队 + 体积队）。

它不再强行用方积木去拼圆世界，而是用圆柱形积木去自然贴合现实。这让它在生成 3D 全景视频时，既快又准，还能把被遮挡的角落“脑补”得栩栩如生，是通往沉浸式 VR 体验的一大步。

技术摘要

1. 研究背景与问题 (Problem)

背景：
随着 360 度相机和虚拟现实（VR）技术的普及，全景图像的新视角合成（Novel View Synthesis, NVS）变得至关重要。3D 高斯泼溅（3D Gaussian Splatting, 3DGS）因其实时性和高保真度已成为 NVS 领域的突破，但现有的 3DGS 方法主要针对针孔相机设计，直接应用于全景图像时面临巨大挑战。

核心痛点：

1. 稀疏视角下的几何缺失： 现有的前馈（Feed-forward）全景 3DGS 方法通常依赖多视图代价体（Cost Volume）进行几何细化。在单视图或稀疏视角（大基线）场景下，代价体难以处理遮挡区域，导致重建场景出现空洞、几何不准确和伪影。
2. 坐标系不匹配导致的畸变： 现有的体素表示（如笛卡尔三平面 Triplane）是为针孔相机设计的。将其直接用于 360 度全景场景时，无法有效捕捉全景数据的固有几何特性，导致严重的畸变和混叠（Aliasing）。
3. 曼哈顿世界假设的忽视： 现实世界（尤其是室内和城市环境）大多遵循“曼哈顿世界”假设（即垂直墙面和水平地面占主导）。标准的球面或笛卡尔坐标系难以高效建模这种几何结构。

---

2. 方法论 (Methodology)

作者提出了 CylinderSplat，这是一个用于全景 3DGS 的前馈框架，旨在解决上述问题。其核心架构包含两个主要分支和一个创新的几何表示。

2.1 核心创新：圆柱三平面表示 (Cylindrical Triplane)

• 设计理念： 受物理学中正交曲线坐标系的启发，作者提出用圆柱坐标系代替传统的笛卡尔或球坐标系来构建三平面。
• 优势：
  • 符合曼哈顿世界假设： 圆柱坐标系的 $ZR$ 平面（垂直面）和 $R\Theta$ 平面（水平面）天然对齐现实世界中的垂直墙壁和水平地板，比球面三平面（难以建模平面）和笛卡尔三平面（在全景投影下产生拉伸）更适合。
  • 存储效率： 将密集 3D 特征网格的存储复杂度从 $O(\Theta \cdot Z \cdot R)$ 降低到 $O(\Theta \cdot Z + Z \cdot R + R \cdot \Theta)$。
  • 局部性： 为每个输入相机的位置初始化一个独立的局部圆柱三平面，覆盖 360 度空间。

2.2 双分支架构 (Dual-Branch Architecture)

CylinderSplat 采用“像素分支”和“体素分支”协同工作的策略：

1. 像素分支 (Pixel Branch)：

   • 功能： 专注于重建观测良好的区域。
   • 机制： 利用帧内自注意力（Self-Attention）和帧间交叉注意力（Cross-Attention）聚合多视图信息，生成特征点云。
   • 优势： 能够灵活处理任意数量的输入视图，为每个输入像素预测高质量的高斯参数。
   • 局限： 在稀疏视角下，大基线会导致遮挡区域缺乏点云覆盖，产生空洞。

2. 体素分支 (Volume Branch)：

   • 功能： 专注于遮挡或稀疏观测区域的几何补全。
   • 机制： 利用上述的圆柱三平面表示。
     • 初始化： 将像素分支的特征点投影到局部圆柱体积内。
     • 跨平面注意力 (Cross-Plane Attention)： 在圆柱的三个正交特征平面之间交换信息，形成统一的 3D 表示。
     • 三平面到图像注意力 (Triplane-to-Image Attention)： 将三平面特征与源图像特征对齐，增强视觉细节。
     • RGB 检索 (RGB Retrieval)： 为了解决体素特征缺乏高频细节的问题，直接从源图像中检索像素颜色，并根据可见性评分（Visibility Score）进行加权聚合，以处理遮挡。
   • 坐标转换： 将圆柱坐标系下预测的局部高斯参数（位置偏移、各向异性缩放）通过雅可比矩阵（Jacobian）转换为笛卡尔坐标系，以便标准 3DGS 渲染器使用。

2.3 训练策略

采用三阶段课程学习 (Three-Stage Curriculum)：

1. 阶段一： 仅训练像素分支，建立高质量基线。
2. 阶段二： 冻结像素分支，训练体素分支（圆柱三平面），学习几何补全。
3. 阶段三： 联合微调两个分支，融合细节与完整性。

---

3. 主要贡献 (Key Contributions)

1. 圆柱三平面表示法： 提出了一种符合曼哈顿世界假设的新型圆柱三平面表示，专门用于捕捉全景图像的几何特性，解决了传统笛卡尔或球面表示在全景场景中的畸变问题。
2. 双分支前馈框架： 设计了 CylinderSplat 框架，结合了基于像素的观测区域重建和基于体素的遮挡区域补全，能够鲁棒地处理从单视图到多视图的任意输入。
3. 直接全景渲染： 摒弃了传统的“立方体贴图拼接”间接渲染方式，开发了专为全景设计的 3DGS 光栅化器，支持直接渲染等距圆柱投影图像，显著提高了效率。
4. SOTA 性能： 在合成数据集（Matterport3D, Replica, Residential）和真实世界数据集（360Loc, Kansas）上，无论是单视图还是多视图任务，CylinderSplat 在重建质量（PSNR, SSIM, LPIPS）和几何精度（PCC）上均超越了现有最先进方法。

---

4. 实验结果 (Results)

• 定量评估：
  • 在 Matterport3D 等数据集的双视图重建任务中，CylinderSplat 在 WS-PSNR 和 PCC（几何相关性）指标上均显著优于 PanSplat、Splatter360 和 OmniScene 等基线方法。
  • 在单视图重建任务中，优势尤为明显。由于其他基于代价体的方法在单视图下失效，CylinderSplat 凭借体素分支的补全能力，实现了高质量的几何重建。
  • 在真实世界的大基线（20m-30m）场景（Kansas 数据集）中，CylinderSplat 比最强竞争对手 OmniScene 高出约 3.95 dB 的 WS-PSNR。
• 定性评估：
  • 生成的图像在天花板、地板和远处区域具有更高的完整性和清晰度，消除了传统方法常见的空洞和条纹伪影。
  • 深度图与参考深度（DepthAnywhere）高度一致，特别是在非曼哈顿结构（如弯曲墙壁）和极远/极近区域。
• 效率分析：
  • 推理时间约为 0.29 秒（单前向传播），优于大多数基线方法。
  • 模型参数量（13.6M）远小于 OmniScene（76.9M）和 Splatter360（38.7M），且无需昂贵的特征提取器（如 DINO）。

---

5. 意义与影响 (Significance)

• 填补了全景 3DGS 的空白： 首次系统性地解决了前馈 3DGS 在全景场景下的几何表示和遮挡补全问题，证明了圆柱坐标系在全景建模中的优越性。
• 推动了稀疏视角重建： 使得从单张或少量全景图像进行高质量、几何准确的 3D 重建成为可能，这对于 VR 内容生成、自动驾驶感知和机器人导航具有重要意义。
• 通用性与鲁棒性： 该方法不依赖地面真值深度监督（仅使用 RGB 和单目深度先验），且在合成数据和真实世界数据（包括动态物体和复杂光照）上均表现出极强的鲁棒性。
• 未来方向： 论文指出当前的融合机制（简单拼接）仍有优化空间，未来计划探索更高级的融合策略以进一步减少冗余高斯并提升无缝拼接质量。

总的来说，CylinderSplat 通过引入几何感知的圆柱三平面表示和双分支协同机制，为全景新视角合成设立了一个新的基准，特别是在处理遮挡和稀疏视角方面取得了突破性进展。