NeRV360: Neural Representation for 360-Degree Videos with a Viewport Decoder

本文提出了 NeRV360 框架，通过仅解码用户选定视口并引入时空仿射变换模块，在显著降低内存消耗并提升解码速度的同时，实现了 360 度视频的高质量压缩与实时应用。

要点

这篇论文介绍了一种名为 NeRV360 的新技术，专门用来解决超高清 360 度全景视频（比如 VR 里的全景电影）在传输和播放时“太占内存、太慢”的问题。

为了让你轻松理解，我们可以把整个技术过程想象成**“在巨大的图书馆里找书”**的故事。

1. 以前的痛点：笨重的“全景搬运工”

场景设定：
想象你戴着一副 VR 眼镜，正在看一个巨大的 360 度全景视频。虽然视频文件有 6K 分辨率（超级清晰，像一堵巨大的墙），但你的眼睛每次只能看到其中一小块（比如正前方的一扇窗户），这叫**“视口”（Viewport）**。

旧方法（HNeRV）的做法：
以前的技术就像是一个**“笨重的搬运工”**。

• 不管你想看哪扇窗户，搬运工都必须先把整面巨大的墙（整个全景视频）从仓库里搬出来，放在桌子上。
• 等整面墙都摆好了，他再拿着剪刀，把你想要的那一小块窗户剪下来给你看。
• 后果： 即使你只想看 1 平米的窗户，他也得搬运 100 平米的整面墙。这导致：
  • 内存爆炸： 你的电脑或手机内存（桌子）根本放不下整面墙，容易死机。
  • 速度很慢： 搬运整面墙太费时间，导致视频卡顿，没法实时播放。

2. 新方案 NeRV360：聪明的“智能点单员”

NeRV360 的做法：
这项新技术换了一位**“聪明的点单员”**。

• 他不再搬运整面墙。当你告诉他想看“正前方”还是“左边”时，他直接在你的**大脑（神经网络）**里，只把那一小块窗户的“蓝图”画出来给你看。
• 核心创新： 他把“剪窗户”这个动作，直接融合到了“画蓝图”的过程中。不需要先画整面墙，再剪下来，而是直接生成你看到的那部分。

3. 三大“魔法”道具

为了让这个“点单员”既快又好，作者用了三个巧妙的魔法：

• 魔法一：直接生成，拒绝搬运（Viewport Decoder）

  • 比喻： 就像你去餐厅点菜，厨师不再把整桌菜都端上来让你挑，而是直接把你点的“宫保鸡丁”端到你面前。
  • 效果： 省下了搬运整桌菜（整帧视频）的巨大力气。

• 魔法二：先放大，再裁剪（Channel Expansion）

  • 比喻： 想象你要从一张模糊的地图里剪出一个小区域。如果直接剪，边缘会锯齿状、模糊不清。NeRV360 的做法是：先把这张地图放大（增加通道维度），把细节都“撑开”，然后再去剪那个小区域。
  • 效果： 这样剪出来的窗户边缘清晰，不会糊成一团，画质更好。

• 魔法三：看人下菜碟（STAT 模块）

  • 比喻： 这个点单员非常聪明，他知道你现在的时间（第几秒）、经度（往左看还是往右看）和纬度（往上看还是往下看）。
  • 效果： 他根据你当前的视角，动态调整生成的画面。就像变魔术一样，你转头，他瞬间就生成新视角的画面，不需要重新计算整个场景。

4. 效果有多牛？（数据说话）

作者用 6K 分辨率的超高清视频做了测试，结果非常惊人：

• 内存占用： 减少了 7 倍！
  • 以前： 需要 30GB 的内存（像个大仓库）。
  • 现在： 只需要 4GB 左右（像个小背包），普通的游戏电脑甚至高端手机都能跑。
• 解码速度： 快了 2.5 倍！
  • 以前可能卡顿，现在可以流畅实时播放。
• 画质： 不仅快，而且比旧方法更清晰（PSNR 指标更高）。

5. 总结：这意味着什么？

NeRV360 就像是为 VR 和全景视频装上了一个**“涡轮增压”**。

• 对普通用户： 以后在手机上、VR 眼镜里看 8K 甚至更高清的全景视频，不再需要昂贵的超级电脑，卡顿和模糊将成为历史。
• 对开发者： 以前训练这种模型需要几十万的服务器，现在用普通的消费级显卡就能搞定，大大降低了成本。

简单来说，这项技术让**“只生成你看到的那部分”**成为了可能，彻底告别了“为了看一小块而搬运一整块”的笨重时代。

技术摘要

NeRV360 技术总结

1. 研究背景与问题 (Problem)

背景：
随着虚拟现实（VR）应用的普及，360 度全景视频的需求日益增长。由于观看设备（如头戴式显示器）通常只显示全景画面中的一小部分（视口，Viewport），为了在有限的视口内保持高视觉质量，360 度视频通常具有极高的分辨率（如 6K 甚至更高）。

现有挑战：
现有的隐式神经视频表示（NeRV）方法在视频压缩方面表现出色，但将其直接应用于高分辨率 360 度视频时面临两大瓶颈：

1. 显存占用过高： 传统 NeRV 方法（如 HNeRV）需要先解码整个全景帧，再提取视口。对于 6K 分辨率视频，即使使用紧凑模型，解码所需的 GPU 显存也高达 30 GiB 以上，导致在消费级显卡上无法进行实时处理。
2. 解码速度慢： 解码整个全景帧带来了巨大的计算冗余，因为用户最终只观看其中的一小部分，这使得实时应用变得不切实际。

2. 核心方法论 (Methodology)

为了解决上述问题，作者提出了 NeRV360，这是一个专为 360 度视频设计的端到端神经表示框架。其核心思想是将视口提取直接集成到解码过程中，而非在解码全景帧之后进行。

2.1 整体架构

NeRV360 的输入是等距圆柱投影（Equirectangular）格式的 360 度帧 $x_t$，输出是用户选定的视口 $\hat{x}^{vp}_{t,\theta,\phi}$。

• 传统流程： 输入帧 $\rightarrow$ 编码器 $\rightarrow$ 嵌入向量 $\rightarrow$ 解码器（重建全景） $\rightarrow$ 视口提取。
• NeRV360 流程： 输入帧 $\rightarrow$ 编码器 $\rightarrow$ 嵌入向量 $\rightarrow$ 视口提取（在嵌入空间） $\rightarrow$ 解码器（仅重建视口）。

2.2 关键技术组件

1. 嵌入空间中的视口提取 (Viewport Extraction in Embedding Space)：

   • 利用用户定义的经度 $\theta$ 和纬度 $\phi$，直接在神经网络的中间嵌入层（Embedding）上应用透视投影变换。
   • 这避免了生成整个高分辨率全景图，直接从嵌入向量中提取对应视口的特征区域 $y^{vp}_{t,\theta,\phi}$。

2. 通道扩展层 (Channel Expansion Layer)：

   • 问题： 在嵌入空间直接使用双线性插值进行透视投影会导致特征模糊，降低重建质量。
   • 解决方案： 在投影前引入一个通道扩展层，将嵌入通道数从 $d$ 扩展到 $c^2$。该层结合了正弦 NeRV 块（SNeRV）和基于帧索引的时序感知仿射变换（TAT）模块，以增强特征表达能力并减少插值伪影。

3. 视口条件化时空感知仿射变换模块 (STAT Module)：

   • 问题： 由于输入嵌入现在依赖于视点（$\theta, \phi$），传统的仅基于时间（帧索引 $t$）的解码条件化机制不再适用。
   • 解决方案： 提出了 STAT (Spatio-Temporal-Aware Affine Transform) 模块。该模块不仅利用时间嵌入，还结合了经度和纬度嵌入，学习仿射参数 $\beta_{t,\theta,\phi}$ 和 $\gamma_{t,\theta,\phi}$。
   • 公式： $STAT(f_{t,\theta,\phi} | \beta, \gamma) = \gamma \cdot f_{t,\theta,\phi} + \beta$。
   • 这使得解码器能够根据当前的视角和时间进行条件化解码，增强了模型对视点变化的鲁棒性。

3. 主要贡献 (Key Contributions)

1. 视口解码器 (Viewport Decoder)： 提出了一种无需解码整个全景帧即可直接重建视口的架构，显著降低了计算和存储开销。
2. 通道扩展机制： 在视口提取前引入通道扩展层，有效缓解了嵌入空间双线性插值带来的质量退化问题。
3. 视口条件化机制： 设计了结合经度、纬度和时间嵌入的 STAT 模块，实现了基于视点位置的条件化解码。

4. 实验结果 (Results)

实验在 JVET Class S2 的 6K 分辨率 360 度视频数据集上进行，对比了 NeRV360 与 HNeRV 及 HNeRV-Boost（模型大小统一为 2.2M）。

• 显存效率： 与 HNeRV 相比，NeRV360 的显存消耗降低了 7 倍（从约 26.2 GiB 降至 3.6 GiB）。这意味着 NeRV360 可以在 24 GiB 显存的消费级显卡上训练 6K 视频模型，而传统方法需要 50+ GiB。
• 解码速度： 解码帧率（FPS）提升了 2.5 倍（从 15.0 FPS 提升至 38.4 FPS）。
• 图像质量： 在客观指标上，NeRV360 实现了更高的 PSNR（24.39 dB vs 24.37 dB）和 MS-SSIM（0.734 vs 0.728），优于 HNeRV。
• 消融实验： 证明了在视口提取前进行通道扩展以及使用包含经纬度信息的 STAT 模块对于性能至关重要。

5. 意义与展望 (Significance)

• 实时性与可行性： NeRV360 解决了高分辨率 360 度视频神经压缩在资源受限设备（如 VR 头显或移动端）上难以实时运行的痛点，使得 6K 甚至 8K 分辨率的沉浸式体验成为可能。
• 训练成本降低： 大幅降低的显存需求使得在普通 GPU 上训练高质量的全景视频压缩模型成为可能，降低了研发门槛。
• 未来方向： 当前框架支持俯仰（Pitch）和偏航（Yaw）旋转，未来计划扩展支持翻滚（Roll）和可变视场角（FOV），以支持更灵活的视口渲染。

总结： NeRV360 通过“解码即提取”的范式转变，成功克服了隐式神经表示在超高分辨率 360 度视频应用中的扩展性瓶颈，在显著降低资源消耗的同时提升了重建质量，是神经视频压缩领域的一项重要进展。