SRNeRV: A Scale-wise Recursive Framework for Neural Video Representation

SRNeRV 提出了一种基于尺度自相似性的递归框架，通过解耦并共享尺度不变通道混合模块，在显著降低参数冗余的同时提升了神经视频表示的率失真性能。

要点

这篇论文介绍了一种名为 SRNeRV 的新方法，旨在让电脑更聪明、更节省空间地“记住”和压缩视频。

为了让你轻松理解，我们可以把视频压缩想象成**“教一个画家画一幅巨大的长卷画”**。

1. 背景：以前的画家太“费钱”了

传统的视频压缩（像 H.265 或 H.266）就像是用积木块去拼凑画面，规则是写死的。
而最新的“隐式神经表示”（INR）技术，则是训练一个AI 画家。这个画家不看积木，而是学习一种“公式”：只要给它一个坐标（比如“左上角第 10 行”），它就能算出那里应该是什么颜色。

问题出在哪？
以前的 AI 画家在画长卷时，习惯**“层层加码”**。

• 画草图（低分辨率）时，它用一套专门的画笔（参数）。
• 画细节（中分辨率）时，它换一套新画笔。
• 画高清（高分辨率）时，它又换一套更复杂的画笔。

这就好比画家为了画不同大小的画，准备了三套完全不同的工具箱。虽然画得不错，但工具箱太沉了（参数太多），导致“记忆”视频时占用的空间太大，不够高效。

2. 核心灵感：万物皆有“套娃”规律

作者发现了一个有趣的规律：画草图和画细节，其实用的逻辑是相似的。
这就好比俄罗斯套娃，或者放大照片：

• 把一张小图放大，再放大，再放大……虽然尺寸变了，但“怎么把模糊变清晰”、“怎么把线条变平滑”的核心逻辑其实是一样的。
• 以前是每放大一次就换一套新工具，太浪费了。

SRNeRV 的点子是： 既然逻辑一样，为什么不让画家只用一套核心工具，反复使用呢？

3. SRNeRV 是怎么做的？（混合共享策略）

作者给这个 AI 画家设计了一个**“混合工具箱”**，把画画的过程拆成两步：

1. 画局部纹理（空间混合）：

   • 比如画树叶的脉络、文字的笔画。这些细节在不同大小下是不一样的（大图的树叶纹理和小图的树叶纹理不同）。
   • 做法： 这部分不共享。每一层放大时，画家都换一套专门的“局部画笔”。这保证了细节的精准度。

2. 调色和融合（通道混合）：

   • 这是最费脑子的部分，比如决定整体色调、光影关系、把颜色融合在一起。这部分逻辑在“画草图”和“画高清图”时是完全一样的。
   • 做法： 这部分共享！不管画多大，画家都只用同一套“核心调色盘”。

比喻：
想象你在装修房子。

• 局部纹理就像贴墙纸：客厅贴花的，卧室贴素的，厨房贴防油的。每个房间（每个尺度）都要定制不同的墙纸（不共享）。
• 通道混合就像刷大白墙和通水电：不管房子多大，刷墙和接电的核心工艺是一样的。SRNeRV 就是让同一支“水电工团队”（共享参数）反复工作，而不是每个房间都雇一支新团队。

4. 结果：既省钱，又画得好

通过这种“核心工具共享，局部工具定制”的方法：

• 省空间： 因为最占内存的“核心调色盘”只存了一份，整个模型的体积（参数数量）大大缩小了。
• 画质好： 因为保留了“局部画笔”，视频里的文字、运动物体等复杂细节依然非常清晰。

实验证明：
在测试中，SRNeRV 就像是一个**“性价比之王”。特别是在处理屏幕内容**（如 PPT、网页、文字）这种细节多但背景简单的视频时，它的压缩效果比以前的方法好得多，甚至比传统的 H.266 标准还要强。

总结

SRNeRV 就像是一个聪明的**“套娃式”画家**。它不再笨拙地为每个尺寸准备全套新工具，而是复用核心的“大脑”（共享参数），只针对细节微调“手脚”（特定参数）。这让它在保持高清画质的同时，把视频压缩得更小、更轻、更快。

技术摘要

1. 研究背景与问题 (Problem)

• 背景：隐式神经表示（Implicit Neural Representations, INRs）已成为视频表示和压缩的新兴范式。与传统的基于块变换和运动补偿的编解码器不同，INR 将信号建模为连续函数，通过神经网络参数本身来表征信号。
• 现有问题：
  • 现有的多尺度 INR 生成器通常采用堆叠式设计（Stacked Design），即为每个分辨率尺度（Scale）独立设置处理模块（Refinement Blocks）。
  • 这种设计忽略了不同尺度间生成过程的自相似性（Self-similarity），导致严重的参数冗余。每个尺度的独立模块使得模型参数量巨大，降低了压缩效率。
• 核心洞察：从低分辨率特征到高分辨率特征的生成映射在不同尺度上具有概念上的重复性（即尺度自相似性）。因此，不需要为每个尺度训练独立的完整网络，而可以复用共享的模块。

2. 方法论 (Methodology)

作者提出了 SRNeRV，一种基于尺度递归（Scale-wise Recursive）框架的新型视频表示方法。其核心在于一种混合参数共享方案（Hybrid Parameter Sharing Scheme）。

A. 核心架构设计

SRNeRV 将传统的处理模块解耦为两个功能组件：

1. 尺度特定空间混合模块 (Scale-Specific Spatial Mixing Module, $f_{SM}$)：
   • 功能：负责聚合局部空间信息，捕捉特定分辨率下的空间模式（如纹理、边缘）。
   • 实现：通常由深度卷积（Depthwise Convolution）实现。
   • 参数策略：不共享。每个尺度（Stage $i$）和每个块位置（Position $j$）拥有独立的参数 $\theta_{SM_{i,j}}$。这保证了模型能够适应不同分辨率下的空间特征变化。
2. 尺度不变通道混合模块 (Scale-Invariant Channel Mixing Module, $f_{CM}$)：
   • 功能：负责特征变换和通道间的交互。
   • 实现：通常由前馈网络（FFN）实现。
   • 参数策略：共享。该模块的参数 $\theta_{CM_j}$ 在所有尺度间是共享的。
   • 原理：通道层面的特征变换逻辑在不同尺度上是通用的（Scale-Invariant）。由于 FFN 通常包含模型中的大部分参数，共享此模块能极大减少参数量。

B. 工作流程 (Generation Process)

1. 输入：从低维输入（如时间索引或可学习网格嵌入）开始，生成初始特征图 $x_0$。
2. 递归生成：
   • 网络通过 $M$ 个上采样阶段（Upsampling Stages）逐步生成高分辨率帧。
   • 在每个阶段 $i$，输入特征先经过上采样，然后依次通过 $L$ 个 SRNeRV-Block。
   • 每个 Block 内部：先应用独立的 $f_{SM}$，再应用共享的 $f_{CM}$。
   • 上一阶段的输出作为下一阶段的输入，形成递归过程。
3. 压缩流水线：
   • 采用逐实例拟合（Per-instance fitting）范式。
   • 训练完成后，进行量化感知训练（QAT）和权重剪枝。
   • 最终将量化后的权重（包括尺度特定的空间参数和共享的通道参数）通过算术编码进行无损压缩，生成比特流。

3. 主要贡献 (Key Contributions)

1. 理论创新：首次系统地分析并利用了 INR 生成过程中固有的尺度自相似性，将 INR 的核心原理从“坐标级逻辑”扩展到了“多尺度生成逻辑”。
2. 架构提出：提出了 SRNeRV，一种基于混合参数共享方案的高度紧凑的尺度递归框架。通过解耦空间混合与通道混合，实现了参数效率与重建质量的平衡。
3. 实验验证：在多个标准视频数据集上进行了广泛实验，证明了该混合递归设计的有效性，特别是在 INR 擅长的场景下取得了显著的性能提升。

4. 实验结果 (Results)

• 数据集：涵盖了 UVG（高分辨率自然场景）、HEVC Class B/E（高难度高清视频及复杂前景运动）、以及 SCC（屏幕内容编码，包含文本和图形）。
• 对比基线：与传统编解码器（H.266/VVC）及其他 INR 方法（HNeRV, Boost-NeRV, HiNeRV）进行了对比。
• 性能表现：
  • 整体性能：SRNeRV 在所有测试数据集上均优于直接前驱 HiNeRV 及其他强基线模型，表现出更优的率失真（Rate-Distortion, RD）性能。
  • 特定场景优势：在 INR 擅长的场景（如背景简单、时间冗余高的 HEVC Class E 和屏幕内容 SCC）中，性能提升尤为显著。
  • 消融实验：
    • 对比了“全共享”（SRNeRV-FullShare，即所有模块共享）与“混合共享”（SRNeRV）。
    • 结果显示，虽然全共享优于不共享的基线，但混合共享（保留尺度特定的空间模块，共享通道模块）取得了最佳效果。这证明了保留尺度特定的空间处理能力对于平衡参数紧凑性和高保真重建至关重要。
• 数据指标：在 BD-Rate（Bjontegaard Delta Bit-Rate）指标上，SRNeRV 相比 HiNeRV 和 HNeRV 有显著的负值（即码率降低），例如在 SCC-1 序列上，SRNeRV 相比 HNeRV 降低了约 55% 的码率（-84.0% vs -29.1% 的相对提升，具体数值需结合表格理解，表格显示 SRNeRV 的 BDBR 为负值且绝对值更大，代表性能更好）。

5. 意义与价值 (Significance)

• 参数效率的突破：SRNeRV 通过共享包含大部分参数的通道混合模块，显著减少了模型大小，解决了多尺度 INR 生成器参数冗余的痛点。
• 范式扩展：该工作证明了利用“尺度自相似性”进行递归生成是可行的，为未来的高效神经表示设计提供了新的方向（Targeted Recursive Sharing）。
• 实际应用潜力：在屏幕内容（SCC）等特定场景下的优异表现，表明该方法非常适合用于需要高压缩比且对细节（如文字、图形）要求高的视频传输场景。
• 理论深度：将经典计算机视觉中的拉普拉斯金字塔（Laplacian Pyramid）思想与现代深度学习生成模型相结合，深化了对 INR 内部生成逻辑的理解。

总结：SRNeRV 通过巧妙的“空间独立、通道共享”的混合递归架构，成功在保持 INR 高重建质量的同时，大幅降低了模型复杂度，为神经视频压缩领域提供了一种高效且可扩展的新范式。