Data-driven Video Codec with Implicit Neural Representations

想象一下，你正试图给朋友发送一部巨大的高清电影。在数字媒体的世界里，我们通常将视频和音频视为由微小的彩色瓷砖（像素）组成的巨大马赛克，以及一段独立的声波流。传统的视频编解码器就像是极其出色的档案管理员，他们观察这个马赛克，寻找所有单调、重复的模式，然后写下一套非常巧妙的指令，以便用更少的瓷砖来重建它。它们非常高效，但依赖于一个固定的像素网格。

现在，想象另一种方法。与其存储这些瓷砖本身，如果存储一个超级智能的“配方”呢？这个配方是一个数学函数，当你询问它：“在这个特定位置、这个特定时刻，像素是什么颜色？”时，它能瞬间回答出精确的颜色和声音。这就是**隐式神经表示（Implicit Neural Representations, INRs）**的世界。这就像是教一个机器人通过学习笔触而非拍摄画布来记忆一幅画。如果机器人完美掌握了这个配方，你只需要保存这个配方（机器人的“大脑”或权重），就能在以后重现整部电影。这篇论文探讨了是否可以使用这种“配方”方法，将视频和音频同时存储在一个单一的大脑中，并且我们能否将这个大脑缩小到足以投入使用的程度。

“单一大脑”视频编解码器

来自尼泊尔特里布万大学（Tribhuvan University）的研究人员提出了一个大胆的问题：我们能否构建一个单一的神经网络——一个数字大脑——让它同时学会成为视频播放器和声音系统？通常，视频和音频是由不同的系统处理的。在这里，他们构建了一个统一的网络，称为 SIREN（正弦表示网络）。

把这个网络想象成一个神奇的翻译官。你给它一组坐标：你在画面中的位置 (x, y)、你在电影中的帧数 (t)，以及声音在时间轴上的精确时刻 (T)。作为回报，网络会吐出那个像素的颜色以及那一瞬间的声音音量。他们并没有保存一个充满数百万像素的文件，而是保存了网络的“权重”——本质上是让这个翻译官工作的数学设置。

然而，这里有一个难点。视频和音频是截然不同的物种。视频变化缓慢（例如一个人在走动），而音频变化极快（例如小提琴弦的振动）。研究人员发现，网络中的单个“第一层”无法同时很好地处理两者。这就像是试图用一副眼镜既看书又听交响乐；两者都无法清晰工作。因此，他们在开始阶段为网络提供了两副不同的“眼镜”（初始化层）——一副针对慢速移动的视频，另一副针对快速移动的音频——然后再将它们合并为一个共享的大脑。

压缩魔术技巧

这个想法最大的问题在于，“配方”（训练好的网络）通常非常庞大。事实上，对于一段短视频，这个配方甚至可能比视频文件本身还要大！为了解决这个问题，团队使用了三步压缩流水线：

1. 教师与学生： 首先，他们训练了一个大型、复杂的“教师”网络来完美地记忆视频。这个教师非常庞大（约 9.05 MiB）。然后，他们使用了一种叫做**知识蒸馏（Knowledge Distillation）**的技术。想象一下，教师正在向一个更小、更简单的“学生”网络解释这段视频。学生不仅仅是在学习原始视频，它还在学习模仿教师的答案。这显著缩小了模型规模。
2. 量化（取整游戏）： 网络的权重通常以高精度（如 32 位数字）存储。研究人员尝试将这些数字简化为较少的位数，比如 16 位整数。这就像是将一个非常精确的食谱从“加入 1.000001 克盐”简化为“加入 1 克”。他们测试了从 1 位（非常粗糙）到 32 位（非常精确）的所有情况。他们发现，一旦达到 16 位，质量就不再提升了。更高的位数并不会让视频看起来更好，但低于这个数值则会让效果变得糟糕。
3. 无损打包： 最后，他们使用了一种标准的压缩工具，即 LZMA2（与 .xz 文件中使用的相同工具），在不丢失任何信息的情况下对剩余数据进行压缩。

结果：喜忧参半

团队在几个短视频上进行了测试。以下是他们的发现：

• 体积优势： 对于一个大小为 6.08 MiB 的测试视频，他们最终压缩后的模型为 2.33 MiB。压缩比为 2.61。他们成功地将视频和音频压缩成了一个不到原文件一半大小的文件。
• 质量权衡： 视频质量尚可但并不出众。他们测试的最佳视频达到了 28.72 dB 的 PSNR（一种衡量质量的指标，越高越好）和 0.75 的 SSIM。音频表现也还可以，PSNR 为 24.18 dB。
• “短视频”问题： 这是最重要的发现。因为网络具有固定的大小（它需要一定量的“大脑”来运作），短视频在压缩后反而会变大。对于一个只有 5 秒钟的微型片段，压缩后的文件比原始文件还要大。只有当视频足够长，足以抵消固定的网络成本时，该方法才开始节省空间。
• 与巨头的对比： 当他们将这种方法与行业标准 H.264 和 HEVC（YouTube 和 Netflix 使用的编解码器）进行比较时，他们的方案败下阵来。传统的编解码器在压缩视频方面要出色得多，通常能达到 10 倍以上的压缩率。只有当这些传统编解码器被设置为最低、最“颗粒感”的质量设置时，新方法才能与之匹配。

为什么这很重要（即便它并不完美）

作者非常诚实地说明了局限性。他们承认，目前这种方法还不准备取代 YouTube 或 Netflix。它的训练速度太慢了（训练单个视频需要数千小时的计算机运行时间），而且在处理快速移动的场景时表现挣扎。

然而，他们发现了一些独特之处：文件大小是恒定的。 在传统视频中，如果你将电影长度增加一倍，文件大小也会随之翻倍。而在这种方法中，一旦超过了某个最小长度，无论视频是 1 分钟还是 1 小时，其文件大小都保持大致不变。这表明，对于超长、高分辨率的内容，这种方法未来可能会变得非常高效。

他们还构建了一个可以在浏览器中运行的工作原型，展示了利用标准 Web 技术在互联网上训练、发送和播放这些“神经视频配方”是完全可能的。

简而言之，这篇论文并没有发明一种能够击败现有冠军的新视频格式。相反，它证明了你可以将一段视频及其配乐存储在一个单一的数学大脑中，并且你可以将这个大脑缩小到可用的尺寸，而不破坏图像质量。这是迈向未来的一步——在那个未来，我们不再仅仅发送像素，而是发送“想象”出它们的指令。