Compression as Adaptation: Implicit Visual Representation with Diffusion Foundation Models

该论文提出了一种将视觉信号编码为冻结生成模型低秩适配参数的函数式隐式表示框架，通过将其哈希为紧凑向量，实现了极低码率下的高感知视频压缩，并构建了连接视觉压缩与生成的统一范式。

要点

这篇论文提出了一种非常有趣且颠覆性的视频压缩新想法。为了让你轻松理解，我们可以把传统的压缩技术比作“打包行李”，而这篇论文提出的方法则是“传授魔法”。

1. 传统方法：笨重的“打包行李”

想象一下，你想把一部精彩的电影（视频）发给朋友。

• 传统做法：你不得不把电影里的每一帧画面（像素）都切碎了，像把衣服折叠得整整齐齐一样，塞进一个箱子里（压缩成数据包）。
• 问题：箱子再小，里面装的依然是“死”的数据。你的朋友收到后，必须把箱子打开，把衣服一件件拿出来拼好，才能看到电影。如果箱子太小（压缩率太高），衣服就会皱巴巴的，画面就模糊了。而且，这个箱子本身不包含任何“怎么穿衣服”的智慧，它只是数据的搬运工。

2. 新方法：传授“魔法咒语”

这篇论文的作者们换了一种思路。他们发现，现在的 AI 大模型（比如能生成视频的 AI）就像一位无所不知的“魔法大师”，脑子里已经装满了关于世界、光影、动作的所有知识（预训练知识）。

• 核心思想：我们不需要把电影画面本身打包发给朋友。相反，我们只需要给这位“魔法大师”写一张特殊的“魔法咒语”（也就是论文里的“隐式表示”或“适应向量”）。
• 怎么做：
  1. 我们让 AI 看着这部电影，然后微调一下它的“大脑”（通过一种叫 LoRA 的技术，只修改极少量的参数）。
  2. 这就好比给 AI 贴了一个小小的“便签”，告诉它：“嘿，当你念咒语时，请按照这个特定的剧本去生成画面。”
  3. 最后，我们把这个小小的“便签”（也就是那串参数）压缩成一个极短的向量（甚至可以说是一个“魔法种子”）。

3. 这个“魔法种子”有多神奇？

A. 极致的压缩（把大象装进冰箱）

• 比喻：传统的压缩是把大象切碎了塞进冰箱。而我们的方法，是只给冰箱留一张纸条，上面写着“大象的生成公式”。
• 效果：论文里提到，原本长达 81 帧的视频，现在只需要一个极小的向量（甚至可以说是一个“种子”）就能存下来。这个种子只有几 KB 甚至更小，比传统压缩小了无数倍。

B. 解码就是“现场表演”

• 比喻：你的朋友收到这个“种子”后，不需要解压一堆乱码。他只需要把这个种子交给他也有的那位“魔法大师”（同样的 AI 模型）。
• 过程：AI 看着种子，结合自己脑子里原本就有的丰富知识，现场重新“演”出这部电影。
• 优势：因为 AI 是在“理解”和“创造”画面，而不是在“拼凑”碎片，所以即使在极低的数据量下，画面依然非常清晰、自然，甚至能补全一些传统压缩会丢失的细节。

C. 随时可以“修改剧本”（推理时控制）

这是最酷的一点！

• 比喻：传统的录像带，你只能看，不能改。但我们的“魔法种子”是活的。
• 场景：
  • 如果你想在解码时让画面更清晰？没问题，AI 可以“多思考一会儿”（推理时扩展），自动优化画面。
  • 如果你想把视频里的一朵红花改成蓝花？只要改一下提示词，AI 就能在生成过程中直接修改，而不需要重新压缩整个视频。
  • 这就像你给 AI 一个“记忆”，它不仅能还原电影，还能基于这个记忆进行二次创作（比如把视频里的人换成另一个人，或者改变背景）。

4. 总结：从“存数据”到“存知识”

这篇论文的核心贡献在于：

1. 不再存储画面本身，而是存储“如何生成画面的指令”。
2. 利用 AI 大模型已有的海量知识作为基础，我们只需要传输“差异”（即那个小小的适应向量）。
3. 实现了超高清、超低码率的视频压缩，并且让压缩后的文件具备了可编辑、可优化的灵活性。

一句话概括：
以前的压缩是把视频“压扁”了存起来；现在的压缩是把视频的“灵魂”提取出来，变成一颗种子，让 AI 在接收端用这颗种子“种”出视频。这不仅省空间，还让视频变得更聪明、更好用。

技术摘要

这是一篇关于利用扩散基础模型进行视觉信号压缩的学术论文总结。该论文提出了一种名为VOV (Video/Image in One Vector) 的新框架，将视觉信号编码为生成过程的函数，从而实现极低比特率下的高感知质量压缩。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 现有局限： 现代视觉生成模型（如扩散模型）通过大规模训练积累了丰富的高级视觉知识。然而，现有的视觉表示（如像素、潜在变量 Latents 或 Token）通常是显式的，独立于模型之外。这意味着模型无法直接利用其内部知识来存储或复用过去的视觉信息，导致表示冗余和效率低下。
• 核心挑战： 传统的压缩方法（如 VAE 或神经编解码器）将信号编码为固定的潜在代码，而解码器是固定的。这种方法难以利用预训练大模型的生成先验知识，且在极低比特率下，基于像素保真度（PSNR）的指标往往与人类感知的视觉质量不匹配。
• 目标： 探索一种新的表示方法，将视觉信号编码为函数（即“如何生成该信号”），从而直接利用预训练扩散模型的知识，实现紧凑存储和灵活控制。

2. 方法论 (Methodology)

论文提出了一种**“压缩即适应” (Compression as Adaptation)** 的框架，核心思想是将视觉信号表示为对预训练扩散模型的参数化适应（Adaptation）。

2.1 核心概念：隐式视觉表示

• 函数化表示： 不同于将信号表示为像素数组，该方法将信号表示为一个生成函数。该函数描述了如何从噪声生成目标信号。
• 利用预训练先验： 预训练的扩散模型已经包含了“自然图像/视频”的分布知识。压缩的目标不是学习整个生成过程，而是学习如何微调（Fine-tune） 预训练模型，使其能够生成特定的目标信号。

2.2 技术实现步骤

1. 基于 LoRA 的参数高效微调 (PEFT)：

   • 使用低秩适应（LoRA）技术在冻结的预训练扩散模型（如 Wan 或 Qwen 模型）上添加可训练参数。
   • 训练目标是最小化流匹配（Flow Matching）损失，使模型在给定文本描述（Caption）和适应参数的情况下，能够生成目标视频/图像。
   • 从最小描述长度（MDL）的角度看，这相当于寻找偏离预训练模型路径最小的生成函数。

2. 单向量压缩 (One-Vector Adaptation)：

   • 哈希压缩： 为了进一步压缩 LoRA 参数，作者将所有层的 LoRA 矩阵通过一个固定的伪随机投影映射（Hashing Trick）压缩成一个单一的紧凑向量 $v \in \mathbb{R}^{1 \times k}$。
   • 熵约束量化： 对该向量进行训练感知的量化（Quantization）和熵编码，使其在保持重建质量的同时，参数比特率极低（约 1-3 bits/parameter）。

3. 推理时扩展与控制 (Inference-Time Scaling & Control)：

   • 推理时扩展： 在解码阶段，利用重要性采样（Importance Sampling） 和 序贯蒙特卡洛 (SMC) 思想。编码器在生成过程中，利用共享的伪随机数生成器（PRNG）在每一步生成多个候选粒子，并根据最优去噪核（Analytical Kernel）选择最佳路径。解码器利用相同的适应向量和 PRNG 确定性复现该路径。
   • 优势： 这种扩展主要在编码端增加计算量，解码端保持快速，且能显著提升重建质量。
   • 生成控制： 由于表示是函数形式的，可以在推理时通过修改文本提示（Prompt）来编辑内容（如改变颜色、合并图像），而无需重新训练。

3. 主要贡献 (Key Contributions)

1. 新框架： 提出了将视觉信号表示为生成函数的框架，自然利用了大规模预训练生成模型中的丰富知识。
2. 单向量压缩： 提出了一种将复杂视觉信号（如 81 帧视频）压缩为单个适应向量的方法，实现了极致的压缩率。
3. 推理时扩展策略： 识别了函数表示在推理时的灵活性，提出了一种基于重要性采样的推理时扩展策略，在不显著增加比特率的情况下显著提升了重建保真度。
4. 统一压缩与生成： 展示了该方法不仅能用于压缩，还能作为“视觉记忆”支持个性化生成和编辑， bridging 了压缩与生成式建模的界限。

4. 实验结果 (Results)

• 数据集： 在 UVG 和 HEVC (B/C/E) 等标准视频数据集上进行了评估。
• 对比基线： 与传统的视频编解码器（H.265/HEVC, H.266/VVC）以及现有的神经视频编解码器（如 DCVC-RT, GLC-Video）进行了对比。
• 性能表现：
  • 感知质量： 在极低比特率（约 0.01 bpp）下，VOV 在感知指标（DISTS, FVD, LPIPS）上显著优于现有方法。
  • 视觉细节： 即使在 PSNR 较低的情况下，VOV 也能重建出视觉上合理且细节丰富的结构，而传统方法往往出现模糊或伪影。
  • 时间一致性： 得益于视频扩散模型的时间先验，解码后的视频具有更好的时间连贯性，闪烁伪影更少。
  • 扩展性收益： 引入推理时扩展（Inference-time Scaling）后，在仅增加微量比特率（用于传输索引）的情况下，DISTS 和 FVD 指标有显著提升。
• 编辑能力： 实验展示了利用该适应向量进行零样本图像/视频编辑（如改变物体颜色、数量、合并场景）的能力，证明了其作为“视觉记忆”的有效性。

5. 意义与局限性 (Significance & Limitations)

意义：

• 范式转变： 从“编码信号本身”转向“编码生成信号的方式”，充分利用了大模型的先验知识。
• 极低比特率潜力： 为超低比特率（Ultra-low bitrate）下的视频传输提供了新的解决方案，特别适用于带宽受限场景。
• 压缩与生成的统一： 打破了传统压缩与生成式 AI 的界限，使得压缩后的数据可以直接用于可控的生成和编辑任务。

局限性：

• 模型容量依赖： 压缩和重建的质量受限于基础扩散模型的容量。对于文本等复杂语义，可能会出现语义不匹配。
• 编码时间： 类似于隐式神经表示（INR），编码过程（过拟合适应参数）需要较长的时间，目前缺乏高效的摊销编码器。
• 属性解耦： 在编辑过程中，模型可能无法完全解耦所有属性（例如改变发色时可能意外改变种族特征），这反映了基础模型的偏差。

总结

这篇论文提出了一种革命性的视觉压缩思路：不存储图像/视频本身，而是存储“如何生成该图像/视频”的微小参数调整。通过将视觉信号压缩为预训练扩散模型的一个单向量适应（One-Vector Adaptation），该方法在极低比特率下实现了卓越的感知质量，并赋予了压缩数据在推理时进行灵活控制和编辑的能力，为未来的视觉存储和传输提供了新的方向。