💻 computer science

Neural Texture Compression using Hypernetworks

本文介绍了一种基于超网络的神经纹理压缩方法，该方法通过训练单个网络直接输出潜特征和解码器权重，消除了对逐材质梯度下降优化的需求，在实现与现有方法相当的质量的同时，还具备了多解码器推理和超分辨率能力。

原作者： Belcour Laurent

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Belcour Laurent

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大问题：东西太多，背不动了

想象你是一名正在构建真实世界的视频游戏开发者。为了让一张木桌看起来很真实，你不仅需要一张图片，还需要一整套“行李箱”式的纹理：一张表现木纹的图片、一张表现粗糙度的图片、一张表现光泽度的图片，以及一张表现如何反射光线的图片。

在过去，这些“行李箱”非常庞大。它们占用了太多的游戏机硬盘空间，以至于开发者甚至无法将整个游戏装进机器里。为了解决这个问题，他们使用了“压缩”（就像压缩文件一样）来缩小图像。但标准的压缩方法会丢失细节，导致木头看起来模糊或虚假。

旧方案：缓慢的私人裁缝

最近，科学家们发明了一种更聪明的方法，利用“神经网络”（AI）来压缩这些纹理。AI 不仅仅是缩小图像，它还会学习这些特定木材外观的“规则”。

然而，旧方法有一个重大缺陷：它是一个缓慢的、一对一的过程。
这就像一位高级裁缝，在为你家里的每一件家具都量身定制一套西装。

为了给桌子做一件西装，裁缝要花好几个小时专门为这张桌子测量和缝纫。
为了给椅子做一件西装，他们必须从头开始，再次花费数小时。
如果你有 1,000 件物体，裁缝就需要进行 1,000 次单独且漫长的作业。这对于制作游戏来说太慢了。

新方案：“神奇食谱生成器”（超网络/Hypernetwork）

这篇论文介绍了一种名为 Hypernetwork（超网络） 的新发明。

与其让裁缝一次只做一件衣服，不如想象一个 “神奇食谱生成器”。

输入： 你把一张木桌的照片交给生成器。
魔法： 生成器会瞬间吐出两样东西：
- 食材（Latents/潜变量）： 一份关于木材“风味”（纹理、颜色、粗糙度）的微型、压缩后的清单。
- 厨师（MLP/多层感知机）： 一张微型的、预先写好的“食谱卡”，它告诉计算机如何精确地将这些食材烹饪回全尺寸、高质量的图像。
结果： 计算机现在可以立即“烹饪”（解码）出纹理，就在游戏运行的过程中，而不需要进行任何缓慢的测量或缝纫。

核心创新点： 作者训练了 一个单一的 神奇食谱生成器来处理任何纹理。无论是木头、金属、皮肤还是织物，同一个生成器都能学会如何瞬间创造出特定的“食材”和“食谱”。它不需要再为每一个材质单独进行耗时的优化过程。

它是如何工作的（流水线）

论文将该生成器描述为拥有三个主要工作站：

扫描仪 (t-Encoder)： 它观察整个纹理集，并创建一个“摘要标记”（对材料本质的高层理解）。
大脑 (DiT Blocks)： 这是核心动力。它使用一种特殊的 AI 类型（Transformer）将摘要与图像细节结合起来。它能搞清楚“食材”和“食谱”具体需要什么。
打印机 (BC1 Conversion)： 它将大脑的想法转化为：
- Latents（潜变量）： 压缩的数据块（就像一个微型的压缩包）。
- Weights（权重）： 用于解码食谱的具体数值。

它还能做什么？

论文展示了这个“神奇食谱生成器”是非常灵活的。因为它足够聪明，你可以对其进行微调以实现其他酷炫的功能，而无需从头开始重新训练：

一个食谱通用于所有场景： 你可以强制生成器对每个物体使用 相同的 食谱（解码器），只改变食材。这会让游戏运行得更快，因为计算机不需要频繁切换食谱。
超分辨率（“放大器”）： 你可以给生成器输入一张模糊的、低分辨率的图像（比如缩略图）。生成器会学会“猜测”缺失的细节，并输出一个食谱，从而创造出一张清晰的高清图像。这就像给厨师看一张模糊的蛋糕照片，而他们能根据自己对蛋糕的了解，烤出一个完美且细节丰富的真实蛋糕。

实验结果

作者在数千种真实的纹理（木头、金属、织物）上测试了它。

质量： 它生成的图像与原始高质量照片几乎一模一样。你依然能看到细微的划痕和木纹。
速度： 与旧有的“裁缝”方法相比，它的设置速度要快得多，因为它不需要为每种材料单独进行优化。
泛化能力： 即使面对从未见过的纹理（比如某种奇怪的外星材料），它依然表现出色，完成了压缩和解码工作。

总结

简而言之，这篇论文用一个快速、通用的“AI 机器”取代了一个缓慢、定制化的过程。这个机器可以观察任何材料，瞬间搞清楚如何将其缩小到极小的体积，并写出一份食谱让它看起来完美如初。这节省了大量的存储空间，并使得在不降低游戏运行速度的前提下，在游戏中加入更多逼真的细节成为可能。

技术摘要：使用超网络进行神经纹理压缩

问题陈述

基于物理的渲染（PBR）依赖于多种纹理贴图（例如漫反射、法线、粗糙度）来模拟真实的材质交互。这些贴图消耗了大量的存储空间和带宽，尤其是在视频游戏等实时应用中。虽然近期的神经纹理压缩（NTC）方法已经展示了利用多层感知机（MLP）和潜变量纹理来学习紧凑的单材质表示的能力，但它们面临一个关键瓶颈：优化时间。现有的方法需要为每一个单独的材质进行一次独立的、计算昂贵的梯度下降优化过程，以寻找最优的潜变量特征和 MLP 权重。这种针对单材质的优化速度缓慢，阻碍了可扩展性。

方法论

本文提出了一种新颖的方法，通过使用一个**训练好的超网络（Hypernetwork）**来取代针对单材质的优化。该方法不再是为每个纹理集单独优化参数，而是让超网络学习如何将任何输入的纹理集直接映射到其压缩表示。

核心架构

该系统由一个单体超网络组成，它接收归一化的纹理集 $T$ 作为输入，并输出两个组件：

潜变量特征 ( $l_0, ..., l_N$ )： 一组块压缩纹理（具体使用 BCF1 变体，该变体利用 BC1 压缩）。
解码器权重 ($wb$)： 用于小型 MLP 解码器的权重和偏置。

重建过程通过以下公式执行：
$\text{mlp}([l(i,j)_0, ..., l(i,j)_N]; wb) \simeq T_{i,j}$

网络设计

作者使用了带有交叉注意力机制的**扩散 Transformer（Diffusion Transformer, DiT）**架构，并将其结构化为三个模块：

t-编码器（t-Encoder）： 一个结合了卷积和注意力机制的模块，用于对输入纹理集进行下采样并提取一组全局标记（tokens, $t$ ）。这些标记代表了材质的全局特征。
DiT 模块： 核心处理单元，在图像标记（源自输入的 $4\times4$ 像素块）与潜在标记（ $t$ ）之间应用交叉注意力。这使得网络能够将局部纹理细节与全局材质属性联系起来。
BC1 转换模块： 最终阶段将标记解码为特定的输出：
- 一个线性层将潜在标记转换为 MLP 权重 ($wb$)。
- 一个专门的模块将图像标记转换为 BC1 潜变量纹理 ( $l_i$ )。这涉及对标记进行重塑、应用卷积生成 22 个通道（代表 RGB 端点和混合参数），并应用带有偏移量的 Sigmoid 函数，以防止量化过程中的端点塌陷。

训练策略

该超网络在来自 Polyhaven 和 Sketchfab 的多样化纹理集数据集上进行训练，结合使用了 $L_1$ 范数和 DISTS（一种感知损失度量）。训练目标是最小化原始纹理集与由预测权重及潜变量生成的 MLP 重建集合之间的差异。模型被训练用于在不同材质间进行泛化，而无需进行针对单材质的梯度下降。

核心贡献

用于 NTC 的超网络： 引入了单个超网络，它可以为任何给定材质输出潜变量特征和解码器权重，从而消除了对单材质优化的需求。
质量与效率： 该方法实现了与当前参考神经纹理压缩器（依赖梯度下降）相当的压缩质量，同时显著缩短了生成压缩表示所需的时间。
通用性与重用性： 论文展示了训练好的超网络可以被改编用于标准压缩之外的任务：
- 共享 MLP： 网络可以经过微调，以输出一个对于所有纹理集通用的共享 MLP，仅让潜变量纹理发生变化。这通过消除需要基于分块分类来统一工作组的需求，简化了运行时执行。
- 超分辨率： 通过使用下采样输入 ( $T^l$ ) 和全分辨率目标 ( $T^h$ ) 来训练网络，该超网络学会了推断高频细节，即使在推理阶段缺乏高分辨率地面真值的情况下，也能有效地对 SVBRDF 进行超分辨率处理。

结果

定性分析： 视觉对比显示，解压后的输出保留了高频细节（如划痕和木纹），并且在包括训练集内的材质、测试集中的材质以及完全超出训练数据集的材质等各种场景下，在视觉上与输入是无法区分的。这证实了该模型的强大泛化能力。
定量/性能： 作者报告其未量化的模型权重在磁盘上占用 294MB。该方法成功地将 $4096 \times 4096$ 的纹理集压缩为一种可以实时解码的神经表示（BCF1 格式）。
泛化能力： 系统对训练数据中不存在的纹理集也能产生高质量的结果，验证了超网络学习到的是一种通用的映射而非过拟合特定资产。

重要性

该论文声称，这种方法是将神经纹理压缩应用于实时应用的重要进步。通过将计算负担从缓慢且不可扩展的单材质优化阶段转移到一次性的超网络训练，该方法实现了快速生成压缩神经材质。此外，能够将同一架构重用于超分辨率和共享解码器场景，突出了超网络方法在解决材质表示和渲染多样化挑战方面的灵活性。