技术摘要：利用扩散模型学习视觉纹理的最大熵模型

问题陈述

视觉纹理——即包含重复元素（如草地或树皮）的空间均匀图像区域——是无处不在且对于材料识别至关重要的。现有的纹理模型通常依赖于一组局部统计量来定义纹理系综。根据 Julesz 的猜想和最大熵原理，一个纹理类可以被建模为在特定统计量约束下“最随机”的概率密度。然而，当前的方法存在两个主要局限性：

1. 手工设计或迁移学习的统计量： 现有统计量要么是人工设计的（例如 Heeger 和 Bergen，Portilla 和 Simoncelli），要么是从针对无关任务（如物体识别）预训练的网络中提取的（例如 Gatys 等人使用 VGG19）。
2. 可扩展性与质量的权衡： 像 Gatys 等人的先进模型虽然能达到极高的视觉质量，但依赖于庞大的参数集（约 17.7 万个统计量）；而较小的、手工设计的模型往往缺乏视觉保真度。

作者旨在开发首个原则性的方法，用于无监督学习一组可以参数化最大熵概率纹理模型的统计量，同时推导出高效的采样程序。

方法论

1. 最大熵公式化

作者将纹理系综形式化为一个关于图像 $x$ 的参数化概率密度 $p_\lambda(x)$，该密度是在一组 $d$ 个统计量 $f(x)$ 的约束下满足最大熵的分布：
$$p_\lambda(x) = \frac{1}{Z(\lambda)} \exp\left( -\sum_{k=1}^d \lambda_k f_k(x) \right)$$
这里，$\mu = E[f(x)]$ 代表目标统计量，而 $\lambda$ 是由 $\mu$ 唯一确定的拉格朗日乘子（权重）。目标是直接从数据中学习函数 $f$（统计量提取器）以及到 $\lambda$ 的映射。

2. 通过去噪（扩散）进行训练

由于配分函数 $Z(\lambda)$ 的存在，通过极大似然直接优化 $f$ 和 $\lambda$ 是难以处理的。相反，作者利用了生成式扩散模型：

• 分数匹配（Score Matching）： 一个训练用于从噪声图像 $y$ 预测高斯噪声 $\epsilon$ 的去噪网络，可以近似分数函数 $\nabla_y \log p(y)$。
• 架构： 该模型采用双网络结构（图 1）：
  • 统计量网络 ($f_\theta$)： 一个 UNet 式的编码器，处理噪声图像 $y$。它使用具有独立参数的双编码器；输出统计量 $f_\theta(y)$ 通过对应通道的内积计算得出。
  • 权重网络 ($\lambda_\phi$)： 一个 ConvNeXt-T 模型，以干净的参考图像 $x$ 和噪声水平 $\sigma$ 作为输入，输出权重 $\lambda_\phi(x, \sigma)$。
• 目标： 两个网络通过联合训练来最小化预测噪声与实际噪声之间的均方误差，从而有效地学习最大熵密度的分数，而无需显式计算 $Z(\lambda)$。
• 数据集： 模型在从 ImageNet21K 中裁剪出的 100 万个均匀的 128x128 图像块上进行训练，这些图像块是基于一种源自可操纵金字塔分解的“均匀性”标准筛选出来的。

3. 采样程序

论文对比了两种生成以参考图像 $x_0$ 为条件的全新纹理的方法：

1. 统计量匹配： 一种基于优化的方法，通过迭代更新图像 $x$ 以最小化 $\|f(x) - f(x_0)\|^2$。这是以往纹理模型中使用的标准方法。
2. 扩散采样： 一种使用学习到的分数函数执行反向扩散过程（DDPM）的生成式方法，并在每个时间步长上以权重 $\lambda(x_0, \sigma_t)$ 为条件。

4. 对抗性比较

为了直接比较模型，作者采用了“MAD 竞争”策略。给定一个参考图像 $x_0$，他们合成一个图像 $x$，该图像在其中一个模型的统计量下与 $x_0$ 匹配，但在另一个模型的统计量下则表现出最大的差异。这暴露了每个模型的特定盲点和伪影。

核心贡献

1. 统计量的无监督学习： 首个通过数据学习统计量以参数化最大熵纹理模型的方法，而非依赖于手工设计或迁移学习。
2. 紧凑的高质量模型： 训练后的模型仅使用 512 个统计量（参数），却能生成视觉质量媲美甚至优于 Gatys 模型（使用 176,640 个统计量）的纹理。
3. 采样比较： 系统性的比较表明，虽然统计量匹配为所提模型提供了更高的样本质量，但扩散采样提供了一种独特的生成路径。
4. 表示空间分析： 证明了学习到的表示空间允许在纹理之间进行平滑插值。与 Gatys 模型在插值过程中产生分块空间混合不同，所提模型生成的纹理是均匀的，其特征在端点之间平滑过渡。

结果

• 视觉质量： 在测试纹理类（草地、鹅卵石、星星等）时，使用统计量匹配的所提模型生成的图像在视觉上与 Gatys 模型相似或更优。
• FID 分数： 在 9 个测试的纹理类别中，该模型在 8 个类别上的 FID 分数优于 Gatys 模型。作者指出，FID 并不完全适用于纹理评估，因为它依赖于基于 ImageNet 类别的物体识别网络。
• 对抗性比较：
  • Gatys 模型（在没有高通滤波约束的情况下）在被迫与所提模型产生差异时，会产生高频伪影。
  • 所提模型在被迫与 Gatys 模型产生差异时，会表现出涉及局部定向结构的特定伪影。
• 插值： 在所提模型中，在两个纹理表示（$\mu$ 或 $\lambda$）之间进行插值，会产生具有平滑过渡特征的均匀纹理。相比之下，Gatys 模型会产生“双重曝光”或分块混合现象，这表明其表示空间是非凸的。

意义与主张

本文声称提供了一个原则性的、数据驱动的纹理建模框架，弥合了统计纹理理论与现代生成深度学习之间的鸿沟。

• 效率： 它证明了紧凑的学习统计量（512 个）可以超越大规模的手工设计或迁移学习统计量（~17.7 万个），这表明统计量的具体选择比单纯的数量更重要。
• 科学用途： 作者强调该模型作为神经科学和心理学工具的潜力。与高维、不可解释的 Gatys 模型或较低质量的手工设计模型相比，这个 512 维的模型在视觉保真度和可解释性之间取得了平衡，可能允许研究人员在一个定义良好的表示空间中表征神经反应。
• 通用性： 该方法被呈现为可以推广到其他数据模态（例如时间序列声音片段、视频块等）的通用方法，只要这些模态可以被最大熵模型描述，并且使用了适当的网络架构归纳偏置。