💻 computer science

VENI: Variational Encoder for Natural Illumination

该论文提出了 VENI，一种旋转等变变分自编码器，它利用一种新颖的向量神经元视觉 Transformer 和一个条件神经场来在球面上建模自然光照，从而避免了 2D 投影，并因此实现了与现有方法相比具有更平滑插值的良好行为的潜空间。

原作者： Paul Walker, James A. D. Gardner, Andreea Ardelean, William A. P. Smith, Bernhard Egger

发布于 2026-06-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Paul Walker, James A. D. Gardner, Andreea Ardelean, William A. P. Smith, Bernhard Egger

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在尝试对一张照片进行逆向工程。你有一张场景的照片，但你不知道太阳长什么样，云在哪里，或者是什么时间点。这被称为“逆向渲染”（inverse rendering），这是一个非常棘手的谜题，因为许多不同的光照设置都可能产生完全相同的图像。

为了解决这个问题，计算机通常需要一个“规则手册”或先验知识（prior）——一套关于自然光通常如何表现的学习预期。例如，我们知道太阳通常是在上方，而不是下方，而且光线的颜色范围是有限的。

本文介绍了一个名为 VENI（用于自然光照的变分编码器，Variational Encoder for Natural Illumination）的新工具。以下是通过简单的类比来解释它的工作原理：

旧方法的问题 (RENI++)

在 VENI 出现之前，完成这项工作的最佳工具是 RENI++。你可以把 RENI++ 想象成一个盲人雕塑家，试图根据一张照片来重塑一座雕像。

问题所在： 每当雕塑家开始创作一座新雕像时，他们都会随机拿起一块“随机的粘土”（随机潜码/latent code）并开始雕琢。
缺陷： 因为雕塑家每次都从随机的粘土开始，两张非常相似的照片可能会得到完全不同的粘土块。更糟的是，雕塑家可能会不小心把同一座雕像做成了两个完全不同的粘土块。这使得“粘土库”变得混乱且难以理解。如果你尝试将两块粘土融合在一起去制作一座新雕像，结果可能会变成一个奇怪、破碎的残次品。

VENI 的解决方案：一个聪明、有序的图书馆

VENI 改变了游戏规则，它更像是一个聪明的图书管理员，而不是盲人的雕塑家。

编码器（图书管理员）： 当 VENI 看到一张照片时，它不会瞎猜。它拥有一套特殊的系统，能够瞬间观察图片，并从其有序的图书馆中找到代表该特定光照的精确“粘土块”（潜码）。
解码器（雕塑家）： 一旦拥有了正确的粘土块，它就会使用一种特殊的 3D 打印机（神经场/neural field）来完美地重现光照环境。

核心秘诀：旋转与 3D 思维

论文强调了 VENI 使用的两个主要技巧，使其优于竞争对手：

1. “旋转陀螺”规则（旋转等变性/Rotation-Equivariance）
想象一个旋转的陀螺。如果你旋转它，从侧面看它看起来不同，但它仍然是同一个陀螺。自然光照也是如此。如果我们将房间旋转 90 度，光照会发生变化，但光照表现的规则保持不变。

旧模型通常不得不将一个 3D 的光照球体压扁成一张 2D 的纸（就像地图一样），然后尝试从中学习。这种压扁过程会产生畸变（就像地图上格陵兰岛看起来异常巨大一样）。
VENI 直接在 3D 空间中工作。它将光照视为一个旋转的陀螺。它使用一种特殊的“向量神经元”（Vector Neuron）大脑，这种大脑理解：如果旋转输入，输出也应该随之旋转，而不会产生混乱或畸变。这就像是通过实际旋转来学习舞蹈，而不是试图通过一张平面的画来学习舞步。

2. “神奇指南针”（SO(2)-等变性）
作者意识到，虽然光可以在垂直轴周围旋转（就像指南针的指针一样），但在自然的户外场景中，光线不应该发生翻转或倾斜。

他们在 AI 中构建了一个特殊的层，这个层足够聪明，能够明白：“好的，左右旋转是可以的，但不要让颜色或‘向上’的方向出错。”这使得他们的模型更加高效且准确。

为什么 VENI 更好

论文证明 VENI 在两个主要方面取得了胜利：

整洁的图书馆（唯一性/Uniqueness）： 在旧方法中，两张相似的照片可能会得到两个完全不同的“粘土代码”。在 VENI 中，两张相似的照片会得到两个非常相似的代码。这意味着“图书馆”是有序的。如果你查到一个代码，你就确切知道它代表什么样的光照。
平滑的融合（插值/Interpolation）： 因为图书馆是有序的，所以你可以提取“日出”的代码和“正午”的代码，并将它们融合在一起。
- 旧方法： 融合它们可能会产生奇怪的伪影，比如太阳突然出现在天空中间。
- VENI： 融合它们会产生一个平滑、真实的过渡，太阳会在天空中自然移动，色彩也会从橙色到蓝色优雅地转变。

总结

VENI 是一种新的 AI 系统，它通过将自然光视为一个可以旋转的 3D 物体，而不是一张平面的、扭曲的图像，来学习自然光是如何运作的。它组织好了自己的知识，使得相似的光照拥有相似的“身份 ID”，从而能够在不产生奇怪视觉错误的情况下，实现不同时间段之间的平滑过渡。对于计算机理解我们世界的光照方式来说，这是一种更可靠、更有序且符合数学逻辑的方法。

技术摘要：VENI：用于自然光照的变分编码器

问题陈述

逆向渲染是一个病态问题，因为单张图像可以由多种形状、材质和光照的组合生成。虽然人类利用对光照空间的强大学习先验来解决这一问题，但现有的计算方法往往无法充分模拟自然光照。目前最先进的方法面临两个主要局限性：

缺乏旋转等变性： 许多模型忽略了光照环境的球面性和旋转等变性。虽然最近的一些工作（例如 RENI++）试图解决这个问题，但它们通常依赖于 2D 投影（等距柱状投影或立方体贴图），这会引入畸变，或者它们未能使编码器保持等变性。
潜在空间属性较差： 现有的旋转等变先验（如 RENI++）采用了“自动解码器”（autodecoder）架构。在这种设置中，潜在代码是为每张图像随机初始化的，并与模型进行联合优化。这导致了一个非唯一的潜在空间，其中相似的图像可能由截然不同的潜在代码表示。此外，这种方法无法扩展到大规模数据集，因为必须为每一张图像优化一个新的潜在代码。

方法论

作者提出了 VENI（用于自然光照的旋转等变变分编码器），这是一个旋转等变的变分自编码器（VAE），旨在不依赖 2D 投影的情况下对球面上的自然光照进行建模。该架构由三个主要部分组成：

1. SO(2)-等变全连接层

为了处理自然户外光照的特定对称性，作者扩展了向量神经元（Vector Neuron）框架。虽然标准的向量神经元提供 SO(3) 等变性，但自然光照环境拥有一个规范的“向上”方向，使得仅绕垂直轴的旋转（SO(2)）具有物理意义。作者设计了一种新型的 SO(2)-等变全连接层，其特点是：

将输入分为等变分量（x, y 维度）和不变分量（z 维度和颜色）。
在单个神经元内结合不变操作和等变操作。
确保不变维度（颜色、垂直轴）对 xy 平面旋转保持不变，同时仍能影响等变维度。
研究表明，在应用于 SO(2)-等变模型时，该层优于标准的向量神经元。

2. 向量神经元视觉 Transformer (VN-ViT) 编码器

编码器的核心是针对球面数据和旋转等变性适配的视觉 Transformer：

输入表示： 模型直接在 3D 域中运行，而不是使用 2D 投影。补丁（Patches）被采样为球面上的垂直条带。为了在不使用位置编码（这会破坏等变性）的情况下保持等变性，模型将颜色值与采样像素的 3D 方向向量进行拼接。
架构： 所有标准的 ViT 组件都被替换为其对应的向量神经元版本。模型会在补丁嵌入前添加一个可学习的“类标记”（class token）；该标记仅在不变维度上是可学习的，以保持等变性。
输出： Transformer 的输出通过两个 SO(2)-等变全连接层进行投影，以产生潜在代码的均值 ( $\mu$ ) 和方差 ( $\sigma$ )。

3. 旋转等变变分采样与解码器

采样： 为了确保潜在空间是旋转等变的，作者从由 3D 均值向量和 1D 方差定义的 3D 各向同性球面正态分布中进行采样，而不是从三个独立的 1D 分布中采样。
解码器： 模型采用了 RENI++ 解码器，这是一种旋转等变的条件神经场。它接收一个方向向量和 3D 潜在向量作为输入以输出颜色。通过对相对于潜在代码的方向进行编码并使用向量神经元不变层来实现条件化。

训练策略

模型在结合了多种数据集的基础上进行训练，以处理自然光的全动态范围：

RENI++ 数据集： 1,694 张高质量 HDR 等距柱状投影图像（户外场景）。
StreetLearn 数据集： 来自 Google Street View 的 43,310 张 LDR 360° 图像，已转换为 HDR。
课程学习： 模型首先在大型 StreetLearn 数据集上进行预训练，然后在较小的、更高质量的 RENI++ 数据集上进行微调。
损失函数： 训练利用对数空间损失以匹配人类视觉感知，使用平均绝对梯度误差（MAGE）来捕捉高频细节，使用尺度不变损失，以及用于颜色准确性的余弦相似度损失，以及针对 3D 各向同性分布调整的 Kullback-Leibler 散度（KLD）项。

核心贡献

新型编码器架构： 一种旋转等变的全景视觉 Transformer（VN-ViT），由新型 SO(2)-等变向量神经元实现，能够直接处理球面信号而不产生 2D 投影畸变。
表现良好的潜在空间： 一种旋转等变的自然光照先验，能够产生唯一的潜在空间，克服了像 RENI++ 这样基于自动解码器的方案所存在的非唯一性问题。
可扩展性： 通过前向传递而非为每张图像优化潜在代码来对图像进行编码，该方法可以扩展到大规模数据集。
全面的评估： 使用直观的指标对潜在空间唯一性和重建一致性进行了广泛评估。

结果

论文在各种潜在维度（ $D=27, 147, 300$ ）下将 VENI 与 RENI++ 进行对比评估：

重建质量： VENI 在性能上优于 RENI++，特别是在低维设置（ $D=27$ ）下，在 LDR 色调映射和线性 HDR 空间中均实现了更高的 PSNR、SSIM 和更低的 LPIPS 分数。
潜在空间唯一性： 作者证明了 VENI 的潜在空间具有显著更高的唯一性。当两个潜在代码被优化以匹配同一图像时，两者之间的插值对于 VENI 而言能产生一致的结果，而 RENI++ 则表现出显著的分歧（对于 $D=27$ ，MSE 分别为 0.04 对 1.46）。
插值： 定性结果显示，VENI 能够实现平滑且具有语义意义的插值（例如，从日出过渡到正午），而不会引入在 RENI++ 插值中观察到的伪光源或噪声等伪影。
可扩展性： 实验表明，VENI 在使用大型 StreetLearn 数据集进行训练时仍能保持性能，而 RENI++（由于需要逐图像优化）无法有效地扩展到此类数据集。

重要性

该论文声称 VENI 通过结合旋转等变性和结构良好的唯一潜在空间，解决了当前自然光照先验中的关键局限性。通过从自动解码器范式转向变分编码器，该模型确保了相似的图像映射到相似的潜在代码，从而促进了平滑插值，并允许使用大规模数据集。这为逆向渲染任务提供了一个更鲁棒的先验，能够处理复杂的自然户外光照统计规律，同时遵循球面几何的物理约束。