技术摘要：LumiTokens：基于 Token 空间光照变换的 3D 重光照

问题陈述

3D 重光照（即在任意目标照明下渲染重建场景的能力）是将在 3D 资产部署到电影制作、视频游戏和电子商务等实际应用中的关键步骤。现有解决该问题的方法通常分为三类，每种方法都有显著的权衡：

1. 逆向渲染（Inverse Rendering）： 这些方法恢复显式的 3D 表示（几何、法线、反照率、粗糙度）并重新评估渲染方程。虽然具有多视图一致性，但它们需要密集的捕捉、昂贵的逐场景优化，并且受限于其所选 BRDF 模型的表达能力。
2. 基于扩散的模型生成（Diffusion-Based Generation）： 这些方法利用扩散模型作为外观先验来合成重光照视图。虽然它们能产生逼真的效果，但通常在视图空间或视频空间内运行，缺乏共享且持久的场景表示。因此，每次改变光照都需要进行一次完整的生成过程，且光照编辑无法累加。
3. 混合方法（Hybrid Approaches）： 这些方法结合了前馈几何编码与生成式外观合成。虽然它们避免了逐场景优化，但仍依赖于显式的 3D 参数化（如 3DGS）以及必须针对每种新光照条件重新运行的生成分支。

所有现有范式的一个共同局限是，光照编辑无法作为对持久场景表示的增量更新进行维护。本文观察到，近期的潜在场景表示（Latent Scene Representations）将多视图图像编码为紧凑的、不具备固定物理语义的 Token，这提供了一个全新的设计空间，使得重光照可以被表述为潜在空间中的直接变换。

方法论

作者提出了 LumiTokens，这是一个基于 Transformer 的框架，它完全在学习到的潜在 Token 空间内执行 3D 重光照，绕过了显式的 3D 表示、渲染方程和基于物理的分解。

架构概览

该框架由三个主要部分组成：

1. 编码器（Encoder）： 一个 Transformer，将一组稀疏的带位姿的多视图输入图像（及其 Plücker 射线嵌入）映射为一组紧凑、固定大小的一维无结构场景 Token ($z$)。
2. 场景 Token 编辑器（Scene Token Editor）： 一个执行重光照操作的 Transformer 模块。它以场景 Token ($z$) 和一组光线 Token ($\ell$) 作为输入。通过自注意力机制，编辑器对场景 Token 和光线 Token 进行联合处理，生成更新后的场景 Token ($z'$)。至关重要的是，输出仍处于与输入相同的潜在空间中，从而实现了持久化编辑。
3. 解码器（Decoder）： 一个基于射线条件的 Transformer，用于从场景 Token 渲染新视图。它使用 DPT 头将输出 Token 重新组装成高分辨率的密集图像，确保纹理锐利且具有高频细节。

光信号 Token 化（Light Signal Tokenization）

为了通过统一的接口支持多样化的光照类型，所有的光照信号都被参数化为 Plücker 射线 Token。照明被离散化为从光源采样到场景的一组光线。每个光线 Token 由其射线几何（Plücker 坐标）、光谱强度和辐射功率定义。这种统一的表示方式可以容纳：

• 环境贴图（Environment Maps）： 建模为具有零矩的定向射线。
• 点光源（Point Lights）： 建模为源自特定 3D 位置的射线。
• 面光源（Area Lights）： 建模为在发射表面上采样的射线。

这种 Token 化实现了原生的 3D 用户交互（例如，在特定坐标处放置点光源），尽管潜在空间本身缺乏显式的空间结构。

渐进式重光照（Progressive Relighting）

LumiTokens 的一个核心特性是渐进式重光照。因为编辑器的输出 ($z'$) 与其输入 ($z$) 处于相同的潜在空间，用户可以逐个增加光源来逐步构建照明。编辑过程遵循递归关系：
$$z^{(s)} = T(z^{(s-1)}, \ell^{(s)})$$
其中 $z^{(s)}$ 是经过 $s$ 次编辑后的场景状态。这使得光照编辑可以在 Token 空间中进行组合，而无需在每一步都进行重新编码、重新评估渲染方程或重新生成视图。

训练目标

模型通过联合优化编码器和场景 Token 编辑器进行训练，同时保持预训练的解码器冻结。训练损失结合了：

1. 渲染损失 ($\mathcal{L}_{render}$)： 结合了像素级 $\ell_2$ 损失和 LPIPS 感知损失，通过监督解码输出与地面真值（Ground-truth）重光照图像的一致性来进行训练。为了支持渐进式编辑，模型在随机的光照链上进行训练，在序列的每一步应用损失，以防止分布漂移。
2. 光照不变性损失 ($\mathcal{L}_{inv}$)： 该损失惩罚了当同一场景在不同光源照射下捕捉时，编码 Token 之间的差异。这鼓励编码器剔除光源光照的影响，确保场景 Token 捕捉到持久的身份特征（几何与材质），而由编辑器处理与光照相关的变化。

核心贡献

1. 潜在 Token 重光照（Latent Token Relighting）： 本文证明了 3D 重光照可以直接作为学习到的潜在 Token 空间中的直接变换来执行，从而消除了对显式 3D 表示、渲染方程或基于物理分解的需求。
2. 场景 Token 编辑器： 引入了一个通过场景 Token 与 Plücker 射线 Token 之间的自注意力机制执行重光照的 Transformer 模块。它支持环境贴图、点光源和面光源的统一接口，实现了原生的 3D 用户交互。
3. 渐进式与可组合编辑： 该方案支持渐进式重光照，即光照编辑可以在 Token 空间中进行组合。这实现了增量式的照明设计，而现有的范式只能通过每一步都进行全量重新计算来实现。

实验结果

作者在大型合成数据集（来自 Objaverse 的 2 万个物体）上对 LumiTokens 进行了评估，并将其与最先进的方法进行了对比。

• 多视图重光照： 在 PSNR、SSIM 和 LPIPS 方面，LumiTokens 取得了优于基于扩散的模型基准（Neural Gaffer, DiffusionRenderer, LightSwitch）的定量性能。它在不同视图间保持了外观和光照效果的一致性，而基准模型则表现出残留源光照和高光不一致等伪影。
• 新视角重光照： 在未见过的视角进行评估时，LumiTokens 在性能上超越了逆向渲染方法（TensoIR, NVDiffrecMC）和多视图扩散方法（LightSwitch）。值得注意的是，LumiTokens 使用显著更少的输入视图（8 个）就达到了这些结果，而逆向渲染基准需要 50 个视图，扩散基准 LightSwitch 需要 16 个视图。
• 定性性能： 视觉对比显示，LumiTokens 成功处理了复杂的照明场景，包括物体间的阴影和反射，并能够高保真地支持渐进式添加光源（例如，先添加环境贴图，再添加点光源，最后添加面光源）。

意义与主张

论文声称 LumiTokens 代表了重光照范式的根本转变。通过将重光照视为潜在场景 Token 上的变换而非分解或生成问题，该方法实现了：

• 持久性（Persistence）： 光照编辑可以累加到可重用的场景状态中，而无需重新生成。
• 高效性（Efficiency）： 它避免了逐场景优化或针对每次光照变化进行完整扩散过程带来的计算开销。
• 灵活性（Flexibility）： 通过统一的 Token 接口支持多样化的光照类型和渐进式编辑。

作者指出，虽然之前的工作已将潜在 Token 用于视图合成，但这是首个证明此类表示可以通过直接的、可组合的变换来支持重光照的工作。该方法解决了在几何与外观纠缠的空间中维持连贯光照变换的挑战，开启了一种全新的交互式 3D 编辑形式。