技术摘要：扩展序列到序列生成式神经渲染（Kaleido）

问题陈述

该论文指出了阻碍 3D 视觉和通用渲染可扩展性的两个主要瓶颈：

1. 碎片化的 3D 表示：该领域缺乏对统一 3D 表示的共识，方法被分割为显式结构（体素、点云）和隐式场（NeRFs）。这种碎片化阻碍了针对单一表示的架构进行集体扩展。
2. 3D 数据的高成本：由于需要严格的 3D 一致性，创建 3D 数据集既缓慢又昂贵，通常需要进行手动网格创建或复杂的多视图相机标注。

作者认为，3D 感知本质上是一种源于广泛观察的“视觉常识”，而非严格的几何问题。因此，他们提出理想的渲染系统应通过从大规模视觉数据中捕捉统计模式来学习隐式表示，而不是显式地建模完美的几何一致性。

方法论：Kaleido 框架

核心假设：
该论文提出，3D 可以被视为视频的一个专门子领域。正如大型语言模型从通用文本语料库中获得编码能力一样，通过将 3D 视为视频数据的结构化子领域，可以创建通用渲染模型。

统一的序列到序列公式：
Kaleido 将渲染重新表述为序列到序列的图像合成任务。它建模了在给定参考视图（$X_R$）及其对应的 6-DoF 相机姿态（$P_R, P_T$）的情况下，目标视图（$X_T$）的条件分布。这种“任意到任意”的视图预测通过掩码自回归框架处理。

架构创新：

1. 仅解码器整流流 Transformer：Kaleido 采用受扩散 Transformer（DiT）和 Llama-3 启发的可扩展 Transformer 架构，在整流流目标下运行。它使用掩码自回归框架生成图像令牌。
2. 统一位置编码（GTA）：一项关键创新是一种无参数编码方案，扩展了旋转位置编码（RoPE）和几何变换注意力（GTA）。该设计为以下内容创建了统一表示：
   • 2D 空间位置（像素坐标）。
   • 3D 相机姿态（6-DoF 外参）。
   • 时间位置（帧索引）。
     这使得同一架构无需修改即可处理多视图 3D 数据和视频数据。
3. 窗口化跨视图注意力：为了在保持效率的同时改善视图间的特征交换，该模型采用时间窗口注意力机制，其中查询令牌跨帧关注局部 $K \times K$ 窗口，而不是单个令牌。
4. 辅助视觉特征：该模型集成了预训练 DINOv2 编码器的特征，以增强深度估计和 3D 感知，特别是针对野外图像。

训练策略与稳定性：

• 两阶段训练：该模型首先在大规模非结构化视频数据（3400 万片段）上进行预训练，以构建稳健的世界表示。随后，它在结构化的多视图 3D 数据集（Objaverse, uCO3D, RealEstate10K, DL3DV）上进行微调，并采用渐进式分辨率扩展（256px $\to$ 1024px）。
• 处理大规模激活：作者观察到，由于“大规模激活”（数值达到 15k–24k），整流流 Transformer 中存在严重的训练不稳定性。他们通过在注意力层的键和值中附加可学习的“注册”（register）令牌来解决此问题，这在不降低性能的情况下稳定了激活幅度。
• 噪声偏差采样：标准的 logit-normal 采样被发现在渲染方面并非最优。作者引入了一种带有偏移因子的“模式”（Mode）采样器，将训练和推理偏向高噪声时间步（$t \approx 1$），即初始场景结构形成的阶段。这对于图像到 3D 渲染的高度受限解空间至关重要。
• 视图采样：使用指数分布来采样参考视图的数量，在训练期间优先考虑具有挑战性的低视图场景，以提高泛化能力。

主要贡献

1. Kaleido 空间生成模型（SGMs）家族：一个统一模型，能够从任意数量的参考视图到任意数量的目标视图执行对象级和场景级视图合成，并具备完整的 6-DoF 相机控制能力。
2. 统一架构：一个仅解码器的整流流 Transformer，利用单一位置编码设计无缝处理 3D 和视频数据，消除了对特定于 3D 的架构修改（例如 Plücker 射线编码）的需求。
3. 扩展配方：一个全面的扩展策略，涉及架构改进（SwiGLU, GQA）、稳定性技术（注册令牌）和定制的采样策略（噪声偏差 SNR 采样器）。
4. 用于 3D 的视频预训练：证明了在大规模视频数据上预训练显著提高了后续 3D 微调的效率和性能，减少了对稀缺的、带相机标注的 3D 数据集的依赖。

结果

新视图合成（NVS）：

• Kaleido 在对象级（OmniObject3D, GSO-30, RTMV）和场景级（LLFF, Mip-NeRF 360, Tanks and Temples）基准测试中实现了最先进的零样本性能。
• 少视图设置：尽管参数较少，Kaleido-Small（0.6B 参数）仍匹配或优于更大的基线模型（SV3D, EscherNet）。
• 多视图设置：Kaleido 是第一个在多视图设置下，在提供大量参考视图时，其渲染质量能够匹配每场景优化方法（如 Instant-NGP, 3D Gaussian Splatting）的零样本生成模型。在 LLFF 和 Mip-NeRF 360 上，它超越了 Instant-NGP。

相机条件视频生成：

• 在 DL3DV-140 和 Tanks and Temples 上的评估表明，Kaleido 在相机引导精度（旋转和平移误差）方面显著优于专门的相机条件视频模型（Wonderland, VD3D, ViewCrafter），在保持视觉质量的同时展现了更优越的几何一致性。

3D 重建：

• 当用作现成重建框架（NeuS2）的视图合成器时，Kaleido 在 GSO-30 数据集上实现了最先进的结果。
• 它展示了高视图效率，仅使用 2 个参考视图实现的重建质量优于 EscherNet 使用 10 个视图的效果。高分辨率（1024px）生成产生了具有精细、锐利纹理的网格。

意义与主张

该论文声称，Kaleido 代表了迈向通用、通用渲染引擎的重要一步。通过将 3D 和视频建模统一在单一的序列到序列框架下，它克服了 3D 表示的碎片化和 3D 数据的稀缺性。

关于意义的关键主张包括：

• 范式转变：将 3D 视为视频的专门子领域，使模型能够像大型语言模型从文本语料库中学习一样，从海量视频数据中继承空间感知和视觉常识。
• 零样本能力：首次，一个生成模型在多视图设置中，无需任何每场景训练或架构更改，即可匹配每场景优化方法的质量。
• 可扩展性：该模型表现出强烈的正向扩展特性，即性能随着模型大小和数据的增加而持续提高。

承认的局限性：
作者指出，Kaleido 目前不建模相机内参（无法实现推拉变焦效果），在极端低视图/高频场景下可能出现纹理闪烁或粘连，并且在极端视角变化下可能缺乏语义合理性。此外，推理速度尚未达到实时。未来的工作提议通过内参参数化、集成文本到图像先验以及推理加速技术来解决这些问题。