💻 computer science

Less Gaussians, Texture More: 4K Feed-Forward Textured Splatting

本文提出了 LGTM 框架，通过结合紧凑的高斯原语与每原语纹理，成功解耦了几何复杂度与渲染分辨率，从而实现了无需单场景优化的 4K 高分辨率前馈新视图合成。

原作者： Yixing Lao, Xuyang Bai, Xiaoyang Wu, Nuoyuan Yan, Zixin Luo, Tian Fang, Jean-Daniel Nahmias, Yanghai Tsin, Shiwei Li, Hengshuang Zhao

发布于 2026-03-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yixing Lao, Xuyang Bai, Xiaoyang Wu, Nuoyuan Yan, Zixin Luo, Tian Fang, Jean-Daniel Nahmias, Yanghai Tsin, Shiwei Li, Hengshuang Zhao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 LGTM（Less Gaussians, Texture More，即“少用高斯，多用纹理”）的新技术。它的核心目标是解决一个让计算机图形学头疼已久的难题：如何在不消耗巨大算力的情况下，让电脑瞬间生成超高清（4K）的 3D 场景，并且画面细节丰富到以假乱真。

为了让你轻松理解，我们可以把这项技术想象成**“装修房子”**的过程。

1. 以前的困境：用乐高积木拼出 4K 细节

在 LGTM 出现之前，现有的“前馈式”（Feed-Forward，即看一眼图就能直接生成，不需要反复调整）3D 重建方法，就像是用乐高积木来搭建一个场景。

问题所在：如果你想让画面从普通的 1080P 升级到 4K（像素点增加了 64 倍），按照老办法，你就需要把乐高积木的数量也增加 64 倍！
后果：这就像为了拼出一个更清晰的杯子，你不得不把整个仓库的乐高都搬来。电脑会瞬间“爆内存”，算不动了，或者需要花几个小时去慢慢拼（优化）。这就导致以前的技术只能做低分辨率的画面，一上 4K 就卡死。

2. LGTM 的绝招：把“骨架”和“皮肤”分开

LGTM 的核心思想非常聪明，它把“几何形状（骨架）”和“纹理细节（皮肤）”彻底分开了。

以前的做法：每个乐高积木（高斯球）既要负责决定形状，又要负责决定颜色。为了表现复杂的纹理（比如衣服上的花纹），你必须用成千上万个微小的积木去堆，非常浪费。
LGTM 的做法：
1. 先搭骨架（Primitive Network）：它只用很少量的、简单的“积木”（高斯球）把场景的大致形状（比如哪里是墙，哪里是桌子）搭建好。这就像是用几根大梁就把房子的结构定好了，非常省料。
2. 再贴皮肤（Texture Network）：在骨架搭好后，它给每个“积木”贴上一张高清的纹理贴图。这就好比给简单的积木人穿上了一件印着复杂花纹的 4K 高清 T 恤。

比喻：
想象你要画一个 4K 分辨率的苹果。

旧方法：你需要用几百万个微小的像素点去一点点描绘苹果的轮廓和光泽，累死累活还容易出错。
LGTM 方法：你先画一个完美的苹果轮廓（骨架），然后直接给这个轮廓“贴”上一张超高清的苹果照片（纹理）。既快，又清晰。

3. 它是如何工作的？（双管齐下）

LGTM 就像一个拥有两个大脑的艺术家：

大脑 A（几何脑）：只看低分辨率的输入图。因为它不需要处理细节，所以算得飞快，能瞬间确定场景的“骨架”在哪里。
大脑 B（纹理脑）：看高分辨率的输入图。它负责从原图中提取那些细腻的纹理（比如砖墙的缝隙、树叶的脉络），然后把这些细节“投影”并“贴”到大脑 A 搭建的骨架上。

关键创新点：
它不需要像以前那样，每生成一个新场景都要花很长时间去“微调”（Per-scene optimization）。LGTM 是**“即看即生”**的，就像你拍了一张照片，它瞬间就能在电脑里生成一个可以 360 度旋转查看的 4K 高清 3D 世界。

4. 效果有多牛？

论文中的实验数据非常惊人：

内存节省：以前想生成 4K 画面，显存（GPU Memory）直接爆掉（OOM，Out Of Memory）。LGTM 只需要以前不到一半的内存就能跑起来。
速度提升：像素数量增加了 64 倍（从 1K 到 4K），但 LGTM 的生成时间只增加了不到 1.5 倍。这就像是用同样的时间，以前只能画一张小画，现在能画一张巨幅油画。
画质：生成的画面不仅清晰，而且纹理细节（如文字、图案）非常锐利，没有模糊。

5. 总结

LGTM 就像是给 3D 重建技术装上了“外挂”。

它打破了“想要高清就必须堆数量”的魔咒。通过**“少用积木，多贴皮肤”**的策略，它让电脑能够瞬间生成以前只有专业电影渲染农场（需要几十台机器跑几天）才能做出来的 4K 级 3D 场景。

这对我们意味着什么？
这意味着未来的VR/AR（虚拟现实/增强现实）、元宇宙或者手机上的 3D 拍照功能，将不再卡顿，不再模糊。你可以用手机拍一张照片，瞬间在眼镜里看到一个清晰、真实、可以随意走动的 4K 世界，而且这一切都是瞬间完成的，不需要等待。

一句话概括：LGTM 让 3D 世界从“用乐高一点点拼”变成了“给骨架穿高清衣服”，既快又美，还省资源。

这是一篇关于计算机视觉和图形学领域的会议论文（发表于 ICLR 2026），提出了一种名为 LGTM (Less Gaussians, Texture More) 的新框架。该框架旨在解决前馈式（Feed-Forward）3D 高斯泼溅（3DGS）方法在高分辨率渲染（如 4K）方面的可扩展性瓶颈。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

现有方法的局限性： 现有的前馈式 3DGS 方法（如 NoPoSplat, DepthSplat 等）通常预测与像素对齐的高斯原语（Primitives）。这意味着高斯原语的数量随着图像分辨率的平方级增长（例如，从 512 分辨率升级到 4K，原语数量需增加 64 倍）。
资源瓶颈： 这种二次方增长导致网络预测和渲染在高分辨率下变得计算和内存开销过大，甚至无法训练（Out of Memory, OOM）。
纹理与几何的耦合： 传统 3DGS 将外观（颜色）和几何耦合在同一个原语中。为了表现丰富的纹理细节，即使几何结构简单的表面也需要大量高斯原语。
现有纹理方法的不足： 虽然已有带纹理的高斯方法，但它们通常需要针对每个场景进行优化（Per-scene optimization），无法实现通用的前馈式推理。

2. 核心方法论 (Methodology)

LGTM 的核心思想是解耦几何复杂度与渲染分辨率，通过预测“紧凑的几何原语”配合“每个原语的独立纹理”来实现高分辨率渲染。

2.1 双网络架构 (Dual-Network Architecture)

LGTM 采用两个子网络分别处理几何和外观：

原语网络 (Primitive Network, $f_{prim}$ ):
- 输入： 低分辨率图像 ( $I_{low}$ )。
- 功能： 预测紧凑的 2D 高斯几何参数（位置 $\mu$ 、尺度 $s$ 、旋转 $r$ 、颜色 $c$ 等）。
- 策略： 采用高分辨率监督。虽然输入是低分辨率的，但网络被要求在高分辨率下进行渲染和监督。这迫使网络学习适合高分辨率渲染的预测尺度，建立鲁棒的几何先验。
纹理网络 (Texture Network, $f_{texture}$ ):
- 输入： 高分辨率图像 ( $I$ ) 和来自原语网络的几何特征 ( $F_{prim}$ )。
- 功能： 预测每个高斯原语的独立纹理图（颜色纹理 $T^c$ 和 Alpha 纹理 $T^\alpha$ ）。
- 关键技术：
  - 图像分块 (Image Patchify)： 提取高分辨率图像的局部特征。
  - 投影映射 (Projective Mapping)： 利用逆投影变换，将高分辨率源图像“渲染”回高斯纹理图上，提取高频纹理细节作为先验特征。
  - 特征聚合： 融合几何特征、局部图像特征和投影纹理特征，生成最终的原语级纹理。

2.2 训练策略 (Training Recipe)

采用两阶段渐进式训练：

第一阶段： 仅训练原语网络，使用低分辨率输入但高分辨率监督，建立稳固的几何基础。
第二阶段： 联合训练原语网络和纹理网络。原语网络参数以较低的学习率微调，纹理网络从零初始化（颜色纹理叠加在球谐函数 SH 基础颜色上），逐步引入高频细节。

2.3 渲染机制

在渲染时，每个高斯原语不再仅依赖单一颜色，而是通过双线性采样从其专属的纹理图 ( $T^c, T^\alpha$ ) 中获取颜色和透明度，从而在保持几何原语数量少的情况下，实现 4K 级别的细节渲染。

3. 主要贡献 (Key Contributions)

首个前馈式纹理高斯网络： LGTM 是第一个能够预测带纹理高斯原语的前馈网络，无需针对每个场景进行优化。
几何与外观解耦： 通过双网络架构，将几何预测限制在低分辨率，而将高分辨率细节通过纹理映射实现。这使得在 4K 分辨率下，仅需极少量的几何原语（例如 512x288 网格）即可实现高质量渲染。
广泛的适用性： 该框架可应用于多种基线方法，包括单视图 (Flash3D)、双视图 (有姿态 DepthSplat/无姿态 NoPoSplat) 和多视图 (VGGT) 设置，且支持有无相机姿态的场景。

4. 实验结果 (Results)

分辨率扩展能力：
- 传统方法（如 NoPoSplat）在 2K 及以上分辨率训练时因显存不足而失败（OOM）。
- LGTM 成功在 2K 和 4K 分辨率下训练，显存占用显著降低（例如 4K 训练仅需约 28GB 显存，而传统方法无法运行）。
性能指标 (DL3DV 数据集 4K 测试)：
- NoPoSplat (4K): 无法训练/渲染。
- LGTM (4K): 使用 512x288 原语 + 8x8 纹理，PSNR 达到 24.489，SSIM 0.803，LPIPS 0.200。相比基线方法，LPIPS 降低了 23%-75%。
推理效率：
- 当像素数增加 64 倍（从 512x288 到 4096x2304）时，LGTM 的峰值显存仅增加 1.80 倍，总推理时间仅增加 1.47 倍。相比之下，传统方法无法处理如此大的分辨率提升。
消融实验： 证明了图像分块特征、纹理颜色图和纹理 Alpha 图对提升高频细节和整体质量均至关重要。

5. 意义与影响 (Significance)

突破分辨率瓶颈： LGTM 解决了前馈式 3D 重建方法长期受限于低分辨率（几百像素）的问题，首次实现了前馈式 4K 高斯泼溅。
实际应用价值： 对于增强现实 (AR)、虚拟现实 (VR) 等需要即时重建且要求高视觉保真度的应用场景，LGTM 提供了无需场景优化即可生成高质量、高分辨率新视角的解决方案。
效率与质量的平衡： 通过“少高斯，多纹理”的策略，证明了在保持几何结构紧凑的同时，利用纹理映射可以极大地提升渲染质量，为未来的 3D 生成和重建提供了新的范式。

总结： LGTM 通过巧妙的架构设计，将几何预测与纹理细节分离，成功克服了前馈式 3DGS 在高分辨率下的计算和内存瓶颈，实现了无需优化即可生成 4K 级高质量新视角的突破。