💻 computer science

AdvSplat: Adversarial Attacks on Feed-Forward Gaussian Splatting Models

本文提出了首个针对前馈高斯泼溅（Feed-Forward 3DGS）模型的系统性对抗攻击研究 AdvSplat，通过白盒及高效的黑盒攻击方法揭示了该模型在输入图像中注入不可见扰动即可严重破坏重建结果的安全隐患。

原作者： Yiran Qiao, Yiren Lu, Yunlai Zhou, Rui Yang, Linlin Hou, Yu Yin, Jing Ma

发布于 2026-03-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Yiran Qiao, Yiren Lu, Yunlai Zhou, Rui Yang, Linlin Hou, Yu Yin, Jing Ma

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于3D 重建技术（特别是“前馈高斯泼溅”模型）的安全隐患故事。简单来说，作者发现了一个新漏洞：即使你给输入的图片加上人类肉眼几乎看不见的“微小噪音”，也能让原本能完美生成 3D 场景的 AI 模型彻底“发疯”，输出乱码般的 3D 图像。

为了让你更容易理解，我们可以用几个生活中的比喻来拆解这篇论文：

1. 背景：从“慢工出细活”到“快餐式 3D 建模”

以前的 3D 重建（传统 3DGS）： 就像一位老工匠。每遇到一个新场景（比如一个房间），他都要花很长时间，对着照片反复打磨、调整，才能把这个房间的 3D 模型做出来。虽然做得好，但太慢了，没法大规模推广。
现在的 3D 重建（前馈 3DGS）： 就像一家高科技快餐店。它通过在大海一样的数据上提前“特训”（大规模预训练），学会了只要给你几张参考照片，就能瞬间（前馈）生成 3D 模型。这让它变得非常快，非常适合自动驾驶、VR 等需要实时反应的场景。
论文的核心问题： 这家“快餐店”虽然快，但它的“后厨”（神经网络）其实很脆弱。作者发现，只要有人往原材料（输入照片）里加一点点“毒药”（对抗性扰动），整个 3D 模型就会瞬间崩塌。

2. 攻击手段：看不见的“隐形墨水”

作者发明了一种叫 AdvSplat 的攻击方法。

比喻： 想象你在一张风景照上用隐形墨水画了几笔。普通人看照片，觉得风景很美，完全看不出异样（这就是“不可感知”）。
后果： 但是，当这张照片被送入那个“快餐店”AI 时，AI 却会把这些隐形墨水误读为极其重要的信息，导致它生成的 3D 房间变成了“一团乱麻”或者“全是白雾”。
图 1 的展示： 论文里的图 1 就展示了这种效果。左边是干净的输入，生成的 3D 房间清晰可见；右边是加了“隐形墨水”的输入，生成的 3D 房间虽然看起来还是那个房间，但细节全没了，甚至变成了噪点。

3. 两大挑战与解决方案：如何“黑”进黑盒？

作者面临两个大难题，就像你要攻击一个你进不去的保险箱：

挑战一：不知道密码（黑盒攻击）。 商业模型的内部参数是保密的，你只能看到它“输入什么”和“输出什么”，看不到它是怎么思考的。
挑战二：试错成本太高。 3D 模型生成的图像非常复杂，如果像无头苍蝇一样乱试（随机加噪音），可能需要试几亿次才能找到那个能破坏模型的点，这太慢太贵了。

作者的妙招：频率域“降维打击”
作者想出了一个聪明的办法，叫频率域参数化（DCT 技术）。

比喻： 想象你要破坏一首交响乐。
- 笨办法（像素空间）： 你试图去修改每一个音符的每一个微小振动（像素级），这需要巨大的工作量。
- 聪明办法（频率域）： 你发现，只要把交响乐里低沉、宏大的基调（低频成分） 稍微改一下，整首曲子就会变得完全走调。
具体操作： 作者把图片切块，只修改图片里代表“整体结构”的低频部分，而忽略那些代表“细节纹理”的高频部分。
- 这样做的好处是：需要修改的变量大大减少（从几百万个像素变成了几百个频率系数）。
- 结果： 攻击者只需要向 AI 模型询问很少的次数（Query），就能找到那个能“搞垮”模型的完美噪音。

4. 两种攻击流派

为了适应不同的情况，作者开发了两套攻击算法：

梯度估计法（Gradient-based）： 就像蒙眼走迷宫。虽然看不见路（不知道内部梯度），但可以通过试探（问模型“如果我往左走，结果变好还是变坏？”）来大致判断方向，一步步逼近目标。
无梯度法（Gradient-free）： 就像进化论。随机撒下一群“变异体”（不同的噪音），看看哪个变异体破坏力最大，然后让那个最强的“变异体”继续繁殖、变异，经过几代进化，最终得到一个破坏力极强的“超级病毒”。

5. 实验结果：威力巨大

作者在多个顶尖的 3D 模型（如 DepthSplat, NoPoSplat 等）上进行了测试：

数据说话： 原本能生成高质量 3D 图像的模型，在攻击下，图像质量（PSNR）下降了 50% 甚至 60% 以上。
视觉效果： 原本清晰的 3D 房间，攻击后变成了模糊的色块、黑斑，甚至完全变成了白茫茫一片（如图 3 和图 6 所示）。
隐蔽性： 最可怕的是，人类肉眼几乎看不出输入图片有任何变化（噪音非常小），但 AI 却“瞎”了。

6. 总结与警示

这篇论文就像给 3D 重建领域敲响了一记警钟：

现状： 我们正急于将这种“秒级生成 3D"的 AI 技术用于自动驾驶、机器人和元宇宙。
风险： 如果黑客利用这种“隐形墨水”攻击，可能会导致自动驾驶汽车“看”不到障碍物，或者机器人“看”错环境，造成严重后果。
呼吁： 社区不能只关注“做得快不快”，必须马上开始研究“怎么防得住”。就像造房子不仅要快，还要能抗地震一样，AI 模型也需要“防黑客”的加固。

一句话总结：
这篇论文发现，给 3D 重建 AI 的输入照片加一点点人类看不见的“隐形噪音”，就能让 AI 生成的 3D 世界瞬间崩塌；作者通过一种“只改大结构、不改小细节”的聪明策略，成功实现了这种攻击，提醒大家在享受 AI 速度的同时，必须重视其安全性。

这是一份关于论文 AdvSplat: Adversarial Attacks on Feed-Forward Gaussian Splatting Models 的详细技术总结。

1. 研究背景与问题 (Problem)

背景：
3D 高斯泼溅（3D Gaussian Splatting, 3DGS）因其实时渲染和高保真重建能力，已成为 3D 重建的主流范式。然而，传统的 3DGS 依赖“单场景优化”（per-scene optimization），导致推理效率低、泛化能力差。为了解决这一问题，前馈 3DGS 模型（Feed-Forward 3DGS） 应运而生。这类模型通过大规模预训练，仅需少量输入视图即可通过单次前向传播快速重建 3D 场景，具有巨大的商业部署潜力。

核心问题：
尽管前馈 3DGS 模型性能强大，但其基于神经网络的架构使其面临对抗攻击的风险。目前，学术界对传统 3DGS 的对抗攻击已有研究，但针对前馈 3DGS 模型的鲁棒性研究几乎为空白。
本文旨在回答以下关键问题：

前馈 3DGS 模型对抗对抗攻击的鲁棒性如何？
在无法获取模型内部参数（黑盒设置）的情况下，如何设计高效的攻击算法？

面临的挑战：

黑盒限制（Challenge 1）： 商业模型通常不公开权重，攻击者只能通过 API 查询输入输出，无法直接获取梯度。
计算成本高（Challenge 2）： 前馈 3DGS 模型通常基于大型 Transformer 架构，参数量大。传统的基于查询的黑盒攻击（如随机搜索）在高分辨率像素空间中进行优化时，查询次数需求巨大，导致时间和金钱成本过高。此外，重建任务没有明确的决策边界，使得基于决策边界的传统黑盒攻击方法失效。

2. 方法论 (Methodology)

作者提出了 AdvSplat，这是首个针对前馈 3DGS 模型的系统性对抗攻击研究。该方法包含两个阶段：

2.1 白盒攻击验证 (White-box Attack)

为了揭示模型的根本脆弱性，作者首先假设拥有模型权重，使用经典的 PGD (Projected Gradient Descent) 算法进行攻击。

目标函数： 最大化重建损失。由于重建任务没有离散标签，作者结合了均方误差 (MSE) 和 LPIPS（感知损失）作为优化目标。
结果： 实验表明，即使是对输入图像施加人眼不可见的微小扰动，也能导致重建质量严重崩塌（PSNR 大幅下降），证明了模型存在内在脆弱性。

2.2 黑盒攻击算法 (Black-box Attack)

针对实际应用场景，作者设计了两种高效的黑盒攻击算法，核心创新在于频域参数化（Frequency-domain Parameterization）。

核心策略：基于 DCT 的频域扰动
- 原理： 图像的低频分量包含主要的结构信息。作者将输入图像分块，对每个块进行 离散余弦变换 (DCT)。
- 降维： 仅对 DCT 系数中的低频部分（左上角 $s \times s$ 子块）添加扰动，保持高频部分不变。
- 逆变换： 通过逆 DCT (iDCT) 将扰动后的系数转换回像素空间。
- 优势： 大幅降低了优化空间的维度，从而显著减少了所需的模型查询次数，提高了攻击效率。
两种攻击变体：
1. 基于梯度的攻击 (Gradient-based, GB)：
  - 利用 自然进化策略 (NES) 来估计梯度。通过在噪声分布中采样扰动，计算损失加权后的扰动平均值来近似梯度。
  - 利用估计出的梯度方向更新扰动。
2. 无梯度攻击 (Gradient-free, GF)：
  - 利用 协方差矩阵自适应进化策略 (CMA-ES)。
  - 迭代地从多元高斯分布中采样候选扰动，根据表现最好的样本更新均值和协方差矩阵，引导搜索向更优解（即更高损失）方向移动。
  - 该方法完全不需要梯度信息，适用于模型对噪声不敏感或梯度不平滑的情况。

3. 主要贡献 (Key Contributions)

首创性研究： 首次系统性地研究了前馈 3DGS 模型的安全漏洞，揭示了其对抗攻击的脆弱性，填补了该领域的空白。
提出 AdvSplat 攻击框架： 设计了两种适用于黑盒场景的攻击算法（基于梯度估计和无梯度），两者均仅在频域操作，仅需访问模型的输入和输出。
高效的频域参数化： 提出基于 DCT 的扰动参数化方法，通过限制在低频分量进行优化，有效解决了高分辨率图像重建任务中黑盒攻击查询成本过高的问题。
广泛的实验验证： 在多个数据集（RE10K, DL3DV）和多个最先进的模型（DepthSplat, NoPoSplat, AnySplat）上进行了验证，证明了攻击的有效性。

4. 实验结果 (Results)

作者在 RE10K 和 DL3DV 数据集上对三个主流前馈 3DGS 模型进行了测试：

攻击效果显著：
- 定量指标： 攻击后，所有模型的 PSNR 和 SSIM 大幅下降，LPIPS 显著上升（表示感知差异变大）。
  - 例如，在 DepthSplat 上，PSNR 从 21.09 降至 7.57（下降 64.1%），LPIPS 从 0.228 升至 0.581（上升 154.8%）。
  - 在 NoPoSplat 上，PSNR 下降了 37.7%（GF 变体）。
- 定性结果： 渲染出的新视角图像出现严重的伪影、模糊甚至完全损坏（如全黑或全白），而输入图像上的扰动人眼几乎不可见（ $\ell_\infty$ 约束为 8/255）。
- 3D 高斯点云： 攻击导致高斯点的颜色和透明度发生剧烈变化，破坏了 3D 几何结构。
效率验证 (RQ2)：
- 对比实验显示，使用 DCT 频域策略（仅优化低频）比直接在像素空间优化（"no DCT"）收敛更快，且在相同查询步数下能达到更高的损失值。这证明了频域参数化显著提升了攻击效率。
不同攻击强度 (RQ3)：
- 随着扰动预算（ $\epsilon$ ）从 2/255 增加到 16/255，重建质量总体呈下降趋势。
- 值得注意的是，在极高扰动下（ $\epsilon=16/255$ ），部分指标（如 PSNR）出现反常上升，这是因为渲染图像崩溃为全白/全黑，与包含大量白/黑像素的干净图像产生了虚假的相似性，但视觉质量已完全不可用。

5. 意义与影响 (Significance)

安全警示： 本文揭示了前馈 3DGS 模型在商业部署中的严重安全隐患。攻击者可以通过向互联网上传经过微调的对抗样本，诱导用户或系统生成低质量的 3D 重建，从而损害公司声誉和用户信任。
推动防御研究： 这项工作将社区的关注点引向了 3D 重建领域的鲁棒性问题，呼吁研究者开发相应的防御机制（如对抗训练、输入净化等）。
方法论启示： 提出的频域参数化黑盒攻击策略，为其他高维输出、无决策边界的生成式或重建式模型的安全研究提供了新的思路。

总结： AdvSplat 证明了即使是人眼不可见的微小扰动，也能彻底破坏前馈 3DGS 模型的重建能力。这一发现对于保障未来 3D 重建技术在自动驾驶、机器人和元宇宙等关键领域的安全应用至关重要。