💻 computer science

M2StyleGS: Multi-Modality 3D Style Transfer with Gaussian Splatting

本文提出了 M2StyleGS，一种基于 3D 高斯泼溅（3DGS）和 CLIP 多模态知识的实时 3D 风格迁移方法，通过引入细分流特征对齐、观察损失和抑制损失等机制，实现了利用文本或图像作为参考来生成高质量且风格一致的新视角。

原作者： Xingyu Miao, Xueqi Qiu, Haoran Duan, Yawen Huang, Xian Wu, Jingjing Deng, Yang Long

发布于 2026-04-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Xingyu Miao, Xueqi Qiu, Haoran Duan, Yawen Huang, Xian Wu, Jingjing Deng, Yang Long

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这是一篇关于M2StyleGS的论文介绍，我们可以把它想象成给 3D 世界“换皮肤”或“穿新衣”的魔法。

🎨 核心概念：给 3D 世界“一键换装”

想象一下，你手里有一个逼真的 3D 虚拟房间（比如你的客厅）。以前，如果你想把这个房间变成“梵高星空”风格，或者变成“赛博朋克”风格，你只能找一张固定的参考图片，让电脑照着画。

但 M2StyleGS 这个新发明更厉害，它不仅能看图，还能听你说话！

你可以上传一张梵高的画，它就能把 3D 房间变成梵高风格。
你也可以直接打字说：“把这个房间变成‘下雨的赛博朋克城市’"，它也能做到。

这就好比以前你只能拿着照片去裁缝店做衣服，现在你既可以拿照片，也可以直接跟裁缝描述你想要的样子，裁缝就能立刻给你做出来。

🚧 以前的痛点：为什么以前的方法“翻车”了？

在 M2StyleGS 出现之前，电脑在处理这种“多模态”（既看图又看字）的 3D 风格转换时，经常犯两个大错：

颜色乱飞（异常变换）： 就像你想把房间变成“温暖的夕阳色”，结果电脑给你整成了“荧光绿”。这是因为电脑没听懂文字和图片之间的微妙联系，把特征搞混了。
画面糊成一团（纹理模糊）： 原本清晰的物体边缘变得像被水浸过一样，模糊不清。

这就好比裁缝想给你做一件丝绸衬衫，结果因为没理解你的描述，给你织了一件毛线衫，而且颜色还染错了。

✨ M2StyleGS 的三大“魔法武器”

为了解决这些问题，作者团队设计了三个巧妙的策略：

1. “分步导航” (Subdivisive Flow) —— 拒绝“直线硬冲”

以前的做法： 就像让一个迷路的人直接从“起点”（文字描述）走到“终点”（艺术风格）。因为路太复杂，他直接冲过去，结果撞墙了（特征对不上，颜色错了）。
M2StyleGS 的做法： 他们发明了一种**“分步导航”**。想象你要从“文字描述”走到“艺术风格”，这条路太陡，他们把它切成了很多小台阶。
- 第一步：先走一小段，调整一下方向。
- 第二步：再走一小段，再微调。
- ...
- 最后：一步步稳稳地走到终点。
- 比喻： 就像下山时，不直接跳下去，而是沿着蜿蜒的台阶一步步走，确保每一步都踩在正确的石头上，不会滑倒（颜色不会错乱）。

2. “观察员” (Observation Loss) —— 找个“老画家”当老师

作用： 在生成 3D 风格的过程中，M2StyleGS 会请一位“老画家”（预训练的 2D 风格模型）在旁边盯着。
比喻： 就像你正在画画，旁边坐着一位大师。你每画一笔，大师就会说：“哎，这块颜色好像不太对，应该再暖一点。”
结果： 这样生成的 3D 画面，不仅像 3D 的，还保留了 2D 名画那种细腻的笔触和质感，不会变得干巴巴的。

3. “纠错员” (Suppression Loss) —— 防止“画蛇添足”

作用： 在转换过程中，有时候电脑会“想太多”，把一些不该有的颜色或杂讯加进去。
比喻： 就像你在做一道菜，厨师（电脑）可能会手抖多放了一勺盐。这个“纠错员”就像是一个严格的品控员，专门负责把那些多余的、错误的味道（杂色）给“压”下去，确保味道纯正。
结果： 保证了整个 3D 场景在不同角度看过去，颜色都是统一、干净的，不会出现这里红一块、那里蓝一块的奇怪现象。

🏆 效果怎么样？

作者做了很多实验，结果非常惊人：

更清晰： 相比以前的方法，画面清晰度大幅提升，不再模糊。
更一致： 当你围着 3D 场景转圈看时，风格不会忽变忽变，非常稳定。
更听话： 无论是用图片还是文字作为指令，它都能精准地理解你的意图。

📝 总结

M2StyleGS 就像是一个超级智能的 3D 装修设计师。
它不再死板地只认一张参考图，而是能听懂你的语言，也能看懂你的图片。它通过**“分步走”（分步导航）、“请老师”（观察员）和“严把关”**（纠错员）这三招，把原本容易出错、模糊的 3D 风格转换，变得精准、清晰且充满艺术感。

这对于未来的虚拟现实 (VR)、增强现实 (AR) 游戏或者元宇宙来说，意味着你可以随时随地，用一句话就把你的虚拟世界变成任何你想要的艺术风格！

1. 研究背景与问题 (Problem)

现有局限： 传统的 3D 风格迁移方法通常依赖于固定的参考图像来将艺术风格应用到 3D 场景中。然而，在虚拟现实（VR）和增强现实（AR）等实际应用场景中，用户往往希望使用更灵活的输入，例如文本描述或多样化的图像。
多模态对齐难题： 现有的多模态方法（如 ConRF）尝试利用 CLIP 的文本 - 视觉特征与 VGG 风格特征进行对齐。但由于 CLIP 特征分布的模糊性和多样性，直接映射往往导致粗糙的对齐。
具体缺陷： 这种粗糙的对齐导致了严重的视觉质量问题，包括：
- 异常颜色 (Abnormal colors)： 生成的颜色与参考风格不符。
- 纹理模糊 (Blurred textures)： 细节丢失，画面平滑化。
- 多视图不一致 (Inconsistencies)： 风格图像与文本描述之间存在偏差，且不同视角下的渲染结果不一致。

2. 核心方法 (Methodology)

本文提出了 M2StyleGS，一种基于 3D 高斯泼溅 (3D Gaussian Splatting, 3DGS) 的实时多模态 3D 风格迁移技术。其核心流程如图 2 所示，主要包含以下创新模块：

2.1 基础架构

3D 表示： 使用 3DGS 表示 3D 场景 $G = \{g_n\}$ ，每个高斯球包含位置、协方差、不透明度和颜色。
目标： 保持高斯球的几何结构（位置、形状、不透明度）不变，仅转换其颜色 $c_n \to c^s_n$ 。
多模态输入： 利用 CLIP 编码器提取风格图像或文本的特征，并通过映射模型 $F_c$ 将其转换为 VGG 风格特征空间。

2.2 细分流 (Subdivisive Flow) - 核心创新

为了解决 CLIP 特征空间与 VGG 风格特征空间分布不一致导致的对齐问题，作者提出了一种基于常微分方程 (ODE) 的“细分流”策略：

问题： 传统的直接映射（MSE Loss）假设特征服从高斯分布，但 CLIP 特征分布多变，导致直接映射失效（如图 3a 所示）。
解决方案： 将特征对齐过程建模为从源域（CLIP 特征 $\hat{X}^c_s$ $\hat{X}_{s}^{c}$ ）到目标域（VGG 特征 $X^v_s$ $X_{s}^{v}$ ）的流形流动。
- 定义一个漂移力 $v(X_t, t)$ ，引导特征沿线性路径流动。
- 使用 Euler 方法 将时间步 $t \in [0,1]$ 离散化为 $H$ 步，模拟细分过程。
- 多轮细化 (Flow Segmentation)： 将对齐过程分为 $r$ 轮。每一轮将上一轮的输出作为下一轮的起点，逐步细化特征分布，确保中间过程的所有特征都与 VGG 特征分布保持一致，从而实现精确对齐（如图 3b 所示）。

2.3 辅助损失函数 (Auxiliary Losses)

为了进一步增强视觉效果并维持多视图一致性，引入了两个新的损失项：

观测损失 (Observation Loss, $L_{obs}$ )：
- 利用预训练的 2D 风格迁移模型生成“真实”的艺术作品作为先验（Observation Prior）。
- 强制 3D 场景生成的伪艺术作品与 2D 先验在 VGG 特征空间上尽可能接近，优化生成过程。
抑制损失 (Suppression Loss, $L_{sup}$ )：
- 引入多尺度判别器，区分“合成伪作”与“真实 2D 风格化作品”。
- 在全局层面抑制解码过程中产生的误导性颜色偏移，确保颜色分布符合参考风格。

2.4 总损失函数

$L_{stylized} = L_{content} + \lambda_{style}L_{style} + \lambda_{obs}L_{obs} + \lambda_{flow}L_{flow}$
其中 $L_{flow}$ 对应细分流的对齐损失。

3. 主要贡献 (Key Contributions)

问题诊断： 深入分析了现有方法产生颜色异常和纹理模糊的根本原因，指出这是由于粗糙的艺术特征域迁移导致的特征分布不匹配。
细分流对齐方法： 提出了一种基于 ODE 的细分流（Subdivisive Flow）方法，通过多轮迭代和中间特征约束，实现了 CLIP 多模态特征与 VGG 风格特征的精确对齐。
辅助损失机制： 引入了观测损失和抑制损失，分别从“先验对齐”和“全局颜色抑制”两个维度优化了 3D 场景的迁移质量，显著提升了多视图一致性。
SOTA 性能： 首次实现了基于 3DGS 的任意场景多模态（文本/图像）风格迁移，在视觉质量和一致性上超越了现有最先进方法。

4. 实验结果 (Results)

数据集： 在 LLFF 和 Tanks & Temples 数据集上进行了评估。
定量指标 (一致性)：
- 在图像引导任务中，M2StyleGS 的短程一致性 LPIPS 比 ConRF 降低了 32.92%，比 StyleRF 降低了 25.68%。
- 在文本引导任务中，M2StyleGS 在所有指标（RMSE, LPIPS）上均显著优于 ConRF、CLIPNeRF 和 CLIPStyler。
- 相比之前的工作，一致性提升了高达 32.92%。
定性结果：
- 图像参考： 相比 ConRF 的模糊效果，M2StyleGS 能保持场景内容的完整性，同时实现更清晰、更精准的色彩迁移（如 "Fern" 场景）。
- 文本参考： 相比 CLIPNeRF（色彩丰富度不足）和 CLIPStyler（过度强调文本导致内容丢失），M2StyleGS 能更好地平衡语义理解与视觉保真度。
消融实验：
- 移除细分流会导致特征对齐度（SIM）下降，FID 升高。
- 移除 $L_{obs}$ 和 $L_{sup}$ 会导致 RMSE 和 LPIPS 上升，证明这两个损失项对维持多视图一致性和颜色准确性至关重要。

5. 意义与影响 (Significance)

技术突破： 成功将 3DGS 的实时渲染能力与多模态风格迁移相结合，解决了 3D 场景中多模态输入（特别是文本）带来的特征对齐难题。
应用价值： 为 VR/AR、游戏开发和数字内容创作提供了更灵活的工具。用户不再受限于单一的参考图，可以通过自然语言描述或任意图像快速生成风格化的 3D 场景。
质量提升： 有效解决了以往方法中常见的颜色异常和纹理平滑问题，实现了高保真、多视图一致的 3D 艺术化渲染。

总结： M2StyleGS 通过引入“细分流”机制和双重辅助损失，在 3DGS 框架下实现了高质量、多模态驱动的 3D 风格迁移，显著提升了生成结果的视觉质量和一致性，是该领域的重要进展。