MoE-GS: Mixture of Experts for Dynamic Gaussian Splatting

本文提出了 MoE-GS，这是首个将混合专家（MoE）技术引入动态高斯泼溅的框架，通过新颖的体素感知像素路由自适应融合多种形变先验以提升动态新视图合成质量，并借助单遍渲染、门控剪枝及知识蒸馏等策略有效缓解了模型容量增加带来的效率挑战。

要点

这篇论文介绍了一种名为 MoE-GS 的新技术，它的目标是让计算机能更完美地“重现”动态的 3D 世界（比如一个正在切牛排、或者火焰跳动的场景）。

为了让你轻松理解，我们可以把这项技术想象成组建一个“超级修复团队”。

1. 遇到的问题：为什么现有的方法不够好？

想象一下，你有一堆动态的 3D 视频数据，想要重建出完美的画面。现有的技术就像只有一位“全能工匠”。

• 这位工匠很擅长修静止的物体（比如桌子），但在处理快速移动的物体（比如挥舞的刀）时就手忙脚乱。
• 或者，他擅长修火焰，但修切肉的动作时却总是修得歪歪扭扭。

论文发现，现实世界太复杂了，没有任何一种单一的“工匠”能搞定所有情况。有时候需要“慢工出细活”，有时候需要“快刀斩乱麻”。如果强行用一种方法去修所有东西，结果往往是一部分修好了，另一部分却一团糟。

2. 解决方案：MoE-GS（专家混合团队）

为了解决这个问题，作者们没有试图培养一个“全能神”，而是组建了一个**“专家混合团队”（Mixture of Experts, MoE）**。

• 团队构成：这个团队里有四位性格迥异的专家：
  1. 平滑大师：擅长处理缓慢、流畅的运动（比如火焰的飘动）。
  2. 细节狂人：擅长捕捉快速、剧烈的变化（比如切牛排的瞬间）。
  3. 插值高手：擅长在两个关键动作之间填补空缺。
  4. 多项式预测者：擅长预测有规律的轨迹。
• 核心创新：以前大家只能选一个专家干活。现在，MoE-GS 让这四位专家同时在场，但由一位**“智能指挥官”（Router）**来指挥。

3. 核心黑科技：体积感知像素路由（Volume-aware Pixel Router）

这位“智能指挥官”是怎么工作的呢？这是论文最精彩的地方。

• 以前的指挥官：只能看画面的表面（像素点）。比如看到“这里有个像素是红色的”，就决定用哪位专家。这就像只看衣服颜色来选医生，不够精准。
• MoE-GS 的指挥官：它拥有**“透视眼”。它不仅能看到像素，还能看到像素背后的3D 结构**（比如这个像素是由哪个 3D 小球体发出的，它在空间中的位置、大小、透明度）。
  • 比喻：想象你在看一场球赛。以前的指挥官只看观众席上谁在欢呼（像素）；MoE-GS 的指挥官能看到球场上每个球员（3D 高斯球）的位置和动作，然后决定：“哦，这个球员在快速跑动，让‘速度专家’来负责渲染他；那个球员在静止，让‘细节专家’来负责。”
• 如何指挥：指挥官通过一种叫**“权重泼洒”（Weight Splatting）**的技术，把 3D 空间里的决定“投影”到 2D 屏幕上。这样，屏幕上的每一个像素点，都是根据它背后的 3D 结构，由最合适的专家“混合”出来的。

结果：画面既保留了火焰的流畅，又保留了切肉的锐利，没有任何一处是“短板”。

4. 副作用与对策：团队人多，干活慢怎么办？

当然，让四个专家一起干活，计算量肯定比一个人大，速度会变慢，电脑也会更累（显存占用高）。作者们想出了两个聪明的办法来“减负”：

• 办法一：一次性打包处理（Single-Pass Rendering）
  • 比喻：以前是四个专家轮流去仓库拿材料，每个人跑一趟，效率低。现在，指挥官把四个专家的材料一次性打包，大家坐同一辆车去现场，到了再各自干活。这样省去了很多来回跑的时间。
• 办法二：智能剪枝（Pruning）
  • 比喻：团队里有些“小透明”专家，在某些场景下几乎不起作用。指挥官发现后，直接把这些不起眼的部分剪掉，只保留真正有用的部分。
• 办法三：知识蒸馏（Distillation）—— 终极绝招
  • 比喻：这是最厉害的一步。既然团队（MoE-GS）这么强，我们能不能让单个专家也变强？
  • 作者让团队里的“老大”（MoE-GS）给其他专家当老师。老大把怎么判断“哪里该用谁”的经验，通过“伪标签”教给单个专家。
  • 结果：经过“特训”后，单个专家也能达到接近“超级团队”的效果，但干活时只需要一个人，速度飞快，不需要再组建团队了。

5. 总结

这篇论文的核心思想就是：不要试图造一个完美的“超人”，而是组建一个各有所长的“梦之队”，并配上一个懂行情的“指挥官”。

• MoE-GS 让动态 3D 重建的效果达到了前所未有的高度（SOTA）。
• 它通过**“透视眼”指挥官**，智能地混合不同专家的优点。
• 它通过**“打包”和“剪枝”**解决了速度慢的问题。
• 它通过**“知识蒸馏”**，让单个模型也能拥有团队的智慧，方便以后在普通设备上运行。

这就好比，以前我们只能请一位全能厨师做菜，味道时好时坏；现在 MoE-GS 让我们拥有了一个顶级后厨团队，并且还能把团队的经验浓缩进一位厨师的大脑里，让他一个人也能做出满汉全席。

技术摘要

这是一篇关于动态场景重建的会议论文，发表于 ICLR 2026。论文提出了一种名为 MoE-GS (Mixture of Experts for Dynamic Gaussian Splatting) 的新框架，旨在解决现有动态高斯泼溅（Dynamic Gaussian Splatting）方法在复杂场景下泛化能力不足的问题。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 现有方法的局限性： 尽管 3D 高斯泼溅（3DGS）在静态场景重建中取得了巨大成功，但将其扩展到动态场景时，现有的单一方法（如基于 MLP 的形变网络、多项式运动模型、插值方法等）表现出不一致的性能。
• 核心发现： 作者通过实证分析发现，没有任何一种单一方法能在所有场景、所有空间区域或所有时间步长上保持最优。
  • 场景级差异： 不同模型在不同场景（如烹饪、火焰、切割等）中表现各异。
  • 空间级不一致： 同一场景的不同区域（如静止背景 vs. 快速运动物体）适合不同的形变模型。
  • 时间级波动： 随着时间推移，最佳表现的方法会动态变化。
• 根本原因： 现有的动态高斯方法具有异质的归纳偏置（Inductive Biases）。例如，基于 HexPlane 的方法擅长平滑轨迹，而基于插值的方法擅长捕捉局部不规则运动。真实世界的动态场景通常是这些运动模式的混合体，单一先验无法覆盖所有情况。

2. 方法论 (Methodology)

作者提出了 MoE-GS，这是首个将混合专家（Mixture of Experts, MoE） 架构引入动态高斯泼溅的框架。其核心思想不是减少计算量（不同于大语言模型中的 MoE），而是通过组合异构的形变先验来提升重建质量。

2.1 核心架构

• 专家网络 (Experts)： 框架集成了多种现有的动态高斯重建模型作为“专家”（例如：4DGaussians, E-D3DGS, STG, Ex4DGS）。每个专家独立训练，专注于捕捉特定类型的运动模式。
• 两阶段训练策略：
  1. 专家训练阶段： 独立优化每个专家模型，确保其达到最佳性能。
  2. 路由训练阶段： 冻结专家参数，训练路由网络以学习如何根据时空上下文动态混合专家输出。

2.2 关键创新：体积感知像素路由 (Volume-aware Pixel Router)

这是 MoE-GS 的核心组件，用于解决如何在像素级别自适应地混合专家输出的问题。

• 挑战： 仅在像素级别（2D）路由忽略了 3D 体积结构；仅在 3D 高斯级别路由则难以优化且缺乏视图一致性。
• 解决方案：
  1. 可学习的每个高斯权重： 为每个 3D 高斯赋予可学习的权重向量（包含时间、视图方向依赖）。
  2. 可微分权重泼溅 (Differentiable Weight Splatting)： 利用高斯泼溅渲染器，将这些 3D 高斯级别的权重投影到 2D 像素空间。
  3. 自适应混合： 路由网络根据投影后的像素级权重，通过 Softmax 计算每个专家在特定像素的贡献度，最终合成图像。
  • 优势： 这种方法既保留了 3D 几何结构的感知能力，又实现了像素级的自适应混合，确保了时空一致性。

2.3 效率优化策略

由于多专家推理会增加计算开销，作者提出了两种互补策略：

1. 单遍多专家渲染 (Single-Pass Multi-Expert Rendering)： 将所有专家的高斯合并为一个批次进行投影和可见性计算，仅在 Alpha 混合阶段分离专家输出，消除了重复的 GPU 内核启动和内存遍历。
2. 门控感知高斯剪枝 (Gate-Aware Gaussian Pruning)： 基于路由梯度的累积，识别并移除对最终图像贡献微乎其微的高斯，从而减少渲染负担。
3. 知识蒸馏 (Knowledge Distillation)： 为了在推理时完全摆脱多专家架构，作者提出将 MoE-GS 的性能蒸馏回单个专家模型。利用 MoE 生成的伪标签和路由权重作为置信度指导，训练单个专家模型逼近 MoE 的整体性能，实现轻量化部署。

3. 主要贡献 (Key Contributions)

1. 首个动态高斯 MoE 框架： 提出了 MoE-GS，首次将混合专家架构应用于动态高斯泼溅，实现了跨多样化动态场景的鲁棒重建。
2. 体积感知像素路由： 设计了一种新颖的路由机制，通过可微分权重泼溅将 3D 几何信息与 2D 像素混合相结合，实现了时空一致的自适应融合。
3. 效率与部署方案： 提出了单遍渲染和剪枝技术来优化 MoE 推理效率，并引入知识蒸馏策略，使得单个轻量级专家模型也能达到接近 MoE 的性能，解决了 MoE 架构通常带来的高计算成本问题。

4. 实验结果 (Results)

• 数据集： 在 N3V (Neural 3D Video) 和 Technicolor 两个标准动态场景数据集上进行了广泛实验。
• 定量性能：
  • MoE-GS 在两个数据集上均取得了最先进 (SOTA) 的平均性能（PSNR, SSIM, LPIPS）。
  • 在 N3V 数据集上，MoE-GS (N=4) 的平均 PSNR 显著高于所有单一专家模型和基线方法（如 HyperReel, 4DGaussians, STG 等）。
  • 即使在减少专家训练预算（如仅训练 20% 时间）的情况下，MoE-GS 依然优于完全训练的单一专家模型。
• 定性分析： 可视化结果显示，路由网络能够准确地将不同区域分配给最合适的专家（例如，将快速运动区域分配给插值模型，将平滑区域分配给多项式模型），有效消除了单一模型产生的伪影。
• 几何一致性： 通过多视图深度一致性（MDC）评估，证明 MoE-GS 生成的融合高斯模型在 3D 几何结构上比单一方法更稳定、更一致。
• 效率分析： 结合单遍渲染和剪枝后，MoE-GS 在保持高质量的同时，显著提升了 FPS 并降低了显存占用。蒸馏后的单专家模型在几乎不损失质量的情况下实现了实时部署。

5. 意义与影响 (Significance)

• 理论突破： 证明了在动态场景重建中，单一归纳偏置无法解决所有问题，而“分而治之”的混合专家策略是更优的解决方案。
• 技术启示： 提出的“体积感知路由”为处理 3D 表示与 2D 渲染之间的路由问题提供了新思路，不仅适用于高斯泼溅，也可能启发其他 3D 重建任务。
• 实际应用： 通过知识蒸馏和效率优化，MoE-GS 解决了 MoE 架构通常难以落地的痛点，为未来构建高保真、实时的动态场景生成和沉浸式内容（如空间计算、AGI 训练数据）提供了可扩展的框架。

总结来说，MoE-GS 通过巧妙结合多种异构的形变先验，并利用新颖的路由机制和效率优化策略，成功克服了现有动态高斯方法的局限性，在重建质量和泛化能力上树立了新的标杆。