CoGS: Compositional Dynamic Human-Object Scenes Gaussian Splatting from Monocular Video
CoGS 是一个组合式高斯泼溅（Gaussian-splatting）框架，通过将场景分解为协调的关节化人体、刚性物体和静态背景分支，从单目视频中重建动态人机交互场景，从而防止运动纠缠，并通过专门的多阶段优化调度提高重建保真度。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图通过单个摄像机去重构一个复杂的场景。在视频中，一个人正在客厅里一边跳舞一边玩耍手中的球。
问题在于，摄像机看到的只是一团混乱的像素。它不知道哪些像素属于移动的人，哪些属于移动的球，哪些属于静态的房间。如果你试图让计算机一次性学习这一切，它会感到困惑。计算机可能会认为球是人手臂的一部分，或者认为那个人正在融化进墙壁里。
CoGS 是一种新的方法，它通过扮演一个专业的电影摄制组，而不是一个困惑的摄像师来解决这个问题。Co loS 不再试图在一个大桶里学习整个场景，而是将工作拆分为三个独立的“演员”，每个演员都有自己的剧本和规则。
以下是它的工作原理，使用简单的类比：
1. 三位演员（组合分支）
CoGS 将视频分为三个独立的图层：
人类演员（灵活的舞者）：
人体是复杂的；它会弯曲、扭转，并且有部分会被遮挡（比如手躲在背后）。CoGS 给这位演员提供了一个“心理地图”（先验知识），即关于人类形态的知识。- 类比： 想象一位知道人类骨骼如何运动的木偶操纵师。如果摄像机因为箱子的遮挡而看不见木偶的左手，操纵师不会随机猜测；他们会利用解剖学知识知道手仍然在那里，只是被遮住了。CoGS 利用这种“知识”来填补空白，使人类看起来不像一个融化的色块。
物体演员（刚性道具）：
球或被持有的物体运动方式与人不同。它不会弯曲；它只是旋转并飞向空中。- 类比： 如果人类演员试图“吸收”球，球看起来可能就像是从人的皮肤里长出来的一样。CoGS 将物体视为一个独立的、刚性的道具。它严格追踪物体的路径，确保球始终是一个球，而不会“泄漏”到人的衬衫或背景墙里。
场景演员（静态舞台）：
房间、地板和墙壁是不动的。- 类比： 这就是舞台布景。当演员在面前移动时，它保持静止。CoGS 确保背景不会仅仅因为演员在面前快速移动而被“拉扯”或扭曲。
2. 排练日程（六阶段优化）
在乐手们练习好各自的部分之前，你不会把整个管弦乐队请上舞台。CoGS 使用了一个六阶段排练日程来保持有序：
- 单人练习： 首先，人类演员单独练习以确定其形状。然后，物体演员单独练习以确定其路径。它们此时还不会互相干扰。
- 合并： 一旦它们趋于稳定，就会被带到同一个舞台上（完整的场景）。
- 安全网： 在最终表演期间，如果摄像机丢失了对人类手的视线，“心理地图”（先验知识）会温柔地将手固定在原位，使其不会消失。如果物体开始变得奇怪，系统会根据其刚性路径进行修正，而不是根据混乱的像素。
3. 为什么它效果更好
以往的方法试图将整个视频学习为一个巨大的、纠缠不清的整体。这经常导致“重影”（看到双重图像）或“泄漏”（球看起来像是地板的一部分）。
CoHS 就像是一个**“信任并验证”**的系统：
- 它信任人类的“心理地图”来填补隐藏的部分。
- 它信任物体的刚性路径来保持运动平滑。
- 它验证一切是否符合实际的视频像素，以确保颜色和光照看起来真实。
结果
作者在两类视频上测试了该方法：
- 人与物体互动（例如打网球或提着行李箱）。
- 人在房间内移动（例如在公园里慢跑）。
在这两种情况下，CoGS 都比以往的方法产生了更清晰、更锐利且更真实的视频。它特别擅长于：
- 保持物体与人的分离。
- 确保背景在人移动时不会发生扭曲。
- 重构被摄像机遮挡的身体部位。
简而言之，CoGS 阻止了计算机尝试通过混合所有碎片来解决拼图的问题。相反，它将碎片分类放入三个盒子（人类、物体、房间），分别解决每个盒子，然后将它们完美地拼接在一起。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。