Learning Implicit Constitutive Laws for Dynamic 3D Gaussian Splatting from Monocular Videos
本文提出了 GCA（高斯本构对齐），这是一个通过结合基于 LoRA 的自适应、基于秩的深度几何锚点以及本构先验正则化项，从单目视频中学习动态 3D 高斯泼溅隐式本构律的框架，旨在克服现有方法在物理可解释性和单目稳定性方面的局限性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
为了理解物体如何运动和改变形状，科学家们长期以来一直试图教会计算机物理学中隐藏的规则。当球弹跳、橡皮筋拉伸或粘土在压力下被挤压时，它们都在遵循特定的材料行为规律。这些被称为“本构方程”（constitutive laws）的规律，描述了物质对力的反应方式。为了让计算机创建出真实世界物体的逼真数字孪生体，它必须学习这些规则。挑战在于，虽然人类可以通过观察视频轻松推测出这些属性，但计算机却很难做到。由于缺乏深度信息，它们容易被平面图像所迷惑，或者在数据存在噪声时无法区分不同类型的材料。由于缺乏从单一摄像机视角学习这些规则的清晰方法，数字模型往往看起来僵硬，或者表现出违背现实的行为。
香港大学的一个研究小组开发出一种新方法来解决这个问题，使计算机能够仅通过观看物体运动的视频，就能学习这些隐藏的物理定律。他们的方法被称为 GCA，其关注的对象是由数千个组成 3D 形状的微小发光点表示的。研究人员首先从多个摄像机角度创建一个物体的静态 3D 模型，然后将该物体运动和变形的单段视频输入给计算机。目标是教会计算机掌握控制该物体弯曲、拉伸或挤压的具体规则，而无需任何其他传感器或测量手段。
研究人员发现，以往的方法在这种环境下经常失败，因为它们过度依赖于匹配颜色或精确的像素位置，而当光照发生变化或物体快速旋转时，这些信息可能会产生误导。相反，他们的新系统使用了两种巧妙的策略来引导学习过程。第一种策略侧重于几何结构。系统并不试图匹配视频中的每一个颜色，而是观察物体表面的相对深度。它会检查从近到远的点序是否保持一致，即使精确的距离难以确定。这使得计算机能够在物体运动时建立起对物体形状的稳定理解，从而忽略了单摄像机录制中常见的干扰噪声。
第二种策略解决了物体材质之谜。由于计算机并不知道它观察的是橡胶、塑料还是流体，该系统会同时测试几种常见的物理模型。它并非将这些已知模型视为僵化的规则，而是将其视为温和的建议。计算机尝试将视频数据拟合到这些建议中，并观察哪些模型能保持稳定。如果真实的材料是某种不符合任何标准模型的特殊物质，该系统仍然有效，因为它仅将这些模型作为防止学习过程偏离轨道的引导。这使得计算机能够学习物体的特定行为，而不必被强行限制在不符合实际的框架之内。
在测试中，研究人员展示了这种方法比现有技术效果显著更好。在已知真实物理参数的合成基准测试中，他们的系统在预测物体形状的误差上，比之前最强的模型降低了近一半。即使在视频数据稀疏或存在噪声的情况下（这是其他方法往往会完全失效的情况），该系统依然保持了鲁棒性。通过将灵活的学习方法与这两项引导策略相结合，研究人员创造了一种让计算机仅通过观察视频就能推断出材料科学中不可见规则的方法，让我们离那些运动和反应逻辑与现实世界同样自然的数字世界又近了一步。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。