FAMOS: Feed-Forward 3D Articulation Modeling from Sparse Observations
FAMOS 是一个前馈模型，它通过多状态关节变换器（Multi-state Articulation Transformer）对多个观测值进行联合推理，并利用程序化数据生成器来克服数据集限制，从而从稀疏、无序的部分点云中预测 3D 关节参数和可动部件分割。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在机器人技术和虚拟现实领域，如何教机器理解日常物品的运动方式，长期以来一直是一个持续存在的挑战。我们通过打开门、拉开抽屉或拨动开关与物理世界互动，这些动作依赖于物体的某个部分相对于固定基座的运动。为了让计算机为这类物体创建数字孪生体——即一个可以在模拟中被操作或被机械臂使用的模型——它必须首先弄清楚哪些部分是可动的，以及它们究竟是如何旋转或滑动的。这之所以困难，是因为单张物体的快照往往隐藏了解决这一谜题所需的关键线索。一张关闭状态下的柜子的照片无法揭示其门是如何摆动的，正如一段视频的单帧画面无法展示门运动的全过程一样。以往试图解决这一问题的尝试，要么需要从各个角度进行详尽的高质量扫描，要么依赖于计算机根据以往见过的经验来猜测物体的行为，而这种策略在面对陌生的形状或不完整的视图时经常失效。
斯坦福大学和苏黎世联邦理工学院的研究团队推出了一种名为 FAMOS 的新方法，旨在通过同时从多个不完美的角度观察物体来克服这些局限性。该系统并不要求完美的、完整的 3D 扫描，而是可以处理由少量局部视图组成的集合，就像人们用手机随手拍摄的照片那样。其核心创新在于，该模型不会孤立地对待每一个视图。相反，它会综合观察整组观测结果，以寻找共同的线索：即运动。通过比较可见表面在不同视图之间的变化，系统可以推断出哪些部分在移动，并计算出它们旋转的精确轴线或滑动的方向。这使得即使在数据碎片化且物体从未被见过的情况下，该模型也能建立起对物体力学结构的准确理解。
研究人员构建的系统能够处理变数量的输入，这意味着它在必要时仅需单个视图即可工作，但当拥有多个视图时表现会显著提升。该模型通过一种专门的架构处理这些局部视图，该架构在专注于单张图像内的细节与退后一步对比所有图像之间交替进行。这种双重聚焦能力使其能够拼凑出物体运动的完整故事。为了训练这个系统，团队面临着现实世界数据的短缺，因为手动标注数千个具有运动部件和关节类型的物体是一个缓慢且昂贵的过程。为了解决这个问题，他们创建了一个程序化生成器，可以在训练期间实时构建数千个合成物体。这些数字资产由盒子和圆柱体等基础几何形状组装而成，由于它们是由计算机构建的，系统自然知道每个部分的运动方式，而无需人工标注。这为模型提供了近乎无穷无尽的练习数据，教会它识别运动模式，而非仅仅记忆特定的形状。
在与现有方法进行对比测试时，新系统展现出了明显的优势。在利用标准关节化物体基准进行的实验中，该模型不仅超越了旧有的前馈方法，也优于那些需要大量计算的复杂优化技术。旧方法往往在面对新的、未见过的物体时表现挣扎，或者在输入数据不完整时失效，而新系统则保持了极高的准确性。它在识别正确的运动部件以及预测其运动参数（如铰链的角度或滑动的方向）方面特别有效。在一组测试中，该系统在运动估计的准确度上比次优方法有了显著提升，同时运行速度比基于优化的替代方案快了近三千倍。或许最值得注意的是，尽管该系统完全是在合成的计算机生成数据上训练的，但它成功地泛化到了现实世界的照片和点云数据，能够准确预测真实物体的运动方式，尽管在训练期间从未见过真实的物体。
研究结果表明，理解物体力学的关键不在于完美的数据，而在于跨多组观测进行推理的能力。通过迫使模型去解释一组局部视图之间的差异，系统学会了忽略静态几何结构，转而关注运动的动态证据。这种方法让计算机不再需要依赖预先学习的关于椅子或柜子“应该”是什么样子的假设，从而使其能够适应新颖的设计和不规则的形状。研究表明，凭借正确的训练策略和一种重视视图间关系的算法，机器可以学会洞察物理世界中隐藏的力学机制，为开发更强大的机器人和更具沉浸感的虚拟环境铺平道路，使这些环境中的物体能像人类一样自然地进行交互。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。