Simulating Infant First-Person Sensorimotor Experience via Motion Retargeting from Babies to Humanoids
本文提出了一种框架，能够从单目视频中重建婴儿的三维姿态，并将其重定向至物理和虚拟的人形平台上，以模拟丰富的多模态感觉运动体验，从而为发展科学、机器人学以及神经发育障碍的早期检测提供新工具。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
想象一下，你有一段家庭录像，记录着一个婴儿扭动、踢腿并抓挠自己脚趾的画面。通常，你只能像戏剧观众一样从外部观看。但如果你能神奇地缩小自己，走进婴儿的身体，真切地感受他们的感受呢？如果你能通过他们的眼睛看世界，感受手掌压在膝盖上的触感，并在他们翻身时体验到令人眩晕的旋转感呢？
本文描述了一种专为感官打造的“时间机器”，恰好能实现上述设想。研究人员构建了一套系统，能够捕捉一段简单的婴儿视频，并驱动机器人（或婴儿的计算机模拟模型）以完全相同的方式运动。一旦机器人像婴儿一样运动，它就会记录自身所有的内部传感器数据，从而让我们得以“亲历”婴儿的体验。
以下是这一魔法的实现过程，分解为简单步骤：
1. “机器中的幽灵”（动作重定向）
将视频中的婴儿视为舞者，将机器人视为木偶。研究人员开发了一种方法，能够观察舞者的动作，并即时让木偶复制每一个动作。
- 过程：他们获取一段婴儿视频，利用计算机视觉技术定位婴儿的“骨骼”（即肘部、膝盖和髋部的位置）。
- 转移：随后，他们将那些动作映射到不同的“身体”上。他们在三种不同类型的数字和实体婴儿机器人上进行了测试：
- iCub：一款外观酷似 4 岁儿童的实体机器人（及其计算机版本）。
- EMFANT：一个包含肌肉和骨骼的超精细计算机模型，旨在精确还原真实婴儿的解剖结构。
- MIMo：一个更简单的块状计算机模型，可调整大小以完美匹配婴儿的确切身高和肢体长度。
2. 穿上婴儿的“感官套装”
一旦机器人像婴儿一样运动，系统便会启动机器人所有的内部传感器，以记录婴儿本会感受到的内容。这就形成了一套研究人员可以在虚拟世界中穿戴的“感官套装”。
- 视觉（眼睛）：机器人的眼睛中装有摄像头。通过重放婴儿的动作，系统向我们展示了婴儿确切看到的景象。例如，当婴儿注视自己的手时，机器人向我们展示手占据了整个视野，甚至展示了双眼如何看到略微不同的角度（立体视觉），帮助婴儿理解深度。
- 触觉（皮肤）：机器人拥有覆盖着数千个微小压力传感器的“皮肤”。当视频中婴儿的手触摸自己的肚子时，机器人的传感器便会亮起。研究人员发现，大多数时候，婴儿主要触摸自己的手、躯干和腿部，从而形成一张特定的“自我触摸”地图。
- 本体感觉（身体图景）：这是指在不看的情况下感知肢体位置的感官。系统记录了机器人关节的角度，在最先进的模型（EMFANT）中，甚至模拟了肌肉的拉伸。这告诉我们婴儿如何“感受”自己的身体形态。
- 前庭觉（内耳）：机器人内置了平衡传感器（类似于内耳）。当视频中的婴儿翻身时，机器人记录下加速和旋转的冲击，向我们展示那种令人眩晕的运动感。
3. 为何这至关重要
研究人员测试了机器人复制婴儿动作的准确度。
- 结果：更简单、可调节的机器人（MIMo）最为精准，其复制婴儿动作的误差小于半厘米。即使是实体机器人（iCub）也表现良好，尽管由于它比真实婴儿更大、更僵硬，精度稍逊一筹。
- “通用语言”：尽管这些机器人的构造各不相同（一个是实体的，一个是肌肉丰富的，一个是块状的），但研究人员发现，它们的感官体验却惊人地相似。这就像三个不同的人描述同一场日落；他们使用的词汇不同，但对颜色和感受的共识是一致的。这证明该系统捕捉到的是婴儿体验的本质，而不仅仅是机器人特有的怪癖。
4. 观察婴儿的新方式
本文展示了该技术的实际应用：自动化记录。
通常，如果科学家想知道婴儿触摸自己身体的频率，人类必须观看数小时的视频并手动计算每一次触摸。这既缓慢又令人疲惫。
- 解决方案：由于机器人会在触摸发生时“感受”到触碰，计算机可以自动进行计数。研究人员对此进行了测试，发现机器人的计数结果与人类专家的计数非常接近。这就像拥有一个不知疲倦的助手，绝不会漏掉任何一次触摸。
总结
简而言之，本文提出了一种工具，能将婴儿的被动视频转化为主动的第一人称模拟。它使科学家能够进入婴儿的“皮肤”，透过他们的眼睛观看，并感受他们的动作。这有助于我们理解婴儿如何认识自己的身体和世界，并提供了一种新的自动化方法来研究发育行为，而无需将侵入式摄像头绑在真实婴儿身上。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。