← 最新论文
💻 computer science

Open-H-Embodiment: A Large-Scale Dataset for Enabling Foundation Models in Medical Robotics

该论文介绍了 Open-H-Embodiment,这是迄今为止规模最大的开源医疗机器人视频与同步运动学数据集,涵盖 49 家机构及多种机器人平台,并展示了基于该数据集训练的 GR00T-H 基础模型和 Cosmos-H 手术模拟器在实现端到端任务完成及多形态手术仿真方面的突破性进展。

原作者: Open-H-Embodiment Consortium (Brian), : (Brian), Nigel Nelson (Brian), Juo-Tung Chen (Brian), Jesse Haworth (Brian), Xinhao Chen (Brian), Lukas Zbinden (Brian), Dianye Huang (Brian), Alaa Eldin Abdel
发布于 2026-04-24
📖 1 分钟阅读☕ 轻松阅读

原作者: Open-H-Embodiment Consortium (Brian), : (Brian), Nigel Nelson (Brian), Juo-Tung Chen (Brian), Jesse Haworth (Brian), Xinhao Chen (Brian), Lukas Zbinden (Brian), Dianye Huang (Brian), Alaa Eldin Abdelaal (Brian), Alberto Arezzo (Brian), Ayberk Acar (Brian), Farshid Alambeigi (Brian), Carlo Alberto Ammirati (Brian), Yunke Ao (Brian), Pablo David Aranda Rodriguez (Brian), Soofiyan Atar (Brian), Mattia Ballo (Brian), Noah Barnes (Brian), Federica Barontini (Brian), Filip Binkiewicz (Brian), Peter Black (Brian), Sebastian Bodenstedt (Brian), Leonardo Borgioli (Brian), Nikola Budjak (Brian), Benjamin Calmé (Brian), Fabio Carrillo (Brian), Nicola Cavalcanti (Brian), Changwei Chen (Brian), Haoxin Chen (Brian), Sihang Chen (Brian), Qihan Chen (Brian), Zhongyu Chen (Brian), Ziyang Chen (Brian), Shing Shin Cheng (Brian), Meiqing Cheng (Brian), Min Cheng (Brian), Zih-Yun Sarah Chiu (Brian), Xiangyu Chu (Brian), Camilo Correa-Gallego (Brian), Giulio Dagnino (Brian), Anton Deguet (Brian), Jacob Delgado (Brian), Jonathan C. DeLong (Brian), Kaizhong Deng (Brian), Alexander Dimitrakakis (Brian), Qingpeng Ding (Brian), Hao Ding (Brian), Giovanni Distefano (Brian), Daniel Donoho (Brian), Anqing Duan (Brian), Marco Esposito (Brian), Shane Farritor (Brian), Jad Fayad (Brian), Zahi Fayad (Brian), Mario Ferradosa (Brian), Filippo Filicori (Brian), Chelsea Finn (Brian), Philipp Fürnstahl (Brian), Jiawei Ge (Brian), Stamatia Giannarou (Brian), Xavier Giralt Ludevid (Brian), Frederic Giraud (Brian), Aditya Amit Godbole (Brian), Ken Goldberg (Brian), Antony Goldenberg (Brian), Diego Granero Marana (Brian), Xiaoqing Guo (Brian), Tamás Haidegger (Brian), Evan Hailey (Brian), Pascal Hansen (Brian), Ziyi Hao (Brian), Kush Hari (Brian), Kengo Hayashi (Brian), Jonathon Hawkins (Brian), Shelby Haworth (Brian), Ortrun Hellig (Brian), S. Duke Herrell (Brian), Zhouyang Hong (Brian), Andrew Howe (Brian), Junlei Hu (Brian), Ria Jain (Brian), Mohammad Rafiee Javazm (Brian), Howard Ji (Brian), Rui Ji (Brian), Jianmin Ji (Brian), Zhongliang Jiang (Brian), Dominic Jones (Brian), Jeffrey Jopling (Brian), Britton Jordan (Brian), Ran Ju (Brian), Michael Kam (Brian), Luoyao Kang (Brian), Fausto Kang (Brian), Siddhartha Kapuria (Brian), Peter Kazanzides (Brian), Sonika Kiehler (Brian), Ethan Kilmer (Brian), Ji Woong (Brian), Kim, Przemysław Korzeniowski, Chandra Kuchi, Nithesh Kumar, Alan Kuntz, Federico Lavagno, Yu Chung Lee, Hao-Chih Lee, Hang Li, Zhen Li, Xiao Liang, Xinxin Lin, Jinsong Lin, Chang Liu, Fei Liu, Pei Liu, Yun-hui Liu, Wanli Liuchen, Eszter Lukács, Sareena Mann, Miles Mannas, Brett Marinelli, Sabina Martyniak, Francesco Marzola, Lorenzo Mazza, Xueyan Mei, Maria Clara Morais, Luigi Muratore, Chetan Reddy Narayanaswamy, Michał Naskręt, David Navarro-Alarcon, Cyrus Neary, Chi Kit Ng, Christopher Nguan, David Noonan, Ki Hwan Oh, Tom Christian Olesch, Allison M. Okamura, Justin Opfermann, Matteo Pescio, Doan Xuan Viet Pham, Tito Porras, Hongliang Ren, Ariel Rodriguez Jimenez, Ferdinando Rodriguez y Baena, Septimiu E. Salcudean, Asmitha Sathya, Preethi Satish, Lalithkumar Seenivasan, Jiaqi Shao, Yiqing Shen, Yu Sheng, Lucy XiaoYang Shi, Zoe Soulé, Stefanie Speidel, Mingwu Su, Jianhao Su, Idris Sunmola, Kristóf Takács, Yunxi Tang, Patrick Thornycroft, Yu Tian, Jordan Thompson, Mehmet K. Turkcan, Mathias Unberath, Pietro Valdastri, Carlos Vives, Quan Vuong, Martin Wagner, Farong Wang, Wei Wang, Lidian Wang, Chung-Pang Wang, Guankun Wang, Junyi Wang, Erqi Wang, Ziyi Wang, Tanner Watts, Wolfgang Wein, Yimeng Wu, Zijian Wu, Hongjun Wu, Luohong Wu, Jie Ying Wu, Junlin Wu, Victoria Wu, Kaixuan Wu, Mateusz Wójcikowski, Yunye Xiao, Nan Xiao, Wenxuan Xie, Hao Yang, Tianqi Yang, Yinuo Yang, Menglong Ye, Ryan S. Yeung, Nural Yilmaz, Chim Ho Yin, Michael Yip, Rayan Younis, Chenhao Yu, Sayem Nazmuz Zaman, Milos Zefran, Han Zhang, Yuelin Zhang, Yidong Zhang, Yanyong Zhang, Xuyang Zhang, Yameng Zhang, Joyce Zhang, Ning Zhong, Peng Zhou, Haoying Zhou, Xiuli Zuo, Nassir Navab, Mahdi Azizian, Sean D. Huver, Axel Krieger

原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明

这篇论文介绍了一项名为 Open-H-Embodiment 的突破性工作,它就像是为医疗机器人界建造了一座巨大的“图书馆”和“训练场”。

为了让你更容易理解,我们可以把这篇论文的核心内容想象成教一个超级机器人医生如何“看、想、做”手术的过程。

1. 核心问题:机器人医生太“笨”了,因为没书读

过去,医疗机器人(比如达芬奇手术机器人)虽然很精密,但它们几乎完全依赖人类医生远程操控。要让它们自己独立做手术(比如缝合伤口),非常困难。

为什么难?
这就好比你想教一个从未见过厨房的孩子做满汉全席,但你只给他看了一本只有 3 页的食谱(现有的医疗机器人数据集非常小,而且只有一种机器人能看)。

  • 数据太少: 以前的数据集就像几本小册子,机器人学不到什么规律。
  • 太单一: 以前的数据只针对某一种特定的机器人(比如只教达芬奇机器人,不教其他品牌的),机器人换个“身体”就不会动了。
  • 不公开: 很多数据被医院或公司锁在保险柜里,大家没法共享。

2. 解决方案:Open-H-Embodiment(开放 -H-具身数据集)

为了解决这个问题,来自全球 49 家机构(包括顶尖医院、大学和公司)的科学家们联手,把大家手里的数据都拿出来,拼成了一个超级大数据库。

  • 规模巨大: 这个数据库包含了 770 小时 的同步视频和机械臂运动数据。这相当于把以前所有医疗机器人数据的总和扩大了 几十倍。
  • 种类繁多: 它不仅仅包含一种机器人,而是涵盖了 20 种不同的机器人平台(从像达芬奇这样的大型手术机器人,到像机械臂一样的通用机器人,甚至包括超声波设备和内窥镜)。
  • 内容全面: 数据里有真实的手术录像(在猪身上做的实验、甚至真实病人的手术)、模拟训练、还有各种基础操作(如穿针引线、打结)。

比喻:
这就好比以前机器人只能看“单本漫画书”,现在 Open-H 给了它们一个包含 20 种不同身体形态、涵盖各种手术场景的“百科全书图书馆”。机器人可以从中学习到通用的手术逻辑,而不仅仅是死记硬背某一种机器人的动作。

3. 成果展示:两个超级 AI 模型

利用这个巨大的图书馆,研究团队训练了两个“超级大脑”:

A. GR00T-H:手术界的“全能实习生”

这是一个视觉 - 语言 - 动作模型。简单来说,它能看懂手术视频,听懂医生的指令,然后指挥机器人动手。

  • 表现惊人: 在著名的“缝合测试”(SutureBot)中,以前的顶尖模型要么完全失败,要么只能做一半。而 GR00T-H 是唯一一个能独立完成整个缝合流程的模型(成功率 25%,其他都是 0%)。
  • 举一反三: 它不仅在一种机器人上表现好,换到另外两种完全不同的机器人身上,也能立刻上手干活。
  • 数据效率高: 以前要教机器人一个新任务,需要很多很多数据。现在有了 GR00T-H,只需要很少的额外数据,它就能学会新技能。

比喻:
以前的机器人像是一个只会做一道菜的厨师,换个厨房(换台机器)就懵了。GR00T-H 像是一个读过万卷书、游历过 20 个不同厨房的“名厨学徒”,无论给他什么新厨房、什么新厨具,他都能迅速上手,甚至能独立完成一道复杂的缝合菜。

B. Cosmos-H-Surgical-Simulator:手术界的“平行宇宙模拟器”

这是一个世界模型。它能根据机器人的动作,预测下一秒手术画面会变成什么样。

  • 功能: 你输入一个动作(比如“把针扎进去”),它就能生成一段视频,告诉你扎进去后组织会怎么变形、血会怎么流。
  • 意义: 这就像给机器人提供了一个**“沙盒游戏”**。在让机器人上真实病人之前,可以先在模拟器里试错。如果模拟失败了,就调整策略,完全不用担心伤到真人。
  • 通用性: 它是第一个能同时模拟 9 种不同机器人平台的模型。

比喻:
这就像给机器人医生配了一个**“时间机器”或“电影预演系统”**。在真正动刀之前,它可以在虚拟世界里把手术“预演”几十遍,看看哪里会出错,哪里会流血,从而确保万无一失。

4. 总结与未来

这篇论文的核心思想是:数据是人工智能的燃料。

  • 以前: 医疗机器人因为缺乏数据,像是一个个只会走直线的“傻瓜”,稍微有点变化就卡壳。
  • 现在: 通过 Open-H 这个巨大的共享数据库,我们训练出了能理解复杂手术、适应不同身体、甚至能自我模拟的“聪明机器人”。

虽然还没到完全替代人类医生的地步(比如在真实人体上,机器人处理突发出血或组织变形的能力还需要提升),但这标志着医疗机器人从“人类遥控的玩具”向“具备自主能力的智能助手”迈出了最关键的一步。

一句话总结:
这就好比人类医生花了数百年积累的手术经验,现在被浓缩进了一个超级数据库,让 AI 机器人能在几天内“阅尽千帆”,学会像专家一样思考,为未来实现更安全、更普及的自动化手术铺平了道路。

您所在领域的论文太多了?

获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。

试用 Digest →