Self-contained intraoperative surface acquisition on a mixed-reality headset: a comparison of sensor-based and learning-based reconstruction
本研究表明，一款商用混合现实头显仅利用其内置传感器即可获取术中器官表面信息，并发现虽然其飞行时间深度传感器在不透明组织上通常具有更高的精度，但基于学习的 RGB 重建在主动深度传感失效的半透明表面上提供了一种更具鲁棒性的替代方案。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图为一个柔软、不断变化的物体（比如一只巨大的、活生生的水母）构建完美的 3D 地图，而你正站在它旁边。在手术的世界里，医生也需要完全这样做来处理人体器官。在手术开始前，他们拥有一个来自 CT 扫描的静态 3D 模型，但一旦手术开始，像肝脏这样的器官就会移动、挤压并改变形状。为了安全地引导外科医生，他们需要实时更新那个数字地图，使其与实际蠕动的器官相匹配。这被称为“可变形配准”（deformable registration）。
难点在于，如何在不戳弄器官或使用大量会使手术室变得拥挤的额外摄像机的情况下，弄清楚器官现在的形状。于是，“混合现实”（MR）头显登场了。把这些想象成一种高科技眼镜，让你能在真实世界中看到漂浮的数字全息图。其中一些眼镜内置了测量距离的“眼睛”，有点像蝙蝠利用回声定位，只不过是用光。然而，这些内置的眼睛有时会被闪亮或透明的表面所迷惑，比如潮湿的皮肤或明胶。因此，科学家们在问：这些眼镜能否仅靠自身就很好地测量出器官的形状，还是说它们需要一个仅依靠普通视频摄像头和智能计算机猜测的备选方案？
这篇论文深入探讨了正是这个问题，使用的是 Magic Leap 2 头显。研究人员想要看看，头显内置的距离传感器（它发射不可见的脉冲光）是否能创建一个完美的器官 3-D 地图，或者一种“基于学习”的方法（即计算机观察普通照片并猜测深度）是否会更好。他们在由不同材料制成的假器官上进行了测试：有些是坚实且哑光的（就像白色的石膏模具），有些是透明且富有弹性的（就像红色的硅胶），甚至还有一个真实的猪肝。
团队发现，并没有一种单一的“最佳”方法；这完全取决于器官看起来是什么样的。当表面是坚实且不透明时（比如白色的石膏），头显内置的距离传感器是明显的赢家，它创建的地图精度在 2 到 3 毫米以内。这就像使用卷尺一样：直接且可靠。然而，当表面是半透明或难以捉摸时（比如红色的硅胶或真实的肝脏），内置传感器就会产生混乱。光线会在材料内部发生反射，使器官看起来比实际更近。在这种情况下，“基于学习”的方法（它仅仅分析普通的视频照片）表现得更好，避开了这些光学陷阱。
研究人员还在活体麻醉猪身上测试了这种方法，以观察它是否能在真实的临床手术环境中工作。他们发现，头显确实可以在不使用任何额外设备的情况下捕捉到肝脏的表面。然而，他们注意到一个问题：基于照片的方法需要从许多不同的角度观察器官才能很好地工作。如果外科医生只能从一个角度看到肝脏（这在狭窄的手术空间中经常发生），那么照片法就会表现挣扎，但内置传感器仍然能够生成一个不错的地图。
简而言之，这篇论文表明，商用 MR 头显可以作为一个自给自足的工具，用于手术期间的器官建模，但最佳策略会根据组织的类型而改变。如果组织是坚实且哑光的，请信任距离传感器。如果组织是潮湿、闪亮或透明的，请信任计算机的照片猜测。作者总结道，通过针对不同的组织选择合适的方法，外科医生未来或许可以丢掉笨重的外部摄像头，转而完全依赖他们的智能眼镜来导航人体内不断变化的景观。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。