CoGE: Sim-to-Real Online Geometric Estimation for Monocular Colonoscopy
本文提出了 CoGE，这是一种用于结肠镜术中在线单目几何估计的新框架，该框架利用光照感知监督模块和结构感知感知模块，在仅使用模拟数据进行训练的情况下，于真实世界数据上实现了最先进的性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你仅凭一支手电筒，试图在一条黑暗、狭窄且蜿蜒曲折的隧道中穿行。这基本上就是外科医生在进行结肠镜检查时所面临的状况。摄像头就像一只微小的独眼，凝视着一条漫长而封闭的管道。为了安全移动并找到正确的路径，外科医生需要理解这条隧道的三维形状——它有多深、墙壁在哪里弯曲、障碍物位于何处。
本文介绍了CoGE，这是一款专为该摄像头设计的新型“智能助手”。它的任务是将摄像头拍摄的平面二维视频，即时转换为结肠内部的三维地图。
以下是 CoGE 的工作原理，通过简单的类比进行解释：
1. 核心难题：“训练鸿沟”
通常，若要教会计算机进行三维视觉识别，你需要向其展示成千上万段真实的视频，且在这些视频中，你必须确切知晓三维形状的真实情况（即“真值”）。然而，在真实的结肠内部，由于空间过于狭窄且封闭，很难直接测量精确的三维形状。
因此，研究人员使用模拟数据（即完美生成的计算机模拟结肠视频，如同电子游戏版本）来训练 CoGE。
- 挑战所在：游戏化的结肠与真实的结肠截然不同。真实的结肠存在怪异的光照、反光亮点（眩光）以及杂乱的纹理。这就像教一名司机在阳光明媚的完美赛道上驾驶，随后却立即要求他在阴雨迷雾的城市中驾驶。通常，司机会感到困惑。
2. 解决方案：三副特殊的“眼镜”
CoGE 的特殊之处在于，它能够将从“完美游戏”中获得的训练成果，直接应用到“混乱的现实世界”中，而无需在真实数据上进行额外训练。它通过三个巧妙的技巧实现这一点：
“小波”眼镜（看清骨架）：
想象一下观察一张结肠的照片。有些部分是平滑的曲线（低频），而有些则是微小的褶皱或边缘（高频）。
CoGE 使用了一种称为小波分解的技术。这就像戴上一副特殊的眼镜，将图像分离为“骨架”（大轮廓）和“细节”（微小褶皱）。它学习到，无论结肠是在游戏中还是现实中，也无论光照如何不同，其“骨架”结构都是一致的。这有助于它在混乱环境中识别结构。“光线侦探”眼镜（忽略眩光）：
真实的结肠镜检查视频充满挑战，因为光线会在湿润的表面上反射，形成明亮的白色斑点（镜面反射），从而干扰摄像头。
CoGE 使用了一个基于Retinex 理论的模块（这是一种理解人眼如何将颜色与光线分离的方法）。它就像一名侦探，指出：“那个亮斑只是眩光，并非真实的墙壁。”它告诉系统：“不要信任这个亮斑处的深度计算；那只是反射。”这防止了系统被光照误导。“记忆过滤器”（遗忘过去）：
当摄像头在漫长的结肠中移动时，它会积累所见内容的记忆。但有时，记忆会被陈旧且无关的信息所充斥，这些信息与当前视野不匹配。
CoGE 拥有一个记忆遗忘机制。想象你正穿过一条走廊，回头看向 10 秒前经过的一扇门。如果那扇门现在被一堵新墙挡住了，你的大脑应该“忘记”那扇旧门，以便专注于新墙。CoGE 在数学上实现了这一点：它检查记忆，识别出不再相关的内容并将其删除，以免产生混淆。
3. 结果：“游戏完美”训练，“现实世界”表现
研究人员对 CoGE 进行了测试，发现了一个惊人的事实：
- 他们仅在模拟（游戏）数据上训练了它。
- 他们在真实的结肠镜检查视频上测试了它（这些视频它从未见过）。
- 结果：CoGE 的表现优于其他在海量真实数据上训练过的顶尖方法。它能够实时生成准确的三维地图和深度估计（超过每秒 15 帧），速度足以让外科医生在移动过程中使用。
总结
简而言之，CoGE 是一个通过学习完美模拟来掌握结肠三维深度视觉的系统。它利用特殊的“眼镜”来忽略不良光照、将重要形状与噪声分离，并清理其记忆。这使得它能够在混乱的现实世界中完美工作，而无需昂贵且难以获取的真实世界训练数据。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。