Image transmission through a multimode fibre in reflection mode with physics-guided deep learning towards ultrathin endoscopy
本文提出了一种物理引导的深度学习框架，该框架将反射式实值强度传输矩阵与图像修复网络相结合，旨在实现通过反射模式下的多模光纤进行单次、无需相位检索的图像恢复，从而显著提升超薄内窥镜成像的图像质量与泛化能力。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
想象一下，如何在不做大型切口的情况下观察人体内部。长期以来，医生一直依赖内窥镜——一种带有摄像头的柔性管——来窥视气道或血管等狭窄通道。然而，通过一根既极其细又极具柔性的管子来获取清晰的图像是一项重大的工程挑战。传统的细管内窥镜通常使用由数千根微小玻璃纤维组成的束，但这些纤维只能产生具有蜂窝状纹理且清晰度有限的图像。一种更有前景的替代方案是称为多模光纤的单根超细玻璃纤维。这种纤维足够灵活，可以穿过人体最困难的角落进行扭转和转向，但它会如此彻底地散射光线，以至于如果你通过它投射一张图片，传到另一端的图像看起来就像是一团随机的、闪烁的点阵。多年来，科学家们一直努力试图从这种混乱中还原出原始图像，尤其是在使用“反射”模式时——即同一根纤维既负责发送光线，又负责接收从组织反射回来的光线。
伦敦国王学院的一个研究小组现在开发出了一种解决这一难题的新方法，能够在一瞬间将混沌的光斑转化为清晰的图像。他们的这种方法详述于最近的一项研究中，结合了一种巧妙的基于物理学的计算方法和一种旨在清理图像的人工智能技术。他们并没有尝试一次性逆向工程复杂的散射光线，而是首先利用一个数学地图创建一个物体的粗略、模糊的草图。然后，一个专门的计算机网络会对该草图进行处理并进行精细化，填补缺失的细节并去除噪声。这个两步走的过程使他们无需使用复杂的设备来测量光波的相位（这是此前使以往方法难以在实际医疗场景中应用的要求），就能实现透视纤维内部的观察。
研究人员构建了一个系统，将激光束送入一根长度为2米、芯径为600微米的多模光纤。在光纤的最远端，光线撞击一个物体并沿着原路返回。由于光线在往返过程中经历了两次散射，这会在近端的相机上产生一个高度复杂的明暗点阵图案。为了理解这一现象，团队首先进行了校准过程。他们将一系列已知的图案投影到光纤顶端的数字镜面上，并记录了光线在返回过程中的散射情况。通过这些测量，他们构建了一个“反射实值强度传输矩阵”。简单来说，这是一个巨大的查找表，它能根据光强度的变化，预测任何给定物体在散射后应呈现出的模糊图案，而无需知道光波不可见的相位信息。
利用这个查找表，系统可以根据单次拍摄的散射光瞬时生成图像的第一种猜测。这个初始图像并不完美，通常会有颗粒感且对比度较低，但它捕捉到了物体的基本形状和布局。研究人员随后将这个粗略图像输入到四种不同类型的深度学习网络中，这些网络是经过训练、能够识别并恢复视觉细节的计算机程序。这些网络充当数字编辑的角色，利用颗粒感的起点来锐化边缘、提升对比度并去除随机斑点，从而呈现出一张清晰的图片。团队在三组不同的图像集上测试了这种方法：手写数字、服装图片和自然场景。在所有案例中，结合了基于物理学的查找表与AI清理器的组合，都比仅尝试利用AI直接从原始散射光中猜测图像的效果要显著更好。
这项方法的真正考验在于，当研究人员询问它是否能处理从未见过的图像时。他们仅使用服装图片来训练其AI网络，但随后要求它们重建自然场景（如动物和风景）的图像，这些场景与衣服看起来非常不同。当AI在没有物理查找表帮助的情况下尝试独立工作时，结果很差；系统无法识别新的形状，并产生了模糊、无法辨认的色块。然而，当AI先获得来自查找表的粗略草图时，它的表现非常出色。它成功地重建了自然场景，即使在从未训练过这些场景的情况下，也能保留物体的结构。这表明，基于物理的第一步提供了一个坚实的基础，有助于AI推广到新的情况，而不仅仅是记忆特定的例子。
为了证明该系统在现实世界中的有效性，研究人员在光纤末端放置了真实的物理物体，包括金属通风栅格、缝纫针和印刷字母。这些物体并不属于训练数据的一部分。系统捕捉了从这些物体反射回来的光线，并利用相同的校准和AI处理过程，重建出了清晰的图像，包括栅格孔洞、针身以及字母的笔画。重建结果足够清晰，可以分辨出精细的细节，这证明了该方法能够超越计算机模拟，处理现实世界中不可预测的光散射。研究人员指出，虽然目前的系统受限于如果光纤发生显著弯曲或温度变化就需要重新校准，但这种无需相位测量即可生成清晰图像的能力是迈出的重要一步。
这项工作为超细内窥镜技术提供了一条充满希望的路径，届时，像头发一样细的探针可以被引导进入人体最深、最狭窄的部分，提供实时的、高分辨率的图像。通过将问题分为物理引导的第一步和数据驱动的清理第二步，研究人员创建了一个既稳健又具适应性的系统。它不需要曾阻碍以往反射模式成像尝试的复杂干涉测量装置，因此在临床应用中更具实用性。研究结果表明，通过将物理学的可预测性与人工智能的适应性相结合，科学家们可以释放单光纤内窥镜的潜力，从而可能让医生以一种此前无法实现的细节度和灵活性来观察人体内部。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。