Coupling a Recurrent Neural Network to SPAD TCSPC Systems for Real-time Fluorescence Lifetime Imaging
本文介绍了一种实时荧光寿命成像（FLI）系统，该系统将单光子雪崩二极管（SPAD）时间相关单光子计数（TCSPC）传感器与循环神经网络（具体为 GRU 和 LSTM 变体）相结合，通过直接从原始时间戳估计寿命而非使用直方图，在 FPGA 部署平台上实现了具有高精度、卓越噪声鲁棒性和近乎最优精度的视频级速率采集。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
想象一下，你正试图在嘈杂拥挤的房间里听清一个微弱的低语。如果你试图先记下所有人说的每一个字，你就会错过那个低语，而且你的笔记本也会变得太重而无法携带。这就是科学家们在使用一种被称为荧光寿命成像（FLI）的技术来试图“看清”活体细胞内部时所面临的挑战。在这个世界里，微小的发光分子（荧光团）被激光激发，然后通过发射一个光子来进行“弛豫”。它们进行弛豫所需的时间——即它们的“寿命”——会向我们透露其周围环境的秘密，例如环境的酸碱度或黏稠度。这对于早期发现癌症等疾病，或帮助外科医生精确判断肿瘤边界与健康组织的分界线至关重要。
传统上，为了测量这一点，科学家们使用一种称为时间相关单光子计数（TCSPC）的方法。你可以把它想象成一个非常快速的相机，每当一个光子到达时就拍下一张照片。为了计算出寿命，计算机通常必须等待收集到数千个这样的“快照”（时间戳），然后将它们分类到一个巨大的直方图（柱状图）中——这个图表显示了光子到达的时间。这就像是在等待整个合唱团唱完一首歌之后，才去推断这首歌的节奏。这个过程很慢，会产生难以移动的海量数据，并且需要功能强大且笨重的计算机。它在实验室里表现出色，但对于需要实时工作的医生诊室或手持设备来说，它显得过于笨重了。
这篇论文介绍了一种聪明的新方法，可以在不先记录下整个合唱团的歌曲之前，就听清那个低语。在瑞士洛桑联邦理工学院（EPFL）先进量子架构实验室工作的研究人员提出，将一种专门的光传感器（SPAD阵列）直接与一种被称为循环神经网络（RNN）的人工智能耦合。该系统不再等待构建直方图，而是将每一个光子的到达时间作为发生时直接输入到人工智能中。人工智能就像一个反应极快、直觉敏锐的听众，能从原始的声音流中瞬间猜出歌曲的节奏（荧光寿命）。
团队通过在数百万个模拟“低语”（合成数据）上训练其人工智能来测试这个想法，在这些数据中，他们已知确切答案。他们将自己的 AI（它有两种主要类型，称为 GRU 和 LSTM）与传统的最小二乘法拟合和质心法进行了对比。结果令人印象深刻：当环境安静时，AI 与传统方法的准确度相当；但当他们加入背景噪声（模拟嘈杂的房间）时，AI 依然保持冷静且准确，而传统方法则会陷入混乱并产生巨大误差。事实上，这种 AI 非常出色，其精度几乎达到了物理理论极限（克拉美-罗下界）所允许的完美水平。
为了证明这不仅仅是计算机的一种技巧，研究人员利用他们在实验室开发的名为 Piccolo 的 32x32 传感器芯片构建了一台真实的显微镜。他们将 AI 加载到紧邻传感器的专用芯片（FPGA）上。这种设置允许他们每秒处理多达 400 万个光子。当他们拍摄荧光微粒移动的画面时，系统不仅仅是在拍照；它还在实时计算光的寿命，以每秒 10 帧的速度生成视频。论文指出，这种方法可以彻底改变我们的医学成像方式，使其变得快速、便携，并且足够鲁棒，能够用于手术中识别肿瘤边缘等任务，而无需依赖庞大的超级计算机来进行繁重的计算工作。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。