deepthought: the microscopy acquisition stack as an object of study

想象一下这样一个世界：你的相机不仅仅是拍下一张照片就停止，而是能真正“看懂”这张照片，思考它，然后决定下一步要拍摄什么。这就是“分析在环”（analysis-in-the-loop）显微镜的梦想。几十年来，科学家们一直渴望拥有能够实现这些功能的显微镜：跳过空白区域、放大有趣的细胞，或者在实验运行过程中自动修正焦距。这就像拥有一个聪明的助手，他不仅能帮你取书，还能读一下封面，判断你是否会喜欢，然后再递给你。

然而，构建这些智能显微镜一直是一场噩战。每当实验室想要尝试这种技术时，他们都必须从头开始构建一台全新的、定制的机器，就像木匠每想烤一次蛋糕就要盖一座新房子一样。工具之间无法匹配，也无法重复使用。这篇论文提出了一个简单但具有革命性的问题：“如果我们不再每次都盖新房子，而是弄清楚每个人的房子里哪些部分其实是相同的呢？”作者们希望找到智能显微镜通用的“管道系统”，这样科学家们就能停止重复造轮子，转而去做更有趣的科学研究。

伟大的显微镜谜题

论文的作者 P.S. Kesavan 及其团队决定通过一种不同寻常的方式来解决这个问题：他们从零开始构建了一个“极简”智能显微镜系统，其目的不是为了解决某个特定的生物学问题，而是为了研究这个系统本身。这就像一位厨师建造了一个微型且完美的厨房，仅仅是为了弄清楚对于任何食谱来说哪些工具是必不可少的，而不是为了烹饪某一道特定的菜肴。

他们用这个微型厨房尝试了四种非常不同的“菜肴”（科学实验）：

1. 速度赛：扫描数千个死细胞以计数发光的蛋白质。
2. 马拉松：在 24 小时内持续观察活细胞的分裂过程。
3. 灯光秀：将光线分成两个方向，以测量分子的旋转。
4. 自动驾驶：让显微镜在运行过程中实时调整自身的焦距和亮度。

通过迫使这四种截然不同的任务通过同一个系统，他们发现了显微镜软件中哪些部分是通用的（对所有人一致），以及哪些部分是特定于任务的（就像某一特定菜肴的特殊香料）。

“通用”部分（管道系统）

他们发现，智能显微镜中大部分繁重的任务实际上已经由其他人的软件解决了。你不需要发明一种新的方式来与相机或电机对话；你只需要接入现有的“通用适配器”。

• 与硬件对话：就像你的手机使用标准的 USB 接口与充电器通信一样，显微镜使用标准软件（如 ophyd 和 micro-manager）来与相机和电机进行通信。
• 掌控全局：有一个标准的方法来告诉显微镜该做什么（就像 DJ 的播放列表一样），使用的是一个名为 bluesky 的系统。
• 保存与展示：数据保存在标准的目录中（databroker），并可以通过标准的查看器（napari）进行查看，就像你将照片保存到云端并在任何手机上查看一样。

无论他们运行什么实验，这些部分都不会改变。它们是房屋的“墙壁和地板”——坚固且可重复使用。

两项新发明（定制家具）

然而，研究发现有两个特定的东西必须从头开始构建，因为还没有人为它们制作过标准版本。这也是本论文的主要贡献。

1. 样本的“地图”（样本表示法）
想象你是一个扫地机器人。你需要知道墙在哪里，以免撞上。过去，科学家必须为每种形状的容器（圆形的、方形的、带孔的）编写特殊的代码，来告诉机器人它可以在哪里进行清洁。
作者发明了一种将样本描述为几何对象的新方法。他们创建了一张“数字地图”，上面写着：“玻璃在这里，塑料边缘在那里，你只能在玻璃上进行清洁。”这张地图适用于任何形状的容器。现在，机器人不需要知道容器长什么样，它只需要知道这张地图即可。这使得显微镜可以自动保持在玻璃区域，并避开塑料边缘。

2. “检测到的物体”流（观测表示法）
通常情况下，显微镜拍摄一张照片，保存它，然后计算机稍后再去查看照片以寻找细胞。这就像拍下一张人群的照片，将其保存到硬盘中，然后在第二天再雇佣一个团队来统计人数。
作者改变了系统，使显微镜不再仅仅输出原始图像。相反，它在图像到达的同时进行观察，并立即说：“我在这里看到一个细胞，它的亮度在这里。”实验的输出不再是一堆照片，而是一个包含位置和测量数据的“检测到的物体”列表。
这是一个游戏规则的改变，因为它意味着显微镜可以做出即时决策。如果计划是“如果你看到一个带有亮点细胞，请近距离观察”，显微镜可以立即执行，因为它已经在讨论“细胞”，而不仅仅是“像素”。

缺失的一块（“下一步去哪儿？”问题）

这项研究还发现了一个他们尚未完全解决的问题：目标定位（Targeting）。
这个问题是：“我下一步该看哪里？”
在某些实验中，答案是一个简单的网格（就像用直线割草一样）。而在另一些实验中，答案是“去看有趣的东西在哪里”。作者试图构建一个能够同时处理这两者的系统，但他们意识到他们还没有为这个功能建立一个“通用开关”。他们在大多数情况下使用了网格策略，但无法在不重写代码的情况下轻松将其切换为“智能搜索”策略。他们将此确定为下一个需要构建的重要环节。

他们实际做了什么

为了证明他们的新系统有效，他们运行了两个真实的生物学实验：

1. 22,000 个细胞的马拉松：他们用一种破坏 DNA 的试剂处理人类细胞，并让显微镜自主扫描和分析 22,000 个细胞。在开始后，没有人类触碰过电脑。结果发现，细胞的 DNA 修复标记正如预期那样上升了。
2. 24 小时观察：他们观察了活细胞 24 小时的分裂过程。由于该系统可以反复访问完全相同的细胞（利用他们发明的“地图”）并保持其处于焦点位置，他们观察到了一个罕见的事件：一个细胞分裂并将它的 DNA 修复“疤痕”传递给了它的后代。

核心结论

论文得出结论，我们不需要为每一个新实验都构建一套新的显微镜软件栈。软件栈的大部分已经构建完成且正在运行。我们只需要构建两个新的“接口”：一种描述样本形状的方法，以及一种将结果描述为“物体”而非仅仅是“图像”的方法。

一旦拥有了这两个部分，显微镜的“智能”部分就会变得像普通的计算机程序一样简单。显微镜可以观察、思考并决定下一步做什么，而不需要人类每次都编写一个新的程序。剩下的唯一需要解决的问题，就是如何让“下一步看哪里”的决策像系统的其他部分一样灵活。

简而言之，作者们不仅仅是制造了一台更好的显微镜；他们为未来如何构建任何智能显微镜制定了蓝图，从而使科学家们不必每次都重复造轮子。