Mic-hackathon 2024: Hackathon on Machine Learning for Electron and Scanning Probe Microscopy

想象一下你是一名正在试图破解谜团的侦探，但你寻找的不是指纹，而是宇宙中最微小的构建模块：原子。科学家们使用被称为显微镜的强大工具来拍摄这些原子的照片，但这些图像往往非常复杂，充满了海量的数据，甚至连最聪明的人类也会感到应接不暇。这就像是在试图同时阅读一座图书馆里用一种你不懂的语言编写的书籍。为了理解这一切，科学家们开始教计算机如何“阅读”这些图像，使用的是一种特殊的“大脑”——机器学习。这不仅仅是为了拍出更好的照片；这是在教显微镜如何思考、决策，甚至实时修复它自己的错误。一个巨大的问题是：我们能否构建一个数字助手，帮助我们在清晰、快速且不疲劳的情况下，看清这个隐形的微观世界？

这篇论文是一份关于一场大规模“黑客松”（hackathon）的报告——这是一个高能量的活动，计算机专家和显微镜科学家在此齐聚一堂，共同构建这些数字助手。他们不仅仅是在讨论想法，还构建了能够解决实际问题的运行原型。其中一个团队创建了一个显微镜的“数字孪生”——一个视频游戏版本，让研究人员可以在不损坏昂贵设备的情况下进行练习。另一组则教会了计算机识别材料中的微小颗粒、按大小进行分类，甚至自动寻找最有趣的区域进行缩放。他们还开发了工具，用于修复由脏污的显微镜探针引起的模糊图像，甚至尝试在不需要运行缓慢、沉重的模拟计算的情况下，预测原子的振动。主要发现是：这些人工智能工具的效果出人意料地好——它们可以识别结构、清理杂乱的数据，甚至能为下一步实验提供最佳建议。然而，作者谨慎地指出，虽然这些工具很有前景，但它们尚未达到完美。有些模型有时会产生混淆或出现“过拟合”现象，即它们过度记忆了训练数据，导致在面对新的、未见过的图像时表现不佳。论文指出，通过更多样化的数据和更好的调优，这些 AI 助手很快就能成为科学家的标准合作伙伴，将数小时的手动工作转化为自动化的发现过程。

显微镜的新大脑：黑客松报告

大局观：为什么我们需要 AI 来辅助显微镜
把现代电子显微镜或扫描探针显微镜想象成一台能够看到单个原子的超级相机。但这些相机功能如此强大，以至于生成数据的速度超过了任何人类观察的速度。这就像拥有一台每秒拍摄一百万张照片的相机；如果你试图查看每一张，你将永远无法完成任何工作。几十年来，科学家们一直必须手动挑选这些图像中有趣的部分，这个过程既缓慢、枯燥，又容易产生人为错误（例如因为疲劳而漏掉了一个微小的缺陷）。

这篇论文描述了最近举办的一次名为“Mic-hackathon 2024”的活动，来自世界各地的研究人员聚集在一起解决这个问题。他们希望看看机器学习（ML）——这种让计算机通过实例进行学习的技术——是否可以接管显微镜中那些枯燥乏味的环节。目标是创建能够自动寻找有趣特征、清理糟糕图像，甚至能够自主控制显微镜以拍摄更好照片的工具。

数字孪生：在不破坏任何东西的情况下进行练习
组织者做的第一件事就是创建了一个显微镜的“数字孪生”。想象一下飞行员的飞行模拟器：它让飞行员在练习降落飞机时，无需承担坠毁真实飞机的风险。同样，这个数字显微镜（称为 DTMicroscope）允许参与者在安全的虚拟环境中编写代码并测试他们的 AI 想法。他们可以模拟拍摄石墨烯或纳米颗粒等材料的照片，而无需预约使用真实的、昂贵的机器。这是一个游戏规则的改变者，因为它让每个人都能自由实验，因为他们知道即使代码崩溃，也不会损坏任何真实的设备。

项目展示：团队构建了什么
参与者分成了不同的团队来应对特定的挑战。以下是他们构建的一些最令人兴奋的东西：

• 自动晶粒查找器： 一个团队使用了名为“cellSAM”的模型（最初设计用于寻找生物图像中的细胞）来寻找金属和陶瓷材料中的晶粒。这就像教计算机识别面包里单个气泡一样。一旦计算机找到了晶粒，它就可以按大小和密度进行分类，帮助科学家找到最值得研究的地点。他们甚至构建了一个系统，可以自动指挥显微镜缩放到这些特定位置，从而节省了数小时的手动搜索时间。
• 图像清洁器： 显微镜的探针经常会变得“脏”，这会导致图像看起来模糊或出现重影（就像在哈哈镜里的反射一样）。两个团队致力于使用 AI 来修复这些“探针伪影”。他们训练计算机观察模糊的图像，并推测原始、干净的表面看起来是什么样子的。虽然 AI 在处理中度模糊时表现出色，但论文指出，在遇到极端情况（如探针非常钝或有两个尖端）时，它有时会遇到困难。这仍是一个正在进行中的课题，但一个充满希望的开端。
• 晶体预测器： 另一个团队想要预测原子如何振动（热扩散散射），而无需进行通常耗时极长的繁重数学运算。他们训练了一个神经网络，通过观察简单的“弹性”模拟，来预测复杂的、振动的版本看起来会是什么样子。在测试中，AI 的预测结果与真实的模拟非常接近，这表明在未来，科学家可能几乎可以瞬间获得这些复杂的计算结果。
• 铁电探测器： 一个团队使用生成对抗网络（GAN）来预测一种名为钛酸铅的材料的内部结构。他们尝试仅通过观察表面高度来推测材料内部的“极化”（即材料内部电力的方向）。AI 在识别不同畴边界方面表现得非常出色，尽管有时会产生误判，预测了一些并不存在的变化。这表明该模型需要更多的训练数据才能达到完美的可靠性。
• 智能裁剪器： 为了训练这些 AI 模型，科学家经常需要将大图切割成较小的碎片。一个团队测试了不同的图像切割方式，以观察哪种方法能让 AI 学习得最好。他们发现，“随机裁剪”（在随机位置切割碎片）比整齐的网格切割效果更好。这就像通过从随机角度观察脸部来学习识别，而不是仅仅盯着正面看；这种随机性有助于 AI 更好地理解材料。

结论：前景广阔，但尚不完美
这次黑客松表明，机器学习已经准备好成为显微镜领域严肃的合作伙伴。团队成功构建了能够自动化繁琐任务、清理杂乱数据甚至控制显微镜的工具。然而，论文非常诚实地指出了其局限性。AI 模型并非魔法；当遇到它们未曾见过的数据时，有时会出错。有些模型会出现“过拟合”现象，这意味着它们过度记忆了训练样本，从而无法泛化到新的情况。

作者建议，下一步是收集更多样化的数据并优化模型。他们还强调需要更好的“基准测试”——即用来衡量不同 AI 工具性能的标准测试。最终目标是从仅仅在实验结束后分析数据，转向拥有能在实验进行过程中协助科学家做出决策的 AI。

为什么这很重要
这不仅仅是为了让科学家的生活更轻松。通过将枯燥的工作自动化，AI 让研究人员能够专注于更宏大的问题。它可能会带来在新型电池材料、更高效的太阳能电池以及更强韧金属领域的快速发现。论文总结道，虽然我们尚未到达终点，但基础正在现在搭建。这次黑客松创建的“数字孪生”和开源工具已面向所有人开放，确保了这种新的科学研究方式能够共同成长和进步。这是对未来的一种窥探：在那个未来，显微镜不仅能拍照，还能帮助我们逐个原子地理解这个世界。