XRF-to-Optical Field-of-View Localization with Vision Language Models

科学家经常需要从两种不同的角度观察同一块微小的组织，以了解其内部正在发生的情况。一种方法是使用标准的显微镜来观察细胞和组织的形状，这非常类似于观察城市地图以了解公园和建筑物的分布。另一种方法是使用一种强大的 X 射线技术来检测特定的化学元素（例如磷），这种技术就像一束聚光灯，突出了这些元素在组织中的精确位置。为了理解这些数据，研究人员必须能够将这两张图片完美地对齐，将化学图谱与形状图谱相匹配。这个过程被称为定位（localization）。这对于研究微量元素如何在神经元中移动，或者纳米颗粒如何在细胞内表现得至关重要。然而，进行这种匹配出人意料地困难，因为两张图片通常看起来完全不同。化学图谱可能只显示一个微小、模糊的点，而光显微图像则展示了一个复杂的细胞景观。此外，化学图谱可能来自紧邻光显微图像的一片组织切片，这意味着结构并不能完美对齐，而且化学图谱通常仅覆盖光显微图像总面积的一小部分。

阿贡国家实验室（Argonne National Laboratory）和西北大学（Northwestern University）的研究人员最近通过测试一种新方法解决了这个问题，该方法利用人工智能在无需针对该特定任务进行专门训练的情况下寻找匹配位置。他们使用了两种类型的组织样本。第一种类型比较简单：化学图谱和光显微图像来自完全相同的组织切片，因此形状匹配良好。第二种类型则困难得多：图像来自两个相邻的不同切片。在这种困难的情况下，形状略有不同，且化学图谱覆盖的区域非常小，有时甚至不到总图像面积的百分之一。团队测试了现代视觉语言模型（一种能够同时理解图像和书面指令的人工智能系统）是否可以通过仅仅被要求定位，就能在光显微图像中找到化学图谱的位置。他们发现，仅仅要求人工智能指出位置本身并不足够可靠。人工智能可以进行猜测，但经常出错，尤其是在组织切片不同或目标极小时。

为了解决这个问题，研究人员开发了一个两步工作流。首先，他们让人工智能对化学图谱可能出现的位置做出多个不同的猜测。他们并没有只信任一个猜测，而是将这些猜测视为一组候选方案。然后，他们使用一个标准的计算机程序来检查每个候选方案，将其与实际的化学数据进行对比，以查看哪一个是最佳匹配。这种“提出许多选项，然后进行验证”的方法比单纯依赖人工智能要有效得多。在传统方法完全失效的相邻组织样本这类难题上，这种新的工作流在许多情况下成功找到了正确的位置。研究人员还测试了其他并非为这项特定工作设计的先进人工智能工具，但发现如果没有这个两步流程，没有任何一个工具能独立解决问题。

这项研究表明，虽然这些强大的 AI 模型本身并不擅长精准定位，但它们非常擅长生成一份可能性清单。当结合一种简单的检查程序（通过对比两张图像的视觉模式）时，该系统就变成了一个可靠的科学工具。这对于那些组织切片无法完美匹配的困难情况尤为重要，而在这些情况下，旧方法通常会宣告失败。研究人员证明，通过利用人工智能提出可能性，再让计算机验证最佳结果，即使在图像看起来非常不同的情况下，他们也能找回有用的结果。这种方法不需要针对每次实验对 AI 进行新数据的训练，这使得它成为能够快速准确地连接不同类型显微图像的灵活工具。这项工作证实，对于最具挑战性的科学成像任务，最好的策略通常是让 AI 进行头脑风暴，然后让数据决定最终答案。