TrueEBSD in MTEX: automatic image matching for correlative microscopy applications

本文介绍了 TrueEBSD，这是一个面向 MTEX 的开源 MATLAB 插件，它通过集成 EBSD 图谱与其他成像数据，实现自动图像配准与空间畸变校正，从而促进关联显微分析并提升定量晶体学测量的精度。

要点

想象一下，你正在尝试拼凑一幅巨大的拼图，但你手中的拼图块却来自两个不同的盒子。一个盒子里装着拼图“骨架”的地图（显示拼块的形状和方向），另一个盒子里装着拼图“表面”的照片（显示颜色和纹理）。

问题在于，这两张图像是在略有不同的时间和角度下拍摄的。因此，与“表面”照片相比，“骨架”地图被拉伸、倾斜或发生了位移。如果你试图将它们叠放在一起，边缘无法吻合，图像看起来模糊且错误。由于两种视图无法对齐，你无法真正理解这幅拼图。

这正是科学家在研究金属合金或铜等材料时面临的问题。他们使用两种强大的工具：

1. EBSD（电子背散射衍射）：一种显微镜技术，用于绘制材料内部“晶体骨架”的地图（即原子的排列方式）。
2. SEM 成像（扫描电子显微镜成像）：一种标准的显微镜照片，显示表面纹理、裂纹或不同的材料相（类似于黑白照片与彩色照片的区别）。

通常，由于显微镜的微小位移、倾斜或漂移，这两张图像无法完美对齐。

解决方案：TrueEBSD

这篇论文介绍了一种名为 TrueEBSD 的新软件工具（现已集成到流行的 MTEX 工具箱中）。可以将 TrueEBSD 想象为这些不匹配图像的智能、自动化的“粘合剂”和“校正器”。

TrueEBSD 无需人工手动选取点对齐图像（这既缓慢又容易出错），而是自动完成这项工作。它会寻找两张图像中的共同特征——例如晶粒边缘或特定图案——并精确计算出其中一张图像需要被拉伸、移动或倾斜多少才能与另一张匹配。

其工作原理的简单步骤如下：

1. 处理图像堆栈：它从失真最严重的图像开始，逐步处理到“完美”的参考图像。
2. 测量抖动：它将图像分割成小块，测量每个小块相对于其他小块的移动量。
3. 修正数学模型：它利用数学模型平滑这些移动，有效地对失真图像进行“形变”，直到其与参考图像完美契合。
4. 生成超级地图：一旦对齐，它便将数据合并。现在你得到了一张单一的地图，完美注册地同时显示了内部晶体结构和表面特征。

论文中的现实世界案例

作者在两种特定材料上测试了这种“数字胶水”，以展示其强大功能：

1. “硬金属”拼图（WC-Co 复合材料）

• 材料：由硬质碳化钨（WC）晶粒与钴（Co）粘结剂混合而成的材料，用于制造切削工具。
• 问题：用于绘制晶体地图的显微镜（EBSD）难以识别钴粘结剂。它往往低估了钴的含量，就像一张模糊的照片丢失了细节。这导致对硬晶粒堆积紧密程度的计算出现错误。
• 修正：TrueEBSD 将模糊的晶体地图与表面清晰、高对比度的照片对齐。随后，它将正确的钴区域“绘制”到晶体地图上。
• 结果：科学家终于能够精确测量钴的含量以及硬晶粒之间的接触情况，从而更准确地描绘材料的强度。

2. “铜”拼图（晶界与空洞）

• 材料：一块铜金属。
• 问题：在应力作用下，铜内部会形成微小的孔洞（空洞），通常出现在不同晶粒交汇的晶界处。科学家想知道：这些孔洞是随机形成的，还是会避开某些类型的晶界？
• 修正：他们将晶体地图与显示微小孔洞的照片对齐。由于图像现在完美重叠，他们能够确切地看到孔洞位于哪种类型的晶界上。
• 结果：他们发现，一种特定类型的晶界（称为“Sigma 3 孪晶界”）就像盾牌一样——极少出现孔洞。然而，其他类型的晶界则容易受损。这有助于工程师设计出更耐用的铜材。

为什么这很重要

在此之前，科学家必须手动进行这种对齐，过程既繁琐又主观（不同的人可能会得到不同的结果）。TrueEBSD 自动化了整个流程。这就像从手绘地图升级为能够自动修正交通状况和道路偏移的 GPS 系统。

论文强调，该工具是开源的（供所有人免费使用）、快速的（利用巧妙的编码技巧实现快速运行）且灵活的（能够处理各种不同类型的显微镜设置）。通过使这些图像完美对齐，它使科学家能够提出并回答那些以前因数据过于混乱而无法结合解决的问题。

技术摘要

以下是论文《MTEX 中的 TrueEBSD：用于关联显微应用的自动图像匹配》的详细技术总结。

1. 问题陈述

关联显微技术结合了多种成像模式（例如电子背散射衍射（EBSD）和扫描电子显微镜（SEM））的数据，对于全面的材料表征至关重要。然而，有效关联分析的一个主要障碍是不同成像模式之间畸变引起的空间错位。

• 畸变来源： 包括样品倾斜、时间漂移、电磁场偏移和卷帘快门效应。
• 后果： 如果没有精确的像素级对齐，数据就无法准确叠加。这阻碍了利用互补数据（例如相分数或形貌）增强晶体学图谱，从而导致系统误差。
  • 示例： 由于空间分辨率的不对称性，EBSD 会系统性地低估低原子序数相（如 WC-Co 复合材料中的钴）的体积分数。
  • 示例： 识别特定晶界上的空洞形核位点需要将空洞（在背散射电子图像中可见）与晶体学晶界（在 EBSD 中可见）进行对齐，如果图谱错位，这是不可能实现的。
• 先前工具的局限性： 原始的 TrueEBSD MATLAB 程序需要人工干预（控制点）或其工作流程僵化，限制了针对大型或复杂数据集的自动化和灵活性。

2. 方法论

作者将 TrueEBSD 算法重新实现为 MTEX 的模块化开源插件，MTEX 是一个广泛使用的用于 EBSD 数据分析的 MATLAB 工具箱。新实现（v2.1.0）引入了基于类的流程和多项技术增强。

A. 算法工作流程

该过程通过测量和校正局部位移，将一系列图像（或图谱）与最终参考图像对齐：

1. 输入： 畸变图像/图谱列表（例如 EBSD 带对比度、FSE、BSE）。
2. 重采样： 使用线性插值（针对图像）或最近邻插值（针对类别数据，如取向）将图像重采样到公共像素网格。
3. 互相关： 算法使用基于快速傅里叶变换（FFT）的互相关，在图像边缘的感兴趣区域（ROI）上测量局部位移矢量。
4. 模型拟合： 将测量的位移拟合到基于物理畸变类型的数学模型：
   • 仿射变换： 用于电磁场偏移。
   • 投影变换： 用于样品倾斜。
   • 线性样条： 用于卷帘快门漂移。
5. 校正： 使用拟合模型对图像进行扭曲，使其与参考图像在像素级上对齐。

B. 关键技术创新

• 基于类的架构： 软件围绕三个主要类构建：
  • @distortedImg：存储图像序列和元数据。
  • @pairShifts：存储位移场和 ROI 参数。
  • @trueEbsd：管理校正步骤的主要工作流对象。
  • 优势： 这使得与 MTEX 对象（例如，在存储图像的同时存储 EBSD 取向）的集成变得容易，并可在不同的实验设置中重用。
• 自动 ROI 优化： 算法不再使用固定的 ROI 尺寸，而是迭代调整 ROI 宽度。如果对齐后的残差误差超过 2 像素，ROI 尺寸将加倍。这平衡了对特征丰富相关性的需求与图像边缘的“排除区”。
• 性能优化： 计算密集的互相关函数被重写为 MEX 文件（从 MATLAB 代码编译的 C 二进制文件）。这移除了对并行计算工具箱的依赖，同时显著提高了处理速度。
• 图形用户界面（GUI）： 新的 GUI 允许用户加载数据（包括来自牛津仪器的 HDF5 容器）、预览图像、重新排序序列以及调整参数，而无需编写代码。

3. 主要贡献

1. 软件重构： 将 TrueEBSD 从独立脚本转变为完全集成的 MTEX 插件，利用 MTEX 强大的数据处理和晶体学分析工具。
2. 自动化： 消除了对人工控制点的需求，使过程完全自动化，适用于大型数据集（例如 3D EBSD）。
3. FAIR 原则： 代码托管在 GitHub 上，确保其可发现、可访问、可互操作和可重用。
4. 增强的灵活性： 模块化设计允许用户混合和匹配不同类型的图像（例如，组合在不同电压或倾斜角度下获取的 FSE 和 BSE 图像），而无需修改核心代码。

4. 结果：案例研究

案例研究 1：WC-Co 复合材料（相分数与连通性）

• 目标： 准确测量钴（Co）相分数和碳化钨（WC）晶粒连通性。
• 方法： 将 EBSD 图谱（20 kV）与 FSE 图像（10 kV）对齐。FSE 图像提供了准确的相对比度（Co 与 WC），而 EBSD 由于分辨率限制经常误识别。
• 发现：
  • 相分数： 与 FSE/Thermo-Calc 模型相比，标准 EBSD 低估了 Co 含量约 50%。增强后的图谱修正了这一问题。
  • 连通性： 重新计算了 WC 晶粒连通性（晶粒边界与其他 WC 晶粒共享的边界分数）。
    • 原始 EBSD 高估了细晶微观结构中的连通性（0.69 对比 BSE 线性截距的 0.59）。
    • FSE 增强的 EBSD 提供了更准确的值（0.49），揭示 EBSD 漏掉了薄的 Co 层，使得 WC 晶粒看起来接触而实际上并未接触。
  • 结论： 该方法实现了单独的晶体学测量无法实现的定量晶体学测量。

案例研究 2：铜多晶（晶界空洞）

• 目标： 确定特定晶界（GBs）和三重点（TPs）对蠕变空洞形成的敏感性。
• 方法： 将 EBSD 图谱与 BSE 图像（0°倾斜）对齐，其中空洞表现为暗像素。空洞被分割并映射到 EBSD 取向数据上。
• 发现：
  • 空洞位置： 90.2% 的空洞位于晶界上或附近。
  • 晶体学分析： 取向差分析显示，$\Sigma3$ 孪晶界（60°/<111>）在含空洞的边界中显著代表性不足，表明它们对空洞形核具有高度抵抗力。
  • 三重点： 没有特定类型的三重结显示出抵抗力或敏感性；它们的分布与背景微观结构相匹配。
  • 意义： 证明了利用关联数据将微观结构特征与失效机制进行统计关联的能力。

5. 意义

• 定量准确性： 该工具通过利用互补成像模式解决了 EBSD 数据中的系统误差（如相低估），从而得出更准确的微观结构指标，如晶粒连通性。
• 自动化与可扩展性： 通过消除手动步骤并优化代码速度，TrueEBSD-MTEX 使得处理大型、复杂数据集（例如 3D EBSD、原位实验）成为可能，而这些数据集以前因过于耗时而难以处理。
• 社区影响： 作为开源 MTEX 插件，它降低了关联显微技术的入门门槛，允许研究人员在一个成熟的生态系统中执行高级空间配准和随后的晶体学分析。
• 解决的局限性： 虽然该工具能很好地处理全局畸变，但作者指出，高度局部化的非线性畸变（例如来自离子研磨样品表面形貌的畸变）可能仍需要人工干预，或者难以外推到图像边缘。

总之，MTEX 中的 TrueEBSD 代表了关联显微技术的重要进步，将图像对齐从一项手动、易出错的任务转变为一种稳健、自动化的工作流，从而解锁了对材料微观结构更深层的定量洞察。