Unmixing microinfrared spectroscopic images of cross-sections of historical oil paintings

该论文提出了一种利用加权光谱角距离损失函数的无监督 CNN 自编码器，用于对历史油画（如根特祭坛画）横截面的 ATR-μFTIR 高光谱图像进行盲解混，从而在克服大气干扰和采集伪影的同时，实现了对复杂混合光谱中端元光谱及其丰度图的自动、客观提取。

要点

这篇论文讲述了一个关于**“如何给古老油画做‘光谱 CT 扫描’并自动识别成分”**的故事。

想象一下，你面前有一幅几百年前的油画大师作品（比如凡·艾克兄弟的《根特祭坛画》）。为了研究它用了什么颜料、画了多少层、有没有变质，科学家不能把画刮下来看，只能切下一个像头发丝那么细的横截面，放在显微镜下观察。

1. 遇到的难题：混乱的“光谱鸡尾酒”

科学家使用一种叫ATR-µFTIR的高级仪器，给这个横截面上的每一个微小像素点都“听”一下它的声音（光谱）。

• 理想情况：每个像素点只有一种颜料，声音很纯净。
• 现实情况：油画是层层叠叠的，而且经过几百年，颜料混合了、变质了（比如生成了金属皂或草酸钙）。所以，仪器收到的声音是几十种物质混合在一起的“大杂烩”。

这就好比你在听一场交响乐，但所有乐器都在同时演奏，而且录音里还夹杂着窗外的汽车声、空调的嗡嗡声（空气中的二氧化碳和水汽干扰）。

以前，科学家只能靠人工去听录音，拿着乐谱（参考库）一个个比对：“嗯，这个声音有点像铅白，那个有点像赭石……"

• 缺点：太慢了，太依赖专家的经验，而且容易听错，尤其是当噪音很大的时候。

2. 他们的解决方案：一个聪明的"AI 调音师”

作者团队开发了一个基于深度学习（AI）的新方法，叫FTIR-unmixer。你可以把它想象成一个超级聪明的 AI 调音师。

这个 AI 的工作流程是这样的：

1. 看图说话：它不只是看单个像素，而是看一小块区域（像拼图的一块）。因为它知道，油画上的颜料通常是成片分布的，不是随机乱跳的。
2. 自动分离：它试图把混合在一起的“光谱鸡尾酒”倒回原来的杯子里，找出里面到底有几种原料（端元），以及每种原料占多少比例（丰度图）。
3. 核心创新（WSAD 损失函数）：这是这篇论文最厉害的地方。
   • 普通 AI 的问题：普通的 AI 会平等地对待所有声音。如果录音里有巨大的“汽车声”（二氧化碳干扰），AI 会拼命去模仿这个噪音，结果把真正的颜料声音给搞混了。
   • 他们的 AI：发明了一种**“智能降噪耳塞”**（加权光谱角距离，WSAD）。
     • 它会先自动检查：哪些声音是**“死气沉沉”**的（没信息量）？
     • 哪些声音是**“忽高忽低”**的（像信号故障的尖刺）？
     • 哪些声音是**“跟邻居不搭”**的（突然出现的怪声）？
     • 一旦识别出这些是**“噪音”（比如空气中的二氧化碳），AI 就会给这些声音戴上“消音器”**（降低权重），强迫自己只关注那些真正代表颜料化学特征的声音。

3. 实验效果：在《根特祭坛画》上试身手

他们用这个方法分析了《根特祭坛画》的一个微小切片。

• 任务：找出画里的草酸钙（一种变质产物）、蛋白质（粘合剂）和金属皂（另一种变质产物）。
• 对比：
  • 普通方法（SAD）：虽然也能认出大概，但在识别“金属皂”时，分布看起来有点乱，而且画出来的“原料声音”里还残留着明显的二氧化碳噪音。
  • 他们的方法（WSAD）：
    • 更清晰：找出的“金属皂”分布图非常连贯，跟专家画的参考图很像。
    • 更干净：在分析出的“原料声音”里，那些讨厌的二氧化碳噪音几乎消失了，只留下了纯净的颜料特征。

4. 总结：为什么这很重要？

这就好比以前我们要清理一个满是灰尘和杂音的旧录音带，得靠人拿着放大镜一点点擦，既慢又容易擦坏。
现在，他们造出了一个**“智能清洁机器人”**：

• 它能自动把灰尘（噪音）和杂音（干扰）过滤掉。
• 它能自动把混在一起的乐器声（混合颜料）分离开。
• 它不需要人教它什么是噪音，自己就能学会识别。

意义：这是第一次有人用这种全自动的 AI 方法，成功地把古老油画横截面里复杂的化学成分“解构”出来。这意味着未来，我们可以更快、更准、更客观地保护和分析人类珍贵的文化遗产，而不再那么依赖专家的个人直觉。

技术摘要

这是一份关于论文《Unmixing microinfrared spectroscopic images of cross-sections of historical oil paintings》（历史油画横截面微红外光谱图像的解混）的详细技术总结。

1. 研究背景与问题 (Problem)

• 背景：光谱成像（SI），特别是衰减全反射傅里叶变换红外显微光谱（ATR-µFTIR），已成为文化遗产科学中分析艺术品（如油画）横截面的核心工具。它能提供空间分辨的化学图谱，揭示颜料、粘合剂、清漆及降解产物的分布。
• 核心挑战：
  1. 数据复杂性：历史油画横截面样本具有高度异质性、多层结构且常发生降解。每个像素的光谱通常是多种物质（端元，Endmembers）的混合。
  2. 现有方法局限：目前主要依赖人工将光谱与参考库进行比对。这种方法耗时、主观、难以扩展，且难以解析复杂样本中的所有成分。
  3. ATR-µFTIR 数据的特殊性：
     • 高维与噪声：光谱波段数通常超过 1500 个，但并非所有波段都包含有效信息。
     • 干扰严重：存在显著的大气吸收（如 $H_2O$ 和 $CO_2$）和采集伪影。
     • 端元数量不确定：难以预先准确估计混合物质（端元）的数量。
     • 训练偏差：在基于重构的深度学习训练（如自编码器）中，如果平等对待所有波段，噪声大或无信息的波段（如大气吸收区）会主导损失函数，导致估计的端元和丰度图产生偏差。

2. 方法论 (Methodology)

作者提出了一种名为 FTIR-unmixer 的无监督卷积神经网络（CNN）自编码器方法，用于 ATR-µFTIR 高光谱图像的盲解混。

A. 模型架构：基于 Patch 的 CNN 自编码器

为了利用光谱 - 空间结构，模型采用基于图像块（Patch-based）的线性混合模型（LMM）：

• 输入：从超光谱数据立方体中提取 $p \times p$ 的空间邻域块。
• 编码器 (Encoder)：包含两个卷积层（$3\times3$和$1\times1$），配合批归一化（BN）、Dropout 和 Leaky-ReLU 激活函数。输出为丰度图（Abundance Maps），通过缩放 Softmax 函数强制满足非负性（ANC）和和为 1（ASC）约束。
• 解码器 (Decoder)：由单个线性卷积层组成，将丰度图重构为光谱块。解码器的权重被解释为端元光谱（Endmember Spectra）。
• 混合模型：假设像素光谱是端元的线性组合（遵循比尔 - 朗伯定律）。

B. 核心创新：加权光谱角距离 (WSAD) 损失函数

为了解决波段可靠性不均的问题，作者提出了一种新的损失函数 WSAD (Weighted Spectral Angle Distance)。

• 原理：在计算光谱角距离（SAD）之前，对每个波段应用自动生成的可靠性权重 $w$。
• 权重生成机制：权重 $w$ 是全局共享且固定的，通过以下三个统计指标从原始数据中自动推导，旨在抑制不可靠波段：
  1. 空间平坦度 (Spatial Flatness)：检测空间方差极低的波段（通常是无信息的大气/仪器效应），给予低权重。
  2. 邻域一致性 (Neighbour Agreement)：检测与相邻波段相关性低的波段（孤立伪影），给予低权重。
  3. 光谱粗糙度 (Spectral Roughness)：检测中值光谱中异常尖锐的曲率（如单波段尖峰、探测器故障），给予低权重。
• 优势：WSAD 能够自动降低受污染（如 $CO_2$ 吸收）或噪声主导波段的权重，同时保留具有化学信息的波段，从而减少重构损失中的偏差。

3. 关键贡献 (Key Contributions)

1. 首个针对油画横截面 ATR-µFTIR 数据的自动解混方法：填补了现有深度学习方法主要针对可见光 - 近红外（VIS-NIR）反射成像，而缺乏针对红外吸收光谱横截面数据的空白。
2. 提出 WSAD 损失函数：引入了一种完全自动化的波段可靠性加权机制，有效解决了高维红外数据中大气吸收和采集伪影干扰解混精度的问题。
3. 结合空间与光谱建模：利用 CNN 自编码器提取局部空间结构，克服了传统像素级解混忽略空间相关性的缺点。
4. 实证验证：在根特祭坛画（Ghent Altarpiece，扬·凡·艾克兄弟作品）的横截面数据上进行了验证，证明了方法的有效性。

4. 实验结果 (Results)

• 数据集：来自根特祭坛画的 ATR-µFTIR 横截面数据，包含 5 个 $64 \times 64 \times 1504$ 的连续光谱块。
• 端元数量选择：通过迭代测试（$K \in [6, 20]$），确定 $K=10$ 为最佳端元数量，避免了欠建模（成分合并）和过建模（成分重复）。
• 对比实验：将提出的 FTIR-unmixer (WSAD) 与标准 SAD 损失（所有波段权重为 1）进行对比。
  • SAD 结果：虽然能识别主要成分（蛋白质、金属皂、草酸钙），但在金属皂的空间分布上均匀性较差，且端元光谱中保留了明显的 $CO_2$ 污染特征（约 $2350 cm^{-1}$ 处的峰）。
  • WSAD 结果：
    • 空间一致性提升：金属皂（Map 8）的分布更加均匀，与参考图更吻合。
    • 抗噪性增强：与目标成分相关的端元光谱中，$CO_2$ 相关的残留特征被显著抑制。
    • 成分识别：成功定位了草酸钙、蛋白质和金属皂，并区分了树脂/背景成分。
• 定性评估：由于缺乏真实标签，评估基于丰度图的空间分布合理性和端元光谱的化学特征（如特征峰）。

5. 意义与结论 (Significance & Conclusion)

• 技术突破：这项工作首次展示了利用深度学习自动解混历史油画横截面 ATR-µFTIR 数据的可行性，为文化遗产科学提供了一种可扩展、客观的分析工具。
• 实际应用价值：该方法能够非侵入性地揭示艺术品内部的复杂材料分布（如降解产物、修复痕迹），辅助修复师制定更科学的保护方案。
• 通用性：提出的 WSAD 损失函数和基于统计的自动加权策略，不仅适用于 FTIR 数据，也为处理其他高维、含噪且波段重要性不均的光谱数据提供了新的思路。

总结：该论文通过结合 CNN 自编码器的空间建模能力和一种新颖的、数据驱动的加权损失函数（WSAD），成功解决了历史油画横截面红外光谱数据解混中的噪声干扰和波段异质性问题，显著提高了化学成分识别的准确性和空间分布的可解释性。