🤖 machine learning

Self-attention-based non-linear basis transformations for compact latent space modelling of dynamic optical fibre transmission matrices

本文引入了一种基于自注意力机制的框架，该框架能够将多模光纤传输矩阵动态地转换为紧凑的低维潜在空间，从而有效应对动态环境变化和非线性问题，以实现高保真图像重建并最大限度地降低误差。

原作者： Yijie Zheng, Robert J. Kilpatrick, David B. Phillips, George S. D. Gordon

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Yijie Zheng, Robert J. Kilpatrick, David B. Phillips, George S. D. Gordon

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心大局： “被搅乱的信息”问题

想象一下，你有一根非常细、像头发一样的玻璃丝（光纤），你想把它当作相机，用来观察人体内部。因为这根线非常细，它可以钻进像深层血管或大脑这样微小且难以触及的地方。

然而，这里有一个难点。当光线穿过这根细线时，它会被搅乱（scrambled）。你可以把它想象成：你拍了一张清晰的照片，然后把它丢进搅拌机里打碎，接着你试图仅凭观察这杯“奶昔”的样子，就去猜原图长什么样。

过去，科学家们使用一种“静态地图”（预先计算好的规则列表）来还原图像。但这种地图只有在光纤保持完全静止时才有效。在现实世界中，光纤会弯曲、扭转并改变温度，这会彻底破坏这张地图。这就像是试图使用一张城市纸质地图，而这座城市却在不断地被地震重塑形状。

解决方案：一个“智能翻译官”

本文的作者构建了一种新型的计算机大脑（神经网络），它扮演着智能翻译官的角色。这个翻译官并不试图死记硬背一张固定的地图，而是学习如何瞬间将搅乱的数据重新组织成一种整洁、紧凑且易于理解的格式，即使在光纤移动时也能应对自如。

以下是他们实现这一目标的三个关键思路：

1. “长途电话通话”（自注意力机制 / Self-Attention）

大多数用于图像的计算机大脑（称为 CNN）工作方式就像一个人在看照片，只关注彼此相邻的像素。它们假设邻近的像素是有联系的。

但在这些光纤线中，由于光线在玻璃内部的反射跳跃方式，左侧的一个像素可能在数学上与右侧的一个像素相连。这就像是一场长途电话，电话线的起点的人正在和终点的人通话，中间的所有人都被跳过了。

作者使用了被称为**自注意力（Self-Attention）**的技术（这也是现代 AI 聊天机器人背后的技术）。该系统不再仅仅观察邻居，而是让数据的每一个部分都能瞬间与其它所有部分进行“对话”。这使得计算机能够看到光线是如何被搅乱的全局全景，无论这些连接距离有多远。

2. “行李箱打包术”（潜空间压缩 / Latent Space Compression）

来自光纤的搅乱数据非常庞大且杂乱，就像一个塞满了乱扔衣服的行李箱。

旧方法： 你试图搬运整个乱七八糟的行李箱。它很重，也很难处理。
新方法： 作者的模型就像一位高级打包师。它把那个乱七八糟的行李箱拿过来，并将所有东西折叠成一个微小、整洁且紧凑的立方体（即“潜空间”）。

这个“紧凑的立方体”是数据的简化版本，它保留了所有重要信息，同时丢弃了杂乱的部分。论文表明，他们可以将数据压缩到不到原始大小的 10%（使其变得非常“稀疏”），且不会丧失后续解压的能力。

3. “万能适配器”（基底不变性 / Basis Invariance）

这个领域最大的难题之一是，科学家们使用不同的“语言”或“基底”来测量光（例如，用像素、波长或特定模式来测量）。通常情况下，如果切换了语言，训练好的计算机模型就会失效。

作者的模型就像一个万能适配器。他们通过向模型输入三种不同“语言”的数据（LP、傅里叶和 Hadamard 基底）进行了测试。模型成功地将所有这些数据都翻译成了同一种整洁、紧凑的格式。这意味着模型理解的是光纤的物理本质，而不仅仅是数据的记录方式。

他们是如何测试的

团队并非凭空猜测，而是进行了严格的测试：

模拟光纤： 他们在计算机上创建了数千根虚拟光纤，通过弯曲和扭转它们，来观察模型能否应对这种混乱。
真实实验： 他们在实验室中使用真实的玻璃光纤，并对其进行物理弯曲，结果模型依然有效。
“还原”测试： 他们压缩了数据，然后尝试重建原始图像。模型能够以低于 10% 的误差重建原始数据，证明了它并没有丢弃任何重要的信息。

总结

本文声称，通过使用自注意力机制（观察长程连接）和压缩技术（将数据折叠进一个小空间），他们创造了一个比以往方法更能处理光纤混乱、移动现实情况的系统。

这就像是从使用一张静态纸质地图，升级到了一个能够根据道路变化实时重新计算路线的 GPS，确保即使在你脚下的地形发生变化时，你依然能找到方向。这使得利用发丝般纤细的光纤进行清晰、实时的医学成像这一设想变得更加可行。

技术摘要：用于动态光纤矩阵紧凑潜空间建模的自注意力网络

问题陈述

多模光纤（MMFs）为实现超薄、微创且具备亚细胞级深层成像能力的内窥镜技术提供了路径。然而，光通过这些光纤时的传输过程本质上会因模态耦合而导致图像失真。虽然传统方法利用预先校准的线性传输矩阵（TMs）来纠正这种失真，但在动态的现实场景中，这些方法往往失效。物理扰动——如光纤的移动、温度变化和弯曲——会使传输矩阵持续发生变化。此外，在临床环境下，由于光纤末端难以触及，获取用于重新校准的输入-输出对通常是不切实际的。

现有的神经网络方法，特别是卷积神经网络（CNNs），难以胜任这一任务。CNNs 依赖于局部像素相关性的归纳偏置，而这一假设在光纤传输矩阵中并不成立，因为传输矩阵存在长程相关性。这些相关性源于物理上的非局部模态耦合，以及将多维光学场进行数学扁平化处理为矩阵表示时的必然要求。因此，传统的架构需要极高的参数量，且缺乏对不同测量基底（例如像素基底、傅里叶基底或 Hadamard 基底）变化的鲁棒性，也无法高效捕捉受扰动光纤的复杂动力学特性。

方法论

作者提出了一种新颖的方法，利用自注意力层将变化的传输矩阵动态地转化为紧凑的低维潜空间表示。其核心理念遵循“压缩即学习”，即网络学习将大型、复杂的传输矩阵映射到一个适用于下游任务（如图像重建或弯曲估计）的稀疏潜空间中。

数据生成与数据集

本研究通过四种不同的 $78 \times 78$ 复数值传输矩阵数据集验证了该方法：

随机生成的正向传输矩阵（Forward TMs）： 模拟表现出高稀疏性和特定功率强度分布，这符合真实光纤的特征。
随机生成的往返传输矩阵（Round-trip TMs）： 计算为 $T_r = T_f^T R T_f$ ，其中 $R$ 是散射反射矩阵。这些矩阵代表了与单端成像相关的稠密矩阵。
物理建模传输矩阵： 使用分段光纤模型生成，模拟长度在 0.6–1.2 米之间的弯曲和曲率。
实验传输矩阵： 使用基于数字微镜器件（DMD）和 CCD 相机的离轴全息设置测量，涵盖了 164 种不同的弯曲构型。

模型架构

作者对比了几种用于基底变换的架构：

线性相似变换（Linear Similarity Transformation）： 一个学习基底矩阵 $B$ 以执行 $T' = B^{-1}TB$ 变换的可微层。
卷积神经网络 (CNN)： 标准的二维卷积配合 LeakyReLU 激活函数。
全连接神经网络 (FCNN)： 带有 LeakyReLU 激活函数的稠密层。
仅自注意力机制 (Self-Attention Only)： 单个自注意力层。
自注意力 + FCNN： 本文提出的混合模型，其中多头自注意力机制位于两个全连接层之前。

核心机制： 输入的传输矩阵被视为模态通道序列。自注意力机制通过计算查询（Query, $Q$ ）、键（Key, $K$ ）和值（Value, $V$ ）矩阵来捕获元素之间的长程成对依赖关系，从而允许模型在不依赖 CNN 空间局部性偏置的情况下，学习非局部交互。

训练约束

为了确保变换在物理上具有意义且可逆，模型采用了复合损失函数进行训练：

稀疏性约束 ( $L_1$ )： 最小化变换后矩阵的 $L_1$ 范数，以鼓励产生稀疏的潜表示。
可逆性约束 ( $L_2$ )： 通过一个自动编码器从变换后的表示重建原始传输矩阵，以确保信息完整性。
稀疏重建约束 ( $L_3$ )： 第二个自动编码器确保压缩后的潜空间包含足够的信息来重建经过变换的稀疏矩阵。
复数处理： 将实部和虚部分离，并使用一种对全局相位偏移具有不变性的自定义损失函数。

主要贡献

引入自注意力进行传输矩阵建模： 本文证明了自注意力机制在建模光纤方面具有独特优势，因为它们能够捕获 CNN 会错过的传输矩阵中固有的长程、非局部相关性。
紧凑的潜空间表示： 该方法将稠密和稀疏的传输矩阵转化为高度稀疏的表示（参与率在 0.01 到 0.11 之间），在显著降低维度的同时保持了可逆性。
基底不变性： 所学习的变换在不同测量基底（LP/PIM、傅里叶、Hadamard）之间保持了结构一致性，解决了以往模型过度拟合特定基底的问题。
对动态扰动的鲁棒性： 模型展示了对动态传输矩阵扰动的容忍度，能够有效处理测量过程中光纤状态发生变化（通过交换传输矩阵中的列来模拟）的情景。

结果

稀疏性与效率： 自注意力 + FCNN 模型实现了最低的参与率（稀疏矩阵 $p \approx 0.03$ ，稠密矩阵 $p \approx 0.11$ ）和最小的潜空间比例（稠密矩阵低至 3.22%），性能优于 CNN、FCNN 和线性模型。
重建精度： 模型成功重建了原始传输矩阵，其中稀疏矩阵误差 $\le 8\%$ ，稠密矩阵误差 $\le 14\%$ 。相比之下，CNN 在处理稠密矩阵时表现出较大的误差（高达 32%）。
跨基底一致性： 对于处于相同物理状态但具有不同基底的变换矩阵，其余弦相似度（约为 0.80）显著高于原始矩阵（约为 0.65），这表明模型学习的是底层物理结构而非基底特有的伪影。
泛化能力： 一个基于物理模拟扰动传输矩阵训练的模型，无需重新训练即可成功泛化到实验测量的传输矩阵，将参与率从 0.37 降低至 0.12。
扰动鲁棒性： 在动态扰动（列交换）速率高达 13% 的情况下，模型仍能保持较低的重建误差（<22%），而 CNN 则无法有效地进行非线性变换。

重要性与主张

作者声称，这种方法提供了一个灵活、内存高效且鲁棒的框架，用于建模动态光纤传输矩阵。通过将复杂的、高维的矩阵转换为紧凑的潜空间，该方法为实现单端光纤成像提供了可能，进而有望推动针尖大小成像设备的部署。

论文强调，自注意力的成功在于它将传输矩阵视为结构化序列，学习能够适应扰动的输入依赖型变换。与固定的线性基底或具有局部性偏置的 CNN 不同，这种数据驱动的方法捕获了准确建模光纤所需的非局部模态耦合。

作者也客观地指出，虽然模型捕捉到了重复出现的结构，但单个潜变量尚未明确映射到物理坐标（例如特定的弯曲半径）。然而，这项工作为未来的实时畸变校正、缺失数据插值以及将类似的矩阵压缩技术应用于其他散射介质奠定了基础。论文承认目前存在的局限性，包括注意力机制随矩阵规模呈二次方增长的复杂度问题，以及使用实值优化处理复数矩阵的问题，并建议未来研究方向包括状态空间模型（如 Mamba）和完全复数值的训练。