技术摘要：MultiLoReFT

1. 问题陈述

多模态学习在现实世界的应用中面临两个主要障碍，特别是在医疗保健等数据稀缺的领域：

1. 数据稀缺性： 收集大规模、高度对齐的配对多模态数据集通常是不切实际或成本极高的，这使得对多模态模型进行端到端训练变得十分困难。
2. 纠缠（Entanglement）： 现有的多模态表示经常将跨模态共享的信息与模态特有信息混淆在一起。这种纠缠阻碍了可解释性和控制力，使得难以理解特定模态如何对决策做出贡献，也难以稳健地处理缺失模态的情况。

虽然参数高效的微调方法，如低秩自适应（LoRA）和低秩表示微调（LoReFT），为单模态模型提供了高效的替代方案，但它们尚未被明确扩展到用于解耦多模态设置中的共享信息与独特信息。

2. 方法论：MultiLoReFT

作者提出了 MultiLoReFT，这是一种低秩表示微调框架，旨在使预训练的单模态编码器能够适应多模态学习。该方法作用于冻结的预训练编码器之上，仅需增加极少量的额外参数。

核心架构

给定两个产生表示 $h_1, h_2 \in \mathbb{R}^d$ 的预训练单模态编码器 ($E_1, E_2$)，MultiLoReFT 学习微调后的表示 $\Phi_1, \Phi_2$，将信息解耦为：

• 共享子空间 ($R_s$)： 捕捉各模态共有的信息。
• 模态特有子空间 ($R_{m1}, R_{m2}$)： 捕捉每个模态特有的信号。

该框架直接对预训练表示应用结构化低秩干预。模态 $i$ 的微调表示 $\Phi_i$ 计算如下：
$$\Phi_i = h_i + R_s^\top(f_{si}(h_i) - R_s h_i) + R_{mi}^\top(f_{mi}(h_i) - R_{mi} h_i)$$
其中 $R_s, R_{mi} \in \mathbb{R}^{r \times d}$ 是低秩投影矩阵，$f_{si}, f_{mi}$ 是在低秩子空间中学习到的轻量级非线性变换。项 $(f(h) - Rh)$ 代表在投影回原始维度之前在低秩空间中进行的编辑。

学习目标

不同于监督式微调，MultiLoReFT 使用一种自监督复合目标进行训练，该目标对表示空间施加结构化约束：
$$\mathcal{L} = \lambda_1 \mathcal{L}_{indep} + \lambda_2 \mathcal{L}_{orth} + \lambda_3 \mathcal{L}_{MI}$$

1. 独立性损失 ($\mathcal{L}_{indep}$)： 使用希尔伯特-施密特独立性判据（HSIC）最小化共享成分与模态特有成分之间（以及两个模态特有成分之间）的统计依赖性。这可以防止信息泄漏。
2. 正交性损失 ($\mathcal{L}_{orth}$)： 通过最小化投影矩阵（$R_s, R_{m1}, R_{m2}$）之间成对内积的 Frobenius 范数，强制实现子空间之间的几何不相交性。
3. 跨模态互信息损失 ($\mathcal{L}_{MI}$)： 使用类 InfoNCE 的对比损失，确保解耦后的投影保留足够的原始单模态嵌入信息，并增强跨模态共享成分的一致性。

自适应秩剪枝

为了解决确定子空间最优维度的挑战，MultiLoReFT 采用了自适应剪枝机制。在训练期间，计算投影矩阵的奇异值分解（SVD）。奇异值低于阈值 $\epsilon$ 的方向将被剪枝，并使用压缩后的基进行矩阵更新。该机制根据信息含量动态调整秩，从而减少冗余并消除手动调节秩的需求。

3. 核心贡献

• 框架扩展： 将低秩表示微调（LoReFT）扩展到多模态设置，实现了预训练单模态模型的有效融合。
• 解耦： 引入了一种显式学习正交共享与模态特有子空间的方法，通过揭示各模态的相对贡献来增强可解释性。
• 自适应高效性： 提出了动态秩剪枝机制，能够自动选择有效的子空间维度，从而在不降低性能的情况下实现紧凑的参数化。
• 鲁棒性： 证明了学习到的共享子空间提高了在推理阶段面对缺失模态时的鲁棒性。

4. 实验结果

作者在合成数据集（模拟 I & II）和真实世界基准测试（Flickr30K-Multi, Crema-D, UR-FUNNY）上评估了 MultiLoReFT。

• 信息解耦： 在具有已知地面真值生成因子的合成数据上，MultiLoReFT 在仅使用各自组件预测共享和模态特有标签方面达到了最高准确率。与基线模型（DRIM-U, APOLLO）相比，它表现出显著更大的性能差距 ($\Delta$)，表明其具有更优越的分离度和更少的信息泄漏。在真实世界数据集中，它有效地将语言信息集中在文本特有子空间，并将视觉细节集中在图像特有子空间。
• 下游性能： 当将微调后的表示 ($\Phi$) 拼接并输入到轻量级逻辑回归器时，MultiLoReFT 始终优于或匹配了包括后期融合、交叉注意力及其他解耦方法在内的最先进基线模型。
• 缺失模态鲁棒性： 在某一模态缺失的情景下，微调后的表示 ($\Phi$) 比原始预训练嵌入 ($h$) 提供了更强的预测信号，这表明共享子空间成功捕捉到了跨模态的预测信息。
• 参数效率： 自适应剪枝机制降低了投影的有效秩，证实了该方法学习紧凑表示的能力。

5. 意义与主张

论文声称 MultiLoReFT 提供了一种轻量级、可解释且可扩展的多模态学习方法。其意义在于：

• 利用单模态优势： 它允许社区利用强大的预训练单模态模型来处理多模态任务，而无需大规模的配对数据集。
• 可解释性： 通过解耦共享信息与特有信息，该框架提供了关于不同模态如何贡献于模型决策的见解，这对于医疗保健等高风险领域至关重要。
• 实用性： 该方法与模型无关且参数高效，适合在计算资源和数据可用性有限的环境中部署。

作者指出，虽然目前的研究侧重于双模态数据，但该框架可以扩展到更多模态，尽管这会带来解释部分共享因素的挑战。他们同时也承认，该方法的性能最终受限于底层预训练单模态编码器的质量。