🤖 machine learning

RePercENT: Scaling Disentangled Representation Learning Beyond Two Modalities

RePercENT 是一个自监督、即插即用的框架，它通过在无需联合预训练的情况下直接作用于预提取的嵌入，克服了现有方法的扩展性限制，从而实现了跨越两种以上模态的解耦表示学习。

原作者： Vasiliki Rizou, Pascal Frossard, Dorina Thanou

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Vasiliki Rizou, Pascal Frossard, Dorina Thanou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图理解一个由三位不同的朋友讲述的复杂故事：一位只用图片说话，一位用音乐表达，还有一位用文字叙述。长期以来，AI 研究人员一直试图让这些朋友“达成一致”，通过将他们的故事强行融合为一个单一的混合摘要。如果他们说的内容完全相同，这种方法效果很好；但如果他们各自掌握着他人并不知道的独特秘密，这种方法就会失效。

这篇论文介绍了一种名为 RePercENT（基于 Perceiver 的降维解耦，Reduced-complexity Perceiver-based disENTanglement）的新方法来解决这个问题。以下是通过简单的类比对该方法的解释：

问题所在：“奶昔” vs. “沙拉”

目前的多数多模态 AI 模型将数据处理得像一杯奶昔。它们将图像、文本和音频混合在一起，直到你无法分辨一种成分在哪里结束，另一种又从哪里开始。这对于通用的理解非常有效，但如果你想知道音乐到底贡献了哪些文本所没有的内容，你就无法将其分离出来。

此外，现有的方法就像一场双人舞。它们擅长处理两个朋友之间的步调（例如，图像与文本），但如果加入第三个朋友（例如，分子数据），舞池就会变得过于拥挤，数学计算也会变得无法解决。

解决方案：“智能分类帽”

RePercENT 扮演着一个可以同时处理一整群朋友而不会感到应接不暇的智能分类帽的角色。它不是将所有东西混合成奶昔，而是创造了一份沙拉——在这里，每种食材都保留了自己的身份，同时又是同一道菜的一部分。

以下是它实现这一目标的神奇之处：

“即插即用”的厨房：
想象你已经拥有了预先切好的蔬菜（这些是来自 CLIP 等强大 AI 模型的“嵌入/embeddings”）。RePercENT 不需要自己切菜，也不需要重新学习如何烹饪。它只是接收这些预备好的食材并进行分类。这意味着它可以处理任何类型的数据（图像、文本、医学扫描），而无需从头开始重新训练。
“两两配对”策略（秘制酱料）：
最大的障碍在于，如果有三个朋友，他们之间会有许多种互动方式（A+B, B+C, A+C, 以及 A+B+C）。试图同时映射所有这些关系就像是在试图解开一团乱麻般的耳机线。
RePercENT 通过观察配对来解决这个问题。它会询问：“朋友 A 与朋友 B 共有什么？”以及“朋友 A 自己保留了什么？”它会对每一对朋友分别进行这样的操作。
- 类比： 与其试图同时组织整个管弦乐队，不如让指挥家分别聆听小提琴部、铜管部和木管部，弄清楚他们共同演奏的部分以及各自独奏的部分。这让工作变得简单且具有可扩展性，无论你增加多少种乐器。
“竞争”游戏：
在系统内部，存在着一些小“槽位”（可以想象成空桶）。系统使用一种特殊的机制，称为组槽注意力（Group Slot Attention）。
- 想象有两个桶，分别贴着标签：“共享秘密”和“我的专属秘密”。
- 当一段信息进来时，这两个桶会展开竞争来捕捉它。
- 如果这条信息是两个朋友都知道的，那么“共享”桶就会获胜。如果这条信息是只有其中一人知道的，那么“专属”桶就会获胜。
- 这种竞争确保了 AI 不会偷懒把所有东西都扔进一个桶里；它迫使 AI 做到精准。

为什么这很重要（根据论文所述）

它具有可扩展性： 你可以增加更多的朋友（模态），而不会导致系统崩溃或运行成本过高。它是线性增长的（增加一个朋友意味着增加可预测的工作量），而旧方法是指数级增长的（增加一个朋友会让数学计算量爆炸式增长）。
它能处理“缺席的朋友”： 如果有一个朋友没来参加聚会（数据缺失），系统也不会崩溃。因为它是基于“两两配对”来学习如何分类信息的，所以它仍然可以理清在场朋友之间的“共享”部分和“独特”部分。
它在现实生活中有效： 作者在以下领域测试了它：
- 修辞手法（Figurative Language）： 理解成语和隐喻（例如，“倾盆大雨/下猫下狗”）。他们发现，通过将“共享”的含义与“独特”的视觉细节分离，AI 比标准模型能更好地理解这些棘手的短语。
- 肿瘤医学： 他们将它用于癌症数据（组织切片的图像、分子数据和患者记录）。他们发现，通过将分子数据中特有的信息与图像中共享的信息分离，他们能够更准确地预测癌症类型，尤其是在原始数据令人困惑的困难病例中。

核心结论

RePercENT 提供了一种全新的方式，教导 AI 如何倾听多个来源的信息而不至于将其混淆成一团浆糊。它使用一种聪明的“两两配对”分类系统，既高效，又能在数据缺失时保持稳健，并在数学上被证明能够找到“共享”与“独特”之间的最佳分离点。它将一团乱麻般的信息转化为了有序、清晰且可理解的独立组成部分。

技术摘要：RePercENT

问题陈述

多模态机器学习旨在对来自多样化来源（如图像、文本、音频）的信息进行合成与推理。虽然目前的尖端方法侧重于跨模态对齐与融合，但这些方法往往会导致表示纠缠，使得共享信息与模态特有信息相互混合。这限制了可解释性，也难以识别哪些模态贡献了独特信息，哪些贡献了冗余信息。

现有解耦表示学习中的一个关键瓶颈是可扩展性。大多数先前的工作局限于双模态范式。随着模态数量 ( $M$ ) 的增加，可能的共享与独特因子数量呈指数级增长 ( $O(2^M)$ )，使其难以建模。此外，能够明确表征两个模态之外所有跨模态交互的可处理优化目标也非常有限。现实世界的数据通常在最小化冗余与保留相关信息之间存在权衡，而仅捕捉“最小必要信息”（Minimal Necessary Information, MNI）对于避免表示崩溃至关重要。

方法论：RePercENT

作者提出了 RePercENT（Reduced-complexity Perceiver-based disENTanglement，基于感知器的低复杂度解耦），这是一个旨在将解耦表示学习扩展到两个模态以上的自监督框架。

核心架构

RePercENT 直接作用于从基础模型（Foundation Models, FMs）中预提取的嵌入，从而无需进行大规模的联合预训练，并使该方法具有模态无关性。

成对分解（Pairwise Decomposition）： RePercENT 不对所有 $2^M$ $2^{M}$ 个原子因子进行建模，而是对成对交互进行建模。对于每一对模态 $(i, j)$ $(i, j)$ ，它推导出：
- 独特成分 ( $u_{ij}$ )： 相对于 $j$ 而言，模态 $i$ 特有的信息。
- 共享成分 ( $s_{ij}$ )： $i$ 与 $j$ 之间共享的信息。
  这使得组件复杂度从 $O(2^M)$ 降低到 $O(M^2)$ ，同时保留了所有的跨模态交互。
解耦模块 ( $D_i$ )： 每个模态的复合表示 $Z_i$ 由一个专门的模块进行处理。该模块利用一个带有 $N = 2(M-1)$ 个槽位的可学习潜在阵列 $H_i$ 。
路由机制：
- 语义编码： 每个潜在槽位都通过可学习的对编码（识别模态对）和类型编码（识别“独特”或“共享”）进行增强。
- 组槽注意力（Group Slot Attention）： 一种结构化路由机制，对应于特定对 $(u_{ij}, s_{ij})$ 的槽位会在相同的输入嵌入上进行竞争。这在强化配对内专业化的同时，保持了不同配对之间的独立性。
可扩展性： 该框架每个模态仅需一个编码器，在结构复杂度方面实现了线性扩展 $O(M)$ ，而使用为每种表示设置单独编码器的方法其复杂度为 $O(M^2)$ 。

优化目标

该框架采用联合优化目标来同时推导共享成分与独特成分，而非顺序分解。对于每个对 $(i, j)$ ，目标函数最大化：
$J(\theta_{ij}) = \alpha(L_{si} + L_{sj}) + L_{ui} + L_{uj}$
其中：

共享损失 ( $L_{si}, L_{sj}$ )： 鼓励共享表示捕捉跨模态相关性 ( $I(s_{ij}; X_j)$ )，同时最小化仅由源模态解释的信息 ( $I(s_{ij}; X_i | X_j)$ )。
独特损失 ( $L_{ui}, L_{uj}$ )： 保留源模态信息 ( $I(u_{ij}, s_{ji}; X_i)$ )，同时惩罚不同模态间独特成分与共享成分之间的重叠 ( $I(u_{ij}; s_{ji}$ ))。

这些信息论项通过可处理的代理损失进行近似：用于互信息的 InfoNCE、用于条件互信息的 KL 散度，以及用于冗余性的跨协方差惩罚。

理论保证

论文提供了形式化的最优性保证：

精确最优性： 在最小必要信息（MNI）是可达到的且权重参数 $\alpha > \lambda$ 的条件下，联合目标函数具有与理想的逐步优化器相同的全局最优解。
近优性： 当 MNI 不可达到时（现实场景中的常见情况），证明联合目标函数是近优的，其解受限于一个与信息差距相关的可处理常数。

实验结果

作者在三个领域评估了 RePercENT：合成数据、修辞语言理解（IRFL）以及多模态肿瘤学（TCGA）。

可扩展性与成分恢复（合成数据）：
- 随着模态数量增加（ $M=2$ 到 $5$），RePercENT 展示了参数量的线性扩展，而基线模型（MLP, GRU, gMLP）则需要指数级增加参数或遭遇成分崩溃。
- RePercENT 在所有模态数量下均保持了具有竞争力的解耦性能（高成分内预测性，低成分间泄漏），而像 GRU 和 MLP 这样的基线模型在 $M$ 增大时无法恢复独特成分。
- 它实现了与 gMLP 相当的性能，但参数量和 FLOPs 显著更低（在 $M=3$ 时低约 47%）。
修辞语言（IRFL）：
- 在将修辞文本（成语、隐喻、明喻）与图像进行匹配的任务中，RePercENT 的表现优于微调后的 CLIP 变体和其他解耦基线。
- 该方法在处理抽象且依赖上下文的任务（如成语和隐喻）时表现出特别优势，在这些任务中，隔离共享成分被证明是非常有益的。
- 消融研究证实，语义编码和组槽注意力对于性能提升都是至关重要的。
多模态肿瘤学（TCGA）：
- 通过使用临床、病理、全切片图像（WSI）和分子数据的嵌入，RePercENT 提高了大多数癌症类型的癌症分类准确率，超过了原始的 HONeYBEE 嵌入。
- 值得注意的是，对于原始分子嵌入不具信息量的癌症类型（如 KIRC, LGG），分解后的共享表示恢复了显著的预测结构。
- 对缺失模态的鲁棒性： 在逐步丢弃 WSI 数据的实验中，RePercENT 保持了较高的 Macro-F1 分数，而融合基线（包括经过 Dropout 训练的模型）性能大幅下降。这归功于其推理结构，即成分仅从可用的模态中推导。

重要性与主张

论文声称 RePercENT 提供了一个原则性的框架，将信息论基础与实用的可扩展实现联系起来。其主要贡献包括：

可扩展性： 它成功克服了多模态解耦中的指数级扩展瓶颈，能够以线性复杂度提取两个以上模态的独特因子与共享因子。
即插即用设计： 通过作用于预提取的嵌入，它对模态类型和骨干网络架构具有无关性，便于集成到现有流水线中。
理论基础： 它为联合优化方法提供了形式化的最优性保证（包括精确最优与近优），确保了在取得经验成功的同时具备理论完整性。
鲁棒性： 其架构天生能够处理缺失模态，无需复杂的填补，使其适用于数据完整性无法保证的现实临床与科学环境。

作者总结道，RePercENT 为构建更可靠、更具可解释性且具有机械论基础的多模态表示铺平了道路，实现了从简单的对齐向对不同模态如何交互的细粒度理解的跨越。