🤖 machine learning

Representational Alignment Across Model Layers and Brain Regions with Multi-Level Optimal Transport

该论文提出了一种名为多级别最优传输（MOT）的统一框架，通过联合推断全局一致的软层间耦合与神经元级传输计划，克服了传统方法在深度不匹配网络对齐中的局限，实现了跨模型层级、脑区及训练轨迹的更丰富、可解释且结构化的表征对齐。

原作者： Shaan Shah, Meenakshi Khosla

发布于 2026-04-23

📖 2 分钟阅读☕ 轻松阅读

原作者： Shaan Shah, Meenakshi Khosla

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种名为**“多层级最优传输”（Multi-Level Optimal Transport, 简称 MOT）**的新方法，用来比较不同的人工智能模型，甚至比较人工智能和人类大脑。

为了让你轻松理解，我们可以把这项技术想象成**“给不同的图书馆做图书分类和匹配”**。

1. 以前的做法：笨拙的“一对一”配对

想象你有两个图书馆：

图书馆 A 有 5 层楼（代表一个较浅的 AI 模型）。
图书馆 B 有 10 层楼（代表一个较深的 AI 模型）。

以前的研究方法（比如“成对匹配”）就像是一个死板的图书管理员。他的规则是：

“我必须把 A 的第 1 层楼，强行对应到 B 的某一层楼。A 的第 2 层对应 B 的另一层……以此类推。”

这种做法的问题：

太死板： 如果 A 的第 1 层楼里的书（知识），其实分散在 B 的第 1、2、3 层楼里呢？旧方法只能强行选一层，导致匹配不准。
顾此失彼： 管理员可能发现 B 的第 5 层楼特别像 A 的第 1 层，于是把 A 的第 1 层全配给 B 的第 5 层。结果 B 的第 1-4 层被忽略了，而 A 的第 2 层又被迫去配 B 的第 5 层，造成混乱。
没有全局观： 他只看局部，不知道整个图书馆的布局结构。

2. 新方法的突破：灵活的“物流运输”

这篇论文提出的 MOT 方法，就像是一个聪明的物流调度系统。它不再强迫“一层对一层”，而是允许**“一层对多层”**的灵活分配。

核心比喻：运送“知识货物”

想象每个图书馆的每一层楼都装满了“知识货物”（神经元激活数据）。

旧方法：试图把 A 的一整箱货物，直接塞进 B 的一个特定房间里。
MOT 方法：把货物拆散。A 的第 1 层楼的货物，可以同时运送到 B 的第 1、2、3 层楼。
- 如果 B 的第 1 层接收了 30% 的货物，第 2 层接收了 50%，第 3 层接收了 20%，系统会记录这种**“软性连接”**。
- 同时，系统保证**“守恒定律”**：A 的所有货物必须全部运走（不能丢），B 的所有房间也必须被合理填满（不能有的房间空着，有的塞爆）。

3. 这个方法解决了什么大问题？

A. 处理“身高不同”的模型（深度不匹配）

就像上面说的，一个 5 层的模型和一个 10 层的模型怎么比？

旧方法：很头疼，强行配对会出错。
MOT 方法：它发现，浅层模型的一个“大房间”（一层），其实包含了深层模型中几个“小房间”（几层）的功能。于是，它把浅层的一层货物，均匀地分发给深层的几层。这就完美解释了为什么深层模型更“聪明”——因为它把原本压缩在一层里的复杂计算，拆解成了多个步骤。

B. 发现“隐藏的结构”

当你用 MOT 比较两个模型（或者一个人脑和一个 AI）时，它不仅能算出一个总分（这两个系统有多像），还能画出一张**“热力图”**。

这张图会显示：A 的早期层（处理简单线条）自然地对应 B 的早期层；A 的深层（处理复杂物体）对应 B 的深层。
这种**“层级对应关系”**是自动浮现的，不需要人为规定。而旧方法往往只能看到乱糟糟的连线，看不出这种清晰的层级结构。

C. 旋转不变性（给地图换个方向也能认出来）

有时候，两个模型虽然处理逻辑一样，但内部数据的“方向”不同（就像一张地图被旋转了 90 度）。

旧方法可能会说：“这两个地图不一样！”
论文还提出了一种**“旋转增强版”（MOT+R），它像是一个拿着指南针的导航员**。即使地图被旋转了，它也能识别出：“哦，虽然方向变了，但‘山’还是对应‘山’，‘河’还是对应‘河’。”这在比较视觉模型（如识别图片的 AI）时特别重要。

4. 实验结果：真的有用吗？

作者用这个方法做了三件事，效果都很棒：

比较不同的 AI 模型（比如 LLaMA 和 Qwen）：发现它们虽然名字不同、大小不同，但内部的学习路径惊人地相似，且 MOT 能更准确地捕捉这种相似性。
比较不同的人脑（通过 fMRI 扫描）：发现不同人的大脑视觉皮层（V1, V2 等区域）在功能上有着非常清晰的对应关系，而旧方法很难发现这种规律。
比较 AI 和人脑：发现 AI 的早期层确实像人脑的早期视觉区，深层像高级认知区。

总结

这篇论文的核心思想就是：不要死板地“一对一”硬凑，要学会“多对多”的灵活分配。

就像比较两个不同规模的团队时，不要强行把小团队的一个成员对应到大团队的一个成员，而应该看小团队的一个职能是如何在大团队的多个岗位中体现出来的。MOT 就是那个能看清这种复杂、全局、灵活对应关系的“超级显微镜”。

它让我们能更公平、更深刻地理解：无论是不同的人工智能，还是人类的大脑，它们是如何一步步构建起复杂的智能的。

这是一篇发表于 ICLR 2026 的会议论文，题为《Representational Alignment Across Model Layers and Brain Regions with Multi-Level Optimal Transport》（基于多层最优传输的模型层与脑区表示对齐）。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

在神经科学和人工智能领域，比较不同神经网络（或生物脑）的表示（Representations）是核心挑战。现有的标准方法（如 RSA、CKA、Procrustes 距离等）通常采用**逐层贪婪匹配（Layer-wise Matching）**的策略：

局限性 1：刚性的一对一映射。强制每个源层只匹配一个目标层，无法处理深度不同（ $L \neq M$ ）的网络，也无法处理特征在多个目标层中分布的情况。
局限性 2：缺乏全局一致性。每层独立优化，忽略了整个网络的全局激活结构，容易导致过拟合噪声。
局限性 3：非对称性。匹配结果取决于比较的方向（A 对 B vs B 对 A），且缺乏一个统一的全局对齐分数。
局限性 4：无法揭示深层结构。贪婪方法往往无法揭示清晰的层级对应关系（如浅层对浅层，深层对深层），且无法处理特征在深度网络中被“展开”到多个层的情况。

2. 方法论 (Methodology)

作者提出了**多层最优传输（Multi-Level Optimal Transport, MOT）**框架，旨在通过全局优化实现软性的、一致的对齐。

核心思想

MOT 将表示对齐建模为一个两级的最优传输问题，同时推断神经元级别的耦合和层级级别的耦合：

内层（Inner Level）：神经元到神经元的传输
- 对于每一对候选层 $(\ell, m)$ ，计算神经元级别的软耦合矩阵 $Q_{\ell m}$ 。
- 基于神经元调谐曲线（Tuning curves）的相似度（如相关距离），最小化传输成本。
- 允许神经元将“质量”（Mass）分布到多个目标神经元上，处理宽度不匹配的情况。
外层（Outer Level）：层到层的传输
- 利用内层计算出的层间成本矩阵 $C$ ，构建一个全局的层传输问题。
- 定义传输多面体（Transportation Polytope），施加边际约束（Marginal Constraints）：
  - 每个源层必须将其 100% 的质量分布到所有目标层（无信息丢失）。
  - 每个目标层接收的总质量必须平衡（无目标层被过度利用或忽略）。
- 求解得到全局层耦合矩阵 $P$ ，其中 $P_{\ell m}$ 表示源层 $\ell$ 有多少比例由目标层 $m$ 解释。

关键特性

软性多对多映射：允许源层将表示分布到多个目标层，自然解决深度不匹配问题。
全局一致性：通过联合优化所有层，避免局部最优，产生对称且平衡的对齐方案。
旋转不变性扩展 (MOT+R)：针对 Transformer 等模型中基向量旋转不变的特性，引入正交旋转矩阵 $R$ ，通过交替最小化（Alternating Minimization）优化传输和旋转，捕捉几何等价性。
三层 MOT (Three-Level MOT)：扩展至训练轨迹对齐，将检查点（Checkpoints）作为第三级，对齐两个模型在整个训练过程中的演化路径。

评估指标

通过**重构分数（Reconstruction Score）**评估对齐质量：利用学习到的传输计划重构源层激活，计算重构值与真实值在保留测试集上的相关性。

3. 主要贡献 (Key Contributions)

理论框架：提出了一个原则性的全局对齐框架，产生对称、全局一致的分配和单一的全局对齐分数，克服了贪婪方法的不对称性和局部性。
深度不匹配处理：通过软性多对多映射，无需强制一对一匹配即可对齐不同深度的网络。
旋转不变性：提出了 MOT+R 扩展，解决了表示空间旋转带来的对齐困难，特别适用于 Vision Transformers。
涌现的层级结构：实验表明，MOT 无需显式约束即可自然恢复层级对应关系（早期层对早期层，深层对深层），而贪婪方法往往产生混乱的映射。
特征分布揭示：揭示了深层网络如何将浅层网络中压缩在单层中的计算“展开”到多个连续层中，这是贪婪方法完全忽略的现象。

4. 实验结果 (Results)

作者在三个领域进行了广泛评估：

大型语言模型 (LLMs)：
- 对比 LLaMA 和 Qwen 系列不同规模模型。
- 结果：MOT 的重构分数显著高于基线（Pairwise OT, Single-Best OT）。
- 发现：运输计划呈现清晰的对角线结构（层级对应），且浅层模型的单层质量会分布到深层模型的多个连续层中。
人脑视觉皮层 (fMRI)：
- 对齐不同受试者（Subjects）的视觉皮层区域（V1-V4 等）。
- 结果：MOT 的重构分数与基线相当或略优，但关键在于恢复了预期的跨受试者区域对应关系（如 V1 对 V1），而逐层贪婪方法无法做到这一点。
视觉模型 (Vision Transformers)：
- 对比 DINOv2 和 ViT-MAE 系列。
- 结果：标准 MOT 表现不一，但**MOT+R（旋转增强版）**在所有设置下均大幅超越基线，重构分数最高，且恢复了清晰的层级对齐。这证明了在旋转不变表示空间中引入旋转优化的必要性。
训练轨迹对齐 (Three-Level MOT)：
- 对齐 Pythia 模型在不同训练检查点（Checkpoints）的轨迹。
- 结果：MOT 揭示了两个训练轨迹之间连贯的检查点对应关系，而贪婪匹配则无法捕捉这种轨迹级别的演化模式。

5. 意义与结论 (Significance)

更丰富的比较视角：MOT 提供了一种比传统逐层匹配更丰富、更可解释的表示比较方法，特别是在架构或深度不同的系统之间。
揭示通用原则：通过揭示模型与模型、模型与脑之间的自然层级对应和特征分布模式，为理解智能系统的通用表示原则提供了测量基础。
未来方向：该方法为研究模型架构、训练数据顺序、学习率等优化选择如何影响对齐计划提供了工具，并有助于验证关于“普适表示维度”（Universal Representational Dimensions）和“柏拉图表示假说”（Platonic Representation Hypothesis）的理论。

局限性：计算复杂度较高（内层 OT 为 $O(n^3 \log n)$ ），难以直接扩展到极宽或极深的模型；目前主要关注量化对齐，尚未深入解释为何不同系统会收敛到相似表示的深层原因。

总体而言，这篇论文通过引入多层最优传输，解决了神经表示对齐中的全局一致性和深度不匹配问题，为跨模型、跨模态（AI 与生物脑）的表示比较提供了新的标准范式。