技术摘要：维特根斯坦表征假说

1. 问题陈述

多模态表征学习中的一个根本问题是：为何来自不同模态（如视觉、点云、语言）的独立训练神经网络会收敛至共享的表征结构？虽然**柏拉图表征假说（PRH）*认为这种收敛是朝向共享的“现实统计结构”发生的，但它对这种收敛的方向*以及终点的具体性质保持不可知论。

现有的收敛经验证据完全依赖于对称相似性度量（如 CKA、互 kNN、RSA）。根据构造，这些指标满足 $s(X, Y) = s(Y, X)$，使它们能够检测到存在收敛，但在结构上却无法感知收敛朝向何处或沿何种方向。因此，收敛是相互的还是方向性的，如果是方向性的，哪种模态充当吸引子，这一问题一直未被考察。

2. 方法论

作者引入了方向性收敛分析，以解决对称度量的局限性。

2.1 非对称对齐度量：CYCLE-KNN

核心方法创新是应用CYCLE-KNN，一种固有的非对称对齐度量，来研究收敛方向。

• 机制：CYCLE-KNN 通过两步最近邻循环计算对齐度。对于表征 $X$ 和 $Y$，它在空间 $Y$ 中找到点 $i$ 的 $k$ 个最近邻，然后在空间 $X$ 中找到这些点的 $k$ 个最近邻。得分是点 $i$ 在此往返后返回自身（或其原始邻域）的比例。
• 非对称性：当 $k \ge 2$ 时，该度量是非对称的。如果 $CYCLE\text{-}KNN(X \to Y) > CYCLE\text{-}KNN(Y \to X)$，则意味着 $Y$ 的邻域结构比 $X$ 更连贯（紧凑），使得返回步骤更有可能成功。
• 方向性差距（$\Delta$）：作者定义 $\Delta(X, Y) = CYCLE\text{-}KNN(X \to Y) - CYCLE\text{-}KNN(Y \to X)$。持续为正的 $\Delta$ 表明 $Y$ 充当了 $X$ 更稳定的参考系（吸引子）。

2.2 实验设置

• 模型：本研究评估了58 个独立训练的单模态模型，涵盖沿抽象层级排列的三种模态：
  • 3D 点云：7 个模型（例如 PointMAE、PointBERT、PointGPT）。
  • 2D 视觉：22 个模型（例如 ViT、MAE、DINOv2、DINOv3、CLIP）。
  • 语言：29 个模型（例如 BLOOMZ、LLaMA、Qwen2.5/3、InternLM）。
  • 注：除跨模态控制模型（CLIP、ReCon++）外，没有模型使用来自其他模态的数据进行训练。
• 数据集：
  • WiT：1,024 个图像 - 文本对，用于视觉 - 语言对齐。
  • ShapeNet55：匹配的 3D 物体、渲染图像和文本描述，用于点云 - 视觉 - 语言对齐。
• 分析：作者计算所有跨模态对的 $\Delta$，分析层间密度、模态内一致性和尺度不变性（参数量范围从 5.7M 到 72B）。

3. 主要发现

3.1 方向性非对称

该研究揭示了一种对称度量无法察觉的一致方向性非对称：

• 非语言模态向语言收敛：视觉和点云表征与语言的对齐程度显著高于语言与它们的对齐程度。
  • $\Delta(\text{视觉} \to \text{语言}) = +0.010$ ($p < 0.05$)。
  • $\Delta(\text{点云} \to \text{语言}) = +0.030$ ($p < 0.01$)。
  • $\Delta(\text{点云} \to \text{视觉}) = +0.046$ ($p < 0.01$)。
• 鲁棒性：这种非对称性在 638 个模型对、10 个模型系列以及四个数量级的参数量中均成立。它对 $k$ 的选择具有不变性（测试范围从 1 到 50）。

3.2 模态内一致性

语言模型表现出最高的模态内表征一致性（平均 CKA = 0.904），其次是视觉（0.857），最后是点云（0.440）。独立训练的语言模型之间的高度一致性表明，它们在表征空间中占据了一个深层且稳定的盆地，这与“吸引子”假说一致。

3.3 几何机制：特征密度

方向性由特征密度非对称性解释：

• 紧凑性：语言表征占据了表征空间中最紧凑的区域（最低成对平均距离 $D$），特别是在中间至深层。
• 轨迹：视觉模型显示出随深度单调增加的密度（稀疏），而语言模型遵循倒 U 型轨迹，在跨模态对齐达到峰值的层处达到最大紧凑性。
• 机制：语言中紧凑的邻域促进了 CYCLE-KNN 中的“返回步骤”，从而驱动了观察到的方向性偏差。

3.4 信息瓶颈解释

作者通过**信息瓶颈（IB）**框架解释这些发现。在 IB 下，优化推动表征最大限度地压缩与任务无关的信息。自然语言作为一种高度压缩的、离散的、组合式的感知经验结构，充当了最优压缩目标。随着模型压缩信息，它们的表征自然地收敛至语言所定义的结构性几何。

4. 维特根斯坦表征假说（WRH）

基于这些发现，本文提出了维特根斯坦表征假说：

“语言的语义结构构成了多模态表征收敛的渐近吸引子。”

该假说认为，随着独立训练的模型变得足够强大，无论输入模态如何，它们学到的表征都会收敛至由语言语义结构定义的表征几何。这重新诠释了维特根斯坦的格言（“我的语言的界限意味着我的世界的界限”），将其表述为关于表征学习的论断：语言施加了结构性约束，定义了所有感知表征在充分优化下收敛的边界。

5. 意义与主张

本文声称以下贡献和意义：

1. 方法论修正：它指出了表征学习中的一个系统性盲点：过度依赖对称度量导致收敛方向未被考察。作者证明，CYCLE-KNN 的非对称性（此前已被记录但未分析）编码了关键的方向性结构。
2. PRH 的解决：虽然 PRH 确立了发生了收敛，但 WRH 回答了收敛去向何处。终点并非通用的“现实统计结构”，而是一种特定的、离散的、组合式的结构：语言。
3. 普适性：该现象具有尺度不变性，并且在多样化的架构（Transformer、自编码器）和训练范式（监督、自监督、对比学习）中均表现稳健，表明它是模态表征的基本属性，而非特定训练目标或模型规模的产物。
4. 理论基础：本文通过信息瓶颈框架提供了原则性解释，将几何紧凑性与将感知经验压缩为符号语言联系起来。

作者明确指出，WRH 是一个可证伪的方向性预测，已通过其跨越 58 个模型的实验得到证实。他们警告说，这描述的是当前神经网络训练中的一种结构性趋势，而非规范性主张，即语言是现实的“正确”或“完整”表征，并指出了语言数据中固有的文化偏见可能带来的风险。