💬 NLP

A Systematic Comparison of Multilingual Interpretability Methods Reveals Anisotropy-Driven Failures

本文系统地评估了 21 个模型中的四种多语言可解释性方法，发现各向异性会扭曲大多数指标，而 ILO 则能独特且稳健地与跨语言迁移性能相关联，从而引导作者推荐将 ILO 作为主要的共享度量指标，并辅以各向异性诊断。

原作者： Oskar Holmström, Marcel Bollmann, Marco Kuhlmann

发布于 2026-09-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Oskar Holmström, Marcel Bollmann, Marco Kuhlmann

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

现代理解语言的人工智能系统建立在一种数学基础之上，即将词汇和句子映射到庞大的多维空间中。在这些空间里，一个词的含义由一个特定的点来表示，而词与词之间的关系则由这些点之间的距离和方向来定义。当这些模型同时在许多不同的语言上进行训练时，它们会发展出一种卓越的能力：它们开始使用相同的内部点来表示不同语言中的相似概念，从而有效地创建了一个共享的精神词典。这种现象被称为“跨语言共享”（cross-lingual sharing），它是让一个主要在英语上训练的模型能够回答斯瓦希里语问题或翻译日语诗歌的引擎。然而，多年来，科学家们一直难以精确衡量这种共享到底有多好。不同的研究团队构建了不同的“尺子”来测量同一件事物，而这些尺子给出的答案往往相互矛盾。一个团队可能认为模型完美地共享了知识，而另一个使用不同方法的团队则可能认为它几乎没有任何共享。这种混乱使得人们很难辨别哪些模型是真正的多语言模型，而哪些只是在伪装。

一组研究人员致力于通过对比四种具有代表性的测量工具（这些工具旨在针对不同的方法论家族进行对比）来解决这一困惑，并将其应用于各种语言模型。他们收集了二十一个不同的模型，涵盖了从小型高效版本到大规模复杂版本的各种类型，代表了五种不同的人工智能家族。这些模型的参数规模从1.25亿到140亿不等，捕捉到了该领域的多样性。研究人员向这些模型输入了一组标准的十种语言句子（包括阿拉伯语、中文、英语和土耳其语），然后应用了这四种测量工具中的每一种，以观察模型在多大程度上混合了它们的语言。他们还通过测试模型的现实世界表现来进行验证：即教给模型一项新任务（使用英语），然后观察它在无需进一步训练的情况下，将该知识应用到其他语言中的效果。这种功能性测试作为一个验证标准，旨在观察这些测量结果是否能预测模型的知识迁移能力，尽管作者指出，迁移是由除表征对齐之外的其他因素驱动的。

结果显示，测量工具之间的分歧并非反映了模型本身的问题，而是由于这些工具构建方式的缺陷。研究人员发现，这些模型的内部表征通常是“各向异性”（anisotropic）的，这个术语描述了一种被拉伸成狭窄、针状圆锥体而非在所有方向上均匀分布的形状。想象一下球体与细铅笔之间的区别；在铅笔形状的空间里，几乎任何两个点看起来都很接近，仅仅是因为空间太窄了。四种测量工具中有三种都被这种形状所迷惑。它们将所有点都挤在一起的现象解释为强烈的共享证据，即便这些模型实际上并没有混合语言。其中一种工具尤其依赖于一种剔除最重要的信息方向来寻找模式的方法，结果却发现语言特征被推到了被丢弃的方向中。这就像是通过移除汤里的盐来寻找某种特定的味道，最后却因为盐没了而得出结论说这汤很淡一样。

相比之下，一种被称为“语际局部重叠”（Interlingual Local Overlap）的特定测量方法被证明是唯一可靠的尺子。该工具观察模型内部空间中每个词的直接邻居，询问不同语言的词是否站在彼此身边。与其他工具不同，这种方法经受住了严格的测试。它一致地预测了哪些模型在跨语言任务中表现出色，展现出了强大的相关性，且这种相关性无论模型的大小或家族如何，都保持成立。研究人员发现，在该特定指标上得分较高的模型，能够成功地将知识从英语迁移到其他语言。其他工具要么无法区分那些共享知识的模型与不共享知识的模型，要么受到数据狭窄形状的影响，为那些实际共享能力极差的模型产生了误导性的高分。

研究结论指出，该领域一直受到那些对数据的几何畸变敏感、而非对实际语言混合程度敏感的工具的误导。研究人员建议，未来的研究应将“语际局部重叠”作为主要的共享指标，但需同时报告各向异性诊断结果。此外，他们建议，每当有人报告语言共享得分时，必须同时报告一个数据形状的诊断检查，以确保高分反映的是真实的混合，而非仅仅是一个狭窄、扭曲的空间。这项工作并不声称解决了语言模型如何学习的奥秘，但它提供了一种清晰、可靠的方式来衡量它们学到了什么。通过识别哪些工具有效以及哪些工具失效，研究人员拨开了迷雾，使科学界终于能够在公平的平台上比较模型，并理解多语言智能的本质。这些结果是对全球共享指标的一种修正而非否定：单一的全局得分仍然是量化和比较模型间共享程度的正确工具，而解释共享是如何实现的，则需要机械论的方法。

技术摘要：多语言可解释性方法的系统比较揭示了各向异性驱动的失效

问题陈述

多语言语言模型（MLM）在没有显式对齐监督的情况下开发出共享的跨语言表示。虽然各种可解释性方法声称能够量化这种共享，但它们在很大程度上是孤立开发的。因此，当不同的指标对模型共享程度得出相互矛盾的结论时，目前尚不清楚这种分歧反映的是真实的架构差异，还是测量技术本身产生的伪影。

一个关键的混淆因素是表示各向异性（Representational Anisotropy）：即上下文嵌入倾向于占据嵌入空间中的一个狭窄圆锥，而非均匀分布。这种几何特性夸大了向量之间的表观相似性，并将有意义的变化限制在低维子空间内。本文研究了现有的共享指标是否对这种失真具有鲁棒性，或者它们是否在无意中测量的是各向异性而非真正的跨语言对齐。

方法论

作者对来自五个不同家族（BLOOM, OPT, XGLM, Qwen3, SmolLM3）、参数规模从 125M 到 14B 的 21 个基础模型进行了代表性共享指标的系统比较。研究利用 FLORES-200 devtest 集（10 种语言）进行表示分析，并使用五个下游任务（Belebele, XNLI, XCSR, SIB-200, XQuAD）进行功能验证。

评估的四种指标

CKA (Centered Kernel Alignment)： 测量跨语言表示矩阵之间的全局几何相似性。
ANC (Average Neuron Correlation)： 通过并行句子激活值的皮尔逊相关系数，测量逐神经元的对齐程度。
$\lambda$ (GMM Dominance per Token)： 在 PCA 子空间（保留 98% 方差）中拟合高斯混合模型（GMM），并计算更有可能属于外语组件而非其自身语言的 Token 比例。
ILO (Interlingual Local Overlap)： 一种基于邻域的指标，使用全隐藏状态空间中的 $k$ -最近邻（ $k=5$ ）来测量语言之间的桥接和可达性得分。

实验框架

功能验证： 作者将每种指标与零样本跨语言迁移性能（在英语上进行微调后）进行了相关性分析。
统计控制： 他们采用了 Spearman 秩相关、偏相关（控制模型大小）以及置换检验（在家族内进行洗牌），以区分真实的联系与混淆因素。
各向异性诊断： 他们测量了有效维度（ $n_{pca}$ ）和平均随机余弦相似度，以量化各向异性的程度。
探测（Probing）： 在全隐藏状态、PCA 主子空间和残差子空间上训练语言探测器，以定位语言身份是如何编码的。

主要发现

1. 三种截然不同的共享模式

分析揭示了三种不同的跨语言共享模式，而非二元对立：

集中式共享 (Concentrated Sharing) (BLOOM $\ge$ 1B, Qwen3, SmolLM3)： 高 $\lambda$ 和 ILO 值，方差在峰值层仅集中在 2 个维度（ $n_{pca}=2$ ）中。
分布式共享 (Distributed Sharing) (XGLM)： 高 ILO 但近乎为零的 $\lambda$ ，方差分布在数千个维度中。
极小化共享 (Minimal Sharing) (OPT)： 所有指标值均较低，这与以英语为中心的训练特征一致。

2. 各向异性驱动的失效

指标之间的分歧可以直接追溯到各向异性：

CKA 被共享的圆锥方向所夸大，在不同家族之间表现出狭窄且缺乏信息量的范围。
$\lambda$ (GMM Dominance) 在分布式模型（如 XGLM）中发生灾难性失效。因为 $\lambda$ 在保留 98% 方差的 PCA 子空间中运行，它丢弃了这些模型中语言身份实际存在的维度。探测实验表明，在高 $\lambda$ 模型中，语言身份被重新定位到了残差子空间（被 $\lambda$ 丢弃）；而在分布式模型中，主子空间中不存在 GMM 可以拟合的聚类结构。因此， $\lambda$ 测量的是混合模型在一个已经移除了语言信息的子空间中的行为。
ANC 更具鲁棒性，因为它减去了神经元均值，使其对各向异性的共同偏移成分具有不变性。
ILO 保持了鲁棒性，因为它在全隐藏状态上运行，并且对每个向量的缩放具有不变性。中心化变体（ILOc）证实了该指标并非由共享的各向异性均值偏移所驱动。

3. 跨语言迁移预测

只有 ILO 展示了与跨语言迁移性能的稳健关联：

ILO： 在所有模型中 Spearman $\rho = 0.90$ 。这种相关性在控制了模型大小、家族成员身份和单任务变化后依然存在。
ANC： 显示出强相关性（ $\rho = 0.84$ ），但这高度依赖于家族间的对比；在对家族内数据进行置换检验后，该相关性无法维持。
$\lambda$ ： 中度相关（ $\rho = 0.52$ ），且无法在不同任务和家族间保持一致。
CKA： 无显著关联（ $\rho = 0.14$ ）。

4. 训练动态

共享并非逐渐显现。在像 BLOOM 这样的模型中， $\lambda$ 和 ILO 在特定的训练步数（例如 BLOOM-1.1B 在 10K 到 100K 步之间）会经历剧烈的相变。指令微调可以诱导小模型的共享（例如 BLOOMZ-560m），但对已经表现出强共享的大型模型影响微乎其微。

意义与建议

本文认为，几何共享得分不能脱离其所在的几何结构而独立解释。主要贡献在于识别了各向异性是导致指标分歧的驱动因素，特别是展示了基于 PCA 的方法（如 $\lambda$ ）如何报告“共享”——即语言身份仅仅是被重新定位到了被丢弃的维度中，或者在共享是分布式的情况下漏掉共享。

建议：

采用 ILO： 作者建议将 ILO 作为量化跨语言共享的主要指标，因为它是唯一一个其与迁移相关的性在严格控制下依然成立的指标。
报告各向异性诊断： 任何几何共享指标都应随各向异性诊断（如有效维度 $n_{pca}$ 和平均随机余弦相似度）一起报告，以便读者区分真实的共享与各向异性坍缩。
谨慎对待 PCA： 对于依赖于按方差排序投影的指标（如 $\lambda$ ），在高度各向异性的模型中是不可靠的，因为语言信息可能存在于低方差方向中。

作者总结道，虽然全局共享指标仍是比较模型的有用工具，但其可靠性取决于底层的表示几何结构，这要求转向使用对各向异性更具鲁棒性的指标。