💻 computer science

Vision-Language Models are Fragile Multilingual Associators

本文引入了 M $^2$ BIND 基准测试，旨在证明视觉语言模型表现出脆弱的、依赖于语言的概念绑定能力，这种能力在跨语系和跨文字的多语言设置下会显著崩溃，从而挑战了在不同语言间性能保持一致性的假设。

原作者： Ritabrata Chakraborty, Rajatsubhra Chakraborty, Shivakumara Palaiahnakote, Angelo Cangelosi, Umapada Pal

发布于 2026-08-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Ritabrata Chakraborty, Rajatsubhra Chakraborty, Shivakumara Palaiahnakote, Angelo Cangelosi, Umapada Pal

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正走在一个繁忙的国际市场里。你看到一个鲜红色的苹果。在你的脑海中，“红色”这个词与那个苹果的图像融合成了一个单一且不可动摇的概念。无论摊主称它为 rouge、hong 还是 ahmar，你的大脑都会瞬间明白它们指的都是同一个闪亮的果实。这种将我们所见的景象与所听到的语言联系起来的能力——无论所使用的语言是什么——是人类自出生以来就拥有的超能力。

现在，想象一下教一个机器人也做到这一点。我们已经制造出了强大的“视觉-语言模型”（VLMs）——这些人工智能系统可以观察图片并回答关于图片的问题。我们假设，如果这些机器人学会了将一个圆锥体的图像与英语中的“yellow”联系起来，它们也会自动知道“jaune”（法语）或“huang”（中文）的意思是一样的。这看起来显而易见，对吧？但在人工智能的世界里，“显而易见”往往是出错的地方。这篇论文提出了一个简单但令人惊悚的问题：如果我们教人工智能将一个视觉物体与一种语言的描述联系起来，当我们将语言切换到另一种时，这种联系还能存续吗？或者说，这种连接是否会断裂，导致机器人即便给出了正确的答案，却依然陷入混乱？

伟大的语言大转场

由 Ritabrata Chakraborty 及其同事领导的研究人员决定对这一假设进行测试。他们创造了一个新的游戏，叫做 M2BIND。把它想象成一个魔术：他们向人工智能展示两个 3D 形状——一个圆锥体和一个立方体。然后，他们用一种语言给出“秘密规则”（上下文），并用一种完全不同的语言提出问题（查询）。

这个魔术的操作流程如下：

场景： 人工智能看到一个青色的立方体和一个黄色的圆锥体。
规则（上下文）： 用法语告诉人工智能：“The cyan object contains item P. The yellow object contains item I.”（青色的物体包含物品 P。黄色的物体包含物品 I。）
问题（查询）： 用英语问人工智能：“Which item does the cone contain?”（圆锥体包含哪件物品？）

为了得到正确答案，人工智能必须进行一场“脑力体操”：它必须观察圆锥体，意识到它是黄色的，记住法语规则说“黄色 = I”，然后回答“I”。如果人工智能能做到这一点，就证明它成功地将视觉形状与颜色、以及颜色与物品进行了跨语言的“绑定”。

重大发现：“无声崩溃”

结果令人震惊。论文发现，这些 AI 模型是脆弱的多语言关联者。虽然它们在大多数情况下仍能给出正确答案，但当语言差异过大时，它们获取答案的方式却瓦解了。

研究人员使用一个名为**因子分解边际（Factorization Margin, FM）**的指标来衡量这一点。你可以把它理解为一个“置信度分数”，用于衡量 AI 将概念粘合在一起的强度。

当 AI 对规则和问题使用同一种语言时（例如英语到英语），这种“胶水”非常强韧。得分达到了健康的 5.45。
但当他们混合使用不同语系的语言时——比如用中文作为规则，用阿拉伯语作为问题——这种胶水就变成了尘土。得分骤降至 2.80。

这是一种“绑定崩溃”。这意味着，即使人工智能猜对了答案，它也并没有像人类那样真正地将各个点连接起来。这就像是一个背下了答案解析、却并不理解数学逻辑的学生。论文指出，对于差异巨大的语言（如跨语系或使用不同脚本，如拉丁字母与阿拉伯字母），人工智能会失去维持这种关联的能力。

为什么会这样？“Token”瓶颈

作者深入挖掘以寻找原因。他们发现了两个主要元凶：

分词器（Tokenizer）问题： 想象人工智能阅读文本就像人读书一样，但它看到的不是单词，而是“token”（字符块）。有些语言是“贪婪”的吞噬者。论文发现，要写出同样的句子，阿拉伯语需要的 token 比英语多出 27.6%。这膨胀了人工智能的记忆，迫使它截断句子（截断）或仅仅是被压垮。这就像试图把一头大象塞进一辆小汽车里；空间极其紧凑，东西被挤扁了。
“深夜突击”的大脑： 研究人员使用了一种特殊的“因果干预”技术来窥探 AI 的大脑层。他们发现，当语言相同时，AI 在思考过程的中段就能理清逻辑。但当语言不同时，AI 必须将工作推迟到最后时刻，就像一个在考试前最后一刻临时抱佛脚的学生。这种“后层”计算能力较弱，且不够可靠。

好消息：亲戚之间相处融洽

不过也有好消息！论文发现，如果语言是“亲戚”，人工智能的表现会好得多。

日耳曼语族： 英语、荷兰语和德语是近亲。当 AI 在这些语言之间切换时，连接保持稳固（得分在 5.00–5.30 左右）。
罗曼语族： 法语、意大利语和西班牙语也表现良好。
陌生人： 但当人工智能尝试将英语与中文，或法语与阿拉伯语混合使用时，性能显著下降。

这表明，人工智能的内部“字典”是根据语言之间的相似度来组织的。如果语言共享同一个家族树，AI 可以轻松翻译概念。如果它们是陌生人，AI 就会难以架起沟通的桥梁。

这对未来意味着什么

论文总结道，我们不能仅仅因为人工智能通过了某种语言的测试，就假设它们是真正的“多语言”模型。如果你在全球化环境中部署一个混合语言的人工智能，你得到的答案可能看起来是正确的，但其背后的逻辑基础却是摇摇欲坠、破碎不堪的。

作者警告说，仅仅依赖“准确率”（是否得到了正确答案？）是危险的。一个模型的准确率可能高达 90%，但其内部逻辑可能已经完全崩溃。他们建议，为了让这些模型在全世界范围内真正可靠，我们需要修复它们处理不同脚本和语言的方式，而不是仅仅寄希望于它们能自行解决问题。目前来看，那个能够毫不费力地在每种人类语言间融合视觉与语言的梦想，依然只是一个梦想，其根基上还存在着几道裂痕。

技术摘要：视觉-语言模型是脆弱的多语言关联器

问题陈述

视觉-语言模型（VLMs）的任务是将视觉实体与文本属性进行关联。虽然人类能够毫不费力地在不同语言之间融合视觉和文本信息（例如，将“yellow”和“jaune”映射到同一个概念），但目前尚不清楚 VLMs 是否能在输入上下文与查询语言不同的情况下保持稳定的概念绑定。目前的评估通常依赖于单语设置，这可能掩盖了一种“无声的退化”，即非英语用户会继承降低的关联质量。核心问题在于确定 VLMs 的内部绑定机制是语言无关的，还是在跨越语言边界（特别是不同语系和脚本之间）时会发生崩溃。

方法论：M2BIND

作者引入了 M2BIND，一个旨在测试多语言多模态绑定（Multilingual Multimodal BINDing）的基准测试和任务。

任务公式化： 该任务涉及一个包含两个 3D 物体（例如，一个圆锥体和一个立方体）的视觉场景，每个物体都有一个形状和一种颜色。一个文本上下文根据颜色为每个物体分配一个项目符号（例如，“P”或“I”）。随后，一个查询会根据特定的形状询问所包含的项目。
绑定挑战： 为了正确回答，模型必须执行两步关联：
1. 接地（Grounding）： 通过图像将查询的形状映射到一种颜色。
2. 绑定（Binding）： 通过文本上下文将该颜色映射到正确的项目符号。
3. 跨语言条件： 上文以语言 $\ell_{ctx}$ 提供，而查询以语言 $\ell_{q}$ 提供。图像保持不变。
语言设置： 研究通过两个语言距离轴的变化，对 $\ell_{ctx}$ $ℓ_{c t x}$ 和 $\ell_{q}$ $ℓ_{q}$ 在八种语言中进行了变化：
- 跨语系： 英语、法语、中文和阿拉伯语（涵盖四个语系和三种脚本）。
- 语系内： 日耳曼语族（英语、荷兰语、德语）和罗曼语族（法语、意大利语、西班牙语）。
评估指标：
- 外在性： 标准准确率和因子分解边际（Factorization Margin, FM），后者衡量正确项目与干扰项之间的对数概率间隔。使用 FM 来检测即使在准确率仍然很高的情况下发生的绑定崩溃。
- 内在性（因果性）： 通过交换干预实现的交互因果效应（Interchange Causal Effect, ICE）。通过在特定解码器层交换两个物体的隐藏状态，作者测量了正确项目得分的下降情况，以定位模型中绑定何时得到巩固。
模型： 主要评估使用的是 LLaVA-1.5-OV-7B（SigLIP 编码器，Qwen2 解码器）。此外还提供了 Qwen2.5-VL-7B 的补充结果。

核心贡献

M2BIND 基准测试： 第一个通过在多种语言和语言距离下独立改变上下文和查询语言，来测试实体-属性绑定的任务和基准。
双重评估： 一种综合评估策略，结合了外在任务性能与用于追踪绑定退化的内在因果干预。
机械分析： 识别了驱动绑定脆弱性的特定因素，包括分词效应和解码器计算中的层级偏移。

结果

1. 绑定并非语言无关 (RQ1)

跨语系崩溃： 绑定强度随语言距离显著下降。在跨语系设置中（例如，中文上下文配阿拉伯语查询），因子分解边际（FM）下降了 2.65 点（从单语英语的 5.45 下降到 2.80），代表其强度不到单语水平的一半。
脚本影响： 与拉丁脚本相比，非拉丁脚本（中文、阿拉伯语）即使在单语设置下也表现出较低的绑定强度。
不对称性： 退化是不对称的。当查询语言是非拉丁语（如英语 $\to$ 阿拉伯语）时，绑定比上下文是非拉丁语（阿拉伯语 $\to$ 英语）时更弱。这符合矩阵语言框架理论（Matrix Language Frame theory），即查询必须访问由上下文构建的绑定支架。
语系内稳定性： 亲缘关系接近的语言（如日耳曼语族或罗曼语族）能更好地保留关联，其 FM 值保持在单语水平附近（高于 5.0），且准确率保持在 0.98–0.99 左右。

2. 脆弱性的驱动因素 (RQ2)

分词（Tokenization）： 很大一部分退化发生在解码器之前。非拉丁脚本（阿拉伯语、中文）需要更多的 token，导致更高的截断率，即使在单语设置下也会导致 FM 的损失。这表明“分词不公平性”是脆弱性的主要驱动因素。
解码器偏移： 因果干预（图 2）显示，虽然单语绑定在解码器中间层（~~15 层）达到峰值，但跨语言绑定向较晚的层级（~~20 层）偏移。这表明模型执行了额外的计算来协调差异化的语言表示。然而，这种额外的计算并不能完全恢复绑定强度；跨语言曲线更平坦且更弱，表明这些表示在因果上更难分离。

3. 语言接近性有助于迁移 (RQ3)

语系内配对（如英语-荷兰语、法语-意大利语）展示了鲁棒的绑定迁移，通常能超越锚点语言进行泛化（例如，德语-荷兰语配对在没有英语的情况下表现良好）。这支持了这样一个假设：共享的谱系接近性和词汇量有助于提高绑定的稳定性。

重要性与主张

本文声称，在全球部署 VLMs 进行多语言设置时，不能假设观察到的与单语评估相同的关联质量。

准确率是不充分的： 即使底层绑定机制已经崩溃（由低 FM 指示），聚合任务准确率通常仍保持在接近顶峰的水平（例如 >0.90）。仅仅依赖准确率会掩盖跨语言推理的脆弱性。
人类 vs 机器： 与人类能够毫不费力地跨语言融合视觉和语言概念不同，当前的 VLMs 在处理涉及非拉丁脚本的语言距离时，难以维持不变的绑定。
诊断价值： 本研究证明，内部因果干预和因子分解边际是多语言 VLMs 必要的诊断工具，它们揭示了标准基准测试所忽略的退化现象。

作者得出结论，对于当前的 VLMs 而言，语言无关的接地仍然是一个尚未解决的问题，随着语言距离的增加，绑定会发生解离。