Beyond 'One Language, One Script': Quantifying Orthographic Bias in Multilingual VLMs with PuMVR
本文介绍了 PuMVR，这是首个通过证明多语言视觉-语言模型在旁遮普语的三种活跃书写系统（格木基、沙穆希和罗马字母）中存在显著性能差距和不一致推理，从而量化其显著正字法偏差的基准测试，进而挑战了“一种语言等同于单一书写系统”的假设。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你拥有一个才华横溢、精通多种语言的机器人助手。你告诉它：“我会说旁遮普语（Punjabi）。”它自豪地回答：“太棒了！我可以为您提供旁遮普语方面的帮助。”但问题在于：旁遮普语不仅仅有一种书写方式。它就像一种戴着三种不同面具的语言：
- 古木基文 (Gurmikhi)： 印度使用的脚本（类似于一种方正、结构化的字体）。
- 沙姆穆基文 (Shahmukhi)： 巴基斯坦使用的脚本（类似于一种流畅、连笔的风格）。
- 罗马化 (Roman)： 使用标准英文字母书写的语言（比如用“Hello”而不是“नमस्ते”来打字）。
这篇论文指出，目前的 AI 模型正在玩一个把戏。它们假设“一种语言 = 一种脚本”。它们认为如果一个模型掌握了古木基文形式的旁遮普语，它就自动掌握了沙姆穆基文和罗马化形式的旁遮普语。这是错误的。
作者构建了一个名为 PuMVR 的测试（可以把它想象成一个“脚本切换障碍赛”）来证明这一点。他们提取了 375 个谜题——从识别鼓等文化物品到解决视觉谜题——并将完全相同的谜题以三种不同的脚本呈现给 AI 模型。
以下是他们的发现，使用了简单的类比：
1. “脚本差距” (盲点)
当 AI 用古木基文解开一个谜题时，它的正确率可能达到 90%。但当你把完全相同的谜题用沙姆穆基文呈现出来时，它的表现可能会下降到 60%。
- 类比： 想象一位厨师，当食谱用英文写成时，他能完美地烹饪一道菜；但如果你把同样的食谱用法语写出来，他突然间连水怎么烧开都忘了。食材（视觉图像）和目标（答案）都是一样的，但书写指令的方式却让这位厨师的大脑“宕机”了。
2. “视觉提升”无法解决问题
你可能会想：“好吧，AI 能看到图片！那应该会有所帮助。”
论文通过同时给 AI 提供图像和文本进行了测试。
- 类比： 这就像是在一个人试图阅读一种他不认识的语言时，给了他一张地图。地图确实对他有一点点帮助，但它并不能教会他如何阅读那个路标。即使能看到图片，AI 在处理沙姆穆基文脚本时依然感到吃力。这种偏差并没有被修复，只是得到了微小的提升。
3. “推理分裂” (身份危机)
研究人员要求 AI “大声思考”（思维链/Chain-of-Thought），以观察它是如何解决问题的。
- 类比： 当 AI 阅读古木基文谜题时，它会想：“这是一个锡克教文化符号，所以我应该寻找宗教线索。”但当它阅读完全相同的沙姆穆基文谜题时，它突然会想：“这是一个伊斯兰文化符号，所以我应该寻找不同的线索。”
AI 并不是在对图片进行推理；它是在对字母的形状做出反应。脚本本身就像是一个开关，改变了 AI 整个“人格”和策略。
4. “一致性得分” (真正的考验)
论文引入了一个新的评分标准，称为 SCR (脚本一致性率)。
- 类比： 想象一名学生正在参加一场数学考试。如果他在用 Times New Roman 字体书写的试卷上得了 90 分，但在用 Comic Sans 字体书写的试卷上只得了 60 分，那么他真的擅长数学吗？不，他只是擅长阅读 Times New Roman。
论文发现，对于许多顶尖的 AI 模型来说，它们的“一致性得分”低得令人震惊（有时甚至低至 25%）。这意味着它们无法成为真正的“多语言”模型，因为它们无法处理同一种语言的不同书写风格。
核心结论
论文得出结论：我们通过宣称 AI 是“多语言”的说法来欺骗自己。实际上，它们只是在非常有限的范围内实现了“多脚本”。如果你的语言使用多种脚本（如旁遮普语、塞尔维亚语或库尔德语），你的 AI 助手对你而言可能是可靠的，但在另一种脚本下则可能完全不可靠。
作者并不是说 AI 没用；他们是说，对于数十亿在不同脚本之间切换的人来说，AI 是不可靠的。为了让 AI 真正实现公平，我们需要停止仅仅针对一种语言版本进行测试，而应该开始针对人们实际书写的各种方式进行测试。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。