Multilingual Vision-Language Models, A Survey

以下是用简单语言和生动类比对论文《多模态视觉 - 语言模型综述》的解读。

宏观图景：教导机器人看见世界并掌握多种语言

想象一下，你正在尝试教机器人理解世界。你向它展示图片，并教导它描述这些图片，或回答关于图片的问题。这就是视觉 - 语言模型所做的事情。它们就像机器人的眼睛和大脑的结合体，使其能够“看见”图像并“讲述”关于图像的内容。

很长一段时间以来，研究人员只教这些机器人英语。这就像只教孩子阅读一种语言。但世界使用的是多种语言。这篇论文是一份庞大的综述（对该领域的回顾），审视了从 2020 年到 2025 年，这些机器人在同时学习和理解多种语言方面的进展。

作者 Andrei-Alexandru Manea 和 Jindřich Libovický 考察了33 种不同的机器人模型和23 种不同的测试（基准），以了解我们目前的所处位置。

核心冲突：“通用翻译器”与“本地向导”之间的张力

该论文指出了一种巨大的张力，就像拔河比赛一样，存在于两个目标之间：

1. 语言中立性（通用翻译器）：

   • 理念： 一张狗的图片就是一只狗，无论你称它为 dog、chien 还是 perro。机器人应该看到相同的事物，并给出相同的答案，无论使用何种语言。
   • 类比： 把这想象成一张通用地图。如果你看埃菲尔铁塔的地图，无论是在巴黎、东京还是纽约，它都是埃菲尔铁塔。事实不会改变。
   • 问题： 如果机器人过于中立，它可能会忽略这样一个事实：在某些文化中，狗是受宠爱的家庭成员，而在其他文化中，这个词可能被用作侮辱。

2. 文化意识（本地向导）：

   • 理念： 机器人需要理解语境的重要性。美国的“家庭聚餐”可能意味着火鸡和派，但在日本，它可能意味着味噌汤。机器人应该调整其回答以适应文化。
   • 类比： 把这想象成一位本地导游。意大利的导游知道“咖啡”指的是一小杯浓缩咖啡，而美国的导游知道它可能指的是一大杯滴滤咖啡。他们了解当地的规则。
   • 问题： 教导机器人这些微妙的文化规则非常困难。你不能仅仅翻译一个句子；你必须根据听众是谁来改变含义。

论文的发现： 目前，教导机器人成为通用翻译器（语言中立性）比成为本地向导（文化意识）要容易得多。对于前者，我们有成熟的数学方法，但对于后者，我们仍在摸索如何教导。

机器人的构建方式（架构）

论文解释说，这些模型的演变就像智能手机变得更大、更强大一样。

• 旧方法（编码器）： 早期模型就像图书管理员。它们可以查看图片和句子，然后说“是的，它们匹配”或“不，它们不匹配”。它们非常擅长分类，但无法创作新的故事。
• 新方法（解码器）： 较新的模型就像讲故事的人。它们可以查看图片，并为其撰写整段文字，或者富有创意地回答复杂的问题。
• 规模： 这些模型已经变得非常庞大。早期的模型拥有数亿个“脑细胞”（参数）。而最新的模型拥有高达2 万亿个参数。这就像从自行车进化到了超音速喷气式飞机。

测试（基准）的问题

为了检测机器人是否聪明，我们会给它们进行测试。论文发现我们在测试它们的方式上存在一个主要缺陷：

• “翻译陷阱”： 大约三分之二的测试是通过将英语测试翻译成其他语言，然后查看机器人是否获得相同的分数而构建的。
  • 类比： 想象一下，通过给厨师一份英语食谱，然后将其翻译成法语，并询问他们是否能烹饪出完全相同的菜肴，以此来测试厨师。这测试了他们是否能遵循指令，但并没有测试他们是否知道如何烹饪一道本应与英语菜肴不同的传统法国菜。
• 缺失的“本地”测试： 使用特定于当地文化的图片和问题进行的测试非常少。很难找到这样的测试：对于德国用户和尼日利亚用户，“家”的图片看起来不同，而机器人被期望能识别出这种差异。

论文的主要发现

1. 进步是真实的： 我们已经从只说英语的简单模型，发展到了能够处理数十种语言的庞大模型。
2. 差距： 即使一个模型声称支持 100 种语言，我们通常只测试其中的 5 种或 10 种。我们并不真正知道它是否适用于其他 90 种语言。
3. 透明度问题： 最大、最强大的模型来自大型科技公司。它们告诉我们它们如何构建机器人（架构），但对它们喂给机器人的内容（训练数据）却非常保密。这就像一位厨师说“我做了一个很棒的蛋糕”，却拒绝告诉你里面有什么配料。这使得很难判断机器人是否存在偏见，或者它是否真正理解了不同的文化。
4. 未来的挑战： 我们需要停止仅仅翻译英语测试。我们需要创造诞生于不同文化的新测试，包含本地图片和本地问题，以真正检测机器人是否具有文化意识。

一句话总结

这篇论文认为，虽然我们已经构建了能够看见世界并掌握多种语言的惊人机器人，但我们目前过于专注于让它们变得“中立”（翻译事实），而不够专注于让它们变得“具有文化意识”（理解本地细微差别），并且我们的测试需要改变，以衡量后者。