VisText-VLM2Plastic: A Bilingual Benchmark for Visual Grounding and Environmental Reasoning in Vision-Language Models
本文介绍了 VisText-VLM2Plastic，这是一个用于塑料垃圾视觉定位和环境推理的双语（英语–孟加拉语）基准测试，研究表明，尽管最先进的视觉语言模型在识别准确率方面表现出色，但它们在不同语言之间以及针对不同任务类型的视觉证据依赖程度上存在显著的性能差距。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一个计算机不仅能观察照片并识别出其中存在哪些物体，还能理解这些物体所讲述的关于我们环境的故事的世界。这就是视觉语言模型（vision-language models）所承诺的前景——这是一种结合了图像观察能力与语言读写能力的类型人工智能。多年来，研究人员一直通过诸如“汽车是什么颜色的？”或“房间里有多少人？”之类的问题来测试这些系统。然而，一个关键的差距出现了：我们并不知道这些模型是在通过观察图片来回答问题，还是仅仅根据问题中的词汇进行猜测。这在涉及污染等复杂话题时尤为重要，因为计算机可能在从未看到面前特定垃圾的情况下，就凭借关于塑料废弃物的通用知识来回答问题。此外，大多数此类测试都是用英语进行的，这导致我们在了解这些系统在其他主要语言（如孟加拉语）中表现如何方面存在巨大的认知空白；孟加拉语有数亿人在使用，但在数字研究领域仍处于代表性不足的状态。
为了解决这些问题，联合国际大学（United International University）的一位研究人员创建了一个新的、受控的测试，旨在观察人工智能是否真的能将其答案“锚定”在视觉证据上，特别是针对塑料废弃物这一主题。这项名为 VisText-VLM2Plastic 的研究专注于一个双语基准测试，这意味着它同时使用英语和孟加拉语对同一组图像和问题进行了测试。研究人员收集了 136 张在不同地点发现的塑料垃圾的清晰照片，并据此创建了 402 条图像记录。从这些图像中，他们生成了超过 2,400 个问答对。这些问题分为三类：简单识别（识别塑料类型）、视觉描述（描述物体的外观）以及环境推理（解释为什么该废弃物对环境有害）。其目标是观察模型是否能在两种语言中都能正确回答，并且至关重要的是，观察如果移除图像后它们是否会失败，从而证明它们是依赖于图片而非仅仅依靠记忆中的事实。
研究人员在这一新基准测试上测试了四种不同的先进人工智能模型，要求它们在没有针对该特定数据集进行过预训练的情况下回答问题。结果显示出了明显的性能等级差异。其中一个模型 Gemini 2.5 Flash 取得了最高的准确率，在识别塑料废弃物类型方面的正确率为 93.5%。然而，在比较两种语言时，出现了一个显著的模式：在所有模型中，英语的表现始终高于孟加拉语。这种差距在环境推理任务中最明显，在归一化评分标准下，英语的分数比孟加拉语高出约 4 分。这表明，尽管这些系统正变得相当强大，但当切换到像孟加拉语这样数字资源较少的语言时，它们在应用同等水平的理解力方面仍然面临困难。
或许最令人深思的发现来自于一项特定的实验，研究人员完全移除了图像，只留下问题的文本。当被要求识别塑料或描述其外观时，模型在失去视觉输入后的表现急剧下降，跌幅超过 50 分。这证实了对于这些任务，模型确实是在观察图像。然而，对于环境推理类问题，情况发生了变化。当图像被移除时，模型回答有关塑料污染危害问题的能力仅下降了约 11 分。这个微小的差距表明，对于这些特定问题，模型并不严格依赖于图像。相反，它们能够基于关于塑料污染的通用知识（例如塑料会堵塞排水沟或危害野生动物）提供看似合理的答案，即使它们看不见照片中具体的瓶子或包装袋。
研究得出结论，仅仅衡量一个模型答对问题的频率并不足以判断其智能水平。一个模型可以在没有真正理解眼前视觉证据的情况下，给出关于环境破坏的正确答案。研究人员发现，要使一个模型在该领域真正可靠，不仅要测试其最终得分，还要测试其在不同语言之间的连贯性以及对视觉输入的敏感度。这项工作强调，尽管人工智能在理解世界方面取得了长足进步，但要让这些系统能够以同样的深度和对现实世界证据的依赖程度，在所有语言中分析环境问题，仍有很长的路要走。该基准测试作为一个诊断工具，表明未来的系统需要设计得更加强制，以实现“所见”与“所言”之间更强的联系，确保它们不仅仅是在背诵事实，而是真正地观察周围的世界。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。