XModBench: Benchmarking Cross-Modal Capabilities and Consistency in Omni-Language Models
该论文提出了 XModBench，一个包含 6 万余题的大规模三模态基准，旨在系统评估全模态大语言模型在跨模态推理中的一致性，实验发现即便是最强的 Gemini 2.5 Pro 模型在空间与时间推理、模态差异及方向性不平衡方面仍存在显著缺陷，表明当前模型远未达到真正的模态不变推理能力。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这篇论文介绍了一个名为 XModBench 的新“考试”，专门用来测试现在的超级人工智能（我们叫它“全能语言模型”）到底是不是真的“全能”。
想象一下，你有一个非常聪明的学生，他读过很多书（文本），看过很多电影（图像），也听过很多歌（音频）。我们通常认为他既然什么都学，那无论用哪种方式问他问题，他都应该能答对。
但是，XModBench 的作者发现：这个学生其实有点“偏科”，而且有点“死记硬背”。
为了让你更容易理解，我们可以用几个生动的比喻来拆解这篇论文：
1. 这个“考试”是怎么设计的？（核心创意）
以前的考试，通常是这样的：
- 看图说话：给你一张狗的图片，问“这是什么？”（只能看图）。
- 听音辨物：给你一段狗叫的声音，问“这是什么？”（只能听声音）。
但 XModBench 的设计更刁钻，它玩的是"同一道题，换种问法"的游戏。
想象有一道题，核心意思是"一只狗在叫"。
- 模式 A：给你一张狗的图片，问你“这是哪种声音？”（选项是：狗叫、猫叫、车声、钢琴声）。
- 模式 B：给你一段狗叫的声音，问你“这是哪种图片？”（选项是：狗、猫、车、钢琴）。
- 模式 C：给你一段文字“一只狗在叫”，问你“这是哪种声音？”
关键点来了：如果这个 AI 真的“懂”了“狗叫”这个概念，那么无论它是通过眼睛看、耳朵听还是大脑读文字，它的答案应该完全一样。
XModBench 就是由 6 万多个这样的“变体题目”组成的，涵盖了 5 大类任务（比如：认东西、找方向、算时间、懂语言、查百科）。
2. 考试结果：AI 的“偏科”与“幻觉”
作者让目前最厉害的 AI（比如 Google 的 Gemini 2.5 Pro）来考这场试，结果发现了三个大问题：
A. “听觉”是它的短板（偏科严重）
- 比喻：这个学生是个“视觉系”学霸。给他看图片，他能考 90 分；给他看文字，他能考 85 分。但一旦让他听声音，他的成绩直接掉到 60 分以下。
- 现实：AI 在处理音频（声音）时，表现远不如处理图像和文字。它似乎更依赖眼睛和文字，耳朵有点“聋”。
B. “方向感”混乱（方向性不平衡）
- 比喻：这就像学生做数学题。
- 如果是“看图猜词”（从图像到文字），他能做对。
- 但如果是“看词猜图”（从文字到图像），同样的逻辑，他却做错了。
- 现实：AI 在“从 A 模态推导 B 模态”和“从 B 模态推导 A 模态”时，表现不一致。这说明它没有真正理解事物背后的逻辑，只是在死记硬背某种特定的输入输出模式。
C. 时空推理很弱（方向感和时间感差）
- 比喻：如果你问它“车是从左往右开，还是从右往左开？”或者“这个人跳了几次？”，它经常算错。
- 现实：AI 在处理空间位置（左/右/前/后）和时间顺序（先发生什么，后发生什么）时，准确率很低，甚至不如人类。
3. 为什么这很重要？（论文的结论）
这篇论文其实是在给 AI 行业敲警钟：
- 现在的 AI 不是真正的“全能”：它们只是把文本、图像和声音强行拼凑在一起，并没有真正打通这三者。它们更像是一个“翻译器”，而不是一个“理解者”。
- 我们需要新的训练方法：作者发现，那些在训练时混合了多种模态数据（比如一边听歌一边看视频一边读字幕）的模型，表现会好很多。这就像学生不能只背单词，而要真正去“生活”和“体验”一样。
- XModBench 是“照妖镜”：以前我们只看 AI 能不能回答问题，现在我们要看它在不同模式下是否保持一致。如果它看图说是“狗”，听声音说是“猫”，那它就没真正学会。
总结
简单来说，XModBench 就像是一个多模态的“测谎仪”。
它告诉我们要想造出真正聪明的 AI，不能只让它“看”和“读”，还得让它真正“听”懂，并且无论用哪种方式提问，它都能给出逻辑自洽、稳定一致的答案。目前的 AI 离这个目标还有很长的路要走，尤其是在处理声音和理解空间时间关系方面。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。