Children's Intelligence Tests Pose Challenges for MLLMs? KidGym: A 2D Grid-Based Reasoning Benchmark for MLLMs

本文受韦氏儿童智力量表启发，提出了 KidGym 基准，通过 12 个基于 2D 网格的可定制任务，从执行、感知推理、学习、记忆和规划五个维度全面评估多模态大语言模型的认知能力与局限性。

要点

这篇论文介绍了一个名为 KIDGYM（儿童健身房）的新项目，它的目的是给现在的“超级 AI 大脑”（多模态大语言模型，MLLMs）做一次儿童智力测试。

想象一下，现在的 AI 就像是一个读过全世界所有书、看过所有电影的“超级学霸”，但它们真的像人类一样聪明吗？它们能像孩子一样学习新规则、记住东西、规划未来吗？

为了回答这个问题，上海科技大学的研究团队设计了一个2D 网格游戏世界，就像是一个数字版的“儿童游乐场”。在这个游乐场里，AI 需要完成 12 种不同的挑战，就像小朋友做智力题一样。

🧠 核心概念：把 AI 当成“孩子”来测试

传统的 AI 测试通常问：“这张图里有什么？”或者“请写一首诗”。但这只能测出 AI 的“记忆力”和“语言库”。

KIDGYM 借鉴了著名的韦氏儿童智力量表（Wechsler Intelligence Scales），把智能拆解成五个核心能力，就像给 AI 做体检：

1. 执行力 (Execution)：就像孩子听到“把苹果放进红篮子”的指令后，能准确把手伸过去拿苹果并放进去。AI 能不能把想法变成正确的动作？
2. 感知推理 (Perception Reasoning)：就像孩子看拼图，能看出缺了一块，并且知道哪块能补上。AI 能不能看懂图片里的逻辑，而不仅仅是认出物体？
3. 记忆力 (Memory)：就像玩“找不同”或“藏猫猫”，孩子需要记住刚才看到的东西。AI 能不能在复杂的游戏中记住刚才拿到的钥匙或藏起来的钻石？
4. 学习能力 (Learning)：就像老师突然说：“今天规则变了，重的东西跑得快！”孩子能不能立刻忘掉旧知识，接受新规则？AI 能不能在没见过的规则下快速适应？
5. 规划能力 (Planning)：就像下棋或走迷宫，孩子需要想好几步：“先拿钥匙，再开门，最后拿宝藏”。AI 能不能规划出一系列步骤来达成目标？

🎮 游戏怎么玩？（KIDGYM 的机制）

这个“游乐场”是一个 2D 的格子地图，AI 扮演一个小人，背着一个背包，旁边有一个提示栏。

• 随机性：每次游戏，物品的摆放、迷宫的路线都是随机生成的。这就像每次去游乐场，滑梯的位置都不一样，防止 AI 靠“死记硬背”通关。
• 难度分级：每个任务都有简单、中等、困难三个等级（L1, L2, L3）。
• 背包与提示：AI 可以把东西装进背包（A, B, C, D 四个格子），提示栏会给出规则或线索。

🏆 测试结果：AI 的“成绩单”

研究人员测试了目前最顶尖的 AI（包括 OpenAI 的 o3、GPT-5，Google 的 Gemini 等）和开源模型。结果非常有趣，就像看到了一个“偏科”的优等生：

1. 简单的任务是“小菜一碟”：
   在简单的分类（把水果放进篮子）或记忆（记住刚才看到的玩具）任务上，顶尖的闭源模型（如 o3, GPT-5）几乎能拿满分，表现得像天才儿童。

2. 遇到“抽象”和“数量”就抓瞎：

   • 抽象推理：如果让 AI 拼一个没有具体含义的抽象图形（比如一堆乱糟糟的方块），它的表现突然变差，甚至不如随机猜。这说明 AI 很擅长处理“有名字”的东西（如苹果、汽车），但不擅长处理纯粹的“形状逻辑”。
   • 数数困难：让 AI 数清楚图里有几个苹果，它经常数错。人类看一眼就知道是 3 个，但 AI 经常把 3 个苹果看成 1 个大团块。这说明 AI 对“数量”的感知很弱。

3. 复合任务是“噩梦”：
   当任务需要同时动用多种能力时（比如：先记住钻石在哪，再根据新规则找钥匙，最后规划路线去拿），AI 的成功率断崖式下跌。就像让一个学生一边做数学题，一边背古诗，还要一边跑步，它的大脑就“死机”了。

4. 开源 vs 闭源：
   闭源的大模型（如 GPT-5）表现明显优于开源模型。而且，模型越大，表现越好，但即便如此，它们离人类（尤其是人类小孩）在复杂任务上的表现还有很大差距。

💡 总结与启示

这篇论文告诉我们：现在的 AI 虽然很强大，但它们更像是一个“博学的图书管理员”，而不是一个“灵活的小学生”。

• 它们能背诵百科全书，但缺乏真正的常识和逻辑推理。
• 它们能处理复杂的语言，但看不懂简单的视觉数量关系。
• 它们擅长单点突破，但不擅长多任务并行的复杂规划。

KIDGYM 的意义：
它不仅仅是一个测试，更是一个训练场。它告诉未来的 AI 开发者：要想让 AI 真正像人类一样聪明，不能只让它多读点书（增加数据），还要让它学会像孩子一样去观察、记忆、规划和适应新规则。

这就好比，我们以前只教 AI 认字，现在 KIDGYM 告诉我们：该教 AI 怎么“玩”了，因为只有会玩的孩子，才拥有真正的智慧。

技术摘要

这是一份关于论文《CHILDREN'S INTELLIGENCE TESTS POSE CHALLENGES FOR MLLMS? KIDGYM: A 2D GRID-BASED REASONING BENCHMARK FOR MLLMS》的详细技术总结。

1. 研究背景与问题 (Problem)

背景：
多模态大语言模型（MLLMs）结合了语言模型的语言优势和多模态数据处理能力，旨在实现更接近人类水平的通用智能。然而，现有的评估基准大多侧重于静态任务（如图像描述、视觉问答）或单一能力测试，缺乏对模型在动态环境中综合认知能力的评估。

核心问题：

1. 评估框架缺失： 现有的 MLLM 基准难以像人类智力测试（如韦氏智力测验）那样，将智能分解为可解释、可测试的独立能力维度。
2. 动态交互不足： 大多数基准是静态的，无法评估模型在需要连续环境交互、记忆更新和长期规划中的表现。
3. 复合能力挑战： 现有测试很少考察模型在处理涉及多种能力（如记忆 + 规划、学习 + 推理）的复合任务时的表现。
4. 具体缺陷： 当前模型在处理非语义抽象视觉信息、物品数量感知以及多规则交互任务时存在显著短板。

2. 方法论 (Methodology)

核心灵感：
受韦氏儿童智力量表 (Wechsler Intelligence Scales) 的启发，作者将人类智力分解为可测量的子能力，并针对 MLLM 的架构特性进行了适配，定义了五个核心能力维度：

1. 执行 (Execution): 将目标转化为具体行动的能力。
2. 感知推理 (Perception Reasoning): 从视觉输入中直接进行推断和决策的能力（超越简单的物体识别）。
3. 学习 (Learning): 快速习得新规则并应用于决策的能力（特别是与先验知识冲突时）。
4. 记忆 (Memory): 在长程交互中保留、整合并利用上下文信息的能力。
5. 规划 (Planning): 制定多步策略、预测后果以实现目标的能力。

KIDGYM 基准设计：

• 形式： 基于 2D 网格（2D Grid）的交互式环境，包含 12 个独特任务。
• 任务结构：
  • 6 个单能力任务： 分别测试上述五个维度中的某一个（如分类、迷宫、拼图等）。
  • 6 个复合能力任务： 测试两个维度的协同（如记忆迷宫、解码迷宫等）。
• 难度分级： 每个任务分为 L1（易）、L2（中）、L3（难）三个等级。
• 动态生成： 场景、物体布局和物品位置均随机生成，确保评估的鲁棒性，防止模型通过记忆训练数据作弊。
• 机制设计：
  • 背包与提示栏 (Backpack & Hint Bar)： 模拟工作记忆，允许模型存储和检索关键信息。
  • 高层动作 (High-level Actions)： 模型直接执行宏观指令（如“捡起篮球”），而非底层控制（如“向左走一步”），聚焦于认知而非操作。
  • 唯一标识符： 物品带有字母/数字标签，减少歧义。

3. 主要贡献 (Key Contributions)

1. 提出评估框架： 基于韦氏智力量表，构建了包含执行、感知推理、记忆、学习和规划五个核心维度的 MLLM 评估框架。
2. 发布 KIDGYM 基准： 这是一个统一、可扩展、用户可定制的 2D 网格基准。它支持动态环境、随机化布局、分级难度，并基于 Gym API 构建，允许研究人员创建新场景。
3. 系统性评估与洞察： 对 9 个最先进的 MLLM（包括闭源如 o3, GPT-5, Gemini-2.5-Pro 和开源如 QwenVL, InternVL 等）进行了全面测试，揭示了当前模型的强项与弱项。
4. 发现关键挑战： 识别出当前 MLLM 在四个方面的显著局限性（详见结果部分）。

4. 实验结果 (Results)

总体表现：

• 闭源 vs 开源： 闭源模型（特别是 o3, GPT-5, Gemini-2.5-Pro）表现显著优于开源模型，且在部分单能力任务上接近完美。
• 单能力 vs 复合能力： 所有模型在单能力任务上的表现普遍优于复合能力任务。随着任务难度（L1 到 L3）增加，成功率显著下降。
• 人类基线： 人类参与者在所有任务中均表现出接近完美的准确率（>93%），凸显了模型与人类智能之间的巨大差距。

四大关键挑战 (Key Challenges)：

1. 非语义视觉信息推理困难： 在需要重组抽象形状（Puzzle 任务）而非识别具体物体（Filling 任务）时，模型表现极差（例如 GPT-5 在 PU-L1 任务上成功率仅为 0.30，接近随机猜测）。
2. 物品数量感知不敏感： 在计数任务（Counting）中，即使是表现最好的模型（Gemini-2.5-Pro）在 L1 难度下也仅达到 0.72 的准确率。模型倾向于将小簇物体（2-3 个）误判为单个物体，且对图像分辨率敏感（人类不受影响）。
3. 复合任务处理能力弱： 当任务需要同时调用多种能力（如记忆 + 规划）时，成功率大幅下降。模型难以同时处理多条相互关联的规则。
4. 感知推理与规划短板： 雷达图显示，所有模型在“感知推理”和“规划”维度得分最低，表明其在抽象视觉认知和长程策略规划上仍有待发展。

推理方法的影响：

• 思维链 (CoT)： 对部分任务（如执行类）有显著提升，但对某些模型（如 o3）效果不明显（因其内部已集成）。
• 上下文学习 (ICL)： 在涉及记忆和动态适应的任务中，ICL 有时反而不如零样本（Zero-shot），因为模型可能过度关注示例模式而忽略了当前场景的动态变化。

5. 意义与展望 (Significance)

• 评估范式的转变： KIDGYM 推动了 MLLM 评估从静态、单一任务向动态、多维认知能力的转变，更贴近真实世界的复杂交互场景。
• 揭示 AGI 差距： 实验结果清晰地表明，尽管 MLLM 在特定领域表现出色，但在处理抽象推理、数量感知和复杂规划等基础认知能力上，距离人类水平（尤其是儿童智力发展水平）仍有显著差距。
• 社区工具： 作为一个开源、可扩展的框架，KIDGYM 为研究社区提供了一个标准化的测试床，有助于推动下一代具备更强通用推理能力的 MLLM 的发展，加速通往通用人工智能（AGI）的进程。

总结：
KIDGYM 不仅是一个新的基准，更是一个诊断工具。它通过模拟儿童智力测试的逻辑，精准地“诊断”出当前 MLLM 在认知架构上的“病灶”，为未来的模型改进指明了方向：即需要加强模型对非语义视觉信息的理解、数量感知的鲁棒性以及多能力协同的规划推理能力。