这篇文章介绍了一个名为 GenExam 的全新“考试”，专门用来测试人工智能（AI）的画图能力。
想象一下，如果 AI 不仅要会“做选择题”（理解题目），还要会“画解答题”（根据题目画出精确的图表），那它才算真正聪明。目前的 AI 大多擅长看图说话，或者画一些漂亮的风景画，但一旦让它们像人类专家一样，根据复杂的理科题目画出精确的几何图、电路图或化学分子式，它们就经常“翻车”。
GenExam 就是为了解决这个问题而诞生的。我们可以用以下几个生动的比喻来理解这篇论文的核心内容：
1. 什么是 GenExam？—— AI 的“高考”与“绘图竞赛”
以前的 AI 考试，就像让 AI 做填空题或选择题（比如：“这张图里有什么？”）。
而 GenExam 则像是一场高难度的绘图考试。
- 题目像“高考题”：题目不是简单的“画一只猫”，而是像数学题：“画一个包含 7 个顶点的无向加权图，边 AB 权重为 3，边 AF 权重为 6……"或者化学题：“画出苯环经过一系列反应后的产物结构”。
- 科目全：涵盖了数学、物理、化学、生物、历史、音乐等 10 个学科。
- 有标准答案：每一道题都有“标准答案图”（Ground Truth），就像老师手里的满分试卷。
2. 怎么给 AI 打分？—— 像“阅卷老师”一样抠细节
以前的 AI 画图评价，可能只是看“像不像”或者“美不美”。但 GenExam 的评分标准非常死板且严格，就像一位拿着红笔的严厉阅卷老师：
- 细粒度打分（Scoring Points）：
老师不会只给个总分，而是把题目拆解成一个个小问题来检查。
- 例子：如果题目要求画一个苯环，老师会问：“碳原子数是 6 个吗？”“双键位置对吗？”“氢原子标对了吗？”
- 只要有一个原子画错，或者箭头方向反了，这道题的分数就会大打折扣。
- 两个维度的考核：
- 语义正确性（Semantic Correctness）：内容对不对？（比如：化学方程式配平了吗？地图上的国家位置对吗？）
- 视觉合理性（Visual Plausibility）：画得清不清楚？字有没有写错？逻辑通不通？（比如：地图上的文字有没有乱码？线条有没有重叠看不清？）
3. 考试结果如何？—— “优等生”与“学渣”的差距
论文测试了 17 种目前最先进的 AI 模型（包括闭源的“大厂模型”和开源的“社区模型”），结果非常残酷：
- 顶尖闭源模型（如 Google 的 Nano Banana Pro, OpenAI 的 GPT-Image-1.5）：
它们像是聪明的优等生，能画出大概正确的图，结构看起来很像样。但在极其严格的“阅卷”下，它们的得分也往往只有 40%-70% 左右。这意味着它们经常会在细节上出错（比如把化学键画错，或者把地图上的国家标错）。
- 开源模型（如 FLUX, Qwen 等）：
它们更像是还在努力的小学生，很多模型在严格标准下的得分甚至低于 5%，甚至接近 0%。
- 常见错误：它们可能知道“要画个地图”，但画出来的文字是乱码（拼写错误）；或者知道“要画个电路”，但把正负极接反了（逻辑错误）。
- 核心结论：目前的 AI 在“画图”这件事上，离真正的“专家级智能”还有巨大的鸿沟。它们能“模仿”画画的风格，但很难真正“理解”并“执行”复杂的逻辑绘图任务。
4. 为什么这个考试很重要？
这就好比教孩子学画画：
- 以前的 AI 只是临摹（看到苹果画个苹果）。
- GenExam 要求 AI 解题（根据“画一个受力分析图”的指令，自己构思并画出正确的力、方向和标注）。
这篇论文告诉我们，真正的通用人工智能（AGI），不仅要能“看懂”世界，还要能像人类专家一样，把脑子里的知识精准地转化成可视化的图表。GenExam 就是用来衡量 AI 是否具备这种“知行合一”能力的尺子。
总结
GenExam 就像给 AI 出了一套全科绘图高考题。它用极其严格的“阅卷标准”告诉我们：现在的 AI 虽然能画得花团锦簇，但在处理需要深度推理和精确执行的学科绘图任务时，还非常“笨拙”。这为未来的 AI 研发指明了方向——不仅要让 AI 画得好看，更要让它画得对、画得懂。
1. 问题背景 (Problem)
现有的评估基准存在明显的局限性：
- 理解与推理主导： 现有的多学科基准（如 MMMU, MMLU 等）主要集中在文本理解或视觉问答（VQA）任务，缺乏对图像生成能力的评估。
- 生成任务过于简单： 当前的 T2I 基准（如 GenEval, WorldGenBench）主要关注常识推理或概念插图，缺乏严格的约束条件。它们更像是在“用图像解释概念”，而非“解决一道绘图考题”。
- 缺乏严谨性： 真实的考试（如 AP、A-Level、IB 考试中的绘图题）要求极高的语义准确性、逻辑一致性和细节精确度。现有的模型往往能生成外观 plausible（看似合理）的图像，但在具体的学科细节（如化学键数量、几何切点、电路连接）上经常出错。
核心挑战： 如何构建一个能够严格测试模型是否具备“专家级智能”（即能否将深度学科知识、逻辑推理与精确的图像生成无缝结合）的基准？
2. 方法论 (Methodology)
2.1 数据集构建 (GenExam Dataset)
- 规模与范围： 包含 1,000 个样本，覆盖 10 个学科（数学、物理、化学、生物、计算机、地理、经济、工程、音乐、历史）。
- 提示词（Prompts）： 模仿真实考试风格，由 GPT-5 辅助人类专家生成。提示词复杂、精确且多样，包含严格的绘图约束（例如：“绘制一个无向加权图，包含 7 个顶点...连接方式如下..."）。
- 分类体系（Taxonomy）： 采用四级分类体系（基于 UNESCO ISCED-F 标准），从一级学科细化到具体的知识点（例如：
计算机/数据结构与算法/图/无向图）。
- 真值图像（Ground Truth）： 每个样本都配有由专家标注的标准答案图像。
- 数据筛选： 结合网络爬虫和现有数据集，利用 GPT-5 进行自动过滤（去除纯文本、低分辨率、非学科绘图类图像），并由 PhD 级别标注员进行人工审核。
2.2 评估协议 (Evaluation Protocol)
GenExam 摒弃了传统的基于美学或整体相似度的评估，提出了**细粒度的评分点（Scoring Points）**机制：
语义正确性 (Semantic Correctness)：
- 将每个提示词转化为一系列具体的是非问答题（例如：“分子中是否恰好有 8 个碳原子？”、“切点是否位于正确位置？”）。
- 利用多模态大模型（MLLM，如 GPT-5）作为裁判，结合真值图像作为参考，对每个评分点进行判断。
- 所有评分点的得分之和为 1。只有当所有关键点都正确时，语义得分为 1。
视觉合理性 (Visual Plausibility)：
- 拼写 (Spelling)： 检查图像中的文本、符号和公式是否拼写正确。
- 逻辑一致性 (Logical Consistency)： 检查标注、坐标、箭头方向等是否自洽（例如：坐标轴数值与位置是否匹配）。
- 可读性 (Readability)： 检查组件是否清晰可辨，无遮挡、重叠或标签缺失。
- 每个维度评分范围为 0-2。
最终得分指标：
- 严格分数 (Strict Score)： 只有当语义正确性为 1 且 拼写、逻辑、可读性均为 2 时，该样本才算完全正确。这模拟了真实考试“一错即全错”的严苛标准。
- 宽松分数 (Relaxed Score)： 加权平均分数（语义 0.7 + 其他维度各 0.1），用于衡量模型的整体表现趋势。
3. 主要贡献 (Key Contributions)
- 首个多学科 T2I 考试基准： 提出了 GenExam，填补了从“概念插图”到“严谨学科绘图”的评估空白。它要求模型不仅要有知识，还要能将其转化为精确的视觉表达。
- 细粒度评估框架： 设计了基于“评分点”的定制化评估方法，解决了传统 MLLM-as-a-judge 难以覆盖复杂提示词中所有细节的问题。
- 揭示模型差距： 通过大规模实验，量化了闭源模型与开源模型在专家级任务上的巨大鸿沟，并指出了当前模型在“知识到视觉转化”上的具体瓶颈。
4. 实验结果 (Results)
在 17 个代表性模型（包括闭源、开源 T2I 和统一多模态模型）上的测试结果显示：
- 整体表现极差： 即使是目前最先进的闭源模型，在严格分数上也难以达到高分。
- Nano Banana Pro (Google): 严格分数 72.7%（表现最好，但仍有近 30% 的错误）。
- GPT-Image-1.5 (OpenAI): 严格分数 43.2%。
- 其他闭源模型 (Seedream 4.5, FLUX.2 max 等): 严格分数普遍 < 15%。
- 开源模型 (Qwen-Image, FLUX.2 dev, BAGEL 等): 严格分数普遍 < 5%，许多模型甚至接近 0%。
- 闭源 vs 开源差距巨大： 闭源模型在语义理解和逻辑推理上显著优于开源模型，但两者在将知识转化为精确图像（如拼写、布局）上均存在明显短板。
- 维度分析：
- 闭源模型在拼写和可读性上表现较好，但在逻辑一致性（如几何关系、电路连接）上仍有缺陷。
- 开源模型在基础绘图能力（如线条清晰度、拼写）上就存在严重问题，导致无法进行高级语义评估。
- 学科差异： 模型在历史地图、地理循环等相对直观的学科表现稍好，而在化学结构、数学几何、电路图等需要高度精确逻辑的学科表现最差。
5. 意义与启示 (Significance)
- 重新定义生成式 AI 的评估标准： 证明了当前的 T2I 模型虽然擅长生成“看起来像”的图片，但距离真正的“专家级智能”（能解决复杂学科问题）还有很长的路要走。
- 揭示核心瓶颈： 实验表明，开源模型的失败往往不是因为缺乏学科知识（它们能识别出概念），而是缺乏将内部知识转化为精确视觉输出的能力（Visual Reasoning & Execution）。
- 推动 AGI 发展： GenExam 为通往通用人工智能（AGI）提供了一条清晰的评估路径：真正的 AGI 必须能够无缝整合理解、推理和生成，而 GenExam 正是测试这种整合能力的试金石。
- 开源社区方向： 指出开源模型未来的改进方向应首先聚焦于提升基础绘图能力（拼写、布局、逻辑一致性），然后再追求复杂的语义推理。
总结： GenExam 是一个极具挑战性的基准，它无情地揭示了当前生成式模型在处理严谨学科任务时的脆弱性，并为未来的模型训练和评估提供了明确的目标和细粒度的反馈机制。
每周获取最佳 computer science 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。