KMMMU: Evaluation of Massive Multi-discipline Multimodal Understanding in Korean Language and Context

本文介绍了 KMMMU，这是一个专为评估韩语文化及制度背景下多模态理解能力而设计的原生韩语基准测试，包含来自九个学科的 3466 道考试题目，实验表明当前顶尖模型在该任务上表现有限，主要受限于对本地惯例、符号归纳及领域标准的理解能力。

要点

这篇论文介绍了一个名为 KMMMU 的新项目，你可以把它想象成是给人工智能（AI）准备的一场**“韩国版高考 + 专业资格证考试”**。

以前的 AI 考试大多是用英语出的，或者把英语题目翻译成韩语。但这就像是用“美式英语教材”去考一个“韩国公务员”，虽然语言通了，但里面的文化背景、办事流程和专有名词完全对不上号。

KMMMU 就是为了解决这个问题而诞生的。下面我用几个生动的比喻来解释这篇论文的核心内容：

1. 为什么要搞这个考试？（背景）

想象一下，你让一个只会说流利英语的“外国学霸”去考韩国的公务员考试或建筑师资格证。

• 以前的做法：把英语题目翻译成韩语。但这就像把“美式汉堡”的配方硬套在“韩式拌饭”上，味道不对。很多题目涉及韩国特有的法律、行政流程或文化习惯，翻译过来也看不懂。
• KMMMU 的做法：直接从韩国真实的考试题库（如公务员选拔、国家技术资格认证、奥林匹克竞赛）里“现抓”题目。这就像是直接给 AI 发了一套原汁原味的韩国真题。

2. 这个考试有多难？（数据与难度）

• 题量巨大：收集了 3,466 道 题目，涵盖了 9 个学科（从工程、法律到艺术）。
• 图文并茂：题目里不仅有文字，还有电路图、建筑图纸、法律条文表格、热成像照片等。AI 不仅要“读”懂，还要“看”懂。
• 专门挑刺：研究人员特意筛选出了一套 “地狱难度”子集（Hard Subset），专门挑那些连目前最聪明的 AI 都答不对的题。
• 成绩惨不忍睹：
  • 目前最强的开源 AI 模型，在整套题上只考了 42% 左右（不及格）。
  • 最厉害的闭源商业模型（如 Google 的 Gemini），在“地狱难度”题上也只拿了 52%。
  • 结论：现在的 AI 在“韩国本土化”的专业领域，还是个**“学渣”**。

3. AI 为什么考不好？（核心发现）

研究人员像老师批改试卷一样，仔细分析了 AI 的错题，发现它们不是“笨”，而是**“水土不服”**。主要有四个“死穴”：

• 死穴一：不懂“行话”和“规矩”

  • 比喻：就像医生看病，AI 能看懂 X 光片，但不知道韩国法律里对“小型车”和“乘用车”有严格的定义区别（比如发动机排量多少算小型车）。它把两个概念搞混了，导致答案错误。
  • 原因：缺乏对韩国特定机构、法律条文的本地化知识。

• 死穴二：看图“想当然”

  • 比喻：在艺术或设计题中，AI 能看出图里画的是个房子，但分不清这是“正交平面图”还是“十字形平面图”。它凭感觉猜了一个看起来很专业的词，结果错了。
  • 原因：缺乏精确的专业术语映射能力。

• 死穴三：逻辑推理“掉链子”

  • 比喻：有些题目像解谜游戏，需要根据几个小例子推断出一个隐藏规则（比如符号代表什么动作）。AI 能看懂每个符号，但无法把规则串联起来，最后“编”了一个看似合理但完全错误的故事。
  • 原因：少样本归纳能力（从少量例子学规则）太弱。

• 死穴四：推理越深，错得越离谱

  • 比喻：有些 AI 被设计成“会思考”（Reasoning Models），它们会一步步写推理过程。但在某些工程题里，它们因为一开始看错了电路图的一个门（AND 门看成了 OR 门），然后非常自信地顺着这个错误逻辑推导了一大堆，最后得出一个逻辑自洽但完全错误的答案。
  • 原因：一旦视觉理解出错，再强的推理能力也只是在“一本正经地胡说八道”。

4. 这个考试有什么用？（意义）

KMMMU 就像一面**“照妖镜”**：

1. 打破幻觉：它证明了现在的 AI 虽然英语很好、通用知识很广，但一旦进入非英语、高专业度、强文化背景的领域，能力就会断崖式下跌。
2. 指明方向：它告诉开发者，光靠把模型做大（增加参数）或者让模型多“思考”几步，解决不了问题。未来的 AI 需要**“接地气”**，需要学习特定国家的法律、文化和专业标准。
3. 公平测试：它为韩国（以及未来其他非英语国家）提供了一个公平的测试场，不再让 AI 只用英语思维来衡量智能。

总结

这篇论文告诉我们：AI 现在是个“博学的留学生”，但在“本土专家”的考场上，它还是个需要补课的“差生”。 KMMMU 就是那个专门用来给 AI 补“韩国文化课”和“专业实务课”的严师。只有通过了这种考试，AI 才能真正走进韩国人的日常生活和工作中。

技术摘要

1. 研究背景与问题 (Problem)

• 现有基准的局限性：目前的多模态大语言模型（MLLMs）评估基准（如 MMMU）大多以英语为中心，或是由英语基准翻译而来。这些基准无法充分反映模型在非英语语境下的表现，特别是那些受当地制度惯例、学科特定格式和信息密集型视觉材料（如官方考试、技术图纸、法律文件）塑造的任务。
• 韩语评估的缺失：虽然已有一些韩语多模态基准（如 KRETA, KoNET 等），但它们通常规模较小、覆盖范围有限，或者在现有模型上已经出现“饱和”现象（即模型得分过高，难以区分能力差异）。此外，翻译生成的基准往往丢失了语言特有的文化、法律和行政背景知识。
• 核心挑战：需要构建一个原生韩语、专家级、大规模且具有挑战性的多模态基准，以评估模型在韩语文化、制度和专业领域中的真实理解能力，而不仅仅是翻译能力。

2. 方法论 (Methodology)

2.1 数据收集与构建

• 数据来源：KMMMU 收集自韩国本土的官方高利害考试和竞赛，包括：
  • 公务员录用考试 (PSAT)
  • 国家技术资格认证 (NTQ)
  • 国家能力标准考试 (NCS)
  • 各类学科奥林匹克竞赛
• 数据规模：初始收集约 68,000 道原始题目，经过严格筛选后，最终基准包含 3,466 道高质量题目。
• 处理流程：
  1. 自动化提取：使用 MinerU-2.5 OCR 系统数字化文档。
  2. 人工验证：5 名韩语母语标注员通过自定义界面校对 OCR 错误、修正 LaTeX 公式、验证图像裁剪，并剔除无法识别的题目。
  3. 对抗性过滤 (Adversarial Filtering)：为了确保基准的难度和区分度，使用多个强基线模型（包括 Phi-3.5-Vision, InternVL-3.5, Gemini-2.5 系列等）进行零样本测试。任何被这些模型正确回答的题目都会被剔除。最终保留的是这些模型都无法解决的“困难”题目。
  4. 困难子集 (Hard Subset)：构建了包含 627 道题目的困难子集，这些题目被三个基线模型（Gemma-3, Qwen3-VL, GPT-5-nano）共同答错。

2.2 数据分类与标注

KMMMU 的每个样本沿四个维度进行标注：

1. 学科 (Discipline)：涵盖 9 个主要学科（工程、自然科学、CS&IT、商业与公共事务、社会科学、数学与统计、通用、法律与伦理、艺术与设计）及 45 个细分领域。
2. 视觉模态 (Visual Modality)：包含 9 种类型（图表、电路图、几何图、地图、数学公式、照片、符号/艺术、表格、文本/代码/文档）。
3. 问题格式：包括单选题、多选题、开放式数值题、开放式文本题等。
4. 韩语特异性 (Korean-specific)：标记是否依赖韩国特有的制度、法律或文化知识（共 300 题）。

2.3 评估协议

• 模型范围：评估了广泛的开源模型（Gemma, Qwen, Llama, 以及韩国本土模型 VARCO, HyperCLOVAX）和闭源模型（GPT-5, Claude, Gemini 等）。
• 设置：零样本（Zero-shot）设置，无参数微调。
• 评分：使用 LLM-Judge 框架将模型回答标准化后与标准答案比对，并进行了人工对齐验证以确保评分可靠性。

3. 关键贡献 (Key Contributions)

1. 首个原生韩语专家级多模态基准：KMMMU 是首个直接从韩国本土考试源构建的大规模多模态基准，而非翻译自英语数据，真实反映了韩语语境下的专业挑战。
2. 揭示“翻译”与“原生”的差距：通过对比，证明了直接翻译的基准无法捕捉韩语特有的制度性知识（如法律术语、行政规定），而原生基准能更准确地评估模型在特定文化背景下的能力。
3. 深入的错误分析：
   • 推理深度的误区：研究发现，模型的失败往往不是因为缺乏推理深度（Chain-of-Thought），而是因为惯例到标签的映射错误、少样本符号归纳能力弱、本地化知识缺失以及对特定领域标准的理解不足。
   • 学科瓶颈：通用（General）和艺术与设计（Arts & Design）领域是现有模型的持续瓶颈，即使增加模型规模或引入推理机制，提升也有限。
   • 韩语特异性挑战：在韩语特异性问题上，即使是强大的多语言模型表现也显著下降（差距可达 13.43%），表明通用能力无法直接迁移到制度性知识领域。
4. 困难子集与分布分析：通过对抗性过滤构建的困难子集有效区分了前沿模型的能力，且分布分析证明过滤过程未显著改变原始数据的整体结构。

4. 实验结果 (Results)

• 整体表现：
  • 在完整数据集上，最强的开源模型（Qwen3-VL-235B-A22B-Thinking）准确率仅为 42.05%。
  • 在困难子集上，最好的闭源模型（Gemini-3-Pro）准确率为 52.42%，其余模型表现大幅落后。
  • 韩国本土模型（如 VARCO-VISION-2.0）在整体表现上仍落后于国际顶尖模型，但在某些特定领域表现尚可，说明单纯的语言 specialization 不足以解决专家级推理问题。
• 学科差异：
  • 工程 (Engineering) 和 自然科学 (Natural Sciences) 表现相对较好，但仍有提升空间。
  • 通用 (General) 和 艺术与设计 (Arts & Design) 是主要瓶颈，准确率极低（例如 Gemini-3-Pro 在通用类仅得 27.19%）。
• 推理机制的作用：
  • 显式推理（Thinking 模式）在数学和统计类题目上有一定提升，但在工程类题目中，有时会导致模型过早锁定错误的框架（Over-commitment），反而降低准确率。
  • 推理模型在答案完整性（如多选题、开放式回答）上表现更好，但在知识检索和视觉感知上没有显著优势。
• 韩语特异性：
  • 多语言模型在韩语特异性问题上的表现显著低于非特异性问题（差距达 13.51%），表明模型缺乏对韩国法律、行政术语的精确掌握。

5. 意义与影响 (Significance)

• 推动非英语多模态研究：KMMMU 为评估非英语、特别是受文化制度影响深远的多模态理解能力提供了标准测试床，推动了从“英语中心”向“多语言/多文化”评估范式的转变。
• 指导模型改进方向：研究指出，提升模型在专业领域的表现不能仅靠增加参数或简单的思维链（CoT），更需要：
  • 增强对特定领域标准和术语的精确记忆与检索。
  • 提高少样本符号归纳能力。
  • 加强惯例到标签的映射能力（即理解视觉符号背后的具体行业规范）。
• 实际应用价值：该基准对于开发能够处理韩国法律、医疗、工程认证等真实世界专家任务的可靠 AI 系统至关重要，有助于识别当前模型在落地应用中的具体短板。

总结：KMMMU 不仅是一个新的数据集，更是一个诊断工具，它揭示了当前多模态大模型在处理非英语、高专业度、制度依赖型任务时的根本性弱点，为未来构建更可靠、更具文化适应性的 AI 系统指明了方向。