KMMMU: Evaluation of Massive Multi-discipline Multimodal Understanding in Korean Language and Context

この論文は、韓国語の文化的・制度的文脈に特化した多分野・多モーダル理解評価ベンチマーク「KMMMU」を提案し、既存の英語中心のベンチマークでは捉えきれないローカルな慣習や専門基準に基づく課題において、現在の最先端モデルが依然として高い精度を達成できていないことを示しています。

要約

韓国の「難問テスト」で AI を試す：KMMMU の物語

この論文は、**「AI が本当に賢いのか、それともただの『お勉強上手』なのか」**を、韓国という特定の文化とルールの中で厳しく試す新しいテスト（KMMMU）について書かれたものです。

まるで、AI に「世界の一般常識」だけでなく、「韓国の法律や、韓国の学校でしか使わない専門用語、韓国の独特な図解」を解かせるようなものです。

以下に、この研究のポイントを、わかりやすい比喩を使って説明します。

---

1. なぜ新しいテストが必要だったのか？（「翻訳された料理」の問題）

これまでの AI のテストは、ほとんどが**「英語で作られた料理」**でした。
「この料理（問題）を韓国語に翻訳して、韓国人に食べさせてみよう」というやり方です。

しかし、これには大きな問題がありました。

• 例え話: 韓国の「泡菜（キムチ）」の作り方を、英語のレシピを翻訳しただけで教えるようなものです。
  • 韓国の伝統的な「お酢の量」や「地域ごとの味付けのルール」が抜けてしまいます。
  • 翻訳では、**「その国独自のルールや、専門的な暗黙の了解」**が伝わらないのです。

そこで、研究者たちは**「最初から韓国語で、韓国の専門家（公務員試験や国家資格試験）が出題する本物の問題」**を集めて、新しいテスト「KMMMU」を作りました。

2. KMMMU とはどんなテスト？（「3,466 問の超難問パズル」）

このテストは、3,466 問もの問題を含んでいます。

• 9 つの分野: 工学、法律、芸術、数学など、あらゆる専門分野をカバー。
• 9 つの画像タイプ: 回路図、地図、表、写真、手書きのメモなど、視覚的な情報も多様。
• 韓国特有の難問: 韓国の法律や行政ルールにしかわからない問題（例：「小型車」の定義が韓国ではこう決まっている、など）も含まれています。

まるで、**「韓国の国家資格試験に、画像を見ながら答える」**という、非常にハードルが高い試験です。

3. 結果はどうだった？（「天才でも 5 割しか取れない」）

最新の超高性能 AI（Google の Gemini や OpenAI の GPT-5 など）にこのテストを解かせてみました。

• 結果: 最も強い AI でも、正解率は 52% 程度でした。
• 意味: 100 点満点のテストで、50 点ちょっとしか取れていないということです。
  • 英語のテストなら 90 点以上取るような AI でも、韓国の「ローカルルール」や「専門用語」の前では、**「あやふやな知識」**しか持っていないことがバレてしまいました。

4. AI が間違える理由（「頭が良すぎるが、勘違いしている」）

なぜ AI は失敗するのでしょうか？研究チームが詳しく分析したところ、**「推理能力が足りないから」ではなく、「別の場所が弱いから」**でした。

• ① ルールとラベルのミスマッチ:

  • 例え話: 「これは『赤いリンゴ』だ」と言いたいのに、韓国の法律では「この形は『青りんご』という名前だ」と決まっているのに、AI は「赤いからリンゴだ」と勝手に判断して間違える。
  • 専門用語や、その国だけの決まりごとの「名前」を正確に結びつけるのが苦手です。

• ② 韓国特有の知識の欠如:

  • 韓国の行政手続きや、特定の業界の「暗黙のルール」を知らないため、正解に至れません。

• ③ 記号の読み間違い:

  • 図や記号から「法則」を見抜くのが苦手です。少しの例を見て「あ、これはこうだ！」と推測しようとするのですが、その推測が的外れなことが多いです。

5. 結論：AI は「世界市民」だが、「地域通」ではない

この研究が示しているのは、**「AI は世界の一般常識は知っているが、特定の国や文化の『深層』にはまだ届いていない」**ということです。

• 今の AI: 英語圏の知識は豊富ですが、韓国の「法律の細かい違い」や「専門家の間だけで通じる言葉」には弱いです。
• 今後の課題: AI を本当に役立つものにするには、**「その土地の文化やルールを深く理解し、専門家のようになれる」**ように育てる必要があります。

まとめ

この論文は、**「AI に『韓国という国』の専門家になってもらうには、まだ道半ばだ」**と告げる重要な報告書です。

AI が単に「翻訳機」や「検索エンジン」で終わらず、**「現地の専門家として信頼できる存在」**になるためには、KMMMU のような「本物の難問」で鍛え続ける必要がある、と教えてくれています。

技術概要

KMMMU: 韓国語および文脈における大規模多分野マルチモーダル理解の評価に関する技術的サマリー

本論文は、KMMMU（Korean Massive Multi-discipline Multimodal Understanding）と呼ばれる、韓国固有の文化・制度的文脈における専門的なマルチモーダル理解を評価するためのネイティブなベンチマークを提案したものである。既存の英語中心または翻訳ベースの評価指標の限界を克服し、韓国語圏における専門家のタスクに対するモデルの真の能力を測定することを目的としている。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細を述べる。

1. 問題定義と背景

• 既存ベンチマークの限界: 現在のマルチモーダル大規模言語モデル（MLLM）の評価は、英語中心のベンチマーク（MMMU など）や、それを翻訳したデータセットに依存している。これらは、現地の制度、専門用語、公式基準、および情報密度の高い視覚資料（図表、技術文書など）に依存する非英語圏のタスクを適切に評価できない。
• 翻訳データの課題: 翻訳ベースのデータセットは、言語的なニュアンスや文化的・制度的な文脈（例：韓国の公務員試験、国家技術資格試験、行政法規など）を欠いており、モデルの真の専門知識や推論能力を正確に測れない。
• 評価の必要性: 韓国語圏における専門的なマルチモーダル理解（例：技術図面の解釈、法律文書の読み解き、行政基準の適用）を評価するための、大規模かつ高難易度なネイティブベンチマークが不足していた。

2. 手法とデータセット構築

KMMMU は、以下のプロセスを経て構築された。

データ収集と前処理

• ソース: 韓国の公式試験およびコンペティションから収集。
  • 公務員採用試験（PSAT）
  • 国家技術資格（NTQ）
  • 国家能力基準（NCS）
  • 学術オリンピック
• 規模: 初期に約 68,000 件の生データを収集し、最終的に3,466 問の厳選された問題セットを構築。
• 品質管理: OCR による抽出後、5 人の韓国語ネイティブアノテーターによる手動検証を実施。数式（LaTeX）の修正、画像の切り抜き検証、判読不能な問題の除外などを行い、データの正確性を担保した。

アドバーサリアルフィルタリング（難易度調整）

• 既存の強力なマルチモーダルモデル（Phi-3.5-Vision, InternVL-3.5, Gemini-2.5 など）がゼロショットで正解できる問題を除外するフィルタリングを多段階で実施。
• これにより、モデルが「暗記」している可能性を低減し、真に推論や専門知識を必要とする問題のみをベンチマークとして残した。

データセットの構成

• 分野: 9 つの主要分野（工学、自然科学、CS&IT、ビジネス・公共、社会科学、数学・統計、一般、法・倫理、芸術・デザイン）を網羅。
• 視覚モダリティ: 9 種類（図表、写真、テキスト/コード/ドキュメント、表、幾何学図形など）。
• 韓国固有サブセット: 韓国の制度や法律、行政知識に特化した300 問のサブセット。
• ハードサブセット: 3 つのベースラインモデル（Gemma-3, Qwen3-VL, GPT-5-nano）のすべてが誤答した627 問からなる高難易度セット。

3. 主要な貢献

1. KMMMU ベンチマークの公開: 韓国語圏における初の大規模・多分野・マルチモーダル専門評価ベンチマーク。MMMU の韓国版として位置づけられ、現地の文脈に根ざした評価を可能にする。
2. 詳細なエラー分析と課題の特定: 単なる性能スコアだけでなく、モデルがなぜ失敗するのか（知識の欠如、推論の浅さ、用語の誤対応など）を分野別・モダリティ別に詳細に分析。
3. 韓国固有タスクの難易度の実証: 韓国固有の知識や制度を必要とする問題において、多言語モデルが大幅に性能を落とすことを実証し、ローカライズされた専門知識の重要性を浮き彫りにした。

4. 実験結果

主要な知見

• 全体的な性能: 最強のオープンソースモデルでも全セットで**42.05%の精度に留まり、プロプライエタリモデル（Gemini-3-Pro）でもハードサブセットで52.42%**にとどまった。これは、現在の MLLM が韓国語の専門的・制度的文脈においてまだ未熟であることを示している。
• 分野によるばらつき:
  • 工学や自然科学では比較的良い性能を示すが、「一般（General）」や「芸術・デザイン」分野はボトルネックとなっており、モデルの規模拡大や明示的推論（Reasoning）による改善が限定的だった。
• 韓国固有問題の課題:
  • 韓国固有の問題（Korean-specific）では、非固有問題に比べて最大**13.43%**の精度低下が見られた。
  • 原因は OCR 誤読ではなく、「制度に根ざした知識の欠如」や「専門用語・分類の誤対応」にあることが判明。
• 推論（Reasoning）の限界:
  • 明示的推論（Thinking モデル）は、答えの構成（複数回答の整理など）には有効だが、知識の欠如や視覚的解釈の誤りによるエラーには効果が限定的だった。
  • 工学分野などでは、推論モデルが初期の図解解釈ミスに固執し、誤った結論を導く「構造的誤解」が確認された。

エラー分析の具体例

• 用語・分類の誤対応: 韓国の法律用語（例：「小型車」と「乗用車」の定義）を混同し、規制基準を誤って適用するケース。
• Few-shot 記号推論の失敗: 限られた例からルールを推論し、新しいケースに適用するタスク（上海語の記号パズルなど）において、表面的な類似性に頼り、正しいルールを誘導できない。
• 専門分野の厳密さ: 建築デザイン分野などでは、視覚的な構造は理解できても、専門的な分類用語（例：「直交型」vs「十字型」）を正確にマッピングできない。

5. 意義と結論

• 評価基準の多様化: 英語中心の評価から脱却し、文化的・制度的に文脈化されたタスクを評価する新たな基準を提供した。
• モデル開発への示唆: 単なるモデル規模の拡大や推論プロセスの強化だけでは、専門的なローカルタスクは解決しないことが示された。今後は、ドメイン固有の知識の埋め込み、専門用語の正確なマッピング、ローカルな制度・基準の理解が重要である。
• 今後の展望: KMMMU は、韓国語圏における信頼性の高いマルチモーダルシステム開発のためのテストベッドとして機能し、より文化的に配慮された AI の発展を促すことが期待される。

本論文は、マルチモーダル AI が「見る」だけでなく、特定の文化や制度の中で「理解」し「行動」するための課題を浮き彫りにし、今後の研究開発の重要な指針を提供している。