🤖 AI

Knowledge Index of Noah's Ark

本論文は、代表性を確保するための貪欲近似法とアノテーションの品質向上のためのボーナス・オン・バー・トーナメントを採用し、261の学問分野にわたる899項目の知識ベンチマークであるKINAを導入し、42の主要なモデル間における階層的な性能の景観を明らかにし、飽和点以下には大幅な改善の余地があることを示している。

原著者： Sheng Jin, Minghao Liu, Yunze Xiao, Zeqi Zhou, Heli Qi, Yifan Yao, Meishu Song, Kaijing Ma, Xuan Zhang, Sicong Jiang, Yizhe Li, Ningshan Ma, Jie Wei, Ziniu Li, Minglai Yang, Bangya Liu, Yiming Liang

公開日 2026-06-04

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Sheng Jin, Minghao Liu, Yunze Xiao, Zeqi Zhou, Heli Qi, Yifan Yao, Meishu Song, Kaijing Ma, Xuan Zhang, Sicong Jiang, Yizhe Li, Ningshan Ma, Jie Wei, Ziniu Li, Minglai Yang, Bangya Liu, Yiming Liang, Xiao Fang, Qingcheng Zeng, Jiarui Liu, Rui Yang, Shen Yan, Wenhao Huang, Jiaheng Liu, Zihan Wang, Weihao Xuan, Ge Zhang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あるグループの学生がどれほど賢いかをテストしたいと想像してください。ただし、標準的な数学のテストを与えるのではなく、高度なエンジニアリングから難解な歴史に至るまで、261もの異なる主題の「本質」を彼らが本当に理解しているかどうかを見極めたいと考えています。

この論文は、大規模言語モデル（AI）をテストするために設計された、新しい非常に洗練された「試験」であるKINA（Knowledge Index of Noah's Ark：ノアの方舟知識指標）を紹介しています。著者らは、従来の試験には3つの欠陥があると考えています。それは、あまりにも範囲が広すぎて公平性に欠けること、査読者への報酬が低すぎて注意力が散漫になること、そして結果が信頼するにはあまりにも不安定であることです。KINAは、新しい設計によってこれらの問題を解決します。

KINAの仕組みを、簡単な比喩を用いて説明します。

1. 問題点：「怠惰な調査」 vs 「専門家の地図」

従来の方法： 壁に向かってダーツを投げ続け、それがどこに当たったかを見るだけで、大陸の地図を作ろうとするようなものです。これまでのAIテストはこれを行っていました。彼らはあらゆる場所から何千もの質問をかき集めてきました。時には深く重要な概念に当たりますが、他の時には些細な事実に当たります。その結果、AIが実際にどこで弱点を持っているのかを示さない、乱雑な地図が出来上がってしまいました。
KINAの方法： 著者らは、この試験を**「ノアの方舟」を造るプロセスとして扱いました。彼らは単にランダムに動物を集めたのではなく、261の特定の「学問分野」（高度なエンジニアリングから難解な歴史まで）を代表する、正確に899の項目**を慎重に選定しました（まるで小さく完璧な生態系を作るように）。

比喩： ダーツ投げではなく、「強欲な選択（greedy selection）」アルゴリズムを使用しました。船に乗れるスペースの予算が限られていると想像してください。あなたは、森の最もユニークで重要な部分を代表する動物を選びたいと考えています。KINAは、各主題の「アンカー（錨）」として機能する質問を選び出し、テストが単に易しい部分だけでなく、各分野の「核」を確実にカバーするようにしています。

2. 問題点：「一律の賃金」 vs 「トーナメント」

従来の方法： 試験を採点する人を雇い、どれほど熱心に作業したかにかかわらず、1枚の答案をチェックするごとに10ドル支払うことを想像してください。合理的な労働者は、10ドルのために最低限の仕事しかせず、「怠惰な合意」を招き、質の低い質問が紛れ込んでしまいます。
KINAの方法： 著者らは**「ボーナス・オン・バー・トーナメント（Bonus-on-Bar Tournament）」**を導入しました。

比喩： 2人の審査員が同じ質問を採点していると想像してください。両者に基本給は支払われますが、厳格な品質基準をパスした上で、より高いスコアを付けた方だけが大きなボーナスを受け取れます。
結果： これにより、より注意深く、徹底的に取り組むための競争が生まれます。もし審査員が怠慢であれば、ライバルにボーナスを奪われてしまいます。論文は数学的に、このシステムが従来の「一律の支払い」システムよりも、査読者に懸命に働き、より多くのエラーを見つけさせることを証明しています。

3. 問題点：「一度限りのスナップショット」 vs 「安定したリーダーボード」

従来の方法： もし100問の質問でAIをテストした場合、5点のスコアの差は単なる運（サイコロを振るようなもの）かもしれません。モデルAがモデルBよりも本当に優れているかどうかは確信できません。
KINAの方法： 著者らは、自分たちの結果に対して「ストレス・テスト」を行いました。彼らはブートストラップ法と呼ばれる統計手法を使用しました（リーダーボードの写真を撮り、質問をシャッフルして、ランキングが維持されるかどうかを確認するために1,000枚の新しい写真を撮ることを想像してください）。

結果： 彼らは、トップのランキングは非常に安定している（頑丈な船のように）一方で、中位のランキングは揺れやすいことを発見しました。中位層におけるモデル間の微細な差に固執しすぎないよう、それらの差は単なるノイズである可能性があると警告しています。

何が見つかったのか？（レースの結果）

彼らはこの新しい試験で42の異なるAIモデルをテストしました。以下はその要約です。

勝者： 最も優れたAI（Gemini-3.1-Pro-Preview）は約**53%正解しました。続く2つ（ClaudeとGPT）も僅差で、およそ50%**でした。
ギャップ： 最も賢いAIでさえ、質問の半分近くに失敗しています。この試験はまだ「攻略」されていません。
驚き： 最も賢いAI同士の最大の差は、数学や科学（これらでは皆、まずまずの成績を収める）ではありませんでした。真の戦場は、人文科学および社会科学（歴史、社会学、哲学など）でした。
- 比喩： それは、全員が舗装された道（科学）では速く走れるが、真の勝者は誰が泥だらけでトリッキーな森の小道をナビゲートできるかによって決まる、というレースのようなものです。
ツール： AIに検索エンジンへのアクセス権を与えることは、一律ではありませんでしたが、効果がありました。検索は、能力の低いモデルが記憶の欠落を補うのを助け、より強力なモデルが事実を確認するのを助けましたが、全員を魔法のように完璧にするものではありませんでした。

まとめ

KINAは単に難しいテストではなく、より良く設計されたテストです。

質問が実際に主題の「核心」を代表していることを保証します。
査読者が正直かつ徹底的に取り組むように、報酬を設定します。
一部のランキングは不安定であることを認め、小さな違いに過剰に反応しないよう伝えます。

論文は、AIは賢くなっているものの、特に人間の文化や歴史という複雑でニュアンスに富んだ世界を理解するという点において、依然として改善の余地（ヘッドルーム）が膨大にあると結論付けています。

技術要約：ノアの箱舟の知識指標 (KINA)

問題提起

現在の大規模言語モデル（LLM）向けの知識ベンチマークには、主に3つの設計上の欠陥が存在する：

学問的代表性の欠如： 既存のベンチマークは、項目数を増やす（数百のサブフィールド）か、難易度を上げる（研究の最前線レベル）ことでスケールアップしているが、項目が実際にその学問分野の核心となる理論的転換点を探っているかどうかを形式化できていない。これにより、学問的なコンピテンシーの網羅性に偏りが生じている。
アノテーションにおけるインセンティブの不一致： ほとんどのパイプラインは、項目ごとの一律な支払率を採用しているため、レビュアー間の「怠慢な合意（lazy consensus）」を助長している。境界線上の項目を受け入れてもペナルティが発生しない場合、合理的なレビュアーは努力を最小限に抑えるようになり、結果としてアノテーションの質が低下する。
ランキングの不安定性： コンパクトなテストセット（約 $10^3$ 項目）はコスト効率は高いが、分散が生じやすい。最先端モデル間のわずかな性能差（例：5ポイント）は再サンプリングによって消失する可能性があるが、ベンチマークにおいて安定性の統計が報告されることは稀であり、隣接する順位の過剰解釈を招いている。

メソドロジー

著者らは、261の細分化された学問分野にわたる899項目のベンチマークであるKINA（Knowledge Index of Noah's Ark）を導入する。これは、2つの形式的な理論的保証と厳格な構築パイプラインに基づいて設計されている。

1. 形式的保証

貪欲被覆による代表性： 著者らは、学問的な代表性を「予算化されたサポート中心性（budgeted support centrality）」として定式化している。領域の専門家がアンカー（手法、定理、概念）のコンパクトなプロトタイプ $\Sigma_d$ $Σ_{d}$ を抽出する。各項目はこれらのアンカーに対してスコアリングされ、選択目的関数 $F_d^{sp}(S)$ $F_{d}^{s p} (S)$ が最大化されるように定義される。
- 理論的結果： この目的関数は**単調劣モジュラ（monotone submodular）**であることが証明されている。したがって、基数制約下での貪欲選択アルゴリズムは、プロキシ最適値の $(1 - 1/e)$ 近似を達成する（命題1）。著者らは、これは（全人口の代表性に対するグローバルな保証ではなく）プロキシ（運用上の被覆範囲）に対する保証であることを明確にしている。
トーナメントによるインセンティブに適合したレビュー： 一律の支払い制度に代わり、著者らはボーナス・オン・バー（bonus-on-bar）トーナメントを実装した。2人のレビュアーが各項目を評価し、検証されたスコアが高い方のレビュアーのみが、スコアが閾値 $\tau$ $τ$ を超えた場合にボーナス $B$ $B$ を受け取る。
- 理論的結果： 努力による一次確率優越（FSD）、スコアノイズの独立性、および単調集計の仮定の下で、このメカニズムが、公開されるレビューの質に関して、一律支払いベースラインを厳密にFOSD（一次確率優越）支配することを著者らは証明している（定理1）。ボーナスに関する閉じた形式の条件は、 $B > \Delta C / \Delta p_{min}$ （ここで $\Delta C$ は高負荷のコスト、 $\Delta p_{min}$ は勝利確率の最小増加分）として導出される。

2. データ構築パイプライン

パイプラインは4つのステージで構成される：

ルールベースのスクリーニング： 項目は、一意性のチェック（コサイン類似度 < 0.8）、LaTeX形式、および少なくとも5つの主要なLLMのうち3つが失敗することを要求する難易度フィルタを通過しなければならない。
ダブルブラインド・エキスパートレビュー： レビューアー（大学院生および業界の専門家）は、2段階の試験を経て採用される。彼らはボーナス・オン・バー・トーナメントの下で6つのルーブリック（代表性、事実性など）に従って項目をスコアリングし、共謀を防ぐための確率的監査（5〜10%の項目）が行われる。
LLM-as-Judge による合意： 3つの独立したLLMジャッジが、多次元的な特徴（被覆範囲、一意性、インパクト）に基づいて項目をスコアリングし、失敗パターンを分析する。多数決によって採択が決定される。
エージェンティックな精緻化： 「診断エージェント（Diagnosis Agent）」がフラグの立てられた項目に対して反証を探索し、「精緻化エージェント（Refinement Agent）」がステム（問題文）や前提を修正する。このループにより、最終的な受理前に境界の欠陥（例：コンテキストのドリフト）に対処する。

3. 評価プロトコル

形式： 10個の組合せオプションを持つ擬似多肢選択式問題（偶然による正解率を10%に低減）。
モデル： 13のラボから提供された42の最先端モデル（クローズドソースAPI、オープンソースのデンス/MoE、および推論モデル）。
メトリクス： AVG@4 正解率、分野別の内訳、ツール使用の拡張（ウェブ検索）、およびブートストラップに基づくランキング安定性統計。

主な結果

パフォーマンスの天井： トップモデルである Gemini-3.1-Pro-Preview は 53.17% の正解率を達成した。次いで Claude-Opus-4.6 (49.92%)、GPT-5.4 (48.55%) と続く。リーダーボードは飽和には程遠く、明確な階層構造を示している：最先端ティア（>48%）、強力なデンスモデルティア（38–45%）、およびチャンスベースライン（10%）をわずかに上回る低性能モデルのティアである。
ランキングの安定性： ブートストラップ分析（50%のサブサンプリングを用いた1,000回の反復）により、トップ10のランキングにおいて高い安定性（Kendall $\tau \approx 0.89$ ）と、ランク1の保持率94%が示された。しかし、約2パーセントポイント以下のペアワイズの差は、統計的に解決不可能である。
ツール使用の影響： ウェブ検索による拡張は、非一様ながらもプラスの効果をもたらした（+1.50 から +5.17 ポイント）。最も強力なモデルと最も弱いモデルの両方が最大の利得を得ており、これはリトリーバル（検索）が異なる機能（パラメトリックなギャップの補完 vs 証拠の接地）を果たしていることを示唆している。
学問的分離： トップ10モデルの分析により、最先端においては人文科学および社会科学（例：社会学、経営学、文学・芸術）が差別化を駆動していることが明らかになった。これらは30〜38ポイントの差を示している。対照的に、STEM分野（科学、工学）は非常に小さな差（約10〜14ポイント）を示しており、最先端モデルがこれらの領域において収束していることを示唆している。
スケーリング： Qwenファミリーのパラメータ・スケーリング曲線は、世代的な改善を示した（Qwen3.5は1デカードあたり約14.8ポイントの向上に対し、Qwen3は7.6ポイント）。しかし、上限部では対数線形的な飽和が観察されており、スケールだけでは人文・社会科学のギャップを解決できない可能性を示している。

意義と主張

本論文は、KINAを単なる困難なテストではなく、一つの診断ツールとして位置づけている。その意義は以下の点にある：

設計原則の形式化： LLMベンチマークの文脈において、学問的代表性（劣モジュラ被覆による）およびインセンティブに適合したアノテーション（トーナメント理論による）のための最初の形式的な保証を提供している。
経験的診断： 現在の最先端モデルが均一に優れているわけではないことを明らかにしている。彼らの差別化は人文科学および社会科学に集中しており、STEMタスクにおいてはすでに収束している。
方法論的透明性： ブートストラップ安定性統計を公開することで、コンパクトなベンチマークにおける微細なランク差の過剰解釈を明示的に戒めている。
リソースの提供： 再現と拡張を可能にするため、データセット、アノテーションマニュアル、LLMジャッジのルーブリック、および評価コードを公開する。

著者らは、代表性の保証は（対象となる母集団ではなく）運用上のプロキシに適用されること、およびトーナメント・メカニズムの経験的検証は因果的なランダム化検証ではなく観測的なものであることを明示している。また、最強のモデルが70%の正解率を超えた場合、飽和を防ぐためにベンチマーク（KINA-vx.0）を更新することを約束している。