🤖 AI

Knowledge Index of Noah's Ark

Das Papier stellt KINA vor, einen rigoros konzipierten, 899 Items umfassenden Wissens-Benchmark über 261 Disziplinen hinweg, der eine gierige Approximation für Repräsentativität sowie ein Bonus-on-Bar-Turnier für die Annotationsqualität einsetzt und eine gestufte Leistungslandschaft unter 42 führenden Modellen offenbart, wobei signifikantes Verbesserungspotenzial unterhalb der Sättigung besteht.

Ursprüngliche Autoren: Sheng Jin, Minghao Liu, Yunze Xiao, Zeqi Zhou, Heli Qi, Yifan Yao, Meishu Song, Kaijing Ma, Xuan Zhang, Sicong Jiang, Yizhe Li, Ningshan Ma, Jie Wei, Ziniu Li, Minglai Yang, Bangya Liu, Yiming Liang

Veröffentlicht 2026-06-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sheng Jin, Minghao Liu, Yunze Xiao, Zeqi Zhou, Heli Qi, Yifan Yao, Meishu Song, Kaijing Ma, Xuan Zhang, Sicong Jiang, Yizhe Li, Ningshan Ma, Jie Wei, Ziniu Li, Minglai Yang, Bangya Liu, Yiming Liang, Xiao Fang, Qingcheng Zeng, Jiarui Liu, Rui Yang, Shen Yan, Wenhao Huang, Jiaheng Liu, Zihan Wang, Weihao Xuan, Ge Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie möchten testen, wie klug eine Gruppe von Schülern ist, aber anstatt ihnen einen Standard-Mathetest zu geben, möchten Sie sehen, ob sie das Wesen von 261 verschiedenen Fachgebieten wirklich verstehen – von fortgeschrittener Ingenieurwissenschaft bis hin zu obskurer Geschichte.

Das Papier stellt KINA (Knowledge Index of Noah's Ark) vor, eine neue, hoch entwickelte „Prüfung“, die darauf ausgelegt ist, Large Language Models (KI) zu testen. Die Autoren argumentieren, dass bisherige Prüfungen in drei Hauptpunkten fehlerhaft waren: Sie waren zu breit gefasst, um fair zu sein, sie bezahlten die Prüfer zu wenig, damit diese sich anstrengen, und die Ergebnisse waren zu instabil, um ihnen zu trauen. KINA behebt diese Probleme mit einem neuen Design.

So funktioniert KINA, erklärt durch einfache Analogien:

1. Das Problem: Die „faule Umfrage“ vs. die „Experten-Karte“

Der alte Weg: Stellen Sie sich vor, Sie versuchen, einen Kontinent zu kartografieren, indem Sie einfach Dartpfeile gegen eine Wand werfen und schauen, wo sie landen. Frühere KI-Tests machten dies: Sie sammelten tausende Fragen von überall her. Manchmal trafen sie ein tiefes, wichtiges Konzept; manchmal trafen sie nur eine triviale Tatsache. Das Ergebnis war eine chaotische Karte, die nicht zeigte, wo die KI tatsächlich schwach war.
Der KINA-Weg: Die Autoren behandelten die Prüfung wie den Bau einer Arche Noah. Sie haben nicht einfach nur wahllos Tiere gesammelt; sie haben sorgfältig genau 899 Items ausgewählt, um 261 spezifische „Disziplinen“ (wie ein winziges, perfektes Ökosystem) zu repräsentieren.
*Die Analogie: Anstatt eines Dartwurfs verwendeten sie einen „Greedy Selection“-Algorithmus. Stellen Sie sich vor, Sie haben ein begrenztes Budget an Platz auf einem Boot. Sie wollen die Tiere auswählen, die die meisten einzigartigen und wichtigen Teile des Waldes repräsentieren. KINA wählt Fragen aus, die als „Anker“ für jedes Fachgebiet fungieren und sicherstellen, dass der Test den Kern jedes Feldes abdeckt, nicht nur die einfachen Teile.

2. Das Problem: Der „Flachlohn“ vs. das „Turnier“

Der alte Weg: Stellen Sie sich vor, Sie stellen Leute ein, um diese Prüfungen zu bewerten, und bezahlen ihnen 10 $ für jedes geprüfte Blatt, unabhängig davon, wie hart sie arbeiten. Ein rationaler Arbeiter würde das absolute Minimum tun, um die 10 $ zu bekommen, was zu einem „faulen Konsens“ führt, bei dem schlechte Fragen durchrutschen.
Der KINA-Weg: Die Autoren führten ein „Bonus-on-Bar-Turnier“ ein.
*Die Analogie: Stellen Sie sich zwei Preisrichter vor, die dieselbe Frage bewerten. Beide erhalten ein Grundgehalt, aber nur derjenige, der die höhere Punktzahl vergibt (vorausgesetzt, er überschreitet eine strenge Qualitätsgrenze), erhält einen großen Bonus.
*Das Ergebnis: Dies erzeugt ein Wettrennen darum, der sorgfältigste und gründlichste zu sein. Wenn ein Richter faul ist, verliert er den Bonus an seinen Konkurrenten. Das Papier beweist mathematisch, dass dieses System die Prüfer dazu zwingt, härter zu arbeiten und mehr Fehler zu finden als das alte „Flachlohn“-System.

3. Das Problem: Die „Momentaufnahme“ vs. das „stabile Leaderboard“

Der alte Weg: Wenn Sie eine KI an 100 Fragen testen, könnte ein Unterschied von 5 Punkten im Testergebnis einfach Glück sein (wie beim Würfelspielen). Sie können nicht sicher sein, ob Modell A wirklich besser ist als Modell B.
Der KINA-Weg: Die Autoren unterzogen ihre eigenen Ergebnisse einem „Stresstest“. Sie verwendeten eine statistische Technik namens Bootstrapping (stellen Sie sich vor, Sie machen ein Foto des Leaderboards, mischen die Fragen durch und machen 1.000 neue Fotos, um zu sehen, ob die Ranglisten bestehen bleiben).
*Das Ergebnis: Sie fanden heraus, dass die obersten Platzierungen sehr stabil sind (wie ein robustes Schiff), aber die mittleren Platzierungen wackelig sind. Sie warnen uns davor, uns an winzigen Unterschieden zwischen Modellen im Mittelfeld aufzuhängen, da diese Lücken lediglich Rauschen sein könnten.

Was haben sie herausgefunden? (Die Rennergebnisse)

Sie haben 42 verschiedene KI-Modelle auf dieser neuen Prüfung getestet. Hier ist die Zusammenfassung:

Die Gewinner: Die beste KI (Gemini-3.1-Pro-Preview) hat etwa 53 % korrekt beantwortet. Die nächsten beiden (Claude und GPT) folgten dicht dahinter mit etwa 50 %.
Die Lücke: Selbst die beste KI beantwortet fast die Hälfte der Fragen falsch. Die Prüfung ist noch lange nicht „gelöst“.
Die Überraschung: Die größten Unterschiede zwischen den klügsten KIs lagen nicht in Mathematik oder Naturwissenschaften (wo sie alle recht gut abschneiden). Das eigentliche Schlachtfeld waren die Geistes- und Sozialwissenschaften (wie Geschichte, Soziologie und Philosophie).
- Analogie: Es ist wie ein Rennen, bei dem alle auf der asphaltierten Straße schnell rennen (Wissenschaft), aber die wahren Gewinner sind diejenigen, die die schlammigen, schwierigen Waldpfade (Geisteswissenschaften) navigieren können.
Die Werkzeuge: Den KIs Zugriff auf eine Suchmaschine zu geben, half, aber nicht gleichermaßen. Es half den schwächeren Modellen, Gedächtnislücken zu füllen, und half den stärkeren Modellen, Fakten zu verifizieren, aber es machte nicht magisch alle perfekt.

Das Fazit

KINA ist nicht nur ein härterer Test; es ist ein besser konzipierter Test.

Es stellt sicher, dass die Fragen tatsächlich das Herzstück eines Fachgebiets repräsentieren.
Es bezahlt die Prüfer so, dass sie gezwungen sind, ehrlich und gründlich zu sein.
Es gibt zu, dass einige Ranglisten instabil sind, und sagt uns, dass wir aufhören sollen, kleine Unterschiede überzuinterpretieren.

Das Papier kommt zu dem Schluss, dass KI zwar klüger wird, aber immer noch ein massiver Spielraum für Verbesserungen besteht, insbesondere beim Verständnis der komplexen, nuancierten Welt der menschlichen Kultur und Geschichte.

Technisches Resümee: Knowledge Index of Noah's Ark (KINA)

Problemstellung

Aktuelle Wissens-Benchmarks für Large Language Models (LLMs) leiden unter drei primären Designfehlern:

Mangelnde disziplinäre Repräsentativität: Bestehende Benchmarks skalieren Testsets oft nach Quantität (Hunderte von Teilgebieten) oder Schwierigkeit (Frontier-Forschungsthemen), ohne zu formalisieren, ob die Items tatsächlich die theoretischen Kernelemente einer Disziplin abfragen. Dies führt zu einer ungleichmäßigen Abdeckung disziplinärer Kompetenzen.
Anreiz-Fehlanpassung bei der Annotation: Die meisten Pipelines verwenden flache Vergütungssätze pro Item, was zu „fauler Konsensbildung“ unter den Reviewern führt. Rational handelnde Reviewer minimieren den Aufwand, wenn das Akzeptieren von Grenzfällen keine Sanktionen nach sich zieht, was zu qualitativ minderwertigeren Annotationen führt.
Ranking-Instabilität: Kompakte Testsets (ca. $10^3$ Items) sind zwar kosteneffizient, aber anfällig für Varianz. Kleine Leistungsunterschiede zwischen Frontier-Modellen (z. B. 5 Punkte) sind möglicherweise nicht durch Resampling belastbar, dennoch berichten Benchmarks selten über Stabilitätsstatistiken, was zu einer Überinterpretation benachbarter Ränge führt.

Methodik

Die Autoren führen KINA (Knowledge Index of Noah's Ark) ein, einen 899-Item-Benchmark, der 261 feingliedrige Disziplinen umfasst und auf zwei formalen theoretischen Garantien sowie einer rigorosen Konstruktions-Pipeline basiert.

1. Formale Garantien

Repräsentativität via Greedy Coverage: Die Autoren formalisieren die disziplinäre Repräsentativität als „budgetierte Support-Zentralität“. Domänenexperten extrahieren eine kompakte Prototyp-Menge $\Sigma_d$ $Σ_{d}$ von Ankern (Methoden, Theoreme, Konzepte). Items werden gegen diese Anker bewertet, und ein Selektionsziel $F_d^{sp}(S)$ $F_{d}^{s p} (S)$ wird definiert, um die Abdeckung zu maximieren.
- Theoretisches Resultat: Das Ziel ist als monoton submodular bewiesen. Folglich erreicht ein Greedy-Selektionsalgorithmus unter Kardinalitätsbeschränkungen eine $(1 - 1/e)$ -Approximation des Proxy-Optimums (Proposition 1). Die Autoren stellen klar, dass dies eine Garantie für den Proxy (operationale Abdeckung) ist, nicht eine globale Garantie auf die Repräsentativität der Grundgesamtheit.
Anreiz-orientierte Review via Turnier: Um die flache Vergütung zu ersetzen, implementieren die Autoren ein „Bonus-on-Bar“-Turnier. Zwei Reviewer bewerten jedes Item; der Reviewer mit dem höheren validierten Score erhält einen Bonus $B$ $B$ nur dann, wenn der Score einen Schwellenwert $\tau$ $τ$ überschreitet.
- Theoretisches Resultat: Unter Annahmen von auf Aufwand basierender First-Order Stochastic Dominance (FOSD), Score-Rauschunabhängigkeit und monotoner Aggregation beweisen die Autoren, dass dieser Mechanismus die Flat-Payment-Baseline hinsichtlich der veröffentlichten Review-Qualität strikt FOSD-dominiert (Theorem 1). Eine geschlossene Bedingung für den Bonus wird hergeleitet: $B > \Delta C / \Delta p_{min}$ , wobei $\Delta C$ die Kosten für hohen Aufwand und $\Delta p_{min}$ den minimalen Gewinn in der Gewinnwahrscheinlichkeit darstellt.

2. Datenkonstruktions-Pipeline

Die Pipeline besteht aus vier Stufen:

Regelbasierte Filterung: Items müssen Unizitätstests (Cosine-Similarity < 0,8), LaTeX-Formatierung und einen Schwierigkeitsfilter bestehen, der verlangt, dass mindestens 3 von 5 Flagship-LLMs scheitern.
Doppelblind-Experten-Review: Reviewer (Doktoranden und Branchenexperten) werden über ein zweistufiges Examen rekrutiert. Sie bewerten Items anhand von sechs Rubriken (Repräsentativität, Faktizität etc.) unter dem „Bonus-on-Bar“-Turnier mit stochastischen Audits (5–10 % der Items), um Kollusion zu verhindern.
LLM-as-Judge-Konsens: Drei unabhängige LLM-Judges bewerten Items anhand multidimensionaler Merkmale (Abdeckung, Unizität, Impact) und analysieren Fehlermuster. Eine Mehrheitsentscheidung bestimmt die Aufnahme.
Agentische Verfeinerung: Ein „Diagnosis Agent“ sucht nach Gegenbeweisen für markierte Items, und ein „Refinement Agent“ revidiert Stems oder Prämissen. Diese Schleife adresselt Randbedingungen (z. B. Kontextdrift), bevor die endgültige Annahme erfolgt.

3. Evaluierungsprotokoll

Format: Pseudo-Multiple-Choice-Fragen mit 10 kombinatorischen Optionen (reduziert die Zufallstrefferquote auf 10 %).
Modelle: 42 Frontier-Modelle aus 13 Laboren (Closed-Source APIs, Open-Source Dense/MoE und Reasoning-Modelle).
Metriken: AVG@4 Genauigkeit, disziplinspezifische Aufschlüsselungen, Tool-Use-Augmentierung (Websuche) und Bootstrap-basierte Ranking-Stabilitätsstatistiken.

Zentrale Ergebnisse

Leistungsdeckel (Performance Ceiling): Das Top-Modell, Gemini-3.1-Pro-Preview, erreichte 53,17 % Genauigkeit. Claude-Opus-4.6 (49,92 %) und GPT-5.4 (48,55 %) folgten. Das Leaderboard ist weit von der Sättigung entfernt und zeigt eine klare hierarchische Struktur: eine Frontier-Tier (>48 %), eine Dense-Strong-Model-Tier (38–45 %) und schwächer performende Modelle, die knapp über der 10 % Chance-Baseline liegen.
Ranking-Stabilität: Eine Bootstrap-Analyse (1.000 Replikationen mit 50 % Subsampling) zeigte eine hohe Stabilität für das Top-10-Ranking (Kendall $\tau \approx 0,89$ ) und eine 94 %ige Rank-1-Retention-Rate. Jedoch sind paarweise Differenzen unter ~2 Prozentpunkten statistisch nicht auflösbar.
Impact von Tool-Use: Die Augmentierung durch Websuche lieferte positive, aber nicht uniforme Gewinne (+1,50 bis +5,17 Punkte). Die stärksten und schwächsten Modelle verzeichneten die größten Zuwächse, was darauf hindeutet, dass Retrieval unterschiedliche Funktionen erfüllt (Schließen parametrischer Lücken vs. Fundierung von Evidenz).
Disziplinäre Diskriminierung: Die Analyse der Top-10-Modelle ergab, dass Geisteswissenschaften und Sozialwissenschaften (z. B. Soziologie, Management, Literatur & Kunst) die Differenzierung an der Frontier vorantreiben und dort Spreads von 30–38 Punkten zeigen. Im Gegensatz dazu zeigten MINT-Felder (Naturwissenschaften, Ingenieurwesen) deutlich geringere Spreads (~10–14 Punkte), was darauf hindeutet, dass Frontier-Modelle in diesen Domänen konvergiert sind.
Skalierung: Die Parameter-Skalierungskurven der Qwen-Familien zeigten generationelle Verbesserungen (Qwen3.5 skaliert mit ~14,8 Punkten/Dekade gegenüber 7,6 für Qwen3). Es wurde jedoch eine log-lineare Sättigung am oberen Ende beobachtet, was darauf hindeutet, dass Skalierung allein das Gap in den Geistes- und Sozialwissenschaften nicht lösen wird.

Signifikanz und Ansprüche

Das Paper positioniert KINA nicht bloß als schwierigen Test, sondern als diagnostisches Instrument. Seine Signifikanz liegt in:

Formalisierung von Designprinzipien: Es liefert die ersten formalen Garantien für disziplinäre Repräsentativität (via submodulare Abdeckung) und anreiz-orientierte Annotation (via Turniertheorie) im Kontext von LLM-Benchmarks.
Empirische Diagnostik: Es zeigt auf, dass aktuelle Frontier-Modelle nicht einheitlich überlegen sind; ihre Differenzierung konzentriert sich stark auf die Geistes- und Sozialwissenschaften, während sie in MINT-Aufgaben weitgehend konvergiert sind.
Methodische Transparenz: Durch die Veröffentlichung von Bootstrap-Stabilitätsstatistiken warnt das Paper explizit vor der Überinterpretation feingliedriger Rangunterschiede in kompakten Benchmarks.
Ressourcenverfügbarkeit: Die Autoren stellen den Datensatz, die Annotationshandbücher, die LLM-Judge-Rubriken und den Evaluierungscode zur Verfügung, um Replikation und Erweiterung zu ermöglichen.

Die Autoren stellen explizit klar, dass die Repräsentativitätsgarantie für den operationalen Proxy gilt, nicht für die zugrunde liegende Grundgesamtheit, und dass die empirische Validierung des Turnier-Mechanismus eher beobachtend als kausal-experimentell ist. Sie verpflichten sich dazu, den Benchmark (KINA-vx.0) zu aktualisieren, sobald das stärkste Modell eine Genauigkeit von 70 % überschreitet, um eine Sättigung zu verhindern.