🤖 AI

Knowledge Index of Noah's Ark

Het artikel introduceert KINA, een rigoureus ontworpen kennisbenchmark van 899 items verspreid over 261 disciplines die gulzig benadering (greedy approximation) gebruikt voor representativiteit en een bonus-on-bar-toernooi voor annotatiekwaliteit, wat een gelaagd prestatielandschap onthult onder 42 toonaangevende modellen met aanzienlijke ruimte voor verbetering onder verzadiging.

Oorspronkelijke auteurs: Sheng Jin, Minghao Liu, Yunze Xiao, Zeqi Zhou, Heli Qi, Yifan Yao, Meishu Song, Kaijing Ma, Xuan Zhang, Sicong Jiang, Yizhe Li, Ningshan Ma, Jie Wei, Ziniu Li, Minglai Yang, Bangya Liu, Yiming Liang

Gepubliceerd 2026-06-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sheng Jin, Minghao Liu, Yunze Xiao, Zeqi Zhou, Heli Qi, Yifan Yao, Meishu Song, Kaijing Ma, Xuan Zhang, Sicong Jiang, Yizhe Li, Ningshan Ma, Jie Wei, Ziniu Li, Minglai Yang, Bangya Liu, Yiming Liang, Xiao Fang, Qingcheng Zeng, Jiarui Liu, Rui Yang, Shen Yan, Wenhao Huang, Jiaheng Liu, Zihan Wang, Weihao Xuan, Ge Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je wilt testen hoe slim een groep studenten is, maar in plaats van ze een standaard wiskundetoets te geven, wil je zien of ze de essentie van 261 verschillende vakken echt begrijpen, van geavanceerde techniek tot obscure geschiedenis.

Het artikel introduceert KINA (Knowledge Index of Noah's Ark), een nieuwe, zeer geavanceerde "examen"-methode ontworpen om Large Language Models (AI) te testen. De auteurs stellen dat eerdere examens gebrekkig waren op drie belangrijke punten: ze waren te breed om eerlijk te zijn, ze betaalden beoordelaars te weinig om er aandacht aan te besteden, en de resultaten waren te wankel om te vertrouwen. KINA lost deze problemen op met een nieuw ontwerp.

Hier is hoe KINA werkt, uitgelegd via eenvoudige analogieën:

1. Het Probleem: De "Luie Enquête" versus de "Expert-Kaart"

De Oude Manier: Stel je voor dat je een continent probeert in kaart te brengen door gewoon pijlen op een muur te gooien en te kijken waar ze landen. Eerdere AI-tests deden dit: ze haalden duizenden vragen van overal vandaan. Soms raakten ze een diep, belangrijk concept; andere keren raakten ze een triviaal feitje. Het resultaat was een rommelige kaart die niet liet zien waar de AI werkelijk zwak in was.
De KINA-Manier: De auteurs behandelden het examen als het bouwen van een Ark van Noach. Ze pakten niet zomaar willekeurige dieren; ze selecteerden zorgvuldig precies 899 items om 261 specifieke "disciplines" te vertegenwoordigen (zoals een kleine, perfecte ecosystemen).

De Analogie: In plaats van een pijlworp, gebruikten ze een "greedy selection"-algoritme. Stel je voor dat je een beperkt budget hebt aan ruimte op een boot. Je wilt de dieren kiezen die de meest unieke en belangrijke delen van het bos vertegenwoordigen. KINA kiest vragen die fungeren als "ankers" voor elk onderwerp, waardoor het examen de kern van elk vakgebied dekt, en niet alleen de makkelijke delen.

2. Het Probleem: Het "Vaste Loon" versus de "Toernooi"

De Oude Manier: Stel je voor dat je mensen inhuurt om deze examens te nakijken en hen $10 betaalt voor elke paper die ze controleren, ongeacht hoe hard ze werken. Een rationele werker zou het minimale doen voor die $10, wat leidt tot een "luie consensus" waarbij slechte vragen erdoorheen glippen.
De KINA-Manier: De auteurs introduceerden een "Bonus-on-Bar Tournament".

De Analogie: Stel je twee beoordelaars voor die dezelfde vraag nakijken. Beiden krijgen een basisalaris, maar alleen degene die de hogere score geeft (mits deze een strikte kwaliteitsdrempel passeert), krijgt een grote bonus.
Het Resultaat: Dit creëert een race om de meest zorgvuldige en grondige te zijn. Als een beoordelaar lui is, verliest hij de bonus aan zijn concurrent. Het papier bewijst wiskundig dat dit systeem beoordelaars dwingt harder te werken en meer fouten te ontdekken dan het oude "vaste loon"-systeem.

3. Het Probleem: De "Eenmalige Snapshot" versus de "Stabiele Leaderboard"

De Oude Manier: Als je een AI test op 100 vragen, kan een verschil van 5 punten in score gewoon geluk zijn (zoals dobbelen). Je kunt niet zeker weten of Model A echt beter is dan Model B.
De KINA-Manier: De auteurs voerden een "stress-test" uit op hun eigen resultaten. Ze gebruikten een statistische techniek genaamd bootstrapping (stel je voor dat je een foto maakt van de leaderboard, de vragen door elkaar husselt, en 1.000 nieuwe foto's maakt om te zien of de rangschikking standhoudt).

Het Resultaat: Ze ontdekten dat de hoogste ranglijsten erg stabiel zijn (als een stevig schip), maar de middelste ranglijsten wankel zijn. Ze waarschuwen ons om niet obsessief te zijn over kleine verschillen tussen modellen in het middensegment, aangezien die gaten misschien gewoon ruis zijn.

Wat hebben ze gevonden? (De Race-resultaten)

Ze hebben 42 verschillende AI-modellen getest op dit nieuwe examen. Hier is de samenvatting:

De Winnaars: De beste AI (Gemini-3.1-Pro-Preview) kreeg ongeveer 53% goed. De volgende twee (Claude en GPT) volgden vlak achter met ongeveer 50%.
De Kloof: Zelfs de beste AI slaagt voor bijna de helft van de vragen niet. Het examen is nog lang niet "opgelost".
De Verrassing: De grootste verschillen tussen de slimste AI's lagen niet in wiskunde of wetenschap (waar ze allemaal redelijk goed in zijn). De echte strijd werd gestreden in de Geesteswetenschappen en Sociale Wetenschappen (zoals Geschiedenis, Sociologie en Filosofie).
- Analogie: Het is als een race waarbij iedereen hard rent op de geasfalteerde weg (Wetenschap), maar de echte winnaars worden bepaald door wie de modderige, lastige bospaden kan navigeren (Geesteswetenschappen).
De Tools: Het geven van toegang tot een zoekmachine hielp de AI's, maar niet evenredig. Het hielp de zwakkere modellen om hiaten in hun geheugen op te vullen en hielp de sterkere modellen om feiten te verifiëren, maar het maakte hen niet magisch perfect.

De Kernboodschap

KINA is niet alleen een moeilijker examen; het is een beter ontworpen examen.

Het zorgt ervoor dat de vragen daadwerkelijk de kern van een onderwerp vertegenwoordigen.
Het betaalt beoordelaars op een manier die hen dwingt eerlijk en grondig te zijn.
Het geeft toe dat sommige ranglijsten wankel zijn en vertelt ons dat we niet te veel waarde moeten hechten aan kleine verschillen.

Het artikel concludeert dat hoewel AI slimmer wordt, er nog steeds een enorme hoeveelheid "ruimte voor verbetering" is, vooral in het begrijpen van de complexe, genuanceerde wereld van de menselijke cultuur en geschiedenis.

Technische Samenvatting: Kennisindex van Noachs Ark (KINA)

Probleemstelling

Huidige kennisbenchmarks voor Large Language Models (LLM's) lijden aan drie primaire ontwerpfouten:

Gebrek aan Disciplinaire Representativiteit: Bestaande benchmarks schalen testsets vaak op kwantiteit (honderden subgebieden) of moeilijkheidsgraad (onderzoek aan de frontlinie) zonder te formaliseren of items daadwerkelijk de kern theoretische draaipunten van een discipline onderzoeken. Dit leidt tot een ongelijke dekking van disciplinaire competenties.
Incentive-misalignement in Annotatie: De meeste pipelines gebruiken een plat betalingssysteem per item, wat "lui consensusgedrag" onder beoordelaars aanmoedigt. Rationele beoordelaars minimaliseren hun inspanning wanneer het accepteren van grensgevallen geen straf met zich meebrengt, wat leidt tot annotaties van lagere kwaliteit.
Rangschikkingsinstabiliteit: Compacte testsets (ongeveer $10^3$ items) zijn kosteneffectief maar gevoelig voor variantie. Kleine prestatiekloven tussen frontlinemodellen (bijv. 5 punten) overleven resampling mogelijk niet, toch rapporteren benchmarks zelang stabiliteitsstatistieken, wat leidt tot overinterpretatie van aangrenzende rangnummers.

Methodologie

De auteurs introduceren KINA (Knowledge Index of Noah's Ark), een benchmark van 899 items verspreid over 261 fijnmazige disciplines, ontworpen rond twee formele theoretische garanties en een rigoureuze constructie-pipeline.

1. Formele Garanties

Representativiteit via Greedy Coverage: De auteurs formaliseren disciplinaire representativiteit als "budgeted support centrality". Domeinexperts extraheren een compact prototype $\Sigma_d$ $Σ_{d}$ van ankers (methoden, stellingen, concepten). Items worden gescoord tegen deze ankers, en een selectie-objectief $F_d^{sp}(S)$ $F_{d}^{s p} (S)$ wordt gedefinieerd om dekking te maximaliseren.
- Theoretisch Resultaat: Het objectief wordt bewezen monotoon submodulair te zijn. Bijgevolg bereikt een greedy selectie-algoritme onder cardinaliteitsrestricties een $(1 - 1/e)$ benadering van de proxy-optimum (Propositie 1). De auteurs verduidelijken dat dit een garantie is op de proxy (operationele dekking), en niet een globale garantie op de representativiteit van de populatie.
Incentive-gealigneerde Review via Tournament: Om een platte betaling te vervangen, implementeren de auteurs een bonus-on-bar tournament. Twee beoordelaars evalueren elk item; de beoordelaar met de hogere gevalideerde score ontvangt een bonus $B$ $B$ alleen als de score een drempelwaarde $\tau$ $τ$ overschrijdt.
- Theoretisch Resultaat: Onder aannames van inspannings-geïnduceerde First-Order Stochastic Dominance (FOSD), score-ruis onafhankelijkheid en monotone aggregatie, bewijzen de auteurs dat dit mechanisme de flat-payment baseline strikt FOSD- domineert in termen van vrijgegeven reviewkwaliteit (Theorema 1). Een gesloten vorm voor de bonus is afgeleid: $B > \Delta C / \Delta p_{min}$ , waarbij $\Delta C$ de kosten van hoge inspanning is en $\Delta p_{min}$ de minimale winst in winkans.

2. Data Constructie Pipeline

De pipeline bestaat uit vier stadia:

Regelgebaseerde Screening: Items moeten voldoen aan uniciteitscontroles (cosine similarity < 0,8), LaTeX-formattering en een moeilijkheidsgraadfilter dat vereist dat ten minste 3 van de 5 vlaggenschip-LLM's falen.
Double-Blind Expert Review: Beoordelaars (promovendi en experts uit de industrie) worden geworven via een twee-ronden examen. Zij scoren items op zes rubrieken (representativiteit, feitelijkheid, etc.) onder een bonus-on-bar tournament met stochastische audits (5–10% van de items) om collusie te voorkomen.
LLM-as-Judge Consensus: Drie onafhankelijke LLM-judges scoren items op multidimensionale kenmerken (dekking, uniciteit, impact) en analyseren foutpatronen. Een meerderheidsstem bepaalt de toelating.
Agentic Refinement: Een "Diagnosis Agent" zoekt naar tegenbewijs voor gemarkeerde items, en een "Refinement Agent" reviseert de stems of premissen. Deze loop adresseert randproblemen (bijv. context drift) voordat definitieve acceptatie plaatsvindt.

3. Evaluatieprotocol

Formaat: Pseudo-meerkeuzevragen met 10 combinatorische opties (wat de kans op toevallige correctheid reduceert tot 10%).
Modellen: 42 frontlinemodellen van 13 labs (closed-source API's, open-source dense/MoE, en reasoning modellen).
Metrieken: AVG@4 nauwkeurigheid, per-discipline uitsplitsingen, tool-use augmentatie (web search), en bootstrap-gebaseerde statistieken voor rangschikkingsstabiliteit.

Belangrijkste Resultaten

Prestatieplafond: Het topmodel, Gemini-3.1-Pro-Preview, behaalde een nauwkeurigheid van 53,17%. Claude-Opus-4.6 (49,92%) en GPT-5.4 (48,55%) volgden. De leaderboard is ver van verzadiging verwijderd, met een duidelijke gelaagde structuur: een frontlinie-tier (>48%), een dense sterke-modellen-tier (38–45%), en laag presterende modellen die net boven de 10% kans-baseline zweven.
Rangschikkingsstabiliteit: Bootstrap-analyse (1.000 replicaties met 50% subsampling) toonde een hoge stabiliteit voor de top-10 rangschikking (Kendall $\tau \approx 0,89$ ) en een 94% rank-1 retentiepercentage. Echter, pairwise verschillen onder ~2 procentpunten zijn niet statistisch oplosbaar.
Impact van Tool-Use: Web search augmentatie leverde positieve maar niet-uniforme winsten op (+1,50 tot +5,17 punten). De sterkste en zwakste modellen boekten de grootste winst, wat suggereert dat retrieval verschillende functies dient (het vullen van parametrische hiaten versus het funderen van bewijslast).
Disciplinaire Discriminatie: Analyse van de top-10 modellen onthulde dat de geesteswetenschappen en sociale wetenschappen (bijv. Sociologie, Management, Literatuur & Kunsten) differentiatie drijven aan de frontlinie, met spreidingen van 30–38 punten. In contrast hiermee vertoonden STEM-velden (Wetenschap, Engineering) veel kleinere spreidingen (~10–14 punten), wat suggereert dat frontlinemodellen in deze domeinen geconvergeerd zijn.
Schaalbaarheid: Parameter-schaalcurves voor de Qwen-families toonden generationele verbeteringen (Qwen3.5 schaling op ~14,8 punten/decade versus 7,6 voor Qwen3). Echter, log-lineaire verzadiging werd waargenomen aan de bovenkant, wat aangeeft dat schaal alleen het probleem in de geesteswetenschappen/sociale wetenschappen mogelijk niet zal oplossen.

Betekenis en Claims

Het artikel positioneert KINA niet louter als een moeilijke test, maar als een diagnostisch instrument. De significantie ligt in:

Formalisering van Ontwerpprincipes: Het biedt de eerste formele garanties voor disciplinaire representativiteit (via submodulaire dekking) en incentive-gealigneerde annotatie (via tournament theory) in de context van LLM-benchmarks.
Empirische Diagnostiek: Het onthult dat huidige frontlinemodellen niet uniform superieur zijn; hun differentiatie is sterk geconcentreerd in de geesteswetenschappen en sociale wetenschappen, terwijl ze in STEM-taken grotendeels geconvergeerd zijn.
Methodologische Transpariteit: Door bootstrap-stabiliteitsstatistieken te publiceren, ontmoedigt het papier expliciet de overinterpretatie van fijnmazige rangverschillen in compacte benchmarks.
Beschikbaarheid van Middelen: De auteurs stellen de dataset, annotatiehandleidingen, LLM-judge rubrieken en evaluatiecode beschikbaar om replicatie en uitbreiding mogelijk te maken.

De auteurs verklaren expliciet dat de representativiteitsgarantie betrekking heeft op de operationele proxy, niet op de onderliggende populatie, en dat de empirische validatie van het tournament-mechanisme observationeel is en geen gerandomiseerde causale verificatie. Zij verbinden zich aan het verversen van de benchmark (KINA-vx.0) wanneer het sterkste model een nauwkeurigheid van 70% overschrijdt om verzadiging te voorkomen.