🤖 AI

Knowledge Index of Noah's Ark

यह शोधपत्र KINA को प्रस्तुत करता है, जो 261 विषयों में फैला एक कठोरता से डिज़ाइन किया गया 899-आइटम वाला ज्ञान बेंचमार्क है, जो प्रतिनिधित्व के लिए ग्रीडी एप्रोक्सिमेशन (greedy approximation) और एनोटेशन गुणवत्ता के लिए बोनस-ऑन-बार टूर्नामेंट का उपयोग करता है, जो 42 अग्रणी मॉडलों के बीच एक श्रेणीबद्ध प्रदर्शन परिदृश्य को प्रकट करता है जिसमें संतृप्ति (saturation) से नीचे सुधार की काफी गुंजाइश है।

मूल लेखक: Sheng Jin, Minghao Liu, Yunze Xiao, Zeqi Zhou, Heli Qi, Yifan Yao, Meishu Song, Kaijing Ma, Xuan Zhang, Sicong Jiang, Yizhe Li, Ningshan Ma, Jie Wei, Ziniu Li, Minglai Yang, Bangya Liu, Yiming Liang

प्रकाशित 2026-06-04

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sheng Jin, Minghao Liu, Yunze Xiao, Zeqi Zhou, Heli Qi, Yifan Yao, Meishu Song, Kaijing Ma, Xuan Zhang, Sicong Jiang, Yizhe Li, Ningshan Ma, Jie Wei, Ziniu Li, Minglai Yang, Bangya Liu, Yiming Liang, Xiao Fang, Qingcheng Zeng, Jiarui Liu, Rui Yang, Shen Yan, Wenhao Huang, Jiaheng Liu, Zihan Wang, Weihao Xuan, Ge Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप छात्रों के एक समूह की बुद्धिमत्ता का परीक्षण करना चाहते हैं, लेकिन एक मानक गणित परीक्षण देने के बजाय, आप यह देखना चाहते हैं कि क्या वे 261 विभिन्न विषयों के सार (essence) को वास्तव में समझते हैं, जिसमें उन्नत इंजीनियरिंग से लेकर विलुप्त इतिहास तक शामिल है।

यह लेख KINA (नॉह के आर्क का ज्ञान सूचकांक - Knowledge Index of Noah's Ark) पेश करता है, जो एक नया, अत्यधिक परिष्कृत "परीक्षा" डिज़ाइन है जिसे लार्ज लैंग्वेज मॉडल्स (AI) का परीक्षण करने के लिए बनाया गया है। लेखक तर्क देते हैं कि पिछले परीक्षण तीन मुख्य कारणों से त्रुटिपूर्ण थे: वे निष्पक्ष होने के लिए बहुत व्यापक थे, उन्होंने समीक्षकों को ध्यान देने के लिए बहुत कम भुगतान किया, और उनके परिणाम भरोसे के लायक नहीं थे। KINA एक नए डिज़ाइन के साथ इन समस्याओं को ठीक करता है।

KINA कैसे काम करता है, इसे सरल उपमाओं के माध्यम से समझाया गया है:

1. समस्या: "आलसी सर्वेक्षण" बनाम "विशेषज्ञ मानचित्र"

पुराना तरीका: कल्पना कीजिए कि आप दीवार पर तीर मारकर और यह देखकर कि वे कहाँ गिरते हैं, एक महाद्वीप का मानचित्र बनाने की कोशिश कर रहे हैं। पिछले AI परीक्षणों ने ऐसा ही किया: उन्होंने हर जगह से हजारों प्रश्न उठाए। कभी-कभी वे एक गहरे, महत्वपूर्ण विचार को छूते थे; अन्य समय में, वे एक तुच्छ तथ्य पर अटक जाते थे। परिणाम एक अस्त-व्यस्त मानचित्र था जो यह नहीं दिखा सका कि AI वास्तव में कहाँ कमजोर था।
KINA का तरीका: लेखकों ने परीक्षा को एक "नॉह के आर्क" (Noah's Ark) बनाने की तरह माना। उन्होंने केवल यादृच्छिक (random) जानवर नहीं चुने; उन्होंने 261 विशिष्ट "विषयों" (जैसे कि एक छोटा, सटीक पारिस्थितिकी तंत्र) का प्रतिनिधित्व करने के लिए ठीक 899 वस्तुओं को सावधानीपूर्वक चुना।

उपमा: तीर फेंकने के बजाय, उन्होंने एक "ग्रीडी सिलेक्शन" (greedy selection) एल्गोरिदम का उपयोग किया। कल्पना कीजिए कि आपके पास नाव पर स्थान के लिए एक सीमित बजट है। आप उन जानवरों को चुनना चाहते हैं जो जंगल के सबसे अद्वितीय और महत्वपूर्ण हिस्सों का प्रतिनिधित्व करते हैं। KINA ऐसे प्रश्न चुनता है जो प्रत्येक विषय के लिए "एंकर" (anchors) के रूप में कार्य करते हैं, यह सुनिश्चित करते हुए कि परीक्षा हर क्षेत्र के मूल को कवर करे, न कि केवल आसान हिस्सों को।

2. समस्या: "सपाट वेतन" बनाम "टूर्नामेंट"

पुराना तरीका: कल्पना कीजिए कि आप इन परीक्षाओं को ग्रेड करने के लिए लोगों को काम पर रख रहे हैं और उन्हें प्रत्येक पेपर की जांच करने के लिए $10 दे रहे हैं, चाहे वे कितनी भी मेहनत करें। एक तर्कसंगत कार्यकर्ता न्यूनतम काम करेगा ताकि$ 10 मिल सके, जिससे "आलसी सहमति" (lazy consensus) पैदा होती है जहाँ खराब प्रश्न भी निकल जाते हैं।
KINA का तरीका: लेखकों ने एक "बोनस-ऑन-बार टूर्नामेंट" पेश किया।

उपमा: कल्पना कीजिए कि दो जज एक ही प्रश्न को ग्रेड कर रहे हैं। दोनों को एक आधार वेतन मिलता है, लेकिन केवल वही जिसे उच्चतम स्कोर मिलता है (बशर्ते वह एक सख्त गुणवत्ता सीमा को पार कर ले), उसे एक बड़ा बोनस मिलता है।
परिणाम: यह अधिक सावधान और गहन होने की दौड़ बनाता है। यदि कोई जज आलसी है, तो वह बोनस के लिए अपने प्रतिद्वंद्वी से हार जाएगा। शोध पत्र गणितीय रूप से सिद्ध करता है कि यह प्रणाली समीक्षकों को पुराने "सपाट वेतन" प्रणाली की तुलना में अधिक मेहनत करने और अधिक गलतियों को पकड़ने के लिए मजबूर करती है।

3. समस्या: "एक बार का स्नैपशॉट" बनाम "स्थिर लीडरबोर्ड"

पुराना तरीका: यदि आप 100 प्रश्नों पर एक AI का परीक्षण करते हैं, तो स्कोर में 5 अंकों का अंतर केवल भाग्य (जैसे पासा फेंकना) हो सकता है। आप निश्चित नहीं हो सकते कि मॉडल A वास्तव में मॉडल B से बेहतर है।
KINA का तरीका: लेखकों ने अपने स्वयं के परिणामों पर एक "तनाव परीक्षण" (stress test) चलाया। उन्होंने बूटस्ट्रैपिंग (bootstrapping) नामक एक सांख्यिकीय तकनीक का उपयोग किया (कल्पना कीजिए कि आप लीडरबोर्ड की एक फोटो लेते हैं, प्रश्नों को शफल करते हैं, और यह देखने के लिए 1,000 नए फोटो लेते हैं कि क्या रैंकिंग स्थिर रहती है)।

परिणाम: उन्होंने पाया कि शीर्ष रैंकिंग बहुत स्थिर है (एक मजबूत जहाज की तरह), लेकिन मध्य रैंकिंग अस्थिर है। वे हमें चेतावनी देते हैं कि मध्य स्तर के मॉडलों के बीच मामूली अंतर पर बहुत अधिक ध्यान न दें, क्योंकि वे अंतर केवल शोर (noise) हो सकते हैं।

उन्होंने क्या पाया? (प्रतियोगिता के परिणाम)

उन्होंने इस नई परीक्षा पर 42 अलग-अलग AI मॉडल्स का परीक्षण किया। यहाँ सारांश दिया गया है:

विजेता: शीर्ष AI (Gemini-3.1-Pro-Preview) ने लगभग 53% सही उत्तर दिए। अगले दो (Claude और GPT) लगभग 50% के साथ उसके करीब थे।
अंतर: सबसे अच्छा AI भी लगभग आधे प्रश्नों में विफल हो रहा है। परीक्षा अभी भी "हल" (solved) नहीं हुई है।
आश्चर्य: सबसे स्मार्ट AI के बीच सबसे बड़े अंतर गणित या विज्ञान में नहीं थे (जहाँ वे सभी ठीक प्रदर्शन करते हैं)। वास्तविक युद्धक्षेत्र मानविकी और सामाजिक विज्ञान (जैसे इतिहास, समाजशास्त्र और दर्शन) था।
- उपमा: यह एक ऐसी दौड़ की तरह है जहाँ हर कोई पक्की सड़क पर तेज़ दौड़ता है (विज्ञान), लेकिन असली विजेता वे होते हैं जो कीचड़ भरे, कठिन जंगल के रास्तों पर नेविगेट कर सकते हैं (मानविकी)।
टूल्स: AI को सर्च इंजन तक पहुंच देने से मदद मिली, लेकिन समान रूप से नहीं। इसने कमजोर मॉडलों को स्मृति अंतराल भरने में मदद की और मजबूत मॉडलों को तथ्यों को सत्यापित करने में मदद की, लेकिन इसने सबको जादुई रूप से पूर्ण नहीं बना दिया।

निष्कर्ष

KINA केवल एक कठिन परीक्षण नहीं है; यह एक बेहतर डिज़ाइन किया गया परीक्षण है।

यह सुनिश्चित करता है कि प्रश्न वास्तव में किसी विषय के हृदय का प्रतिनिधित्व करते हैं।
यह समीक्षकों को इस तरह से भुगतान करता है कि वे ईमानदार और गहन होने के लिए मजबूर होते हैं।
यह स्वीकार करता है कि कुछ रैंकिंग अस्थिर हैं और हमें छोटे अंतरों की अत्यधिक व्याख्या करना बंद करने के लिए कहता है।

शोध पत्र निष्कर्ष निकालता है कि जबकि AI स्मार्ट हो रहा है, फिर भी सुधार के लिए बहुत बड़ी संभावना (headroom) मौजूद है, विशेष रूप से मानव संस्कृति और इतिहास की जटिल, सूक्ष्म दुनिया को समझने में।

तकनीकी सारांश: नोआ की नाव का ज्ञान सूचकांक (KINA)

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए वर्तमान ज्ञान बेंचमार्क तीन प्राथमिक डिजाइन दोषों से ग्रस्त हैं:

विषयगत प्रतिनिधित्व का अभाव: मौजूदा बेंचमार्क अक्सर या तो मात्रा (सैकड़ों उप-क्षेत्र) या कठिनाई (अनुसंधान-सीमा की वस्तुएं) के माध्यम से टेस्ट सेट को स्केल करते हैं, बिना यह औपचारिक रूप से यह निर्धारित किए कि क्या वस्तुएं वास्तव में किसी विषय के मूल सैद्धांतिक केंद्रों (theoretical pivots) की जांच करती हैं। इससे विषयगत दक्षताओं का असमान कवरेज होता है।
एनोटेशन में प्रोत्साहन का गलत संरेखण: अधिकांश पाइपलाइन फ्लैट-पेमेंट प्रति-आइटम दरों का उपयोग करती है, जो समीक्षकों के बीच "आलसी सहमति" (lazy consensus) को प्रोत्साहित करती है। तर्कसंगत समीक्षक प्रयास को न्यूनतम कर देते हैं जब सीमावर्ती (borderline) वस्तुओं को स्वीकार करने पर कोई दंड नहीं लगता, जिससे कम गुणवत्ता वाले एनोटेशन होते हैं।
रैंकिंग अस्थिरता: कॉम्पैक्ट टेस्ट सेट्स (लगभग $10^3$ वस्तुएं) लागत प्रभावी तो हैं लेकिन विचरण (variance) के प्रति संवेदनशील हैं। फ्रंटियर मॉडल्स के बीच छोटे प्रदर्शन अंतर (जैसे 5 अंक) पुन: नमूनाकरण (resampling) के बाद भी बने रहेंगे या नहीं, यह अनिश्चित है, फिर भी बेंचमार्क शायद ही कभी स्थिरता सांख्यिकी रिपोर्ट करते हैं, जिससे आसन्न रैंकों की अति-व्याख्या होती है।

कार्यप्रणाली

लेखक KINA (नोआ की नाव का ज्ञान सूचकांक) पेश करते हैं, जो 261 सूक्ष्म-विशिष्ट विषयों में फैला हुआ एक 899-आइटम वाला बेंचमार्क है, जिसे दो औपचारिक सैद्धांतिक गारंटियों और एक कठोर निर्माण पाइपलाइन के इर्द-गर्द डिजाइन किया गया है।

1. औपचारिक गारंटियाँ

ग्रिडी कवरेज के माध्यम से प्रतिनिधित्व: लेखक विषयगत प्रतिनिधित्व को "बजटेड सपोर्ट सेंट्रलिटी" के रूप में औपचारिक रूप करते हैं। डोमेन विशेषज्ञ एंकर्स (पद्धति, प्रमेय, अवधारणाओं) के एक कॉम्पैक्ट प्रोटोटाइप $\Sigma_d$ $Σ_{d}$ को प्राप्त करते हैं। वस्तुओं को इन एंकर्स के विरुद्ध स्कोर किया जाता है, और एक चयन उद्देश्य $F_d^{sp}(S)$ $F_{d}^{s p} (S)$ को अधिकतम कवरेज प्राप्त करने के लिए परिभाषित किया जाता है।
- सैद्धांतिक परिणाम: यह सिद्ध किया गया है कि उद्देश्य मोनोटोन सबमॉड्यूलर (monotone submodular) है। फलस्वरूप, कार्डिनैलिटी बाधाओं के तहत एक ग्रिडी सिलेक्शन एल्गोरिदम प्रॉक्सी ऑप्टिमम का $(1 - 1/e)$ सन्निकटन (approximation) प्राप्त करता है (प्रपोजिशन 1)। लेखक स्पष्ट करते हैं कि यह एक प्रॉक्सी (परिचालन कवरेज) पर गारंटी है, न कि जनसंख्या प्रतिनिधित्व पर वैश्विक गारंटी।
टूर्नामेंट के माध्यम से प्रोत्साहन-संरेखित समीक्षा: फ्लैट पेमेंट के स्थान पर, लेखक एक बोनस-ऑन-बार टूर्नामेंट लागू करते हैं। दो समीक्षक प्रत्येक आइटम का मूल्यांकन करते हैं; उच्च वैलिडेटेड स्कोर प्राप्त करने वाला समीक्षक बोनस $B$ $B$ प्राप्त करता है, केवल तभी जब स्कोर एक थ्रेशोल्ड $\tau$ $τ$ को पार कर जाए।
- सैद्धांतिक परिणाम: एफओएसडी (FOSD) के तहत, स्कोर-नॉइज़ स्वतंत्रता, और मोनोटोन एकत्रीकरण के धारणाओं के तहत, लेखक सिद्ध करते हैं कि यह तंत्र जारी की गई समीक्षा की गुणवत्ता के मामले में फ्लैट-पेमेंट बेसलाइन की तुलना में स्ट्रिक्टली FOSD-डोमिनेट करता है (थ्योरम 1)। बोनस के लिए एक क्लोज्ड-फॉर्म कंडीशन व्युत्पन्न की गई है: $B > \Delta C / \Delta p_{min}$ , जहाँ $\Delta C$ उच्च प्रयास की लागत है और $\Delta p_{min}$ जीतने की संभावना में न्यूनतम लाभ है।

2. डेटा निर्माण पाइपलाइन

पाइपलाइन में चार चरण शामिल हैं:

नियम-आधारित स्क्रीनिंग: वस्तुओं को विशिष्टता जांच (कोसाइन सिमिलरिटी < 0.8), LaTeX फॉर्मेटिंग, और एक कठिनाई फिल्टर पास करना चाहिए जिसमें कम से कम 5 प्रमुख LLMs में से 3 को विफल होना आवश्यक है।
डबल-ब्लाइंड एक्सपर्ट रिव्यू: समीक्षकों (स्नातक छात्रों और उद्योग विशेषज्ञों) को दो-चरणों वाली परीक्षा के माध्यम से भर्ती किया जाता है। वे बोनस-ऑन-बार टूर्नामेंट के तहत छह रूब्रिक्स (प्रतिनिधित्व, तथ्यात्मकता, आदि) पर वस्तुओं को स्कोर करते हैं, जिसमें मिलीभगत को रोकने के लिए स्टोकेस्टिक ऑडिट (5-10% वस्तुएं) शामिल हैं।
LLM-एज-जज कंसेंसस: तीन स्वतंत्र LLM जज बहुआयामी विशेषताओं (कवरेज, विशिष्टता, प्रभाव) पर वस्तुओं को स्कोर करते हैं और विफलता पैटर्न का विश्लेषण करते हैं। बहुमत वोट प्रवेश को निर्धारित करता है।
एजेंटिक रिफाइनमेंट: एक "डायग्नोसिस एजेंट" फ्लैग की गई वस्तुओं के लिए काउंटर-एविडेंस खोजता है, और एक "रिफाइनमेंट एजेंट" स्टेम्स या प्रिमिसिस को संशोधित करता है। यह लूप अंतिम स्वीकृति से पहले बाउंड्री डिफेक्ट्स (जैसे कॉन्टेक्स्ट ड्रिफ्ट) को संबोधित करता है।

3. मूल्यांकन प्रोटोकॉल

फॉर्मेट: 10 कॉम्बिनेटोरियल विकल्पों के साथ छद्म-बहुविकल्पीय प्रश्न (चांस एक्यूरेसी को 10% तक कम करना)।
मॉडल्स: 13 लैब्स से 42 फ्रंटियर मॉडल्स (क्लोज्ड-सोर्स API, ओपन-सोर्स डेंस/MoE, और रीजनिंग मॉडल्स)।
मेट्रिक्स: AVG@4 एक्यूरेसी, प्रति-विषय ब्रेकडाउन, टूल-यूज़ ऑग्मेंटेशन (वेब सर्च), और बूटस्ट्रैप-आधारित रैंकिंग स्थिरता सांख्यिकी।

मुख्य परिणाम

परफॉरमेंस सीलिंग: शीर्ष मॉडल, Gemini-3.1-Pro-Preview, ने 53.17% एक्यूरेसी प्राप्त की। Claude-Opus-4.6 (49.92%) और GPT-5.4 (48.55%) इसके बाद रहे। लीडरबोर्ड संतृप्ति (saturation) से दूर है, जिसमें एक स्पष्ट टियर्ड स्ट्रक्चर है: एक फ्रंटियर टियर (>48%), एक डेंस स्ट्रॉन्ग-मॉडल टियर (38–45%), और कम प्रदर्शन करने वाले मॉडल्स जो 10% चांस बेसलाइन से थोड़ा ऊपर मंडरा रहे हैं।
रैंकिंग स्थिरता: बूटस्ट्रैप विश्लेषण (50% सब-सैंपलिंग के साथ 1,000 प्रतिकृति) ने टॉप-10 रैंकिंग के लिए उच्च स्थिरता (Kendell $\tau \approx 0.89$ ) और 94% रैंक-1 रिटेंशन रेट दिखाया। हालांकि, ~2 प्रतिशत अंकों से कम के पेयरवाइज गैप सांख्यिकीय रूप से resolvable नहीं हैं।
टूल-यूज़ इम्पैक्ट: वेब सर्च ऑग्मेंटेशन ने सकारात्मक लेकिन गैर-समान लाभ दिया (+1.50 से +5.17 अंक), जो सुझाव देता है कि रिट्रीवल अलग-अलग कार्यों की सेवा करता है (पैरामीट्रिक गैप को भरना बनाम साक्ष्य को ग्राउंड करना)।
विषयगत भेदभाव: शीर्ष-10 मॉडल्स के विश्लेषण से पता चला कि मानविकी और सामाजिक विज्ञान (जैसे समाजशास्त्र, प्रबंधन, साहित्य और कला) फ्रंटियर पर विभेदन (differentiation) को संचालित करते हैं, जो 30-38 अंकों का प्रसार दिखाते हैं। इसके विपरीत, STEM क्षेत्रों (विज्ञान, इंजीनियरिंग) ने बहुत कम प्रसार (~10-14 अंक) दिखाया, जो बताता है कि फ्रंटियर मॉडल्स इन डोमेन पर अभिसरित (converged) हो गए हैं।
स्केलिंग: Qwen परिवारों के लिए पैरामीटर स्केलिंग कर्व्स पीढ़ीगत सुधार दिखाए (Qwen3.5 का स्केलिंग ~14.8 पॉइंट्स/डेकेड बनाम Qwen3 के लिए 7.6)। हालांकि, ऊपरी छोर पर लॉग-लीनियर सैचुरेशन देखा गया, जो इंगित करता है कि केवल स्केल अकेले मानविकी/सामाजिक विज्ञान के अंतर को हल नहीं कर सकता है।

महत्व और दावे

यह पेपर KINA को केवल एक कठिन परीक्षण के रूप में नहीं, बल्कि एक डायग्नोस्टिक इंस्ट्रूमेंट के रूप में स्थापित करता है। इसका महत्व निम्नलिखित में निहित है:

डिज़ाइन सिद्धांतों को औपचारिक बनाना: यह LLM बेंचमार्क्स के संदर्भ में विषयगत प्रतिनिधित्व (सबमॉड्यूलर कवरेज के माध्यम से) और प्रोत्साहन-संरेखित एनोटेशन (टूर्नामेंट थ्योरी के माध्यम से) के लिए पहले औपचारिक गारंटी प्रदान करता है।
अनुभवजन्य डायग्नोस्टिक्स: यह प्रकट करता है कि वर्तमान फ्रंटियर मॉडल्स समान रूप से श्रेष्ठ नहीं हैं; उनका विभेदन मुख्य रूप से मानविकी और सामाजिक विज्ञान में केंद्रित है, जबकि वे STEM कार्यों पर काफी हद तक अभिसरित हो गए हैं।
पद्धतिगत पारदर्शिता: अपने बूटस्ट्रैप स्थिरता सांख्यिकी को जारी करके, पेपर कॉम्पैक्ट बेंचमार्क्स में सूक्ष्म रैंक अंतरों की अति-व्याख्या को स्पष्ट रूप से हतोत्साहित करता है।
संसाधन उपलब्धता: लेखक डेटासेट, एनोटेशन मैनुअल, LLM-जज रूब्रिक्स और मूल्यांकन कोड को प्रतिरूपण (replication) और विस्तार को सक्षम करने के लिए जारी करते हैं।

लेखक स्पष्ट रूप से कहते हैं कि प्रतिनिधित्व गारंटी परिचालन प्रॉक्सी पर लागू होती है, न कि अंतर्निहित जनसंख्या पर, और टूर्नामेंट तंत्र का अनुभवजन्य सत्यापन रैंडमाइज्ड कॉज़ल वेरिफिकेशन के बजाय ऑब्जर्वेशनल है। वे बेंचमार्क को (KINA-vx.0) रिफ्रेश करने के लिए प्रतिबद्ध हैं जब सबसे मजबूत मॉडल 70% एक्यूरेसी को पार कर जाएगा ताकि संतृप्ति को रोका जा सके।