तकनीकी सारांश: द बेंचमार्क सीलिंग (The Benchmark Ceiling)

समस्या विवरण (Problem Statement)

यह शोध पत्र आर्टिफिशियल इंटेलिजेंस (AI) की क्षमता के मापन में एक संरचनात्मक संकट की पहचान करता है, जिसे "बेंचमार्क सीलिंग" (benchmark ceiling) कहा गया है। जबकि बेंचमार्क AI सिस्टम की तुलना करने और उन्हें विनियमित करने के लिए प्राथमिक शासन उपकरण (governance instruments) के रूप में कार्य करते हैं, उनकी वैधता एक स्थिर गुण नहीं बल्कि एक क्षयशील संसाधन (depletable resource) है। जैसे-जैसे फाउंडेशन मॉडल बेहतर होते हैं, वे बेंचमार्क कठिनाई वितरण (difficulty distributions) के "आसान" हिस्से को व्यवस्थित रूप से संतृप्त (saturate) कर देते हैं, जिससे मानक मूल्यांकन सूचियाँ सूचनात्मक नहीं रह जातीं।

मूल समस्या यह है कि शेष विभेदक संकेत (discriminating signal) विशेष रूप से वितरण के "हार्ड टेल" (hard tail) में केंद्रित हो जाता है—ऐसे आइटम जिन्हें डिजाइन करने और मूल्यांकन करने के लिए विशिष्ट विशेषज्ञ निर्णय की आवश्यकता होती है। यह मानवीय निर्णय संरचनात्मक रूप से दुर्लभ, महंगा और बड़े पैमाने पर आसानी से पुनरुत्पादित करने योग्य नहीं है। फलस्वरूप, जैसे-जैसे फ्रंटियर क्षमता (frontier capability) बढ़ती है, वैध मापन उपकरणों को बनाए रखने की लागत तेजी से (convexly) बढ़ती है, जबकि निजी अभिनेताओं के लिए इस सार्वजनिक वस्तु (public good) में निवेश करने के प्रोत्साहन कम होते जाते हैं। इससे बेंचमार्क की वैधता में गिरावट आती है, जहाँ स्कोर लेटेंट मॉडल गुणवत्ता (latent model quality) के शोर भरे संकेतों में बदल जाते हैं, जो संभावित रूप से नियामकों, उद्यमों और जनता को AI सुरक्षा और तत्परता के संबंध में गुमराह कर सकते हैं।

कार्यप्रणाली (Methodology)

यह शोध पत्र एक तीन-आयामी कार्यप्रणाली का उपयोग करता है:

1. औपचारिक आर्थिक मॉडलिंग (Formal Economic Modeling): लेखक एक सिग्नल-क्षय मॉडल (signal-depreciation model) का निर्माण करते हैं जहाँ बेंचमार्क स्कोर ($s_i$) को लेटेंट मॉडल गुणवत्ता ($q_i$) के शोर वाले अवलोकनों के रूप में माना जाता है। इस सिग्नल की सटीकता बेंचमार्क वैधता ($B_t$) पर निर्भर है, जो कि आइटम भेदभाव (item discrimination), संदूषण स्तर (contamination levels), और फ्रंटियर क्षमता के सापेक्ष आइटम्स की कठिनाई ($c_t$) का एक फलन (function) है। मॉडल उच्च-कठिनाई वाले आइटम्स के प्रतिस्थापन लागत की उत्तलता (convexity) को औपचारिक रूप देता है और सार्वजनिक वस्तु बाह्यता (public goods externalities) के कारण निजी बेंचमार्क उत्पादन में निवेश की कमी के संतुलन को प्रदर्शित करता है।

2. सैद्धांतिक संश्लेषण (Theoretical Synthesis): 'आइटम रिस्पॉन्स थ्योरी' (Item Response Theory) और श्रम अर्थशास्त्र का उपयोग करते हुए, यह शोध पत्र "कठिन" बेंचमार्क आइटम्स की संरचनात्मक विशेषताओं (कम कोडिफीएबिलिटी, विवादित ग्राउंड ट्रुथ, पैटर्न-मैचिंग के प्रति प्रतिरोध) और "इवैलुएटिव 1%" (evaluative 1%)—विशेषज्ञों के उस वर्ग की विशिष्ट दुर्लभता—का विश्लेषण करता है जो उन्हें बनाने में सक्षम हैं।

3. अनुभवजन्य विश्लेषण (Empirical Analysis): लेखक micro1 के एक नवीन डेटासेट का उपयोग करते हैं, जो प्रमाणित AI पेशेवरों के लिए एक प्लेटफॉर्म है। यह डेटासेट कानूनी, चिकित्सा, इंजीनियरिंग और वित्तीय डोमेन के 1,000 से अधिक पेशेवरों को कवर करता है। विश्लेषण कार्य की कठिनाई से जुड़े 'वेज प्रीमियम' (wage premium) वितरण की जांच करता है, विशेष रूप से उच्च-निर्णय (high-judgment), कम-कोडिफीएबिलिटी वाले कार्यों के लिए "दुर्लभता प्रीमियम" (scarcity premium) को अलग करता है जो बेंचमार्क वितरण के हार्ड-टेल के अनुरूप हैं।

मुख्य योगदान (Key Contributions)

1. सिग्नल क्षय का औपचारिक मॉडल (The Formal Model of Signal Depreciation)

शोध पत्र स्थापित करता है कि बेंचमार्क वैधता ($B_t$) एक क्षयशील इनपुट है।

• प्रस्ताव 1 (क्षय/Depreciation): जैसे-जैसे $B_t$ घटता है (संतृप्ति या संदूषण के कारण), मापन त्रुटि का विचरण (variance) बढ़ जाता है, जिससे लेटेंट गुणवत्ता के संबंध में बेंचमार्क स्कोर की सूचनात्मकता कम हो जाती है।
• प्रस्ताव 2 (हार्ड-टेल एकाग्रता/Hard-Tail Concentration): जैसे-जैसे फ्रंटियर क्षमता ($c_t$) बढ़ती है, कम-कठिनाई वाले आइटम्स की विभेदक शक्ति समाप्त हो जाती है। वैध सिग्नल केवल उन आइटम्स में केंद्रित हो जाता है जहाँ कठिनाई $\theta_j \approx c_t$ है।
• प्रस्ताव 3 (बढ़ती प्रतिस्थापन लागत/Rising Replacement Cost): वैध फ्रंटियर-विभेदक आइटम्स का उत्पादन करने की लागत, $C(\theta)$, कठिनाई के साथ उत्तल रूप से (convexly) बढ़ती है। वैधता बनाए रखने के लिए तेजी से दुर्लभ होते विशेषज्ञ श्रम की आवश्यकता होती है, जिससे बेंचमार्क की प्रतिस्थापन लागत मॉडल क्षमता की तुलना में अधिक तेजी से बढ़ती है।
• प्रस्ताव 4 (सार्वजनिक-वस्तु अल्प-निवेश/Public-Goods Underinvestment): निजी बेंचमार्क निर्माता वैध बेंचमार्क के सामाजिक मूल्य का केवल एक अंश ($\alpha < 1$) प्राप्त करते हैं। फलस्वरूप, वैधता में निजी निवेश सामाजिक इष्टतम (social optimum) से काफी कम रहता है।
• प्रस्ताव 5 (कैप्चर प्रोत्साहन/Capture Incentives): जब बेंचमार्क स्कोर बाजार पहुंच या विनियमन निर्धारित करते हैं, तो फर्मों के पास अपने तुलनात्मक लाभों के पक्ष में बेंचमार्क डिजाइन (आइटम चयन या वेटिंग के माध्यम से) को प्रभावित करने के प्रोत्साहन होते हैं, जिससे वैधता और भी कम हो जाती है।

2. "इवैलुएटिव 1%" और श्रम की दुर्लभता (The "Evaluative 1%" and Labor Scarcity)

शोध पत्र तर्क देता है कि हार्ड-टेल आइटम्स का उत्पादन एक रैखिक स्केलिंग समस्या नहीं है। यह विशेषज्ञों के एक पतले वर्ग पर निर्भर करता है जिनके पास गहरा डोमेन ज्ञान, कम-कोडिफीएबिलिटी निर्णय क्षमता और AI विफलता मोड के बारे में तर्क करने की मेटा-कॉग्निटिव क्षमता है। इस श्रम को कमोडिटी एनोटेशन हेडकाउंट को बढ़ाकर प्रतिस्थापित नहीं किया जा सकता है।

3. दुर्लभता प्रीमियम का अनुभवजन्य साक्ष्य (Empirical Evidence of the Scarcity Premium)

micro1 डेटासेट का विश्लेषण एक राइट-स्क्यूड (right-skewed) वेज प्रीमियम वितरण को प्रकट करता है।

• शीर्ष कठिनाई चतुर्थांश (top difficulty quartile - हार्ड-टेल कार्य) के कार्यकर्ता, प्रमाणपत्रों और समय को नियंत्रित करने के बाद भी, निचले चतुर्थांश की तुलना में लगभग 28 प्रतिशत अंक अधिक प्रीमियम कमाते हैं।
• उच्च-प्रीमियम कार्य हार्ड बेंचमार्क आइटम्स की संरचनात्मक विशेषताओं के अनुरूप हैं: विधायी व्याख्या (statutory interpretation), असामान्य प्रस्तुतियों के साथ नैदानिक तर्क (clinical reasoning), और फ्रंटियर आर्किटेक्चर समीक्षा।
• यह मॉडल के इस अनुमान की पुष्टि करता है: वैध फ्रंटियर मूल्यांकन के लिए आवश्यक श्रम दुर्लभ है और अलग तरह से मूल्यवान है, जो एक "इनवर्स कुजनेट्स" (inverse Kuznets) पैटर्न प्रदर्शित करता है जहाँ संरचित बाजार नीचे के स्तर पर मजदूरी को संकुचित करते हैं लेकिन फ्रंटियर पर इसे महत्वपूर्ण रूप से बिखेर देते हैं।

4. गवर्नेंस और पारदर्शिता के बीच व्यापार-बंद (Governance and Transparency Trade-offs)

शोध पत्र आइटम-स्तरीय पारदर्शिता (विशिष्ट बेंचमार्क प्रश्नों को प्रकट करना) और प्रक्रियात्मक पारदर्शिता (शासन, कार्यप्रणाली और मूल्यांकनकर्ता की साख को प्रकट करना) के बीच अंतर करता है।

• आइटम-स्तरीय पारदर्शिता संदूषण और रणनीतिक अनुकूलन ($z_t$) के जोखिम को बढ़ाती है, जिससे बेंचमार्क का क्षय तेज होता है।
• प्रक्रियात्मक पारदर्शिता और संस्थागत स्वतंत्रता जवाबदेही ($a_t$) को बढ़ाती है, जिससे वैधता में सुधार होता है।
• शोध पत्र पूरी तरह से सार्वजनिक या पूरी तरह से निजी बेंचमार्क के द्विआधारी विकल्प के बजाय, संरक्षित लाइव आइटम पूल्स (protected live item pools) के साथ पारदर्शी प्रक्रियाओं और स्वतंत्र शासन की वकालत करता है।

परिणाम और निष्कर्ष (Results and Findings)

• सिग्नल क्षय (Signal Degradation): जैसे-जैसे मॉडल आसान आइटम्स को संतृप्त करते हैं और संदूषण बढ़ता है, बेंचमच स्कोर लेटेंट गुणवत्ता के कम सटीक सार्वजनिक संकेत बनते जा रहे हैं।
• संरचनात्मक बाधा (Structural Bottleneck): "बेंचमार्क सीलिंग" केवल एक अस्थायी तकनीकी बाधा नहीं है, बल्कि यह उच्च-स्तरीय मानवीय निर्णय की दुर्लभता से प्रेरित एक संरचनात्मक बाधा है।
• बाजार विफलता (Market Failure): वर्तमान पारिस्थितिकी तंत्र दोहरी बाजार विफलताओं का सामना कर रहा है: वास्तविक स्वतंत्र बेंचमार्क में अल्प-निवेश और अपने रचनाकारों को खुश करने के लिए रणनीतिक रूप से डिज़ाइन किए गए बेंचमार्क का अत्यधिक उत्पादन।
• एंटरप्राइज गैप (Enterprise Gap): बेंचमार्क प्रदर्शन और उत्पादन तत्परता (production readiness) के बीच का अंतर बेंचमार्क सीलिंग का एक अनुमानित परिणाम है। उद्यमों को वैध फ्रंटियर मूल्यांकन के लुप्त सार्वजनिक वस्तु के विकल्प के रूप में महंगे, खंडित और गैर-संचयी "मानवीय फीडबैक लूप्स" पर निर्भर रहना पड़ता है।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि बेंचमार्क सीलिंग AI गवर्नेंस की विश्वसनीयता के लिए एक मौलिक चुनौती है। यह तर्क देता है कि बेंचमार्क-आधारित अनुपालन (compliance) पर निर्भर नियामक ढांचे (जैसे कि EU AI Act या US Executive Orders) एक क्षयशील साक्ष्य आधार पर निर्मित हैं।

इस कार्य का महत्व AI मूल्यांकन को एक तटस्थ तकनीकी अभ्यास के रूप में नहीं, बल्कि एक राजनीतिक अर्थव्यवस्था समस्या के रूप में पुनर्परिभाषित करने में निहित है जिसमें सार्वजनिक वस्तुएं, श्रम की दुर्लभता और एपिस्टेमिक शक्ति शामिल है। लेखक का कहना है कि संरक्षित आइटम पूल्स, पारदर्शी प्रक्रियाओं, स्वतंत्र शासन और फ्रंटियर मूल्यांकन बुनियादी ढांचे में निरंतर सार्वजनिक निवेश के बिना, AI प्रगति का नैरेटिव वास्तविक क्षमता और सुरक्षा से तेजी से अलग होता जाएगा। "मानवीय निर्णय का अनंत मील" (infinite mile of human judgment) केवल एक दार्शनिक सीमा नहीं है, बल्कि वैध AI मापन बनाए रखने के लिए एक विशिष्ट, मापने योग्य संरचनात्मक आवश्यकता है।