तकनीकी सारांश: बेंचमार्क्ड फिर भी मापा नहीं गया - जनरेटिव एआई का मूल्यांकन वास्तविक दुनिया की उपयोगिता के विरुद्ध किया जाना चाहिए

1. समस्या विवरण

यह शोध पत्र एक महत्वपूर्ण विसंगति की पहचान करता है जो मानक बेंचमार्क पर उच्च प्रदर्शन करने वाले जनरेटिव एआई (GenAI) सिस्टम और वास्तविक दुनिया के परिनियोजन (deployments) में विश्वसनीय उपयोगिता प्रदान करने में उनकी विफलता के बीच है। जबकि ImageNet, GLUE, HumanEval और VBench जैसे बेंचमार्क ने मॉडल तुलना और प्रगति को प्रेरित किया है, वे शिक्षा, स्वास्थ्य सेवा, सॉफ्टवेयर इंजीनियरिंग और कानून जैसे उच्च-जोखिम वाले क्षेत्रों में सफलता की भविष्यवाणी करने में तेजी से विफल हो रहे हैं।

लेखक 28 प्रलेखित परिनियोजन मामलों का विश्लेषण करते हैं ताकि यह प्रदर्शित किया जा सके कि मजबूत बेंचमार्क स्कोर प्राप्त करने वाले सिस्टम अक्सर समय के साथ मानवीय क्षमता, निर्णय लेने की प्रक्रिया या सीखने में सुधार करने में विफल रहते हैं। इसके बजाय, वे अक्सर सुरक्षा कमजोरियां पेश करते हैं, महत्वपूर्ण नैदानिक मामलों को छोड़ देते हैं, या दीर्घकालिक कौशल को कम कर देते हैं। शोध पत्र का तर्क है कि वर्तमान मूल्यांकन पाइपलाइन में रचनात्मक वैधता (construct validity) की मौलिक कमी है: वे मापने योग्य प्रॉक्सी मेट्रिक्स (जैसे BLEU, pass@k, प्रवाह/fluency) को उन जटिल, वास्तविक दुनिया की रचनाओं (constructs) के वैध माप के रूप में देखते हैं जिनका वे प्रतिनिधित्व करने का दावा करते हैं।

यह "बेंचमार्क-उपयोगिता अंतराल" तीन आवर्ती संरचनात्मक विफलताओं से प्रेरित है:

1. प्रॉक्सी विस्थापन (Proxy Displacement): जटिल रचनाओं के वैध माप के रूप में मापने योग्य प्रॉक्सी मेट्रिक्स को बिना किसी साक्ष्य के उपयोग करना (उदाहरण के लिए, प्रवाह को शुद्धता के बराबर मानना या लागत में कमी को रोगी की आवश्यकता के बराबर मानना)।
2. अस्थायी पतन (Temporal Collapse): अल्पकालिक, एआई-सहायता प्राप्त प्रदर्शन को स्थायी क्षमता समझने की गलती करना, और दीर्घकालिक प्रभावों जैसे कौशल क्षरण (skill atrophy), अत्यधिक निर्भरता और ज्ञान हस्तांतरण की कमी की अनदेखी करना।
3. वितरणात्मक छिपाव (Distributional Concealment): विशिष्ट आबादी, अल्प-प्रतिनिधित्व वाले समूहों, या अनदेखे परिनियोजन परिवेशों में व्यवस्थित विफलताओं को छिपाने के लिए समग्र स्कोर (aggregate scores) का उपयोग करना।

ये विफलताएं बेंचमार्क संतृप्ति (saturation), डेटा संदूषण (contamination), और गुडहार्ट-शैली के अनुकूलन (Goodhart-style optimization) द्वारा सुदृढ़ होती हैं, जहाँ सिस्टम अंतर्निहित लक्ष्य के बजाय केवल प्रॉक्सी को अनुकूलित करता है।

2. कार्यप्रणाली और ढांचा: SCU-GenEval

इन अंतरालों को संबोधित करने के लिए, लेखक एक स्थिर, आर्टिफैक्ट-केंद्रित मूल्यांकन से हितधारक-केंद्रित उपयोगिता मूल्यांकन (Stakeholder-Centered Utility Evaluation - SCU-GenEval) की ओर एक प्रतिमान परिवर्तन का प्रस्ताव करते हैं। यह ढांचा उपयोगिता को आउटपुट आर्टिफैक्ट की गुणवत्ता के रूप में नहीं, बल्कि एक एआई सिस्टम के साथ बातचीत के कारण एक हितधारक की अपने लक्ष्यों को प्राप्त करने की क्षमता में समय के साथ होने वाले परिवर्तन के रूप में परिभाषित करता है।

2.1 उपयोगिता को औपचारिक रूप देना

उपयोगिता ($U$) को एक विशिष्ट परिनियोजन संदर्भ ($D$) और समय क्षितिज ($t$) के भीतर, बातचीत से पहले और बातचीत के बाद के बीच एक हितधारक की क्षमता वेक्टर ($C$) में काउंटरफैक्चुअल परिवर्तन के रूप में मापा जाता है:
$$U(u, G, y, D, t) = C_{after}(u, G, y, D, t) - C_{before}(u, G, D, t)$$
जहाँ:

• $u$ एक हितधारक है।
• $G$ लक्ष्य है।
• $y$ एआई सिस्टम है।
• $C$ मापने योग्य संकेतकों (जैसे निर्णय की गुणवत्ता, प्रतिधारण/retention, सुरक्षा, सहयोग) का एक वेक्टर है।

यह सूत्रीकरण सुनिश्चित करता है कि मूल्यांकन उपयोगकर्ता-परिणाम केंद्रित (R1), कालिक/अस्थायी (R2), और विच्छेदित/विभाजित (R3) है, जो सीधे तीन संरचनात्मक विफलताओं को संबोधित करता है।

2.2 चार-चरणीय मूल्यांकन प्रक्रिया

SCU-GenEval चार क्रमिक, जुड़े हुए चरणों के माध्यम से उपयोगिता को क्रियान्वित करता है:

1. हितधारक-लक्ष्य मानचित्रण (Stakeholder–Goal Mapping): प्रभावित उपयोगकर्ताओं ($u$) और उनके लक्ष्यों ($G$) को स्पष्ट रूप से पहचानना ताकि वितरणात्मक छिपाव को रोका जा सके और यह सुनिश्चित किया जा सके कि मूल्यांकन सही मानवीय परिणामों को लक्षित करता है।
2. रचना-संकेतक विशिष्टता (Construct–Indicator Specification): वास्तविक दुनिया की क्षमता रचनाओं को परिभाषित करना और उन्हें मापने के लिए वैध संकेतक ($I_k$) चुनना, जो प्रॉक्सी विस्थापन के विरुद्ध एक रक्षा के रूप में कार्य करता है।
3. तंत्र मॉडलिंग (Mechanism Modeling): उन कारण संबंधी तंत्रों (जैसे कौशल क्षरण, ऑटोमेशन बायस, विशेषज्ञता रिवर्सल) की पहचान करना जिनके माध्यम से एआई के साथ बातचीत समय के साथ क्षमता को बदल देती है, जो अस्थायी पतन को संबोधित करता है।
4. दीर्घकालिक उपयोगिता मापन (Longitudinal Utility Measurement): विशिष्ट प्रोटोकॉल का उपयोग करके $U$ का अनुमान लगाना:
   • स्थिति तुलना (Condition Comparison): मानव-एकल, एआई-एकल, और मानव+एआई प्रदर्शन की तुलना करना।
   • दीर्घकालिक ट्रैकिंग (Longitudinal Tracking): समय के क्षितिज के माध्यम से स्थायित्व को मापना।
   • उपसमूह विच्छेदन (Subgroup Disaggregation): प्रत्येक $(u, G, D)$ टुपल के अनुसार परिणामों की रिपोर्ट करना।
   • तंत्र सत्यापन (Mechanism Verification): यह परीक्षण करना कि क्या अनुमानित तंत्र बातचीत के दौरान प्रकट होते हैं।
   • ऑडिटेबिलिटी (Auditability): स्वतंत्र पुनरावृत्ति (replay) के लिए डेटा लॉग करना।

2.3 सहायक उपकरण

इस ढांचे को बड़े पैमाने पर व्यावहारिक बनाने के लिए, लेखक तीन उपकरणों का प्रस्ताव करते हैं:

1. संरचित परिनियोजन डेटा संग्रह प्रोटोकॉल (SDDCP): एक पूर्व-पंजीकृत, मशीन-पठनीय अनुबंध (CONSORT-AI के समान) जो परिनियोजन से पहले सेटिंग्स, रचनाओं, तंत्रों और विच्छेदन कुंजियों (disaggregation keys) को निर्दिष्ट करता है।
2. संदर्भ-स्थित उपयोगकर्ता सिम्युलेटर (Context-Conditioned User Simulators): विशिष्ट व्यक्तित्वों (personas) और लक्ष्यों के साथ स्थापित सिम्युलेटर, जिन्हें SDDCP ग्राउंड ट्रुथ के विरुद्ध कैलिब्रेट किया गया है, ताकि फील्डवर्क के महीनों की आवश्यकता के बिना दीर्घकालिक उपयोगिता प्रभावों (जैसे कौशल क्षय) का अनुमान लगाया जा सके।
3. व्यक्तित्व-लक्ष्य-स्थित प्रॉक्सी मेट्रिक्स (PGCPMs): तेज़, सस्ते मेट्रिक्स जो विशिष्ट हितधारक व्यक्तित्वों और प्रमाणित रचनाओं से मेल खाने के लिए मूल्यांकन सेटों को फ़िल्टर करके उपयोगिता का अनुमान लगाते हैं, जिन्हें SDDCP डेटा के विरुद्ध कैलिब्रेट किया गया है।

3. मुख्य योगदान

यह शोध पत्र चार प्राथमिक योगदान देता है:

1. व्यवस्थित विश्लेषण: शिक्षा, स्वास्थ्य सेवा, सॉफ्टवेयर इंजीनियरिंग और कानून के क्षेत्र में 28 परिनियोजन मामलों का विश्लेषण, जो यह दर्शाता है कि बेंचमार्क-उपयोगिता अंतराल व्यवस्थित, डोमेन-व्यापी और आवर्ती है, न कि केवल छिटपुट।
2. संरचनात्मक निदान: अंतराल के तीन संरचनात्मक कारणों की पहचान: प्रॉक्सी विस्थापन, अस्थायी पतन और वितरणात्मक छिपाव।
3. SCU-GenEval ढांचा: मानव क्षमता में समय के साथ होने वाले परिवर्तनों के रूप में उपयोगिता को मापने के लिए एक नया ढांचा, जो मूल्यांकन की इकाई को आर्टिफैक्ट की गुणवत्ता से बदलकर मानव परिणाम प्रक्षेपवक्र (trajectories) पर केंद्रित करता है।
4. डोमेन-विशिष्ट आह्वान: अनुसंधानकर्ताओं, उद्योग और नीति निर्माताओं के लिए उपयोगिता मापन अपनाने के लिए ठोस सिफारिशें, जिसमें विच्छेदित रिपोर्टिंग, अनुदैर्ध्य (longitudinal) अध्ययन और पूर्व-पंजीकृत परिनियोजन प्रोटोकॉल के लिए आह्वान शामिल हैं।

4. परिणाम और साक्ष्य

यह शोध पत्र किसी एक मॉडल से नए प्रयोगात्मक परिणाम प्रस्तुत नहीं करता है, बल्कि अपने दावों को मान्य करने के लिए 28 मौजूदा मामलों (तालिका 1 में विस्तृत) के साक्ष्यों को संश्लेषित करता है:

• सॉफ्टवेयर इंजीनियरिंग: उच्च pass@k स्कोर वाले कोड जनरेशन सिस्टम ने लगभग 40% समाधानों में सुरक्षा कमजोरियां पेश कीं; एआई-सहायता प्राप्त प्रोग्रामिंग टूल को जूनियर डेवलपर्स में संज्ञानात्मक हानि (metacognitive harm) और कौशल क्षरण से जोड़ा गया।
• स्वास्थ्य सेवा: एपिक सेप्सिस मॉडल (Epic Sepsis Model), मजबूत आंतरिक सत्यापन के बावजूद, बाहरी सत्यापन में 67% सेप्सिस मामलों को चूक गया और 18% रोगियों के लिए गलत अलर्ट दिया। अन्य मॉडलों ने विशिष्ट नस्लीय समूहों के खिलाफ पूर्वाग्रह दिखाया या विभिन्न अस्पताल स्थलों के बीच सामान्यीकरण करने में विफल रहे।
• शिक्षा: अल्पकालिक कार्य पूर्णता में सुधार करने वाले सिस्टम अक्सर दीर्घकालिक प्रतिधारण या स्थानांतरण में सुधार करने में विफल रहे, और एआई सारांशों को सीखने के लिए आवश्यक "प्रयासपूर्ण पुनर्प्राप्ति" (effortful retrieval) को संभावित रूप से कम करने वाला दिखाया गया।
• कानून: कानूनी एआई टूल ने प्रवाहपूर्ण लेकिन मनगढ़ंत उद्धरण (citations) और काल्पनिक केस लॉ प्रस्तुत किए, जिससे प्रतिबंध लगे, जबकि जोखिम मूल्यांकन उपकरण (जैसे COMPAS) अपारदर्शी स्कोर प्रदान करते थे जिनका विरोध नहीं किया जा सकता था।

एक काल्पनिक "DevAssist" परिदृश्य (चित्र 2) पर SCU-GenEval ढांचे का अनुप्रयोग यह दर्शाता है कि कैसे यह ढांचा उन नकारात्मक उपयोगिताओं को प्रकट करेगा जो मानक बेंचमार्क छिपा देंगे (जैसे जूनियर इंजीनियरों और सुरक्षा समीक्षकों के लिए)।

5. महत्व और दावे

शोध पत्र का तर्क है कि सार्थक मानवीय परिणामों वाले सिस्टम के लिए, बेंचमार्क प्रदर्शन उपयोगी होने के लिए आवश्यक है लेकिन पर्याप्त नहीं है। इस कार्य का महत्व हितधारक-स्थित उपयोगिता पारदर्शिता (stakeholder-conditioned utility transparency) के लिए एक माप विज्ञान (measurement science) के आह्वान में निहित है, न कि केवल बेंचमार्क प्रदर्शन में।

लेखक SCU-GenEval को बेंचमार्क के विकल्प के रूप में नहीं, बल्कि उच्च-जोखिम वाले परिनियोजन के लिए एक आवश्यक पूरक के रूप में देखते हैं। वे इस बात पर जोर देते हैं कि:

• रचनात्मक वैधता (Construct validity) वर्तमान मूल्यांकन में गायब कड़ी है; मेट्रिक्स को उन परिनियोजन परिणामों के विरुद्ध मान्य किया जाना चाहिए जिनका वे प्रतिनिधित्व करने का दावा करते हैं।
• उपयोगिता सामयिक (temporal) और विच्छेदित है: मूल्यांकन को यह ट्रैक करना चाहिए कि क्षमता समय के साथ और विशिष्ट उपयोगकर्ता उपसमूहों में कैसे बदलती है, न कि स्थिर, समग्र स्कोर पर निर्भर रहना चाहिए।
• व्यावहारिकता प्राप्त करने योग्य है: प्रस्तावित उपकरणों (SDDCP, सिम्युलेटर, PGCPMs) के माध्यम से, कठोर उपयोगिता मूल्यांकन को व्यवहार्य और स्केलेबल बनाया जा सकता है, जिससे यह सुनिश्चित हो सके कि परिनियोजन के नुकसान (जैसे रोगी की चोट, सुरक्षा उल्लंघन) की लागत, पूर्व-परिनियोजन मूल्यांकन की लागत से अधिक न हो जाए।

शोध पत्र निष्कर्ष निकालता है कि जनरेटिव एआई में प्रगति का मूल्यांकन मानवीय परिणामों में मापने योग्य सुधारों द्वारा किया जाना चाहिए, और समुदाय से आग्रह करता है कि वे सामाजिक-तकनीकी एआई परिनियोजन के लिए CONSORT और TRIPOD के समान रिपोर्टिंग मानकों को अपनाएं।