When benchmark inferences do not compose: Projectibility in AI evaluation
यह शोधपत्र तर्क देता है कि एंडपॉइंट्स, धारणाओं और निर्भरताओं में मिसअलाइनमेंट के कारण वैध एआई बेंचमार्क निष्कर्ष स्वतः ही पुष्ट परिणामी दावों में परिवर्तित नहीं होते हैं, और इन असमर्थ तार्किक जोड़ो का निदान करने के लिए एक "प्रोजेक्टिबिलिटी ऑडिट" ढांचे का प्रस्ताव करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि क्या एक नया रोबोट शेफ (रसोइया) एक व्यस्त रेस्टोरेंट चलाने के लिए तैयार है। आप केवल एक टेस्ट किचन में प्याज काटते हुए उसे देखकर यह नहीं मान सकते कि वह डिनर सर्विस को भी संभाल लेगा। आपको पूछना होगा: क्या यह अलग-अलग सामग्री होने पर भी उसी तरह खाना पकाएगा? क्या यह तब भी अच्छा रहेगा जब कोई मानव प्रबंधक भोजन की जांच करेगा? क्या यह एक सप्ताह तक सेवा में जीवित रहेगा, या केवल एक घंटे के लिए? यह AI मूल्यांकन (AI evaluation) का मूल है, एक ऐसा क्षेत्र जहाँ वैज्ञानिक यह मापने की कोशिश करते हैं कि आर्टिफिशियल इंटेलिजेंस वास्तव में कितना स्मार्ट या सक्षम है।
इसे करने के लिए, शोधकर्ता अक्सर बेंचमार्क (benchmarks) का उपयोग करते हैं। बेंचमार्क को एक मानकीकृत परीक्षण (standardized test) की तरह समझें, जैसे ड्राइवर एड परीक्षा। यदि कोई कार इस परीक्षा को पास कर लेती है, तो उसे लाइसेंस मिल जाता है। लेकिन यहाँ पेचीदा हिस्सा यह है: परीक्षा पास करने का मतलब यह स्वतः ही नहीं है कि कार बर्फबारी में, ऊबड़-खाबड़ कच्ची सड़क पर, या एक घबराए हुए यात्री के साथ सुरक्षित रूप से गाड़ी चला सकती है। AI की दुनिया में, हम अक्सर तर्क की एक श्रृंखला देखते हैं: "AI ने परीक्षण पास कर लिया, इसलिए इसमें 'सामान्य तर्क' (general reasoning) कौशल है, इसलिए यह इस विशिष्ट कार्य को कर सकता है, इसलिए इसका उपयोग करना सुरक्षित है।" बड़ा सवाल यह है: क्या चरण एक से चरण दो तक का प्रमाण वास्तव में जुड़ता है, और क्या चरण दो से चरण तीन तक का जुड़ाव होता है? यह पेपर खोजता है कि यह जुड़ाव अक्सर क्यों टूट जाता है, भले ही हर एक चरण अपने आप में बिल्कुल सही क्यों न दिखे।
तर्क की टूटी हुई कड़ी (The Broken Chain of Logic)
कल्पना कीजिए कि आप ब्लॉक्स (blocks) से एक मीनार बना रहे हैं। आपके पास एक ब्लॉक है जो पूरी तरह से वर्गाकार और मजबूत है (एक बेंचमार्क परिणाम)। आपके पास दूसरा ब्लॉक भी है जो भी पूरी तरह से वर्गाकार और मजबूत है (एक स्थानीय अध्ययन जो दिखाता है कि AI एक विशिष्ट कार्यालय में काम करता है)। आप सोच सकते हैं, "यदि मैं उन्हें एक के ऊपर एक रख दूँ, तो मेरे पास एक ऊँची, स्थिर मीनार होगी!" लेकिन क्या होगा अगर पहले ब्लॉक का ऊपरी हिस्सा थोड़ा गोल है, और दूसरे ब्लॉक का निचला हिस्सा थोड़ा सपाट है? वे फिट होते हुए दिखते हैं, लेकिन वे वास्तव में एक-दूसरे को छूते नहीं हैं। मीनार डगमगाती है और गिर जाती है।
यही मुख्य समस्या है जिसे ब्रेट रेनॉल्ड्स इस पेपर में उजागर कर रहे हैं। वे इसे नॉन-कंपोजिशन सिद्धांत (non-composition principle) कहते हैं। सरल शब्दों में, सिर्फ इसलिए कि आपके पास दो ऐसे प्रमाण हैं जो दोनों ही "वॉरंटेड" (अच्छे डेटा द्वारा समर्थित) हैं, इसका मतलब यह नहीं है कि आप उन्हें एक बड़े, मजबूत दावे को बनाने के लिए आपस में जोड़ सकते हैं। पेपर का तर्क है कि जब हम इन प्रमाणों की कड़ियों को जोड़ने की कोशिश करते हैं—जैसे कि "AI ने एक परीक्षण पास किया" से "AI वास्तविक दुनिया में उपयोग के लिए सुरक्षित है" तक जाना—तो हम अक्सर उन सूक्ष्म अंतराल (gaps) को भूल जाते हैं जहाँ तर्क टूट जाता है।
"लीगल असिस्टेंट" पहेली (The "Legal Assistant" Puzzle)
यह कैसे होता है, यह दिखाने के लिए, लेखक एक कहानी बनाता है जिसमें एक लॉ फर्म एक नए AI टूल का उपयोग करने की कोशिश कर रही है।
- परीक्षण: एक डेवलपर दिखाता है कि उनका AI मॉडल एक विशिष्ट परीक्षण पर 90% कानूनी सवालों के सही जवाब देता है।
- मानव जांच: लॉ फर्म दिखाती है कि जब उनके मानव वकील ड्राफ्ट की समीक्षा करते हैं, तो वे 99% गलतियों को पकड़ लेते हैं।
- बड़ी छलांग: फर्म मान लेती है कि यदि वे इन दोनों को मिला दें, तो अंतिम कानूनी मेमो 99.9% सटीक होंगे।
पेपर कहता है: यहीं रुक जाइए। यह तर्क टूटा हुआ है।
क्यों? क्योंकि "परीक्षण" और "मानव जांच" अलग-अलग चीजों के बारे में बात कर रहे हैं। परीक्षण शायद केवल यह जाँचता है कि क्या AI किसी किताब से उद्धरण (quote) ढूंढ सकता है। लेकिन मानव वकील शायद यह देख रहे होंगे कि क्या AI ने कोई महत्वपूर्ण कानून छोड़ दिया है जो उस किताब में नहीं था। यदि AI उस कानून को छोड़ देता है, तो मानव वकील उसे नहीं पकड़ पाएगा क्योंकि वे गलत प्रकार की गलती की तलाश कर रहे हैं। दोनों अध्ययन एक पहेली को अलग-अलग कोणों से देखने वाले दो लोगों की तरह हैं; दोनों एक पूर्ण चित्र देखते हैं, लेकिन वे एक ही चित्र को नहीं देख रहे हैं।
पेपर इसे नंबरों के साथ सिम्युलेट (simulate) करता है। एक परिदृश्य में, AI "टर्मिनेशन क्लॉज" (समाप्ति खंड) के अनुरोधों (कानूनी प्रश्नों के एक विशिष्ट प्रकार) पर बहुत अच्छा प्रदर्शन करता है लेकिन "रीज़नेबल नोटिस" (उचित सूचना) के अनुरोधों पर बुरी तरह विफल हो जाता है। यदि आप केवल स्कोर का औसत निकालते हैं, तो आप सोच सकते हैं कि AI कुल मिलाकर बहुत अच्छा है। लेकिन यदि लॉ फर्म को इसके लिए दोनों प्रकार के प्रश्नों के लिए उपयोग करने की आवश्यकता है, तो "औसत" स्कोर उन्हें झूठ बोल रहा है। AI वास्तव में आधे काम के लिए एक आपदा है।
"मैजिक मीन" ट्रैप (The "Magic Mean" Trap)
पेपर एग्रीगेशन (aggregation) नामक एक सांख्यिकीय चाल के बारे में भी चेतावनी देता है। कल्पना कीजिए कि आपके पास छात्रों की एक कक्षा है। आधे छात्रों को गणित के टेस्ट में 100% मिलते हैं, और बाकी आधे को 0% मिलते हैं। औसत स्कोर 50% है। यह ठीक लग रहा है, है ना? लेकिन यदि आपको स्कूल बस चलाने के लिए हर छात्र का पास होना आवश्यक है, तो वह औसत बेकार है।
AI में, एक "स्टेबल मीन" (एक स्थिर औसत स्कोर) बहुत सी समस्याओं को छिपा सकता है। लेखक दिखाता है कि एक AI का औसत स्कोर स्थिर रह सकता है, लेकिन गलतियों के प्रकार बहुत खराब हो सकते हैं। शायद पहले यह छोटी टाइपिंग की गलतियाँ करता था, लेकिन अब यह खतरनाक कानूनी त्रुटियाँ कर रहा है। यदि आप केवल औसत को देखते हैं, तो आप इस तथ्य को मिस कर देते हैं कि "सबसे खराब स्थिति" (worst-case scenarios) बहुत खराब होती जा रही है। पेपर एक सिमुलेशन का उपयोग करके यह दिखाने के लिए उपयोग करता है कि आपके पास एक पूरी तरह से स्थिर औसत स्कोर हो सकता है जबकि AI वास्तव में सबसे महत्वपूर्ण तरीकों से विफल हो रहा हो।
भविष्य के लिए इसका क्या अर्थ है
तो, पेपर क्या करने का सुझाव देता है? यह एक "प्रोजेक्टिबिलिटी ऑडिट" (Projectibility Audit) प्रस्तावित करता है।
इसे AI का उपयोग करने वाले किसी भी व्यक्ति के लिए चेकलिस्ट की तरह समझें। इससे पहले कि आप कहें, "यह AI वास्तविक दुनिया के लिए तैयार है," आपको विशिष्ट प्रश्नों के उत्तर देने होंगे:
- क्या ब्लॉक्स फिट बैठते हैं? क्या "परीक्षण" वास्तव में उन्हीं प्रकार के सवालों को कवर करता है जो "वास्तविक दुनिया" की नौकरी में पूछे जाते हैं?
- क्या स्थितियाँ समान हैं? क्या परीक्षण एक शांत कमरे में हुआ था, जबकि वास्तविक काम एक शोर भरे, अराजक कार्यालय में है?
- क्या हमने जानकारी खो दी? क्या हमने इस बारे में विवरण फेंक दिए कि कौन से प्रश्न कठिन थे, ताकि हमें केवल औसत दिखाई दे?
पेपर यह नहीं कहता कि AI बुरा है या हम इसका उपयोग नहीं कर सकते। यह कहता है कि हमें बिंदुओं को जोड़ने के बारे में बहुत अधिक सावधान रहने की आवश्यकता है। हम केवल यह मानकर नहीं चल सकते कि क्योंकि एक AI ने परीक्षण पास किया है, वह एक नौकरी पास कर लेगा। हमें परीक्षण और नौकरी के बीच, और नौकरी और अंतिम परिणाम के बीच के संबंध की जांच करनी होगी।
निष्कर्ष (The Bottom Line)
यह पेपर AI की दुनिया के लिए एक वास्तविकता की जाँच (reality check) है। यह सुझाव देता है कि हम अक्सर अपने साक्ष्य के ब्लॉक्स को जोड़ने में बहुत जल्दीबाज़ी करते हैं, यह मान लेते हैं कि वे पूरी तरह से फिट बैठते हैं जबकि वास्तव में उनमें अंतराल होते हैं। लेखक सिमुलेशन और तार्किक तर्कों का उपयोग यह दिखाने के लिए करता है कि एक चरण के लिए समर्थन स्वतः ही अगले चरण में स्थानांतरित नहीं होता है।
यदि एक डेवलपर कहता है, "हमारा AI 90% सटीक है," और एक कंपनी कहती है, "हमारे वकील 99% त्रुटियों को पकड़ लेते हैं," तो पेपर हमें कहता है: अभी उन नंबरों को गुणा न करें। आपको यह जांचना होगा कि क्या AI उसी प्रकार की गलतियाँ कर रहा है जिन्हें वकील देख रहे हैं। यदि आप ऐसा नहीं करते हैं, तो आप एक ऐसी मीनार बना सकते हैं जो ऊँची तो दिखती है लेकिन जैसे ही उस पर वास्तविक भार पड़ता है, वह ढह जाती है। पेपर यह दावा नहीं करता कि उसने AI सुरक्षा की समस्या को हल कर लिया है, बल्कि यह हमें यह बताने के लिए एक बेहतर मानचित्र देता है कि हमारे तर्क में दरारें कहाँ छिपी हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।