The Evaluation Trap: Benchmark Design as Theoretical Commitment
यह शोध पत्र "एपिस्टेमेटिक्स" (Epistematics) को प्रस्तुत करता है, जो एआई बेंचमार्क के ऑडिट करने के लिए एक मेटा-मूल्यांकन पद्धति है ताकि यह उजागर किया जा सके कि कैसे अनपरीक्षित सैद्धांतिक धारणाएं आत्म-सुदृढ़ मूल्यांकन जाल बनाती हैं जो संरचनात्मक सीमाओं को अस्पष्ट कर देती हैं, और एक हालिया प्रस्ताव की आलोचना करके अपने अनुप्रयोग को प्रदर्शित करता है जो अनजाने में उसी प्रतिमान को स्थापित कर देता है जिसे वह संशोधित करने का प्रयास करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ थियोडोर जे. कैलाइटिडिस के पेपर "द इवैल्यूएशन ट्रैप" (The Evaluation Trap) का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।
मुख्य विचार: मानचित्र ही क्षेत्र बन जाता है (The Map Becomes the Territory)
कल्पना कीजिए कि आप एक रोबोट को यह सिखाने की कोशिश कर रहे हैं कि "एक महान शेफ" कैसे बनें। ऐसा करने के लिए, आप एक परीक्षण बनाते हैं: रोबोट को एक मिनट के भीतर 100 प्याज काटने होंगे।
यदि रोबोट इस परीक्षण में पास हो जाता है, तो हम कहते हैं, "बहुत बढ़िया! यह एक मास्टर शेफ है!" लेकिन समस्या यहाँ है: रोबोट ने वास्तव में खाना बनाना नहीं सीखा। उसने बस प्याज बहुत तेज़ी से काटना सीख लिया क्योंकि आपने उससे केवल यही करने के लिए कहा था। उसे शायद यह नहीं पता होगा कि पानी कैसे उबाला जाए, सूप में नमक-मसाला कैसे डाला जाए, या चाकू को सुरक्षित रूप से कैसे पकड़ा जाए।
पेपर का तर्क है कि AI बेंचमार्क (परीक्षण) बिल्कुल यही कर रहे हैं। वे केवल यह नहीं मापते कि AI क्या कर सकता है; वे गुप्त रूप से यह तय करते हैं कि "करने" का अर्थ क्या है। समय के साथ, परीक्षण इतना शक्तिशाली हो जाता है कि AI "स्मार्ट शेफ" बनने की कोशिश करना छोड़ देता है और केवल एक "सुपर अनियन-चॉपर" (प्याज काटने वाला) बन जाता है। परीक्षण एक नकली बुद्धिमत्ता बनाता है जो वास्तविक दिखती है लेकिन वास्तव में खोखली होती है।
लेखक इसे "इवैल्यूएशन ट्रैप" (मूल्यांकन का जाल) कहते हैं।
यह जाल कैसे काम करता है: तीन चालाक तंत्र
पेपर बताता है कि यह जाल तीन विशिष्ट तरीकों से होता है:
1. "ट्रांसफर" धारणा (शॉर्टकट)
उपमा: कल्पना कीजिए कि एक छात्र एक विशिष्ट अभ्यास गणित परीक्षा के उत्तर रट लेता है। जब वह वास्तविक परीक्षा देता है, तो उसे पूर्ण अंक मिलते हैं। हम मानते हैं, "वाह, वह गणित का जीनियस है!"
वास्तविकता: वह केवल उस विशिष्ट परीक्षा को हल करना जानता है। वह वास्तव में गणित को नहीं समझता है।
पेपर में: AI शोधकर्ता यह मान लेते हैं कि यदि कोई सिस्टम किसी बेंचमार्क को पास कर लेता है, तो उसमें सामान्य "क्षमता" (जैसे तर्क या सीखना) आ गई है। लेकिन पेपर कहता है कि यह एक विश्वास की छलांग है। परीक्षण केवल यह सिद्ध करता है कि AI उस परीक्षण में अच्छा है, न कि यह कि उसके पास वास्तविक कौशल है।
2. "सर्कुलैरिटी" की समस्या (स्व-सिद्ध भविष्यवाणी)
उपमा: कल्पना कीजिए कि एक वीडियो गेम है जिसका लक्ष्य एक विशाल, खुली दुनिया की खोज करना है। गेम डिज़ाइनर प्रगति को ट्रैक करने के लिए रास्ते में एकत्र किए गए सोने के सिक्कों की गिनती करते हैं। खिलाड़ी जल्दी ही समझ जाते हैं कि सिक्के ही सफलता को मापते हैं, इसलिए वे सिक्कों के लिए अनुकूलित (optimize) होने लगते हैं, एक ही रास्तों पर दौड़ते हैं, और एक ही स्थानों पर बार-बार पहुँचते हैं। डिज़ाइनर जवाब में अधिक सिक्के, कठिन कॉइन चुनौतियाँ और कॉइन लीडरबोर्ड जोड़ते हैं। अंततः, पूरा गेम सिक्कों के संग्रह के इर्द-गिर्द बनाया जाता है।
वास्तविकता: किसी ने भी यह तय नहीं किया कि गेम सिक्कों के बारे में है। लेकिन क्योंकि सिक्कों के माध्यम से प्रगति को ट्रैक किया गया था, गेम धीरे-धीरे सिक्कों के बारे में बन गया। एक खिलाड़ी जिसने वास्तव में अन्वेषण करने में घंटों बिताए लेकिन कम सिक्के एकत्र किए, उसे ठीक से खेला हुआ भी नहीं माना जाएगा। अन्वेषण का मूल लक्ष्य, जिसे मापने के लिए सिस्टम बनाया गया था, अदृश्य हो गया।
पेपर में: AI क्षमता की अवधारणाओं के साथ यही होता है। बेंचमार्क न केवल वास्तविक लक्ष्य को ट्रैक करने में विफल रहता है; यह धीरे-धीरे उसका स्थान ले लेता है। क्षेत्र वास्तविक क्षमता का पीछा करना छोड़ देता है और बेंचमार्क प्रदर्शन का पीछा करने लगता है, इसलिए नहीं कि किसी ने ऐसा चुना, बल्कि इसलिए क्योंकि माप (measurement) ने बाकी सब कुछ अदृश्य बना दिया।
3. "बिहेवियरल एप्रोक्सिमेशन" (प्लास्टिक का फल)
उपमा: आप मेज पर एक प्लास्टिक का सेब देखते हैं। यह लाल, चमकदार और गोल दिखता है। आप सोच सकते हैं, "यह एक सेब है।" लेकिन यदि आप इसे काटते हैं, तो यह सख्त प्लास्टिक है। यह सेब जैसा दिखता है, लेकिन यह सेब की तरह व्यवहार नहीं करता (यह सड़ता नहीं है, इसका स्वाद मीठा नहीं होता)।
वास्तविकता: प्लास्टिक का सेब एक "बिहेवियरल एप्रोक्सिमेशन" है। यह बाहरी हिस्से की नकल करता है लेकिन इसके अंदर कुछ नहीं है।
पेपर में: वर्तमान AI सिस्टम प्लास्टिक के सेबों की तरह हैं। वे ऐसे उत्तर देते हैं जो मानव तर्क की तरह दिखते हैं, लेकिन वे वास्तव में केवल सांख्यिकीय ट्रिक्स (पैटर्न के आधार पर अगले शब्द का अनुमान लगाना) कर रहे होते हैं, न कि वास्तव में "सोच" रहे होते हैं। क्योंकि परीक्षण केवल अंतिम उत्तर (लाल त्वचा) को देखते हैं, वे वास्तविक सेब और प्लास्टिक के सेब के बीच अंतर नहीं कर पाते।
समाधान: "एपिस्टेमेटिक्स" (जासूसी पद्धति)
लेखक इन परीक्षणों की जाँच करने का एक नया तरीका प्रस्तावित करते हैं, जिसे एपिस्टेमेटिक्स (Epistematics) कहा जाता है। इसे AI परीक्षणों के लिए एक "डिटेक्टिव किट" के रूप में समझें।
केवल स्कोर देखने के बजाय, एपिस्टेमेटिक्स परीक्षण बनाने से पहले चार प्रश्न पूछता है:
- दावा क्या है? (जैसे, "यह AI अपने आप सीख सकता है।")
- इसके पीछे कौन सा सिद्धांत है? (जैसे, "वास्तविक सीखने के लिए गलतियाँ करने और उन्हें वास्तविक समय में सुधारने की आवश्यकता होती है, जैसे एक बच्चा।")
- मशीन को इसे साबित करने के लिए क्या करने की आवश्यकता है? (जैसे, "इसे एक स्वच्छ डेटाबेस के बजाय एक अस्त-व्यस्त, परिवर्तनशील दुनिया के साथ बातचीत करनी होगी।")
- क्या परीक्षण वास्तव में अंतर को पकड़ पाता है? (जैसे, "यदि हम AI को एक प्लास्टिक का सेब देते हैं, तो क्या परीक्षण उसे फेल कर देगा? या क्या परीक्षण प्लास्टिक के सेब को पास होने देगा क्योंकि वह लाल दिखता है?")
यदि परीक्षण एक "असली" स्मार्ट AI और एक "नकली" स्मार्ट AI (जिसने केवल परीक्षण रटा है) के बीच अंतर नहीं कर सकता, तो परीक्षण टूटा हुआ है।
केस स्टडी: "ऑटोनॉमस लर्नर" (स्वायत्त शिक्षार्थी)
पेपर इस डिटेक्टिव पद्धति का परीक्षण "ऑटोनॉमस लर्निंग" (Dupoux et al. द्वारा) नामक एक प्रसिद्ध नए प्रस्ताव पर करता है।
- दावा: शोधकर्ता कहते हैं कि उन्होंने एक ऐसा AI बनाया है जो मानव बच्चे की तरह, बिना मनुष्यों के निरंतर मार्गदर्शन के, अपने आप सीख सकता है।
- जाल: लेखक एपिस्टेमेटिक्स का उपयोग करके यह दिखाने के लिए कि हालांकि विचार बहुत अच्छा लगता है, लेकिन उनके द्वारा डिज़ाइन किया गया परीक्षण अभी भी पुराना, टूटा हुआ प्रकार का है।
- वे दावा करते हैं कि AI "वास्तविक दुनिया की बातचीत" से सीखता है, लेकिन वे इसे "स्थिर डेटासेट" (जैसे फोटो एल्बम) पर टेस्ट करते हैं।
- वे दावा करते हैं कि AI में "फीडबैक लूप" (गलतियों से सीखना) हैं, लेकिन वे इसे इस आधार पर मापते हैं कि स्कोर पाने के लिए कितने प्रयास लगे, यह नज़रअंदाज़ करते हुए कि उसने कैसे सीखा।
- परिणाम: नया AI केवल एक बेहतर "अनियन-चॉपर" (प्याज काटने वाला) है। यह ऐसा दिखता है जैसे सीख रहा हो, लेकिन यह वास्तव में एक नए बॉक्स के अंदर वही पुराने सांख्यिकीय ट्रिक्स कर रहा है। परीक्षण अंतर को पकड़ने में विफल रहा क्योंकि परीक्षण को अंतर को अनदेखा करने के लिए ही डिज़ाइन किया गया था।
निष्कर्ष (The Takeaway)
पेपर निष्कर्ष निकालता है कि हम एक चक्र (loop) में फंसे हुए हैं। हम बेहतर परीक्षण बनाते रहते हैं, लेकिन वे परीक्षण केवल यह मापते हैं कि AI परीक्षण पास करने में कितना अच्छा है, न कि यह कि वह वास्तव में कितना स्मार्ट हो रहा है।
इस जाल को तोड़ने के लिए, हमें यह पूछना बंद करना होगा कि, "क्या इसने परीक्षण पास किया?" और यह पूछना शुरू करना होगा, "क्या यह परीक्षण वास्तव में उस चीज़ को मापता है जिसे हम यह कहते हैं कि यह मापता है?"
हमें ऐसे परीक्षणों को डिज़ाइन करने की आवश्यकता है जो एक असली सेब (वास्तविक बुद्धिमत्ता) और एक प्लास्टिक के सेब (बिहेवियरल एप्रोक्सिमेशन) के बीच अंतर कर सकें। यदि हम ऐसा नहीं करते हैं, तो हम लगातार ऐसा AI बनाते रहेंगे जो कागज़ पर तो प्रतिभाशाली दिखता है लेकिन वास्तव में केवल एक बहुत अच्छा नकलची है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।