On Benchmarking Human-Like Intelligence in Machines
यह शोध पत्र तर्क देता है कि वर्तमान एआई मूल्यांकन प्रतिमान (paradigms) अमान्य लेबल और पारिस्थितिक रूप से अमान्य कार्यों जैसी समस्याओं के कारण मानव जैसी संज्ञानात्मक क्षमताओं का सटीक आकलन करने में विफल रहते हैं, और नौ मौजूदा बेंचमार्क के एक मानव मूल्यांकन अध्ययन के आधार पर अधिक कठोर बेंचमार्किंग के लिए पांच ठोस सिफारिशें प्रस्तावित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को इंसान बनना सिखाने की कोशिश कर रहे हैं। आप नहीं चाहते कि वह केवल गणित में बहुत तेज़ हो या मौसम की भविष्यवाणी कर सके; आप चाहते हैं कि वह बिल्कुल आपकी तरह सोचे, महसूस करे और प्रतिक्रिया दे। यह "मानव-समान बुद्धिमत्ता" (human-like intelligence) की दुनिया है। दशकों से, वैज्ञानिक इन डिजिटल दिमागों का निर्माण कर रहे हैं, इस उम्मीद में कि वे ऐसी मशीनें बना सकें जो केवल समस्याओं को हल न करें, बल्कि उस उलझे हुए, भ्रमित करने वाले और कभी-कभी विरोधाभासी तरीके को भी समझ सकें जिससे इंसान दुनिया को देखते हैं। लेकिन यहाँ एक पेचीदा बात है: आपको कैसे पता चलेगा कि रोबोट वास्तव में एक इंसान की तरह व्यवहार कर रहा है, या वह केवल एक बहुत अच्छा अभिनेता बनकर नाटक कर रहा है? यह जानने के लिए, शोधकर्ता आमतौर पर रोबोट को एक परीक्षण देते हैं। लेकिन क्या होगा अगर वह परीक्षण ही दोषपूर्ण हो? क्या होगा अगर परीक्षण एक एकल, सटीक उत्तर देने की अपेक्षा करता है, जबकि वास्तविक इंसान वास्तव में एक दर्जन अलग-अलग, थोड़े अनिश्चित उत्तर देंगे? यह शोध पत्र ठीक इसी समस्या में उतरता है, और यह तर्क देता है कि एआई (AI) को परखने का हमारा वर्तमान तरीका वैसा ही है जैसे किसी संगीतकार से एक एकल, सटीक नोट बजाने के लिए कहकर जैज़ इम्प्रोवाइज़ेशन (jazz improvisation) का मूल्यांकन करना।
इस शोध पत्र के लेखक, शीर्ष विश्वविद्यालयों के शोधकर्ताओं की एक टीम, तर्क देते हैं कि हम वर्तमान में "मानव-समान" बुद्धिमत्ता को सही ढंग से मापने में विफल हो रहे हैं। उनका सुझाव है कि कई लोकप्रिय एआई परीक्षण बहुत सरल हैं और उन "ग्राउंड ट्रुथ" (ground truth) लेबल पर निर्भर करते हैं जो वास्तव में इस बात से मेल नहीं खाते कि असली लोग कैसे सोचते हैं। अपने तर्क को सिद्ध करने के लिए, उन्होंने एक विशाल प्रयोग चलाया जहाँ उन्होंने 117 वास्तविक मनुष्यों से नौ अलग-अलग एआई परीक्षण लेने के लिए कहा। इन परीक्षणों में कटाक्ष (sarcasm) को पहचानना, यह तय करना कि कोई चुटकुला कितना मज़ेदार है, या यह पता लगाना शामिल था कि कोई सामाजिक स्थिति कितनी सहायक है। केवल "A, B, या C" चुनने के बजाय, मनुष्यों ने स्लाइडर्स का उपयोग किया ताकि वे यह दिखा सकें कि वे अपने उत्तर के बारे में कितने दृढ़ थे और अपने उस अहसास के प्रति कितने आश्वस्त थे।
परिणाम चौंकाने वाले थे। शोध पत्र सुझाव देता है कि इनमें से कई परीक्षणों के लिए, वह "सही" उत्तर जिस पर एआई को प्रशिक्षित किया गया था, वास्तव में गलत था जैसा कि अधिकांश मनुष्यों ने सोचा था। उदाहरण के लिए, "सामाजिक सहायता" (social support) के कार्य पर, परीक्षण ने कहा कि एक विशिष्ट वाक्य "असहायक" था, लेकिन मनुष्यों ने इसे औसतन मध्यम रूप से सहायक माना। और भी दिलचस्प बात यह है कि मनुष्य केवल परीक्षण से असहमत नहीं थे; वे एक संरचित तरीके से एक-दूसरे से भी असहमत थे। कुछ लोग अपने उत्तरों के बारे में बहुत आश्वस्त थे, जबकि अन्य अनिश्चित थे, और उनकी राय एक विस्तृत स्पेक्ट्रम में भिन्न थी। शोध पत्र पाता है कि वर्तमान एआई बेंचमार्क अक्सर इस "अराजकता" (messiness) को अनदेखा करते हैं। वे मानव निर्णय को एक गणितीय समस्या की तरह मानते हैं जिसमें एक सही उत्तर होता है, जबकि यह वास्तव में एक बातचीत की तरह है जहाँ हर किसी का अपना थोड़ा अलग दृष्टिकोण होता है।
लेखक बेहतर परीक्षण बनाने के लिए पाँच नए नियम प्रस्तावित करते हैं। पहला, हमें यह अनुमान लगाना बंद करना चाहिए कि मनुष्य क्या सोचते हैं और वास्तव में उनसे पूछना चाहिए, यानी "गोल्ड स्टैंडर्ड" के रूप में उपयोग करने के लिए लोगों से वास्तविक डेटा एकत्र करना चाहिए। दूसरा, एक सही उत्तर खोजने के बजाय, हमें पूरे मानवीय उत्तरों के "वितरण" (distribution) से तुलना करनी चाहिए—यह देखना चाहिए कि क्या एआई इस तथ्य को पकड़ सकता है कि कुछ लोग एक तरह से सोचते हैं और अन्य दूसरी तरह से। तीसरा, हमें "क्रमबद्धता" (gradedness) को मापना होगा। मनुष्य शायद ही कभी 100% निश्चित या 0% निश्चित होते हैं; वे "काफी हाँ" या "थोड़ा सा ना" महसूस करते हैं। शोध पत्र सुझाव देता है कि हमें एक साधारण हाँ/ना के विकल्प के बजाय इस सूक्ष्मता को पकड़ने के लिए स्लाइडर्स और आत्मविश्वास रेटिंग का उपयोग करना चाहिए। चौथा, परीक्षणों को यादृच्छिक प्रश्नों के बजाय गहरे मनोवैज्ञानिक सिद्धांतों पर आधारित होना चाहिए। सिर्फ इसलिए कि एक बच्चा "मिथ्या विश्वास" (false belief) परीक्षण पास कर लेता है, इसका मतलब यह नहीं है कि एक रोबोट जो उसी परीक्षण को पास करता है, उसमें वास्तविक "थ्योरी ऑफ माइंड" (Theory of Mind) है; परीक्षण को वास्तव में उस कौशल के जटिल हिस्सों को मापने के लिए डिज़ाइन किया जाना चाहिए। अंत में, कार्यों को वास्तविक जीवन जैसा होना चाहिए। वास्तविक जीवन अस्पष्ट, भ्रमित करने वाला और संदर्भों से भरा होता है। यदि कोई परीक्षण बहुत स्वच्छ और सरल है, तो यह हमें यह नहीं बताता कि क्या एआई वास्तविक दुनिया को संभाल सकता है।
संक्षेप में, शोध पत्र सुझाव देता है कि यदि हमें ऐसा एआई बनाना है जो वास्तव में हमारी तरह सोचता है, तो हमें मानव बुद्धिमत्ता को बहुविकल्पीय प्रश्नोत्तरी (multiple-choice quiz) की तरह मानना बंद करना होगा। हमें अनिश्चितता, असहमति और ग्रे क्षेत्रों (gray areas) को अपनाना होगा। मानव विचार की समृद्ध, विविध और कभी-कभी भ्रमित करने वाली प्रकृति को प्रतिबिंबित करने वाले परीक्षणों को डिजाइन करके, हम अंततः ऐसी मशीनें बनाना शुरू कर सकते हैं जो केवल स्मार्ट ही नहीं दिखतीं, बल्कि वास्तव में मानवीय भी महसूस होती हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।