A Rigorous Turing Test: a Foundation for Evaluating Artificial General Intelligence
यह शोध पत्र तर्क देता है कि बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) के ट्यूरिंग टेस्ट पास करने के दावे समयपूर्व हैं, क्योंकि ट्यूरिंग के मूल इमिटेशन गेम के एक कठोर, अबाधित कार्यान्वयन से पता चला कि मानव निर्णायक एआई को मानव से आसानी से अलग कर सकते थे, जो पिछले अध्ययनों के विपरीत हो सकता है जिन्होंने शायद कम समय सीमा का उपयोग किया था।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ आप केवल संदेशों को पढ़कर यह नहीं बता सकते कि आप एक असली इंसान से बात कर रहे हैं या एक बहुत ही बुद्धिमान रोबोट से। यह "ट्यूरिंग टेस्ट" नामक एक प्रसिद्ध विचार का केंद्र है, एक ऐसी अवधारणा जिसने दशकों से वैज्ञानिकों, दार्शनिकों और जिज्ञासु मन के बीच बहस छेड़ रखी है। इसे एक अंतिम "इम्पोस्टर गेम" (छद्मवेषी खेल) के रूप में समझें। इस खेल में, एक मानव निर्णायक एक स्क्रीन के माध्यम से दो छिपे हुए खिलाड़ियों के साथ चैट करता है। एक खिलाड़ी इंसान है, और दूसरा मशीन। निर्णायक का काम यह पता लगाना है कि कौन सा कौन है। यदि मशीन निर्णायक को यह विश्वास दिलाने में सफल हो जाती है कि वह इंसान है, तो वह इस परीक्षण को पास कर लेती है। यह केवल एक मनोरंजन का खेल नहीं है; यह इस गंभीर प्रश्न के बारे में है कि क्या मशीनें वास्तव में हमारी तरह "सोच" सकती हैं। जैसे-जैसे आर्टिफिशियल इंटेलिजेंस कहानियाँ लिखने, गणित की समस्याओं को हल करने और एक दोस्त की तरह चैट करने में बेहतर होता जा रहा है, लोग पूछ रहे हैं: क्या हमने अंततः एक ऐसी मशीन बना ली है जो हमें मूर्ख बना सके? यदि हमने ऐसा कर लिया है, तो यह तकनीक, कानून और यहाँ तक कि मानव होने के अर्थ के बारे में हमारे दृष्टिकोण को बदल देता है।
अब, शोधकर्ताओं की एक टीम के बारे में सोचिए जिन्होंने इस बहस को एक बहुत ही सख्त, बहुत ही सावधानीपूर्वक प्रयोग के साथ सुलझाने का निर्णय लिया। वे देखना चाहते थे कि क्या एक शीर्ष स्तर का AI, जिसे GPT-4-Turbo के रूप में जाना जाता है, वास्तव में ट्यूरिंग टेस्ट पास कर सकता है। लेकिन यहाँ एक मोड़ है: उन्होंने केवल खेल खेला ही नहीं; उन्होंने इसे उस मूल, सख्त नियमों के अनुसार खेला जो 1950 में इस परीक्षण के निर्माता एलन ट्यूरिंग द्वारा लिखे गए थे। कई पिछले अध्ययनों ने दावा किया था कि AI ने टेस्ट पास कर लिया है, लेकिन शोधकर्ताओं को संदेह था कि वे खेल शॉर्टकट के साथ खेले गए थे, जैसे कि बातचीत को केवल पाँच मिनट के बाद ही छोटा कर देना। वे देखना चाहते थे कि क्या होता है जब वे समय की सीमा हटा देते हैं और बातचीत को स्वाभाविक रूप से बहने देते हैं, ठीक वैसे ही जैसे दोस्तों के बीच एक वास्तविक चैट होती है।
परिणाम आश्चर्यजनक और AI के प्रचार (hype) के लिए एक वास्तविकता की जाँच (reality check) की तरह थे। उनके कठोर प्रयोग में, मानव निर्णायक रोबोट को अक्सर पहचान लेते थे, लेकिन पूरी तरह से नहीं। उन 37 खेलों में जहाँ AI ने इंसान होने का नाटक किया, निर्णायक कंप्यूटर को 16 बार सही ढंग से पहचान पाए। यह मनुष्यों की सफलता दर 43% थी, जिसका अर्थ है कि AI ने अधिकांश खेलों में निर्णायकों को मूर्ख बनाया (57%)। हालाँकि, शोधकर्ताओं ने पाया कि निर्णायकों का प्रदर्शन यादृच्छिक अनुमान (random guessing) की तुलना में सांख्यिकीय रूप से महत्वपूर्ण था, फिर भी AI अधिकांश परीक्षणों में निर्णायकों को धोखा देने में सफल रहा। अध्ययन बताता है कि AI कितना भी प्रभावशाली क्यों न सुनाई दे, उसने अभी तक इंसान होने की कला में महारत हासिल नहीं की है, कम से कम इन सख्त परिस्थितियों में, क्योंकि यह निर्णायकों को धोखा देने में अधिक सफल रहा।
अध्ययन का सबसे दिलचस्प हिस्सा यह था कि इन खेलों में कितना समय लगा। पिछले प्रयोगों में अक्सर निर्णायकों को केवल पाँच मिनट में निर्णय लेने के लिए मजबूर किया जाता था। शोधकर्ताओं ने पाया कि जब उन्होंने निर्णायकों को समय दिया, तो खेल बहुत लंबे चले। औसतन, "इंसान बनाम रोबोट" के खेल लगभग 14 मिनट चले, जबकि "पुरुष बनाम महिला" के खेल और भी लंबे, लगभग 24 मिनट चले। यह बताता है कि अन्य अध्ययनों में उपयोग की गई पाँच मिनट की सीमा बहुत छोटी रही होगी, जिसने निर्णायकों को वास्तव में यह समझने से पहले ही अनुमान लगाने के लिए मजबूर किया कि कौन कौन है। पर्याप्त समय दिए जाने पर, निर्णायक काफी तेज थे कि वे रोबोट को अधिक बार पकड़ सकें, हालांकि AI अधिकांश बातचीत में अपना पक्ष बनाए रखने में सफल रहा।
शोधकर्ताओं ने यह भी देखा कि क्या AI किसी विशिष्ट प्रकार के व्यक्ति की तरह व्यवहार करके लोगों को धोखा दे सकता है, जैसे कि एक किशोर, जैसा कि कुछ पिछले अध्ययनों ने करने की कोशिश की थी। इन चालों के बावजूद, AI उनकी लंबी, बिना जल्दबाजी वाली बातचीत में उतना सफल नहीं रहा जितना कि छोटे परीक्षणों में रहा था। अध्ययन निष्कर्ष निकालता है कि यह दावा करना कि AI ने पहले ही ट्यूरिंग टेस्ट पास कर लिया है, संभवतः समय से पहले है। ऐसा नहीं है कि AI मूर्ख है; बस यह है कि जब आप मनुष्यों को सोचने और चैट करने के लिए पर्याप्त समय देते हैं, तो रोबोट का "मुखौटा" उतरने लगता है, भले ही वह पूरी तरह से न गिरे।
तो, इसका भविष्य के लिए क्या अर्थ है? शोधकर्ताओं का मानना है कि ट्यूरिंग टेस्ट यह जांचने के लिए एक महत्वपूर्ण उपकरण बना हुआ है कि क्या मशीनें वास्तव में बुद्धिमान हैं। वे सुझाव देते हैं कि हमें अभी AI की जीत घोषित करने में जल्दबाजी नहीं करनी चाहिए। इसके बजाय, हमें परीक्षण करते रहना चाहिए, अपने नियमों को परिष्कृत करना चाहिए, और कठिन प्रश्न पूछते रहना चाहिए। जैसा कि एक शोधकर्ता ने नोट किया, यह परीक्षण आने वाले वर्षों तक मशीन इंटेलिजेंस को समझने के हमारे तरीके का एक केंद्रीय हिस्सा बना रह सकता है। जब तक कोई AI बिना किसी समय के दबाव के, एक लंबी, सहज बातचीत में मानव निर्णायक को लगातार मूर्ख नहीं बना पाता, तब तक "क्या मशीनें सोच सकती हैं?" का प्रश्न खुला है, और रोबोट अभी भी कमरे में मौजूद एक छद्मवेषी (imposter) है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।