Rethinking the Evaluating Framework for Natural Language Understanding in AI Systems: Language Acquisition as a Core for Future Metrics

मुख्य विचार: यह पूछना बंद करें कि "क्या यह हमें धोखा दे सकता है?" और पूछना शुरू करें कि "क्या यह सीख सकता है?"

कल्पना कीजिए कि आप एक कुकिंग कॉन्टेस्ट के जज हैं। पिछले 70 वर्षों से, इसका स्वर्ण मानक (gold standard) ट्यूरिंग टेस्ट (Turing Test) रहा है। इस टेस्ट में, एक जज एक चैट विंडो के माध्यम से एक इंसान और एक मशीन से बात करता है। यदि जज यह नहीं बता पाता कि कौन कौन है, तो मशीन "पास" हो जाती है।

इस पेपर के लेखक तर्क देते हैं कि यह वैसा ही है जैसे किसी शेफ को केवल इस आधार पर आंकना कि क्या उनके प्लास्टिक के नकली फल एक अंधे व्यक्ति को भी असली लग सकते हैं। यह नकल (imitation) के बारे में है, वास्तविक कौशल के बारे में नहीं। सिर्फ इसलिए कि एक रोबोट मानव बातचीत की नकल कर सकता है, इसका मतलब यह नहीं है कि वह वास्तव में यह समझता है कि वह क्या कह रहा है। वह केवल एक बहुत अच्छा तोता हो सकता है।

लेखक AI को आंकने का एक नया तरीका प्रस्तावित करते हैं। यह पूछने के बजाय कि, "क्या यह मशीन इंसान होने का ढोंग कर सकती है?", हमें पूछना चाहिए, "क्या यह मशीन एक छोटे बच्चे की तरह शून्य से भाषा सीख सकती है?"

मुख्य रूपक (Metaphor): छोटा बच्चा बनाम पुस्तकालय

वर्तमान लार्ज लैंग्वेज मॉडल्स (LLMs) जैसे ChatGPT को एक विशाल पुस्तकालय की तरह समझें। उन्होंने अब तक लिखी गई लगभग हर किताब पढ़ ली है। यदि आप उनसे कोई प्रश्न पूछते हैं, तो वे आवश्यक रूप से उत्तर को "समझते" नहीं हैं; वे बस सांख्यिकीय रूप से (statistically) भविष्यवाणी करते हैं कि आपके द्वारा कहे गए शब्दों के बाद कौन से शब्द आमतौर पर आते हैं, जो पुस्तकालय में मौजूद डेटा पर आधारित है।

लेखक AI को एक छोटे बच्चे की तरह भाषा सीखते हुए परखना चाहते है।

• पुराना तरीका (ट्यूरिंग टेस्ट): बच्चे को एक स्क्रिप्ट थमा दें और देखें कि क्या वह उसे विश्वासपूर्ण तरीके से सुना सकता है।
• नया तरीका (भाषा अधिग्रहण - Language Acquisition): बच्चे को एक शिक्षक के साथ एक कमरे में रखें। उन्हें कोई किताबें, इंटरनेट या पहले से लोड किया गया डेटा न दें। शिक्षक एक कप की ओर इशारा करता है और कहता है, "कप।" बच्चे को दुनिया को देखकर, सवाल पूछकर और गलतियाँ करके यह समझना होगा कि "कप" का क्या अर्थ है।

पेपर का तर्क है कि वास्तविक बुद्धिमत्ता केवल पहले से लोड किए गए उत्तरों के बारे में नहीं है; यह अनुभव से समझ प्राप्त करने (acquire) की क्षमता के बारे में है।

"छोटा डेटा" (Small Data) क्यों महत्वपूर्ण है

यह पेपर "स्मॉल डेटा" की अवधारणा पर प्रकाश डालता है।

• बिग डेटा (वर्तमान AI): कल्पना कीजिए कि आप दूसरों को साइकिल चलाते हुए देखने के लिए 10 मिलियन घंटों के वीडियो देखकर साइकिल चलाना सीख रहे हैं। आप सिद्धांत तो जान सकते हैं, लेकिन आपने कभी संतुलन महसूस नहीं किया।
• स्मॉल डेटा (मानव-समान AI): कल्पना कीजिए कि आप वास्तव में एक साइकिल पर चढ़कर, गिरकर और फिर से कोशिश करके साइकिल चलाना सीख रहे हैं। आप कुछ विशिष्ट, सार्थक अनुभवों से सीखते हैं।

लेखक का दावा है कि मानव बच्चे अपेक्षाकृत कम उदाहरणों ("स्मॉल डेटा") से भाषा सीखते हैं क्योंकि वे वास्तविकता से जुड़े होते हैं। वे वस्तु को देखते हैं, उसकी बनावट महसूस करते हैं, और सामाजिक संकेतों को देखते हैं। वर्तमान AI नाजुक (brittle) है—जब इसे ऐसी चीज़ का सामना करना पड़ता है जो उसके विशाल प्रशिक्षण डेटा में नहीं थी, तो यह टूट जाता है। एक वास्तव में बुद्धिमान प्रणाली बहुत कम जानकारी के साथ नई स्थितियों के अनुकूल होने में सक्षम होनी चाहिए, ठीक वैसे ही जैसे एक इंसान।

प्रस्तावित "नया टेस्ट"

लेखक इस नए टेस्ट के लिए एक विशिष्ट ढांचा तैयार करते हैं। यह व्यवहार में कैसा दिखेगा:

1. कोरी स्लेट (The Blank Slate): AI भाषा या वातावरण के पूर्व-लोड किए गए ज्ञान के बिना शुरू होता है।
2. शिक्षक: एक इंसान (या दूसरा एजेंट) AI के साथ बातचीत करता है, मौखिक निर्देश देता है।
3. कार्य (The Task): AI को अपने परिवेश का वर्णन करना होगा, स्पष्टीकरण के लिए प्रश्न पूछने होंगे, और केवल उसी भाषा का उपयोग करके लक्ष्यों (जैसे किसी वस्तु को खोजना या पहेली सुलझाना) को प्राप्त करना होगा जिसे वह वास्तविक समय में सीख रहा है।
4. दूसरी भाषा की चुनौती: एक बार जब AI पहली भाषा में महारत हासिल कर लेता है, तो उसे एक दूसरी, पूरी तरह से अलग भाषा सीखनी होगी (शायद कोई ऐसी जो दुर्लभ या अनलिखित हो) ताकि यह साबित हो सके कि वह केवल पैटर्न को याद नहीं कर रहा है बल्कि भाषा की अवधारणा को वास्तव में समझता है।
5. कठोर शर्तें: टेस्ट एक नियंत्रित वातावरण (जैसे कि बाहरी संकेतों को रोकने के लिए "फैराडे केज") में होता है ताकि यह सुनिश्चित हो सके कि AI ऑनलाइन उत्तर खोजकर धोखाधड़ी नहीं कर रहा है।

टेस्ट के लिए प्रमुख आवश्यकताएं

यह सुनिश्चित करने के लिए कि यह टेस्ट निष्पक्ष और वैज्ञानिक हो, लेखक कुछ नियम सूचीबद्ध करते हैं:

• पुनरुत्पादकता (Reproducibility): अन्य वैज्ञानिकों को भी वही टेस्ट चलाने और समान परिणाम प्राप्त करने में सक्षम होना चाहिए।
• पारदर्शिता (Transparency): प्रत्येक बातचीत, गलती और सफलता को रिकॉर्ड किया जाना चाहिए।
• "क्लेवर हंस" (Clever Hans) जैसी चालें नहीं: इतिहास में, 'क्लेवर हंस' नाम के एक घोड़े ने गणित करना दिखाया था, लेकिन वह वास्तव में अपने मालिक के सूक्ष्म शारीरिक संकेतों को पढ़ रहा था। टेस्ट को यह सुनिश्चित करना चाहिए कि AI वास्तव में समझ रहा है, न कि केवल जजों के आकस्मिक संकेतों को पकड़ रहा है।
• कल्याण (Well-being): टेस्ट को यह भी मापना चाहिए कि क्या AI "फल-फूल" (thriving) रहा है या अनुकूलन कर रहा है, न कि केवल जीवित रह रहा है।

बड़ा परिप्रेक्ष्य: अस्तित्व के लिए एक उपकरण के रूप में भाषा

पेपर जीव विज्ञान और दर्शन का सहारा लेकर यह तर्क देता है कि भाषा केवल कोड नहीं है; यह अस्तित्व (survival) का एक उपकरण है। मनुष्यों ने सहयोग करने और जीवित रहने के लिए भाषा विकसित की। इसलिए, एक AI जो वास्तव में भाषा प्राप्त कर सकता है, वह बुद्धिमत्ता के गहरे रूप को प्रदर्शित कर रहा है—जो इसके वातावरण से जुड़ा है, सामाजिक संपर्क करने में सक्षम है, और परिवर्तन के अनुकूल होने में सक्षम है।

सारांश

संक्षेप में, लेखक कह रहे हैं:
AI को इस बात पर टेस्ट करना बंद करें कि वह अपनी कृत्रिम प्रकृति को कितनी अच्छी तरह छिपा सकता है। इसे इस बात पर टेस्ट करना शुरू करें कि वह एक बच्चे की तरह कितनी अच्छी तरह सीख सकता है, अनुकूलित हो सकता है और अपने आस-पास की दुनिया को समझ सकता है।

उनका मानना है कि यदि हम अपना ध्यान नकल (इंसान जैसा दिखना) से हटाकर अधिग्रहण (इंसान की तरह सीखना) पर केंद्रित करेंगे, तो हमें इस बात का बहुत बेहतर, अधिक ईमानदार और अधिक उपयोगी पैमाना मिलेगा कि एक मशीन के वास्तव में बुद्धिमान होने का क्या अर्थ है।