Behaviour Is an Incomplete Measure of Reasoning Development: Cross-surface pre-arrival accessibility and the limits of developmental inference in a recurrent-depth reasoner
यह शोध पत्र यह प्रदर्शित करता है कि एक पुनरावर्ती-गहराई वाले तर्ककर्ता (recurrent-depth reasoner) में, आंतरिक छिपी हुई अवस्था के प्रोब (internal hidden-state probes), तर्क करने की क्षमताओं का पता दृश्य व्यवहार में प्रकट होने से बहुत पहले ही लगा सकते हैं, जिससे यह स्पष्ट होता है कि व्यवहार संबंधी सीमाएँ और डिकोडर सुलभता, तर्क के वास्तविक विकासात्मक कालक्रम के अपूर्ण और भिन्न माप हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस के तेजी से विकसित होते क्षेत्र में, शोधकर्ता अक्सर एक मौलिक प्रश्न का सामना करते हैं: वास्तव में एक मशीन ने कब कुछ सीखा है? वर्षों से, मानक उत्तर व्यवहार संबंधी रहा है। यदि कोई कंप्यूटर प्रोग्राम उस प्रश्न का सही उत्तर दे पाता है जिसे उसने पहले कभी नहीं देखा है, तो हम मान लेते हैं कि उसने उस तर्क कौशल को प्राप्त कर लिया है जो इसे करने के लिए आवश्यक है। हम आउटपुट देखते हैं, अंतिम उत्तर देखते हैं, और उस क्षमता की घोषणा कर देते हैं। हालाँकि, यह दृष्टिकोण मशीन के मस्तिष्क को एक 'ब्लैक बॉक्स' की तरह मानता है, यह मानकर कि जिस क्षण सही उत्तर प्रकट होता है, उसे समझने की आंतरिक प्रक्रिया बस तभी संपन्न हुई होगी। यह शोध पत्र उस धारणा को चुनौती देता है और मशीन के भीतर देखते हुए यह सवाल उठाता है कि क्या समस्या को हल करने की क्षमता मशीन द्वारा बाहर प्रदर्शित करने में सक्षम होने से बहुत पहले ही आंतरिक रूप से मौजूद होती है। शोधकर्ता केवल यह नहीं देख रहे हैं कि मशीन क्या करती है; वे यह माप रहे हैं कि मशीन क्या जानती है, भले ही वह इसे अभी तक सिद्ध न कर सके।
दांव पर लगी स्थिति को समझने के लिए, कल्पना कीजिए कि आप एक नई भाषा सीखने की कोशिश कर रहे हैं। आप महीनों तक शब्दावली और व्याकरण के नियमों को याद करने में बिता सकते हैं, फिर भी बातचीत करने में विफल रह सकते हैं। केवल आपके भाषण को देखने वाला शिक्षक यह निष्कर्ष निकाल सकता है कि आपने कुछ भी नहीं सीखा है। लेकिन यदि आप अपने मस्तिष्क में झाँक पाते, तो आप पाते कि भाषा के लिए तंत्रिका पथ (न्यूरल पाथवे) पहले से ही बन रहे हैं, जो उन्हें जोड़ने के लिए एक अंतिम चिंगारी का इंतजार कर रहे हैं। यही वह अंतराल है जिसकी शोधकर्ताओं ने जांच की। उन्होंने एक विशेष कंप्यूटर मॉडल बनाया जिसे संबंधों की श्रृंखलाओं वाले तार्किक पहेलियों को हल करने के लिए डिज़ाइन किया गया था, जैसे कि यह पता लगाना कि परिवार के वृक्ष में कौन किससे संबंधित है। उन्होंने इस मॉडल को दो अलग-अलग तरीकों से प्रशिक्षित किया: एक जहाँ संबंधों को अमूर्त, अर्थहीन प्रतीकों का उपयोग करके वर्णित किया गया था, और दूसरा जहाँ उन्हीं संबंधों को अंग्रेजी जैसी वाक्यों का उपयोग करके वर्णित किया गया था। लक्ष्य यह देखना था कि सूचना प्रस्तुत करने के तरीके से मॉडल के सीखने की गति कैसे बदलती है, और क्या मॉडल की आंतरिक अवस्था उस ज्ञान को प्रकट करती है जिसे वह अभी प्रदर्शित नहीं कर सकता।
परिणाम चौंकाने वाले और विरोधाभासी थे। जब मॉडल को अमूर्त प्रतीकों पर प्रशिक्षित किया गया, तो उसने केवल सत्तर प्रशिक्षण चक्रों में तीन-चरणीय तार्किक पहेलियों में महारत हासिल कर ली। जब उसी मॉडल को, बिल्कुल उसी प्रशिक्षण योजना के साथ, अंग्रेजी जैसे वाक्यों पर प्रशिक्षित किया गया, तो उसे उसी स्तर की दक्षता तक पहुँचने में तेरह हजार से अधिक चक्र लगे। यह एक सौ अस्सी गुना से भी अधिक का अंतर है। फिर भी, जब वाक्य-प्रशिक्षित मॉडल ने अंततः तीन-चरणीय पहेली को सुलझा लिया, तो उसने चार-चरणीय संस्करण को केवल आठ चक्रों में हल कर लिया। यह सुझाव देता है कि मॉडल ने हजारों चक्रों तक एक कठिन चरण से जूझने में बिताए, जिसमें वह कोई प्रगति नहीं कर रहा था, और फिर अचानक कठिन समस्याओं को हल करने की क्षमता अनलॉक कर ली। यदि किसी शोधकर्ता ने केवल अंतिम उत्तरों को देखा होता, तो उसने एक ऐसी मशीन देखी होती जो लंबे समय तक विफल रही और फिर अचानक सफल हो गई, जिससे वह संघर्ष के दौरान होने वाले आंतरिक विकास की पूरी छिपी हुई यात्रा को चूक जाता।
यह देखने के लिए कि उन लंबे, कठिन चक्रों के दौरान क्या हो रहा था, शोधकर्ताओं ने मॉडल की 'हिडन स्टेट्स' (hidden states) को देखा—डेटा के वे आंतरिक प्रतिनिधित्व जिनका उपयोग मशीन सोचने के लिए करती है। उन्होंने एक सरल उपकरण, एक 'लीनियर प्रोब' (linear probe) का उपयोग किया, जो एक डिकोडर की तरह कार्य करता है, यह जाँचने के लिए कि क्या सही उत्तर मशीन के मन में उस समय पहले से मौजूद था जब मशीन ने उसे आउटपुट किया। वाक्य-प्रशिक्षित सतह पर, यह प्रोब भविष्य के उत्तर की पहचान को एक छोटे लेकिन विश्वसनीय संकेत के साथ काफी पहले ही पकड़ सकता था, इससे पहले कि मॉडल स्वयं सही उत्तर देने में सक्षम होता। प्रोब ने पाया कि उत्तर के बारे में जानकारी आंतरिक रूप से सुलभ थी, भले ही मॉडल इसे अभी व्यक्त नहीं कर सकता था। यह आंतरिक सुलभता कोई इत्तेफाक नहीं थी; जब शोधकर्ताओं ने वापस अमूर्त प्रतीकों पर स्विच किया, तो उन्होंने मशीन की प्रोसेसिंग के विशिष्ट बिंदुओं पर सुलभता का वही पैटर्न पाया। मशीन उत्तर के बारे में जानकारी आंतरिक रूप से थामे हुए थी, जो उसे रिलीज करने के सही क्षण का इंतजार कर रही थी।
हालाँकि, इस अध्ययन ने इस प्रकार के सीखने को मापने के हमारे तरीके में एक महत्वपूर्ण सीमा को भी उजागर किया। शोधकर्ता यह ट्रैक करना चाहते थे कि यह आंतरिक ज्ञान समय के साथ कैसे मजबूत होता गया, जिससे मशीन के सीखने के वक्र (learning curve) का एक मानचित्र तैयार हो सके। हालाँकि, उन्होंने जल्द ही महसूस किया कि इस विशिष्ट माप को सटीक रूप से करना असंभव था। समस्या यह थी कि मशीन जिस प्रश्नों के समूह पर परीक्षण कर रही थी, वह लगातार बदल रहा था। जैसे-जैसे मशीन सीखती है, वह कुछ प्रश्नों के उत्तर देने में बेहतर होती जाती है, और उन प्रश्नों को परीक्षण समूह से हटा दिया जाता है। इसका अर्थ यह था कि मशीन की प्रगति को मापने की क्रिया स्वयं मापे जा रहे प्रश्नों की आबादी को बदल रही थी। यह एक धावक की प्रगति को केवल उन ट्रैक पर समय देकर मापने जैसा था जिन्हें उसने अभी तक पूरा नहीं किया है; जैसे-जैसे वे तेज होते हैं, ट्रैक बदल जाते हैं, जिससे समय के साथ उनकी गति की निष्पक्ष तुलना करना असंभव हो जाता है। शोधकर्ताओं ने सिद्ध किया कि इस विशिष्ट प्रकार का माप इस संदर्भ में मौलिक रूप से त्रुटिपूर्ण है, इसलिए नहीं कि मशीन ने नहीं सीखा, बल्कि इसलिए कि उसे ट्रैक करने की विधि ही दोषपूर्ण थी।
यह शोध पत्र निष्कर्ष निकालता है कि हम इस बात पर निर्भर नहीं रह सकते कि मशीन ने क्या सीखा है, इसे जानने का केवल एक ही तरीका है। व्यवहारिक सफलता, यानी सही उत्तर देने की क्षमता, केवल एक अवलोकन योग्य तथ्य है। आंतरिक सुलभता, यानी मशीन के भीतर उत्तर का पता लगाना, एक अन्य है। और समय के साथ विकास की वास्तविक प्रक्रिया एक तीसरी है, जिसे सीधे मापा नहीं जा सकता यदि माप की विधि स्वयं स्थितियों को बदल देती है। शोधकर्ताओं ने पाया कि एक मशीन के पास आंतरिक रूप से एक क्षमता हो सकती है जो उसे प्रदर्शित करने से बहुत पहले मौजूद होती है, और उस क्षमता तक पहुँचने का मार्ग इस बात पर पूरी तरह निर्भर करता है कि समस्या को कैसे प्रस्तुत किया गया है। सबसे महत्वपूर्ण बात यह है कि उन्होंने दिखाया कि केवल मशीन का अवलोकन करना, चाहे वह कितनी भी बारीकी से क्यों न हो, उस गणना (computation) को समझने के लिए पर्याप्त नहीं है जिसे उसने प्राप्त किया है। यह जानने के लिए कि मशीन ने वास्तव में क्या सीखा है, हमें अवलोकन से आगे बढ़ना होगा और सीधे मशीन की आंतरिक अवस्थाओं में हस्तक्षेप करना होगा, यह देखने के लिए कि क्या वे उसके व्यवहार का वास्तविक कारण हैं। जब तक ऐसा नहीं होता, इन प्रणालियों का आंतरिक जीवन आंशिक रूप से छिपा हुआ रहेगा, भले ही वे अंततः सही उत्तर दे रही हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।