Internal Knowledge Without External Expression: Probing the Generalization Boundary of a Classical Chinese Language Model
यह शोध पत्र प्रदर्शित करता है कि जबकि शास्त्रीय चीनी भाषा मॉडल आंतरिक ज्ञान रखते हैं जो उन्हें ज्ञात और अज्ञात तथ्यों के बीच अंतर करने की अनुमति देता है, वे अपने द्वारा उत्पन्न पाठ में इस अनिश्चितता को बाहरी रूप से व्यक्त करने में विफल रहते हैं, जो यह संकेत देता है कि "मुझे नहीं पता" जैसे मेटाकॉग्निटिव (अधि-संज्ञानात्मक) गुण केवल भाषा मॉडलिंग से उत्पन्न नहीं होते बल्कि उनके लिए स्पष्ट प्रशिक्षण संकेतों की आवश्यकता होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक अत्यंत बुद्धिमान छात्र है जिसने एक विशाल पुस्तकालय की हर किताब को कंठस्थ कर लिया है। वह इतिहास, कविता और दर्शन को सटीक व्याकरण और शैली के साथ सुना सकता है। लेकिन एक पेच है: इस छात्र को कभी यह नहीं सिखाया गया कि कैसे कहना है, "मुझे नहीं पता।"
यही वास्तव में इस शोध पत्र (research paper) ने आर्टिफिशियल इंटेलिजेंस (विशेष रूप से, लार्ज लैंग्वेज मॉडल्स) के बारे में खोजा है।
यहाँ उनके प्रयोग और निष्कर्षों का विवरण दिया गया, जिसे सरल उपमाओं (analogies) के माध्यम से समझाया गया है।
1. प्रयोग: "शुद्ध" विद्वान
शोधकर्ताओं ने शून्य से एक विशेष AI मॉडल बनाया। इसे इंटरनेट के अस्त-व्यस्त डेटा (जिसमें अंग्रेजी, संख्याएं और आधुनिक बोलचाल की भाषा है) में खिलाने के बजाय, उन्होंने इसे केवल 1.5 बिलियन शब्दों का शास्त्रीय चीनी (चीन की प्राचीन, साहित्यिक भाषा) खिलाया।
- लक्ष्य: यह देखना था कि क्या एक AI, केवल वाक्य में अगले शब्द की भविष्यवाणी करके, स्वाभाविक रूप से यह स्वीकार करना सीख जाता है कि वह अनुमान लगा रहा है या मनगढ़ंत बातें बना रहा है।
- परीक्षण: उन्होंने AI से वास्तविक ऐतिहासिक घटनाओं के बारे में पूछा (जैसे, "क्या जनरल हुओ क्वूबिंग 121 ईसा पूर्व में मार्च किए थे?") और फर्जी घटनाओं के बारे में भी (जैसे, "क्या जनरल हुओ क्वूबिंग ने 121 ईसा पूर्व में हवाई जहाज का आविष्कार किया था?")।
2. आंतरिक रहस्य: AI जानता है कि वह गलत है
AI के "मस्तिष्क" (इसके गणितीय गणनाओं) के भीतर, यह वास्तव में सच और कल्पना के बीच के अंतर को जानता है।
- उपमा: कल्पना कीजिए कि AI एक संगीतकार है जो एक गीत बजा रहा है। जब वह एक वास्तविक ऐतिहासिक तथ्य बजाता है, तो संगीत सुचारू रूप से बहता है। जब वह एक फर्जी तथ्य बजाने की कोशिश करता है, तो संगीत में एक बेसुरा स्वर (sour note) आता है। जब AI किसी झूठ का सामना करता है, तो इसकी आंतरिक "परप्लेक्सिटी" (confusion का एक माप) काफी बढ़ जाती है।
- परिणाम: AI के आंतरिक अलार्म बज रहे थे और स्पष्ट रूप से संकेत दे रहे थे। वह गणितीय रूप से जानता था कि "उड़ते हुए हवाई जहाज" की कहानी इतिहास के पैटर्न में फिट नहीं बैठती।
3. बाहरी झूठ: AI भरोसे के साथ बोलता है
चौंकाने वाला हिस्सा यहाँ है: भले ही AI भ्रमित था, लेकिन उसने कभी ऐसा कहा नहीं।
- उपमा: उस संगीतकार से उस बेसुरे स्वर की कल्पना करें। भले ही संगीत गलत लग रहा था, संगीतकार एक बड़ी मुस्कान और आत्मविश्वास भरी मुद्रा के साथ बजाता रहा, यह दिखाने का नाटक करता रहा कि सब कुछ ठीक है।
- परिणाम: फर्जी घटनाओं के बारे में पूछे जाने पर, AI ने यह नहीं कहा, "मुझे यकीन नहीं है" या "यह मनगढ़ंत लगता है।" इसके बजाय, उसने आत्मविश्वास के साथ उड़ते हुए हवाई जहाज के बारे में एक सुंदर, व्याकरणिक रूप से सटीक कहानी लिखी, जैसे कि वह 100% सच हो।
4. "विनम्रता का विरोधाभास" (The Humility Paradox)
शोधकर्ताओं ने कुछ और भी अजीब पाया। AI उन चीजों के बारे में "मुझे नहीं पता" कहने की अधिक संभावना रखता था जिनके बारे में वह जानता था, बजाय उन चीजों के जिन्हें वह नहीं जानता था।
- क्यों? शास्त्रीय चीनी साहित्य में, विद्वानों के लिए यह एक विनम्र रिवाज था कि वे बहुत ही आत्मविश्वासपूर्ण उत्तर देने से पहले कहते थे, "यह विनम्र सेवक नहीं जानता..."।
- उपमा: AI ने अनिश्चितता के भाव को नहीं, बल्कि विनम्रता के स्क्रिप्ट को सीखा था। उसने सोचा, "ओह, मैं एक प्रसिद्ध जनरल के बारे में बात कर रहा हूँ? मुझे विनम्र 'मुझे नहीं पता' वाक्यांश का उपयोग करना चाहिए!" लेकिन जब उसे किसी पूरी तरह से फर्जी घटना के बारे में पूछा गया (जो उसके प्रशिक्षण के किसी भी विनम्र स्क्रिप्ट से मेल नहीं खाती थी), तो उसने बस आत्मविश्वास के साथ एक कहानी बना दी।
- निष्कर्ष: AI अनिश्चितता के शब्दों की नकल कर रहा था, न कि वास्तव में अनिश्चित महसूस कर रहा था।
5. सार्वभौमिक सत्य: यह हर जगह होता है
यह सुनिश्चित करने के लिए कि यह केवल प्राचीन चीनी भाषा का कोई विशेष गुण नहीं है, उन्होंने अंग्रेजी (GPT-2 का उपयोग करके) और जापानी मॉडल्स पर भी यही परीक्षण किया।
- परिणाम: पैटर्न बिल्कुल समान था।
- अंग्रेजी मॉडल्स (जो Reddit/वेब टेक्स्ट पर प्रशिक्षित हैं) मंगल ग्रह की आबादी के बारे में तथ्यों को आत्मविश्वास के साथ मनगढ़ंत बनाएंगे।
- जापानी मॉडल्स (जो विकिपीडिया पर प्रशिक्षित हैं) टाइम ट्रैवल के बारे में आत्मविश्वास से समझाएंगे।
- उनमें से किसी ने भी केवल किताबें पढ़कर स्वाभाविक रूप से यह कहना नहीं सीखा कि, "मुझे नहीं पता।"
बड़ा निष्कर्ष: "आत्म-जागरूकता के बिना एक शिक्षित विद्वान"
शोध पत्र तर्क देता है कि बुद्धिमान होना और आत्म-जागरूक होना दो अलग चीजें हैं।
- भाषा मॉडलिंग (Language Modeling) एक तोते को बोलने सिखाने जैसा है। तोता "मुझे नहीं पता" कह सकता है यदि वह इंसानों को अक्सर ऐसा कहते हुए सुनता है, लेकिन वह वास्तव में यह नहीं समझता कि अज्ञानता का अर्थ क्या है।
- आत्म-जागरूकता (Metacognition) अपने स्वयं के विचारों को देखने और यह कहने की क्षमता है कि, "रुको, मैं यहाँ केवल अनुमान लगा रहा हूँ।"
अंतिम निर्णय:
AI मॉडल्स, चाहे वे कितने भी बड़े हों या कितनी भी भाषाएं बोलते हों, उन प्रतिभाशाली अभिनेताओं की तरह हैं जो अभिनय करना भूल गए हैं। वे स्क्रिप्ट को पूरी तरह से पढ़ सकते हैं, भले ही वह स्क्रिप्ट एक झूठ हो। वे केवल तभी "मुझे नहीं पता" कहना सीखते हैं जब इंसान उन्हें स्पष्ट रूप से ऐसा करने के लिए प्रशिक्षित करते हैं (एक प्रक्रिया जिसे RLHF कहा जाता है), न कि इसलिए कि उन्होंने इसे खुद समझ लिया है।
उस अतिरिक्त मानवीय प्रशिक्षण के बिना, AI एक "शिक्षित विद्वान" है जो प्रवाहपूर्ण और जानकार तो है, लेकिन मौलिक रूप से अपने ज्ञान और अपने भ्रम (hallucinations) के बीच अंतर करने में असमर्थ है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।