Developmental Trajectories of Situation Modeling and Mentalizing in Transformer Language Models
यह शोध पत्र एक विकासात्मक परिप्रेक्ष्य का उपयोग करते हुए यह प्रदर्शित करता है कि जबकि लार्ज लैंग्वेज मॉडल्स (Large Language Models) अंततः स्केलिंग और पोस्ट-ट्रेनिंग के माध्यम से फॉल्स-बिलीफ टास्क (false-belief task) प्रदर्शन और सिचुएशन मॉडलिंग क्षमताएं प्राप्त कर लेते हैं, ये मेंटलाइजिंग क्षमताएं नाजुक बनी रहती हैं और नॉन-फैक्टिव वर्ब्स (non-factive verbs) जैसे भाषाई संकेतों के प्रति संवेदनशील रहती हैं, जो मजबूत मूल्यांकन के लिए स्ट्रेस-टेस्टिंग और विकासात्मक विश्लेषण की आवश्यकता को रेखांकित करती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जादू का खेल देख रहे हैं जहाँ एक जादूगर एक डिब्बे से गेंद को टोपी में डालता है। खेल देख रहे एक बच्चे को पता है कि गेंद टोपी में है। लेकिन यदि किसी अन्य व्यक्ति से, जिसने यह बदलाव नहीं देखा, पूछा जाए कि गेंद कहाँ है, तो वह अभी भी सोचेगा कि गेंद डिब्बे में है।
यह उस चीज़ का मूल है जिसे मनोवैज्ञानिक "मेंटलाइज़िंग" (mentalizing) कहते हैं: यह समझना कि अन्य लोगों के अपने विचार और विश्वास होते हैं, जो वास्तविकता से अलग या आपके अपने विचारों से अलग हो सकते हैं।
यह शोध पत्र एक सरल प्रश्न पूछता है: क्या एआई भाषा मॉडल (जैसे वे जिनसे आप चैट करते हैं) वास्तव में इस जादू को समझते हैं, या वे केवल अनुमान लगा रहे हैं?
यह जानने के लिए, शोधकर्ताओं ने केवल एआई के अंतिम उत्तर को नहीं देखा। इसके बजाय, उन्होंने एआई को "बढ़ते हुए" देखा, जैसे कि एक बच्चा बढ़ता है, उसके प्रशिक्षण के पहले दिनों से लेकर उसके अंतिम, परिष्कृत संस्करण तक। उन्होंने एक विकासात्मक दृष्टिकोण का उपयोग किया, जिससे यह ट्रैक किया जा सके कि समय के साथ एआई के कौशल कैसे बदले।
यहाँ शोध के निष्कर्षों की कहानी दी गई है, जिसे रोजमर्रा के उपमाओं के माध्यम से समझाया गया है:
1. सफलता के लिए "दो-सामग्री" वाला नुस्खा
शोधकर्ताओं ने एआई मॉडलों के दो अलग-अलग परिवारों का परीक्षण किया: Olmo2 (जिसने किताबों का एक विशाल पुस्तकालय पढ़ा था) और Pythia (जिसने बहुत छोटा पुस्तकालय पढ़ा था)।
उन्होंने पाया कि "जादू के खेल" (फॉल्स बिलीफ टास्क/गलत विश्वास कार्य) में कुशल होने के लिए, एक एआई को एक साथ दो चीजों की आवश्यकता थी:
- बड़ा मस्तिष्क आकार: इसे एक बड़ा मॉडल चाहिए था।
- बहुत अधिक पढ़ना: इसे बहुत सारा टेक्स्ट (पाठ) पढ़ना था।
उपमा: इसे केक बनाने की तरह समझें। यदि आपके पास एक विशाल ओवन (एक बड़ा मॉडल) है लेकिन आटा (पर्याप्त प्रशिक्षण डेटा) नहीं है, तो आप केक नहीं बना सकते। यदि आपके पास पर्याप्त आटा है लेकिन एक छोटा टोस्टर ओवन (एक छोटा मॉडल) है, तो भी आप केक नहीं बना सकते। वास्तविक समझ जैसा परिणाम पाने के लिए आपको बड़े ओवन और आटे, दोनों की आवश्यकता होती है।
2. "देर से खिलने वाला" (The Late Bloomer)
एआई ने यह कौशल जल्दी नहीं सीखा। लाखों पन्ने पढ़ने के बाद भी, एआई अभी भी रैंडमली (यादृच्छिक रूप से) अनुमान लगा रहा था। यह केवल प्रशिक्षण के बहुत अंतिम चरणों में हुआ—जब यह पहले ही व्याकरण और तथ्यों को सीख चुका था—कि इसने "जादू के खेल" को सही ढंग से समझना शुरू किया।
उपमा: कल्पना कीजिए कि एक छात्र वर्षों तक शब्दकोश रटता है और सटीक वाक्य लिखना सीखता है। केवल इसके बाद ही वह अंततः यह समझना शुरू करता है कि कहानी में एक पात्र झूठ क्यों बोल रहा है। "मस्तिष्क समझने" का कौशल एआई की शिक्षा के बहुत अंत में आया।
3. "नाजुक" समझ
यहाँ मामला पेचीदा हो जाता है। एआई की विश्वासों को समझने की क्षमता बहुत नाजुक थी। यह ताश के पत्तों के घर की तरह था जो हवा के एक झोंके से ढह सकता है।
शोधकर्ताओं ने पाया कि यदि वे प्रश्न में केवल एक शब्द बदल देते—जैसे कि "सोचता है" (thinks) शब्द का उपयोग करना (उदाहरण के लिए, "डेव सोचता है कि गेंद डिब्बे में है")—तो एआई भ्रमित हो जाता, भले ही कहानी सरल हो।
उपमा: कल्पना कीजिए कि एक छात्र गणित की समस्या को पूरी तरह से हल कर सकता है। लेकिन यदि आप समस्या को एक विशिष्ट फॉन्ट में लिखते हैं, तो वह इसे सही करता है। यदि आप फॉन्ट को थोड़ा सा भी बदल देते हैं, तो वह अचानक गणित करना भूल जाता है। एआई वास्तव में पात्र के मन के बारे में "सोच" नहीं रहा था; वह "सोचता है" जैसे विशिष्ट शब्दों के प्रति प्रतिक्रिया दे रहा था जैसे कि वे कोई जादुई ट्रिगर हों।
4. "सीन बिल्डर" बनाम "माइंड रीडर"
शोधकर्ताओं ने यह भी परीक्षण किया कि क्या एआई एक "सिचुएशन मॉडल" (स्थिति मॉडल) बना सकता है। यह एक फैंसी तरीका है यह पूछने का: क्या एआई कहानी के बुनियादी तथ्यों को याद रख सकता है? (जैसे, "गेंद को किसने हटाया?" या "गेंद अंततः कहाँ पहुँची?")
खोज:
- एआई मस्तिष्क (विश्वासों) को समझने में कुशल होने से पहले तथ्यों (दृश्य/सीन) को याद रखने में बहुत अच्छा हो गया।
- हालाँकि, तथ्यों के बारे में एआई की स्मृति भी अव्यवस्थित थी। जब उस व्यक्ति के बारे में पूछा गया जिसने वास्तव में गेंद को हटाया था (विरोधी/Antagonist), तो एआई अक्सर भ्रमित हो गया। वह किसने क्या किया, इसमें गड़बड़ी करने लगा, भले ही उसने अभी-अभी "माइंड-रीडिंग" परीक्षण में सही अनुमान लगाया था।
उपमा: एक जासूस की कल्पना करें जो आपको बता सकता है कि चोरी हुई कार कहाँ पार्क की गई थी (तथ्य) और वह अनुमान लगा सकता है कि एक चोर कार के बारे में क्या सोचता था (मन)। लेकिन यदि आप जासूस से पूछते हैं, "वास्तव में कार किसने चुराई?" तो वह भ्रमित हो जाता है और गलत व्यक्ति की ओर इशारा करता है। एआई का कहानी का आंतरिक मानचित्र आंशिक रूप से टूटा हुआ था; वह टुकड़ों को देख सकता था, लेकिन वह उन्हें हमेशा एक सुसंगत पूर्णता में नहीं जोड़ पाता था।
निचोड़
शोध पत्र यह निष्कर्ष निकालता है कि हालांकि बड़े, अच्छी तरह से प्रशिक्षित एआई मॉडल अंततः उन परीक्षणों को पास कर सकते हैं जो दिखाते हैं कि वे मानवीय विश्वासों को समझते हैं, लेकिन यह क्षमता:
- देर से आने वाली है: इसे विकसित होने के लिए बहुत प्रशिक्षण की आवश्यकता होती है।
- नाजुक है: यह शब्दों के छोटे बदलावों के साथ टूट जाती है।
- असंगत है: कहानी के तथ्यों और पात्रों के मन की एआई की समझ हमेशा पूरी तरह से मेल नहीं खाती है।
सीख: एआई अनिवार्य रूप से मनुष्यों की तरह दूसरे लोगों के दिमाग के बारे में "सोच" नहीं रहा है। इसके बजाय, यह पैटर्न और शॉर्टकट के संग्रह का उपयोग कर रहा है। यह एक ऐसे तोते की तरह है जिसने सही समय पर सही शब्द बोलना सीख लिया है, लेकिन शायद वह उनके पीछे के गहरे अर्थ को पूरी तरह से नहीं समझता। शोधकर्ता सुझाव देते हैं कि यदि हमें यह जानना है कि एआई वास्तव में "स्मार्ट" है या नहीं, तो हमें केवल उसके अंतिम स्कोर को देखने के बजाय यह देखना होगा कि वह समय के साथ कैसे सीखता है और उसे कठिन परिस्थितियों में टेस्ट (stress-test) करना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।