Emergent Semantic Role Understanding in Language Models
यह शोध पत्र यह प्रदर्शित करता है कि लीनियर प्रोब्स (linear probes) द्वारा प्रमाणित, प्री-ट्रेनिंग के दौरान फ्रोजन डिकोडर-ओनली ट्रांसफॉर्मर में सिमेंटिक रोल (semantic role) की समझ आंशिक रूप से उभरती है, हालांकि पूर्ण प्रदर्शन के लिए फाइन-ट्यूनिंग की आवश्यकता होती है और मॉडल स्केल बढ़ने के साथ इन भूमिकाओं का आंतरिक प्रतिनिधित्व तेजी से वितरित होता जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बच्चे को कहानियाँ समझना सिखा रहे हैं। आपके पास दो विकल्प हैं:
- "पढ़ो और सीखो" विधि: बच्चे को अपने आप हज़ारों किताबें पढ़ने दें, इस उम्मीद में कि वह स्वाभाविक रूप से समझ जाएगा कि किसने क्या किया।
- "ड्रिल" विधि: पढ़ने के बाद, आप उसे पास बिठाते हैं और स्पष्ट रूप से सिखाते हैं, "इस वाक्य में, कुत्ता 'कर्ता' (doer) है, और गेंद वह चीज़ है जिसे लात मारी जा रही है।"
यह शोध पत्र एक बड़ा सवाल पूछता है: क्या बड़े भाषा मॉडल (LLMs) (जो "बच्चे" हैं) केवल पढ़कर (प्री-ट्रेनिंग के दौरान) "किसने क्या किया" वाले तर्क को समझ जाते हैं, या उन्हें विशिष्ट कार्यों के साथ "ड्रिल" (फाइन-ट्यूनिंग) की आवश्यकता होती है?
शोधकर्ताओं, कार्ला ग्रिफिथ्स और मिर्को मुसोलेसी ने यह पता लगाने के लिए एक प्रयोग किया। उन्होंने इसे कैसे किया और उन्होंने क्या खोजा, इसे सरल शब्दों में यहाँ समझाया गया है।
प्रयोग: "फ्रोजन ब्रेन" (जमा हुआ मस्तिष्क) टेस्ट
यह देखने के लिए कि क्या मॉडल ने यह तर्क अपने आप सीखा, शोधकर्ताओं ने एक चतुर तरकीब का इस्तेमाल किया। उन्होंने एक ऐसे मॉडल को लिया जिसने अपना ट्रेनिंग डेटा (प्री-ट्रेनिंग) पूरा कर लिया था और उसके मस्तिष्क को "फ्रीज" (जमा) कर दिया। उन्होंने उसके मस्तिष्क को कुछ भी नया सीखने या बदलने की अनुमति नहीं दी।
फिर, उन्होंने उस फ्रीज किए गए मस्तिष्क से एक बहुत ही सरल, छोटा "प्रोब" (जैसे कि एक बुनियादी प्रश्न-उत्तर उपकरण) जोड़ा और उससे वाक्यों में भूमिकाओं को पहचानने के लिए कहा (जैसे, "सैर पर कौन गया?")।
- यदि फ्रीज किया गया मस्तिष्क अच्छा उत्तर दे सका: तो इसका मतलब है कि मॉडल ने यह तर्क केवल पढ़कर सीख लिया।
- यदि फ्रीज़ किया गया मस्तिष्क विफल रहा: तो इसका मतलब है कि मॉडल ने यह तर्क केवल तभी सीखा जब बाद में उसे विशिष्ट कार्यों के साथ "ड्रिल" (फाइन-ट्यूनिंग) कराया गया।
उन्होंने इसे चार अलग-अलग आकारों के मॉडलों पर टेस्ट किया, एक छोटे "पिल्ले" (0.4 मिलियन पैरामीटर्स) से लेकर एक "मध्यम आकार के कुत्ते" (57 मिलियन पैरामीटर्स) तक।
निष्कर्ष: उन्होंने क्या खोजा?
1. तर्क पहले से ही मौजूद है (लेकिन पूर्ण नहीं है)
शोधकर्ताओं ने पाया कि फ्रीज किए गए मस्तिष्क भी रैंडम अनुमान लगाने की तुलना में सवालों के जवाब बहुत बेहतर तरीके से दे सके।
- उपमा: कल्पना करें कि एक छात्र ने पुस्तकालय की किताबें पढ़ी हैं लेकिन कभी कोई परीक्षा नहीं दी। जब आप उसे एक साधारण क्विज़ देते हैं, तो वह केवल अपनी पढ़ाई के आधार पर लगभग 60% उत्तर सही देता है। उसे नियमों को समझाने के लिए शिक्षक की आवश्यकता नहीं थी; नियम पहले से ही उसके दिमाग में थे।
- परिणाम: सिमेंटिक रोल अंडरस्टैंडिंग (यह जानना कि "किसने क्या किया") प्री-ट्रेनिंग चरण के दौरान उभरता है। यह ऐसी चीज़ नहीं है जो विशिष्ट प्रशिक्षण के बाद ही आती है।
2. बड़े मस्तिष्क को अधिक "ड्रिल" की आवश्यकता होती है
यहाँ एक मोड़ है: जैसे-जैसे मॉडल बड़े होते गए, "फ्रीज किए गए मस्तिष्क" और "पूर्ण रूप से प्रशिक्षित मस्तिष्क" के बीच का अंतर वास्तव में थोड़ा बढ़ गया।
- उपमा: छोटे मॉडल की कल्पना करें जो केवल पढ़कर नियमों को पूरी तरह से याद कर लेता है। बड़ा मॉडल एक प्रतिभाशाली छात्र की तरह है जिसने पुस्तकालय पढ़ा है, लेकिन उसका मस्तिष्क इतना जटिल और अन्य सूचनाओं से भरा है कि उसे अपनी जानकारी को कुशलतापूर्वक व्यवस्थित करने के लिए थोड़े विशिष्ट कोचिंग की आवश्यकता होती है।
- परिणाम: हालांकि बड़े मॉडलों के पास जानकारी थी, उन्हें इसे पूरी तरह से अनलॉक करने के लिए फाइन-ट्यूनिंग की आवश्यकता थी। "ड्रिल्स" ने उन्हें उनके विशाल ज्ञान आधार को बेहतर ढंग से व्यवस्थित करने में मदद की।
3. "किसने क्या किया" वाले न्यूरॉन्स
शोधकर्ताओं ने यह देखने के लिए मॉडल के अंदर झाँका कि वे इस जानकारी को कैसे संग्रहीत करते हैं। उन्होंने पाया कि न्यूरॉन्स के विशिष्ट समूह थे जो विशेषज्ञों की तरह काम करते थे।
- "समय" के विशेषज्ञ: कुछ न्यूरॉन्स समर्पित समयपालों (timekeepers) की तरह थे। मॉडल चाहे कितना भी बड़ा क्यों न हो जाए, ये न्यूरॉन्स हमेशा यह समझने के लिए महत्वपूर्ण थे कि चीजें कब हुईं।
- "कर्ता" (एजेंट) के विशेषज्ञ: यह सबसे आश्चर्यजनक हिस्सा था।
- छोटे मॉडलों में, विशिष्ट न्यूरॉन्स "कर्ता" के विशेषज्ञ थे। यदि आप उन्हें बंद कर देते, तो मॉडल भूल जाता कि किसने क्या किया।
- बड़े मॉडलों में, वे समान "कर्ता" न्यूरॉन्स वास्तव में बाधा डालने लगे! यदि आप उन्हें बड़े मॉडल में बंद कर देते, तो मॉडल वास्तव में अपने काम में बेहतर हो जाता।
- उपमा: एक छोटी टीम में, आपको एक विशिष्ट व्यक्ति की आवश्यकता होती जो "टीम लीडर" हो। यदि आप उन्हें हटा देते हैं, तो टीम ढह जाती है। लेकिन एक विशाल निगम में, एक व्यक्ति द्वारा एकमात्र नेता बनने की कोशिश करने से बाधाएं उत्पन्न हो सकती हैं। बड़ी कंपनी बेहतर काम करती है यदि नेतृत्व कई लोगों के बीच वितरित हो। बड़े मॉडलों ने एक एकल "कर्ता" न्यूरॉन से हटकर एक वितरित नेटवर्क (distributed network) की ओर रुख किया जहाँ काम साझा किया जाता है।
मुख्य बात (The Bottom Line)
यह शोध पत्र सिद्ध करता है कि भाषा मॉडल केवल टेक्स्ट पढ़कर "किसने क्या किया" की बुनियादी संरचना सीख लेते हैं, बिना किसी विशिष्ट निर्देश के। यह ज्ञान प्री-ट्रेनिंग के दौरान ही "बना दिया" (baked in) जाता है।
हालाँकि, जैसे-जैसे मॉडल बड़े होते हैं, वे केवल एक सीधी रेखा में "स्मार्ट" नहीं होते हैं। वे इस जानकारी को संग्रहीत करने का तरीका बदल देते हैं। वे कुछ विशिष्ट "विशेषज्ञ" न्यूरॉन्स पर निर्भर रहने के बजाय एक जटिल, वितरित नेटवर्क का उपयोग करने लगते हैं। इसका अर्थ यह है कि जो एक छोटे मॉडल के लिए काम करता है (जैसे एक विशिष्ट न्यूरॉन पर निर्भर रहना), वह आवश्यक रूप से एक विशाल मॉडल के लिए काम नहीं करता है, जिसने अपने विशाल आकार को संभालने के लिए अपने आंतरिक तर्क को पुनर्गठित किया है।
संक्षेप में: मॉडलों ने खेल को चलते हुए देखकर (प्री-ट्रेनिंग) खेल के नियम सीख लिए, लेकिन जैसे-जैसे वे बड़े हुए, उन्हें जीतने के लिए अपनी खेलने की शैली बदलनी पड़ी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।