Scaling Inherently Interpretable Language Models
यह शोध पत्र इस धारणा को चुनौती देता है कि व्याख्यात्मकता (interpretability) क्षमता के लिए एक समझौता है, यह प्रदर्शित करते हुए कि प्रशिक्षण पाइपलाइन में व्याख्यात्मकता संबंधी बाधाओं को एकीकृत करने से Steerling-8B जैसे मॉडल प्रभावी ढंग से स्केल कर सकते हैं, जिससे वे प्रतिस्पर्धी प्रदर्शन बनाए रखते हुए अधिक पारदर्शी और मानवीय अवधारणाओं के अनुरूप बन जाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि एक विशाल, जादुई पुस्तकालय कैसे काम करता है। वर्षों से, सबसे बुद्धिमान पुस्तकालयाध्यक्ष (AI शोधकर्ता) इन पुस्तकालयों को जितना संभव हो सके उतना बड़ा और शक्तिशाली बनाने के लिए बना रहे हैं, लेकिन उन्होंने एक अजीब नियम स्वीकार किया है: पुस्तकालय को वास्तव में शक्तिशाली बनाने के लिए, इसे एक "ब्लैक बॉक्स" होना होगा। आप इससे एक प्रश्न पूछ सकते हैं, और यह आपको एक शानदार उत्तर देगा, लेकिन आपको पता नहीं चलेगा कि इसने वह उत्तर कैसे पाया। यह एक जादूगर की तरह है जो एक मंत्र पढ़ता है और कहता है, "मुझ पर विश्वास करो, यह काम करता है," बिना आपको सामग्री या मंत्र दिखाए। इस कारण से, यदि पुस्तकालय कोई गलती करता है या कुछ अजीब कहता है, तो हम इसे आसानी से ठीक नहीं कर सकते; हम केवल बाद में अनुमान लगा सकते हैं कि ऐसा क्यों हुआ। यह शोध पत्र एक साहसिक प्रश्न पूछता है: क्या होगा अगर हमें इस समझौते को स्वीकार न करना पड़े? क्या होगा यदि हम एक ऐसा पुस्तकालय बना सकें जो एक सुपर-जीनियस भी हो और पारदर्शी भी, जहाँ हम देख सकें कि इसने अपने उत्तर को लिखने के लिए किन पुस्तकों का उपयोग किया और किन विचारों के बारे में सोच रहा था?
इस शोध पत्र के लेखक, एक टीम जिसका नाम Guide Labs है, ने इस विचार का परीक्षण करने का निर्णय लिया। उन्होंने एक नए प्रकार का लैंग्वेज मॉडल बनाया जिसे Steerling-8B कहा जाता है। सामान्य "ब्लैक बॉक्स" मॉडल के विपरीत, जिन्हें केवल वाक्य में अगले शब्द का अनुमान लगाने के लिए प्रशिक्षित किया जाता है, Steerling को एक विशेष नियम के साथ प्रशिक्षित किया गया था जो इसके मस्तिष्क में पहले दिन से ही रचा-बसा है: इसे चलते समय अपने स्वयं के विचारों की व्याख्या करनी चाहिए। उन्होंने कुछ आश्चर्यजनक पाया: मॉडल को खुद की व्याख्या करने के लिए बनाने से यह कमजोर नहीं हुआ। वास्तव में, जैसे-जैसे उन्होंने मॉडल को बड़ा किया और उसे अधिक कंप्यूटिंग शक्ति दी, यह न केवल स्मार्ट हुआ; बल्कि यह खुद की व्याख्या करने में भी बेहतर हो गया। मॉडल जितना बड़ा होता गया, इसके आंतरिक विचार उतने ही स्पष्ट होते गए, और यह देखना आसान हो गया कि यह अपने उत्तरों को बनाने के लिए किन विचारों का उपयोग कर रहा है।
"ब्लैक बॉक्स" जादू के साथ समस्या
लंबे समय से, AI बनाने का मानक तरीका यह रहा है कि एक मॉडल को टेक्स्ट की भविष्यवाणी करने में जितना संभव हो सके उतना अच्छा होने के लिए प्रशिक्षित किया जाए, और फिर, इसके सीखने के बाद, इसके अंदर झांकने की कोशिश की जाए कि यह क्या कर रहा है। शोधकर्ता "प्रोब्स" (जो यह अनुमान लगाने की कोशिश करते हैं कि क्या कोई अवधारणा इसके भीतर छिपी है) या "एट्रिब्यूशन" (जो यह अनुमान लगाने की कोशिश करते हैं कि कौन से शब्द सबसे महत्वपूर्ण थे) जैसे उपकरणों का उपयोग करते हैं। लेकिन लेखक तर्क देते हैं कि ये उपकरण इंजन के बनने के बाद उसके शोर को सुनकर यह समझने की कोशिश करने जैसा है कि कार का इंजन कैसे काम करता है। इंजन को सुनने के लिए डिज़ाइन नहीं किया गया था, इसलिए शोर भ्रामक हो सकता है। एक प्रोब कह सकता है, "हे, 'बिल्ली' शब्द इसमें है!" लेकिन इसका मतलब यह नहीं है कि मॉडल ने वास्तव में निर्णय लेने के लिए बिल्ली की अवधारणा का उपयोग किया। यह केवल एक संयोग हो सकता है।
शोध पत्र तर्क देता है कि यह "बाद में ठीक करने वाला" दृष्टिकोण मौलिक रूप से त्रुटिपूर्ण है। यदि आप एक ऐसा मॉडल चाहते हैं जो वास्तव में समझने योग्य हो, तो आप केवल बाद में टॉर्च नहीं जोड़ सकते; आपको इंजन बनाते समय इंजन के भीतर ही टॉर्च बनानी होगी।
रेसिपी: एक पारदर्शी मस्तिष्क बनाना
इसे हल करने के लिए, टीम ने AI को प्रशिक्षित करने के लिए एक नई "रेसिपी" बनाई। केवल मॉडल को अगले शब्द की भविष्यवाणी करना सिखाने के बजाय, उन्होंने इसे एक ही समय में तीन विशिष्ट चीजें सिखाईं:
- इनपुट एट्रिब्यूशन (Input Attribution): "आपके प्रश्न में कौन से शब्द सबसे अधिक महत्वपूर्ण थे?"
- कॉन्सेप्ट एट्रिब्यूशन (Concept Attribution): "आप अभी किन बड़े विचारों या विषयों के बारे में सोच रहे हैं?"
- डेटा एट्रिब्यूशन (Data Attribution): "आपने यह अपने प्रशिक्षण पुस्तकालय के किस भाग से सीखा है?"
इसे सफल बनाने के लिए, उन्हें "अवधारणाओं" (concepts) का एक विशाल नया पुस्तकालय बनाना पड़ा। एक डिक्शनरी की कल्पना करें, लेकिन इसमें केवल शब्दों के बजाय, 33,000 विशिष्ट विचार जैसे "ग्रेडिएंट डिसेंट," "मध्यकालीन कविता," या "व्यंग्य" शामिल हैं। उन्होंने Atlas नामक एक प्रणाली बनाई जिसने लाखों दस्तावेजों को पढ़ा और उन्हें इन विचारों के साथ टैग किया, जिससे मानव ज्ञान का एक ऐसा मानचित्र तैयार हुआ जिसे AI वास्तव में उपयोग कर सके।
फिर, उन्होंने मॉडल का मस्तिष्क, Steerling-8B, बीच में एक विशेष "बॉटलनेक" (bottleneck) के साथ बनाया। एक सामान्य AI की कल्पना करें जहाँ सूचना का प्रवाह इनपुट से आउटपुट तक एक सीधी पाइप की तरह होता है। Steerling के बीच में एक फिल्टर है। पानी (सूचना) बाहर बहने से पहले, इसे लेबल किए गए "बकेट" (buckets - बाल्टियों) के एक सेट से गुजरना अनिवार्य है। मॉडल को यह तय करना होगा, "ठीक है, यह वाक्य 40% 'गणित' के बारे में है और 20% 'इतिहास' के बारे में है।" क्योंकि मॉडल को भविष्यवाणी करने के लिए इन बाल्टियों का उपयोग करना ही होगा, इसलिए हम देख सकते हैं कि उसने किन बाल्टियों का उपयोग किया। यदि यह कोई गलती करता है, तो हम बाल्टियों को देख सकते हैं और कह सकते हैं, "आह, इसने 'इतिहास' पर बहुत अधिक ध्यान केंद्रित किया और 'गणित' को अनदेखा कर दिया।"
सबसे बड़ा आश्चर्य: बड़ा होना मतलब अधिक स्पष्ट होना
शोध पत्र का सबसे रोमांचक हिस्सा वह था जो तब हुआ जब उन्होंने अपने मॉडल को बड़ा किया। आमतौर पर, जब आप किसी जटिल प्रणाली को बड़ा करते हैं, तो इसे समझना कठिन हो जाता है। लेकिन यहाँ, इसके विपरीत हुआ।
टीम ने छोटे मॉडलों से लेकर विशाल 8-बिलियन-पैरामीटर वाले Steerling-8B तक के मॉडलों का परीक्षण किया। उन्होंने पाया कि जैसे-जैसे मॉडल बढ़ता गया, इसकी आंतरिक "बाल्टियाँ" अधिक व्यवस्थित और मानव विचारों के साथ अधिक संरेखित होती गईं।
- "टैक्स" का मिथक: कई लोगों ने सोचा था कि मॉडल को खुद की व्याख्या करने के लिए बनाने से इसके प्रदर्शन पर प्रभाव पड़ेगा, जैसे कि इसकी बुद्धिमत्ता पर एक टैक्स। शोध पत्र दिखाता है कि यह सच नहीं है। व्याख्या करने योग्य होने की "लागत" एक बहुत छोटी, निश्चित राशि है, जैसे कि एक छोटा शुल्क जो आप एक बार देते हैं, न कि एक बिल जो आपके अमीर होने पर बढ़ता जाता है।
- स्केलिंग अप (Scaling Up): जैसे-जैसे उन्होंने कंप्यूटिंग शक्ति बढ़ाई (लगभग 1.35 ट्रिलियन शब्दों का प्रशिक्षण डेटा), मॉडल न केवल स्मार्ट हुआ; बल्कि यह अधिक पारदर्शी भी हो गया। इसके द्वारा सीखे गए विचार अधिक स्पष्ट हो गए, और यह एक "रेसिड्यूअल" (एक छिपा हुआ, अनव्याख्यात्मक हिस्सा) पर कम और लेबल किए गए कॉन्सेप्ट्स पर अधिक निर्भर हो गया।
जहाज को नियंत्रित करना (Steering the Ship)
चूंकि मॉडल इसी तरह से बनाया गया है, इसलिए आप इसे पुन: प्रशिक्षित किए बिना "स्टीयर" यानी नियंत्रित कर सकते हैं। एक कार चलाने की कल्पना करें। एक सामान्य AI में, यदि आप हिंसा के बारे में बात करने से बचना चाहते हैं, तो आपको उम्मीद करनी होगी कि कार दुर्घटनाग्रस्त न हो। Steerling में, आप बस एक डायल घुमा सकते हैं। यदि आप चाहते हैं कि मॉडल अधिक "अकादमिक" हो, तो आप "अकादमिक" बाल्टी को बढ़ा सकते हैं। यदि आप चाहते हैं कि यह "राजनीति" के बारे में बात करना बंद कर दे, तो आप उस बाल्टी को दबा सकते हैं। शोध पत्र दिखाता है कि वे इसे तुरंत कर सकते थे, केवल उन अवधारणाओं को थोड़ा बदलकर जो मॉडल पहले से ही उपयोग कर रहा था, इसके व्यवहार को बदल सकते थे।
परिणाम
टीम ने Steerling-8B को 1.2 ट्रिलियन टोकन पर प्रशिक्षित किया। उन्होंने अन्य ओपन-सोर्स मॉडलों के साथ तुलना की जिन्हें 2 से 16 गुना अधिक कंप्यूटिंग पावर के साथ प्रशिक्षित किया गया था। कम प्रशिक्षण बजट होने और व्याख्या करने योग्य होने के अतिरिक्त "भार" के बावजूद, Steerling ने उन विशाल, अपारदर्शी मॉडलों के लगभग बराबर प्रदर्शन किया।
शोध पत्र निष्कर्ष निकालता है कि हमें एक स्मार्ट AI और एक पारदर्शी AI के बीच चुनाव करने की आवश्यकता नहीं है। मॉडल को शुरुआत से ही समझने योग्य बनाकर, हम ऐसे सिस्टम बना सकते हैं जो न केवल शक्तिशाली हैं बल्कि भरोसेमंद भी हैं, क्योंकि हम देख सकते हैं कि वे कैसे सोचते हैं और जब वे गलत होते हैं तो उन्हें ठीक कर सकते हैं। यह ब्लैक बॉक्स बनाने से कांच के घर बनाने की ओर एक बदलाव है जहाँ रोशनी आर-पार दिखाई देती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।