Geometric and Behavioral Stratification in Transformer Residual Streams
यह शोध पत्र भविष्यवाणी की दिशा को ट्रांसफार्मर रेसिडुअल स्ट्रीम्स में एक विशेषाधिकार प्राप्त, सामग्री-निर्धारित एंकर के रूप में पहचानता है जो उच्च-आयामी गणना को एक संकीर्ण, संरचित भविष्यवाणी-समीपवर्ती इंटरफ़ेस और एक विशाल, पैमाने-निर्भर पूरक में ज्यामितीय और व्यवहारिक रूप से स्तरित करता है, जिससे यह प्रकट होता है कि रैखिक रीडआउट जटिल आंतरिक निरूपणों के साथ कैसे सह-अस्तित्व में रहता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि एक विशाल, सुपर-स्मार्ट रोबोट मस्तिष्क कैसे काम करता है। यह मस्तिष्क एक प्रकार की तकनीक से बना है जिसे "ट्रांसफॉर्मर" कहा जाता है, जो उस इंजन के पीछे की तकनीक है जिसका उपयोग हम आज कई एआई चैटबॉट्स और लेखन उपकरणों में करते हैं। ये रोबट इंसानों की तरह नहीं सोचते; इसके बजाय, वे सूचना को एक विशाल, उच्च-आयामी "रेसिडुअल स्ट्रीम" (residual stream) के माध्यम से संसाधित करते हैं। इस स्ट्रीम को एक विशाल, घूमती हुई संख्याओं की नदी के रूप में समझें जो रोबोट के विभिन्न परतों (layers) के माध्यम से बहती है। हर कदम पर, रोबोट इस नदी में नई जानकारी जोड़ता है, और बिल्कुल अंत में, उसे तय करना होता है कि अगला शब्द क्या कहना है।
लंबे समय तक, वैज्ञानिकों ने सोचा था कि यदि आप रोबोट को बड़ा बनाते हैं (अधिक पैरामीटर जोड़कर या नदी को चौड़ा करके), तो शब्द तय करने का उसका तरीका भी उसी तरह बड़ा और अधिक जटिल हो जाएगा। उन्होंने माना था कि मस्तिष्क का "निर्णय लेने वाला" हिस्सा उस नए स्थान को भरने के लिए विस्तारित हो जाएगा। लेकिन यह नया शोध एक अलग सवाल पूछता है: क्या होगा यदि रोबोट वास्तव में अपने निर्णय लेने वाले चैनल को संकीर्ण और स्थिर रखता है, और अतिरिक्त स्थान का उपयोग किसी और चीज़ के लिए करता है? लेखक मूल रूप से इस नदी के भूगोल का मानचित्र बनाने की कोशिश कर रहा है ताकि यह देख सके कि "असली" सोच कहाँ होती है और कहाँ रोबोट केवल अपने नोट्स संग्रहीत करता है। वह जानना चाहता है कि क्या रोबोट का आंतरिक मानचित्र यादृच्छिक (random) है या यह किसी छिपे हुए, विशेष नियम का पालन करता है।
शोध की बड़ी खोज: "प्रेडिक्शन एंकर" (Prediction Anchor)
इस अध्ययन में, शोधकर्ता नेल्सन गुडा और उनके सहयोगियों ने 18 अलग-अलग एआई मॉडल देखे, जो छोटे मॉडलों (7 बिलियन पैरामीटर) से लेकर विशाल मॉडलों (120 बिलियन पैरामीटर) तक विस्तृत थे। वे यह देखना चाहते थे कि ये मॉडल अपनी आंतरिक "नदी" के डेटा को कैसे व्यवस्थित करते हैं। उन्होंने पाया कि मॉडल केवल यादृच्छिक रूप से नहीं तैरते हैं; वे एक बहुत ही विशिष्ट, गतिशील लक्ष्य के चारों ओर सब कुछ व्यवस्थित करते हैं: प्रेडिक्शन डायरेक्शन (prediction direction)।
कल्पना कीजिए कि रोबोट एक वाक्य में अगले शब्द का अनुमान लगाने की कोशिश कर रहा है। उसके दिमाग में एक "लक्ष्य" है—उस शब्द की ओर इशारा करने वाला उसके मस्तिष्क का एक विशिष्ट दिशा। शोधकर्ताओं ने पाया कि रोबोट इस लक्ष्य को एक विशेष एंकर (लंगर) के रूप में मानता है। उसके मस्तिष्क में सब कुछ इस एंकर के सापेक्ष मापा जाता है।
"संकीर्ण दरवाजा" बनाम "विशाल गोदाम"
सबसे आश्चर्यजनक खोज यह है कि मस्तिष्क का वह हिस्सा जो वास्तव में अगले शब्द का निर्णय लेता है, अविश्वसनीय रूप से छोटा है और आकार में स्थिर रहता है, चाहे रोबोट कितना भी बड़ा क्यों न हो जाए। लेखक इसे प्रेडिक्शन इंटरफेस (prediction interface) कहता है।
- उपमा: एक विशाल, बहु-मंजिला गोदाम (मॉडल का मस्तिष्क) की कल्पना करें। इसके अंदर, एक बहुत ही छोटा, संकीर्ण दरवाजा (प्रेडिक्शन इंटरफेस) है जो बाहरी दुनिया (अगला शब्द) की ओर जाता है।
- निष्कर्ष: चाहे गोदाम घर के आकार का हो या शहर के आकार का, वह दरवाजा बिल्कुल उसी आकार का रहता है। शोधकर्ताओं ने पाया कि यह "दरवाजा" मस्तिष्क के कुल स्थान के केवल लगभग 4 से 10 आयामों (dimensions) का उपयोग करता है।
- मस्तिष्क का बाकी हिस्सा: बाकी का गोदाम—"प्रेडिक्शन-डिस्टल कॉम्प्लीमेंट" (prediction-distal complement)—विशाल है। जैसे-जैसे मॉडल बड़े होते हैं, यह गोदाम बड़ा और बड़ा होता जाता है, लेकिन दरवाजा नहीं। अतिरिक्त स्थान का उपयोग दरवाजे को चौड़ा करने के लिए नहीं किया जाता है; इसका उपयोग दरवाजे के चारों ओर एक विशाल भंडारण क्षेत्र बनाने के लिए किया जाता है।
यह क्यों मायने रखता है: "सिग्नल बनाम शोर" का खेल
रोबोट इतना छोटा दरवाजा क्यों रखेगा? शोध का सुझाव है कि यह सिग्नल को स्पष्ट रखने के बारे में है। यदि दरवाजा चौड़ा और अव्यवस्थित होता, तो विशाल गोदाम का सारा शोर निर्णय के साथ मिल जाता। दरवाजे को संकीर्ण और गोदाम को विशाल रखकर, रोबोट अपने सारे जटिल गणना कार्य गोदाम में कर सकता है, लेकिन वह केवल साफ, स्पष्ट "सिग्नल" को ही निर्णय लेने के लिए छोटे दरवाजे से गुजरने देता है।
शोधकर्ताओं ने पाया कि "गोदाम" (कॉम्प्लीमेंट) वास्तव में बहुत भारी काम कर रहा है। भले ही यह निर्णय दरवाजे से दूर है, यदि आप गोदाम में डेटा की दिशा के साथ छेड़छाड़ करते हैं, तो रोबोट का आउटपुट तुरंत पागल हो जाता है। हालाँकि, यदि आप गोदाम में डेटा को केवल छोटा करते हैं (उसकी दिशा बदले बिना), तो रोबोट ठीक रहता है। यह बताता है कि रोबोट इस बात पर ध्यान देता है कि डेटा कहाँ संकेत कर रहा है, न कि इस पर कि वह कितना बड़ा है।
"एंटी-क्लंपिंग" (Anti-Clumping) का रहस्य
यहाँ एक अजीब मोड़ है जो शोधकर्ताओं ने पाया। जब उन्होंने देखा कि रोबोट समान प्रॉम्प्ट्स (जैसे गणित बनाम इतिहास के प्रश्न) को कैसे समूहित करता है, तो उन्हें उम्मीद थी कि "गोदाम" अस्त-व्यस्त और अव्यवस्थित होगा। इसके बजाय, उन्होंने पाया कि गोदाम वास्तव में उनकी उम्मीद के विपरीत काम करता है।
- दरवाजा (प्रेडिक्शन इंटरफेस): यह हिस्सा अलग-अलग प्रॉम्प्ट समूहों को पहचानने में बहुत अच्छा है। यह गणित के प्रश्नों को इतिहास के प्रश्नों से दूर रखता है।
- गोदाम (कॉम्प्लीमेंट): यह हिस्सा "एंटी-डिस्क्रिमिनेटरी" (भेदभाव न करने वाला) है। यह वास्तव में एक ही समूह के प्रॉम्प्ट्स को एक-दूसरे से और अधिक दूर धकेलता है और अलग-अलग समूहों के प्रॉम्प्ट्स को एक-दूसरे के करीब खींचता है।
इसे एक पार्टी की तरह समझें। "दरवाजा" एक बाउंसर है जो आईडी चेक करता है और वीआईपी (VIP) को आम लोगों से अलग करता है। "गोदाम" डांस फ्लोर है। डांस फ्लोर पर, वीआईपी एक अराजक घेरे में नाच सकते हैं, जबकि आम लोग एक साथ झुंड बनाकर रह सकते हैं। गोदाम ऐसा लगता है कि एक विशेष प्रकार का संतुलन बनाने का काम कर रहा है ताकि भले ही "दरवाजा" अलग चीजें देखता हो, अंतिम परिणाम (अगला शब्द) फिर भी समझ में आने योग्य हो।
"टास्क फ्रेम" बनाम "स्टोरीलाइन"
शोधकर्ताओं ने यह भी परीक्षण किया कि जब वे मस्तिष्क के विभिन्न हिस्सों को "स्कैम्बल" (अव्यवस्थित) करते हैं तो क्या होता है। उन्होंने रोबोट के व्यवहार में एक स्पष्ट पदानुक्रम (hierarchy) पाया:
- "स्टेंस" लेयर (दरवाजे के सबसे करीब): यदि आप निर्णय दरवाजे के सबसे करीब वाले हिस्से के साथ छेड़छाड़ करते हैं, तो रोबोट तुरंत भूल जाता है कि उसे क्या करना चाहिए। वह कहानी लिखना बंद कर सकता है और व्याकरण संबंधी सलाह देने लग सकता है, या एक सहायक से बदलकर एक गुस्सैल आलोचक बन सकता है। यह बातचीत के "फ्रेम" को तुरंत बदल देता है।
- "ट्रैजेक्टरी" लेयर (थोड़ा और बाहर): यदि आप अगले स्तर के साथ छेड़छाड़ करते हैं, तो रोबोट वही फ्रेम बनाए रखता है (वह एक सहायक बना रहता है), लेकिन कहानी की सामग्री बदल जाती है। वह कुत्ते के बजाय बिल्ली के बारे में बात करना शुरू कर सकता है, लेकिन वह अभी भी एक कहानी ही सुना रहा है।
- "डायनामिक" लेयर (गतिशील हिस्सा): शोधकर्ताओं ने यह भी पाया कि विशाल गोदाम का एक "स्टेटिक" (स्थिर) हिस्सा (एक स्थायी मचान की तरह) और एक "डायनामिक" (गतिशील) हिस्सा (हर सेकंड अपडेट होने वाले एक चलते हुए लिफाफे की तरह) होता है। यदि आप गतिशील हिस्से को फ्रीज कर देते हैं और उसे अपडेट होने से रोक देते हैं, तो रोबोट तुरंत क्रैश हो जाता है। टेक्स्ट जनरेट करने के लिए उसे निरंतर अपडेट की आवश्यकता होती है।
इसका भविष्य के लिए क्या अर्थ है
यह शोध बताता है कि जैसे-जैसे एआई मॉडल बड़े और स्मार्ट होते जा रहे हैं, वे अपने निर्णय लेने के तरीके में "चौड़े" नहीं हो रहे हैं। इसके बजाय, वे उस छोटे, निश्चित दरवाजे के आसपास के विशाल गोदाम में अधिक जटिल गणनाओं को पैक करने में बेहतर हो रहे हैं।
यह हमारे मूल्यांकन के तरीके को बदल देता है। यदि हम केवल अंतिम उत्तर (जो दरवाजे से बाहर आता है) को देखते हैं, तो हम उस 99% को मिस कर सकते हैं जो मॉडल वास्तव में गोदाम के अंदर कर रहा है। मॉडल उस विशाल, छिपे हुए स्थान में अविश्वसनीय रूप से जटिल तर्क कर सकता है, लेकिन क्योंकि दरवाजा बहुत संकीर्ण है, हम उसे देख नहीं पाते हैं। लेखक का सुझाव है कि एआई को वास्तव में समझने के लिए, हमें दरवाजे के बजाय गोदाम के अंदर देखना होगा।
संक्षेप में, यह शोध बताता है कि ये विशाल एआई मस्तिष्क एक किले की तरह व्यवस्थित हैं जिसमें एक छोटा, अपरिवर्तित गेट है। असली जादू गेट के पीछे के विशाल, छिपे हुए आंगन में होता है, जहाँ वास्तविक काम किया जाता है, और गेट स्वयं यह सुनिश्चित करता है कि अंतिम संदेश साफ और स्पष्ट रूप से बाहर आए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।