Decoding Future Semantics from Language Model Hidden States: Rollout Trade-offs and Causal Steering
यह अध्ययन प्रदर्शित करता है कि लीनियर प्रोब्स (linear probes), लैंग्वेज मॉडल के हिडन स्टेट्स (hidden states) से भविष्य की सिमेंटिक जानकारी निकाल सकते हैं, जो एक ऐसे ट्रेड-ऑफ को प्रकट करता है जहाँ इस डायरेक्ट रीडआउट (direct readout) बनाम ऑटोरेग्रेसिव रोलआउट (autoregressive rollout) की प्रभावशीलता, एम्बेडिंग स्पेस (embedding space), जनरेशन होराइजन (generation horizon) और प्रॉम्प्ट की अंतर्निहित पूर्वानुमान क्षमता (inherent predictability) पर निर्भर करती है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक कंप्यूटर प्रोग्राम जो टेक्स्ट लिखते हैं, जिन्हें भाषा मॉडल (language models) कहा जाता है, वे एक बार में एक शब्द की भविष्यवाणी करके काम करते हैं। वे आपके द्वारा दिए गए शब्दों को देखते हैं और अगले शब्द का अनुमान लगाते हैं, फिर उस नए शब्द का उपयोग अगले शब्द का अनुमान लगाने के लिए करते हैं, जिससे एक वाक्य को चरण-दर-चरण बनाया जाता है। लंबे समय तक, वैज्ञानिकों ने यह मान लिया था कि ये प्रोग्राम केवल भविष्य के बारे में उतना ही जानते हैं जितना कि उनका अगला अनुमान उन्हें अनुमति देता है। हालांकि, एक नया अध्ययन सुझाव देता है कि इन मॉडलों के जटिल गणितीय तंत्र के भीतर सूचना की एक छिपी हुई परत मौजूद है जिसमें पहले से ही उस सामान्य अर्थ का विवरण होता है जो कंप्यूटर बोलने वाला है, इससे बहुत पहले कि वह वास्तव में एक भी नया शब्द टाइप करे। यह शोध इस बात की जांच करता है कि क्या इन आंतरिक कंप्यूटर अवस्थाओं (internal states) में भविष्य के टेक्स्ट का एक "पूर्वावलोकन" (preview) होता है, यह पूर्वावलोकन केवल प्रॉम्प्ट को पढ़ने की तुलना में कितना स्पष्ट है, और क्या इस पूर्वावलोकन को जानने से हम कंप्यूटर द्वारा लिखे जाने वाले टेक्स्ट को बदल सकते हैं।
शोधकर्ता, हंकुक यूनिवर्सिटी ऑफ फॉरेन स्टडीज के जेकेओल चोई (Jaekeol Choi) ने लोकप्रिय भाषा मॉडलों के कई अलग-अलग संस्करणों का उपयोग करके इस विचार का परीक्षण करने का लक्ष्य रखा। उन्होंने उस क्षण पर ध्यान केंद्रित किया जब कंप्यूटर एक नया वाक्य शुरू करने वाला होता है। इस सटीक क्षण पर, मॉडल ने उपयोगकर्ता के इनपुट को प्रोसेस कर लिया होता है और वह एक विशिष्ट आंतरिक प्रतिनिधित्व (internal representation) को थामे होता है, जो संख्याओं का एक जटिल पैटर्न है जो यह सारांश देता है कि उसने अब तक क्या समझा है। टीम ने एक सरल प्रश्न पूछा: यदि आप इस आंतरिक पैटर्न को देखते हैं, तो क्या आप बता सकते हैं कि आने वाले वाक्य का सामान्य विषय या भावना क्या होगी, भले ही वह वाक्य अभी लिखा न गया हो? यह पता लगाने के लिए, उन्होंने इन आंतरिक पैटर्न को पढ़ने और उन्हें भविष्य के टेक्स्ट के सारांश में अनुवादित करने के लिए एक सरल उपकरण को प्रशिक्षित किया। उन्होंने इस पद्धति की तुलना भविष्य का अनुमान लगाने के अन्य तरीकों से की, जैसे कि कंप्यूटर को पहले कुछ शब्द लिखने देना, या केवल मूल प्रॉम्प्ट के आधार पर भविष्य की भविष्यवाणी करने का प्रयास करना बिना कंप्यूटर के मस्तिष्क के अंदर झांके।
अध्ययन में पाया गया कि उत्तर 'हाँ' है। मॉडल के आंतरिक पैटर्न में भविष्य के टेक्स्ट के अर्थ का एक रैखिक रूप से सुलभ (linearly accessible) मानचित्र होता है। जब शोधकर्ताओं ने वाक्य उत्पन्न करने से पहले कंप्यूटर की आंतरिक अवस्था को देखा, तो वे उस वाक्य की सामान्य अर्थपूर्ण सामग्री (semantic content) की सफलतापूर्वक भविष्यवाणी कर सके। यह विभिन्न मॉडल आकारों और आर्किटेक्चर में सत्य था, सैकड़ों मिलियन पैरामीटर्स वाले छोटे मॉडलों से लेकर अरबों पैरामीटर्स वाले बड़े मॉडलों तक। इस भविष्य के अर्थ को पढ़ने की क्षमता कंप्यूटर के प्रोसेसिंग नेटवर्क की गहरी परतों (deeper layers) में सबसे मजबूत थी। हालांकि, इस पूर्वावलोकन की स्पष्टता इस बात पर बहुत अधिक निर्भर थी कि शोधकर्ताओं ने "अर्थ" को कैसे परिभाषित किया। जब उन्होंने अर्थ को मापने के लिए एक विशिष्ट तरीके का उपयोग किया, तो आंतरिक पूर्वावलोकन केवल प्रॉम्प्ट के आधार पर अनुमान लगाने की तुलना में काफी बेहतर था। लेकिन जब उन्होंने अर्थ को मापने के लिए अन्य तरीकों का उपयोग किया, तो कंप्यूटर के मस्तिष्क के अंदर झांकने का लाभ बहुत कम हो गया, जो कभी-कभी शुरुआती शब्दों को देखकर लगाए जा सकने वाले अनुमान से मुश्किल से अलग था।
शोधकर्ताओं ने इस "आंतरिक पूर्वावलोकन" पद्धति की तुलना अधिक स्पष्ट रणनीति से भी की, जिसमें कंप्यूटर को पहले कुछ शब्द लिखने दिया जाता है। यदि आप कंप्यूटर को तीन या पांच शब्द उत्पन्न करने देते हैं, तो आपको स्वाभाविक रूप से इस बात की बहुत स्पष्ट तस्वीर मिल जाती है कि वाक्य कहाँ जा रहा है, बजाय इसके कि आप केवल छिपी हुई अवस्था (hidden state) से अनुमान लगाने की कोशिश करें। यह आश्चर्यजनक नहीं है, क्योंकि कंप्यूटर ने उन शब्दों को लिखने का काम पहले ही कर लिया है। हालांकि, अध्ययन ने एक दिलचस्प समझौता (trade-off) प्रकट किया। जैसे-जैसे लक्षित वाक्य लंबा होता जाता है और भविष्य अधिक दूर होता जाता है, अधिक शब्द लिखने से मिलने वाला लाभ कम होता जाता है। यदि लक्ष्य एक ऐसे वाक्य का अर्थ समझना है जो 256 शब्द दूर है, तो आंतरिक पूर्वावलोकन उन मध्यवर्ती शब्दों को उत्पन्न करने की कम्प्यूटेशनल लागत के बिना भविष्य की एक संक्षिप्त झलक पाने का एक प्रतिस्पर्धी तरीका बन जाता है। आंतरिक अवस्था भविष्य के दूर के हिस्से को समझने का एक तरीका प्रदान करती है, हालांकि यह कभी भी एक लंबी अनुक्रम (sequence) को वास्तव में उत्पन्न करने की सटीकता को पूरी तरह से पार नहीं कर पाती है।
शायद शोध का सबसे दिलचस्प हिस्सा यह परीक्षण करना था कि क्या इस ज्ञान का उपयोग कंप्यूटर के व्यवहार को बदलने के लिए किया जा सकता है। शोधकर्ता ने आंतरिक अवस्था में उस दिशा को लिया जो एक विशिष्ट भावना (sentiment) की ओर इशारा करती थी, जैसे कि सकारात्मकता या नकारात्मकता, और कंप्यूटर को लिखने शुरू करने से पहले उसे उस दिशा में धकेलने का प्रयास किया। उन्होंने पाया कि यह धक्का काम कर गया। भविष्यवाणियों के आधार पर आंतरिक अवस्था को समायोजित करके, वे उत्पन्न टेक्स्ट के लहजे को यादृच्छिक समायोजन करने की तुलना में अधिक प्रभावी ढंग से बदल सके। हालांकि, यह सफलता सभी मॉडलों में समान नहीं थी। कुछ मॉडलों में, वह परत जहाँ भविष्य का अर्थ पढ़ना सबसे आसान था, वही भविष्य को बदलने के लिए सबसे अच्छी जगह भी थी। अन्य मॉडलों में, ये दोनों चीजें बिल्कुल मेल नहीं खाती थीं; वह परत जो भविष्य का सबसे स्पष्ट पूर्वावलोकन दिखाती थी, कभी-कभी परिणाम बदलने के लिए हस्तक्षेप करने के लिए गलत जगह भी होती थी। वास्तव में, कुछ मामलों में, उस परत पर बदलाव करने की कोशिश करना जहाँ सबसे मजबूत पूर्वावलोकन था, वास्तव में कंप्यूटर को इच्छित दिशा के विपरीत धकेल देता था।
ये निष्कर्ष बताते हैं कि जबकि भाषा मॉडल अपने आंतरिक अवस्थाओं के भीतर अपने स्वयं के भविष्य के आउटपुट के बारे में जानकारी रखते हैं, यह जानकारी कोई पूर्व-लिखित स्क्रिप्ट नहीं है जिसे केवल पढ़ा जाना बाकी है। इसके बजाय, यह एक जटिल, स्तरित संकेत (layered signal) है जिसे नेटवर्क के कुछ हिस्सों में अन्य हिस्सों की तुलना में अधिक आसानी से एक्सेस किया जा सकता है। अध्ययन स्पष्ट करता है कि केवल इसलिए कि एक कंप्यूटर अपने स्वयं के शब्दों के भविष्य के अर्थ को "देख" सकता है, इसका मतलब यह नहीं है कि वह पूरे उत्तर की पूरी गणना पहले ही कर चुका है। यह यह भी रेखांकित करता है कि एक संकेत को पढ़ने की क्षमता और उसे नियंत्रित करने की क्षमता अलग-अलग हैं। भविष्य की भविष्यवाणी करने की क्षमता और भविष्य को निर्देशित करने की क्षमता संबंधित तो हैं, लेकिन वे अलग-अलग क्षमताएं हैं जो मॉडल के भीतर हमेशा एक ही स्थान पर नहीं होती हैं। यह कार्य इस बात का स्पष्ट मानचित्र प्रदान करता है कि ये बुद्धिमान प्रणालियाँ इस बारे में जानकारी को कैसे व्यवस्थित करती हैं कि वे क्या कहने वाली हैं, यह दिखाते हुए कि उनकी आंतरिक अवस्थाएँ पहले की समझ की तुलना में भविष्य-केंद्रित डेटा से कहीं अधिक समृद्ध हैं, लेकिन नियंत्रण के लिए उपयोग करने में भी एक साधारण रीडआउट की तुलना में अधिक जटिल हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।