Gathered, Not Admitted: How Attention Brings a Latent Variable into Verbalizable Form
यह शोध पत्र भाषा मॉडलों में लेटेंट वेरिएबल एक्सेस (latent variable access) के लिए "एडमिशन गेट" (admission gate) परिकल्पना को चुनौती देता है, और इसके बजाय यह प्रदर्शित करता है कि डिमांड-ड्रिवन अटेंशन मैकेनिज्म (demand-driven attention mechanisms) एक विशिष्ट मिड-डेप्थ विंडो के भीतर सूचना एकत्र करते हैं ताकि वेरिएबल्स को मौखिक रूप से रिपोर्ट करने योग्य बनाया जा सके, जो कि अंतिम उत्तर के लिए वेरिएबल की वास्तविक उपयोगिता से भिन्न एक प्रक्रिया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक आधुनिक भाषा मॉडल की विशाल, शांत वास्तुकला के भीतर, सूचना की एक छिपी हुई दुनिया मौजूद होती है, जो मशीन के एक भी शब्द बोलने से बहुत पहले ही अस्तित्व में होती है। इन मॉडलों को टेक्स्ट के महासागरों पर प्रशिक्षित किया जाता है, जिससे वे भाषा, तर्क और तथ्य के पैटर्न को आपस में बुनकर यह अनुमान लगाना सीखते हैं कि आगे क्या आएगा। जब एक मॉडल से कोई प्रश्न पूछा जाता है, तो वह केवल एक डेटाबेस की खोज नहीं करता; बल्कि वह उत्तर का एक आंतरिक प्रतिनिधित्व (internal representation) निर्मित करता है, एक गुप्त चर (latent variable) जो कार्य के लिए आवश्यक विशिष्ट अर्थ को धारण करता है। वर्षों से, शोधकर्ता इस बात पर विचार करते रहे हैं कि यह छिपी हुई जानकारी दृश्यमान कैसे होती है। प्रचलित अंतर्ज्ञान ने एक सरल तंत्र का सुझाव दिया था: जानकारी हमेशा वहीं होती है, मॉडल की आंतरिक स्मृति में बैठी रहती है, बस एक द्वार के खुलने और उसे बाहर निकलने देने की प्रतीक्षा करती है। इस दृष्टिकोण में, मॉडल एक ऐसे लाइब्रेरियन की तरह कार्य करता है जिसके पास शेल्फ पर पहले से ही किताब मौजूद है और वह बस पूछे जाने पर उसे सौंपने का निर्णय लेता है।
कैलिफोर्निया विश्वविद्यालय, सांता क्रूज़ के एक शोधकर्ता ने Qwen3.6 नामक एक बड़े भाषा मॉडल का उपयोग करके "गेट" (द्वार) के इस विचार का परीक्षण करने का निश्चय किया। उन्होंने प्रयोगों की एक श्रृंखला तैयार की जहाँ मॉडल को बिल्कुल एक ही कहानी दी गई लेकिन उससे उस कहानी के बारे में अलग-अलग प्रश्न पूछे गए। कुछ मामलों में, मॉडल को पहेली सुलझाने के लिए कहानी के एक विशिष्ट हिस्से का उपयोग करने की आवश्यकता थी; अन्य मामलों में, उसे उस जानकारी को सीधे रिपोर्ट करने की आवश्यकता थी; और एक नियंत्रण मामले (control case) में, उससे एक ऐसा प्रश्न पूछा गया जिसमें कहानी के किसी भी ज्ञान की आवश्यकता नहीं थी। प्रत्येक चरण में मॉडल की आंतरिक स्थिति (internal state) को सावधानीपूर्वक मापकर, वे यह देखने में सक्षम रहे कि छिपी हुई जानकारी कब और कैसे अंतिम उत्तर के लिए उपलब्ध हुई।
उन्होंने जो पाया उसने सरल गेट सिद्धांत को उलट दिया। छिपी हुई जानकारी मॉडल की स्मृति में अनलॉक होने की प्रतीक्षा में बैठी नहीं थी। इसके बजाय, मॉडल ने सक्रिय रूप से अपने आंतरिक प्रवाह के एक दूरस्थ हिस्से से जानकारी एकत्र की और उसे उस विशिष्ट स्थान पर पहुँचाया जहाँ उत्तर का निर्माण किया जाना था। यह एकत्र करने की प्रक्रिया हर जगह या हर समय नहीं हुई। यह मॉडल के प्रसंस्करण परतों (processing layers) के बीच में एक बहुत ही विशिष्ट विंडो के भीतर हुई, जो 64 में से लगभग 36वीं और 42वीं परतों के बीच थी। इस विंडो के नीचे, जानकारी मौजूद थी लेकिन वह यात्रा के अंत तक जीवित नहीं रह सकती थी; इसके ऊपर, जानकारी पहले ही जा चुकी थी या नष्ट हो चुकी थी। मॉडल ने यह संग्रह तभी किया जब कार्य ने वास्तव में इसकी मांग की। जब मॉडल से एक ऐसा प्रश्न पूछा गया जिसमें कहानी के किसी ज्ञान की आवश्यकता नहीं थी, तो संग्रह की प्रक्रिया बहुत कम हुई, जो कि जानकारी की आवश्यकता होने पर की गई तुलना में सात गुना कम प्रयास केंद्रित करती थी।
उन्होंने पाया कि यह परिवहन लगभग पूरी तरह से मॉडल के 'अटेंशन मैकेनिज्म' (attention mechanism) द्वारा किया गया था, जो सिस्टम का वह हिस्सा है जो यह तय करता है कि इनपुट के किन हिस्सों पर ध्यान केंद्रित करना है। दूसरा प्रमुख घटक, फीड-फॉरवर्ड नेटवर्क जो एक स्थानीय प्रोसेसर की तरह कार्य करता है, ने जानकारी को स्थानांतरित करने में मदद नहीं की; वास्तव में, मध्य परतों में जहाँ संग्रह हुआ, इसने सक्रिय रूप से परिवहन के विरुद्ध कार्य किया। जानकारी को किसी स्थिर स्थान से उजागर नहीं किया जा रहा था; इसे भौतिक रूप रूप से स्थानांतरित किया जा रहा था, जैसे एक कूरियर गोदाम से डिलीवरी ट्रक तक पैकेज ले जा रहा हो। यह गति इतनी सटीक थी कि मॉडल मध्य परतों में जानकारी को अन्य किसी भी स्थान की तुलना में सत्रह गुना अधिक तीव्रता के साथ केंद्रित कर सकता था।
महत्वपूर्ण रूप से, उन्होंने दिखाया कि मॉडल की आंतरिक स्थिति में दिखाई देने वाली जानकारी की मात्रा हमेशा इस बात से मेल नहीं खाती थी कि वह जानकारी अंतिम उत्तर के लिए कितनी उपयोगी थी। उन्होंने पाया कि मॉडल के तीन अलग-अलग हिस्से आंतरिक संकेत (internal signal) को लगभग समान मात्रा में बदल सकते थे, फिर भी उनका वास्तविक प्रभाव अंतिम उत्तर पर सात गुना भिन्न था। इसका अर्थ यह है कि मॉडल की आंतरिक स्थिति में एक मजबूत संकेत देखना यह जानने के लिए पर्याप्त नहीं है कि मॉडल वास्तव में उस जानकारी का सही उपयोग कर रहा है या नहीं। संकेत का आकार यह बताने के लिए पूरी कहानी नहीं बताता कि मॉडल कैसे सोचता है।
अध्ययन ने यह भी खुलासा किया कि यह संग्रह विंडो मॉडल के डिज़ाइन की एक मौलिक विशेषता है, जो 62 परतों वाले एक डेंस आर्किटेक्चर सहित विभिन्न प्रकार के मॉडलों में समान सापेक्ष गहराई पर दिखाई देती है। उन्होंने पुष्टि की कि जानकारी न केवल मौजूद थी बल्कि कारणतः आवश्यक (causally necessary) भी थी; यदि उन्होंने मध्य परतों में परिवहन को बाधित किया, तो मॉडल सही उत्तर देने में विफल रहा। हालाँकि, उन्होंने यह भी नोट किया कि यह संग्रह आवश्यक तो था लेकिन अकेले पर्याप्त नहीं था; मॉडल को अंतिम उत्तर देने के लिए अन्य गणनाएँ करने की भी आवश्यकता थी। यह कार्य सुझाव देता है कि मॉडल के पास कोई स्थिर वर्कस्पेस नहीं है जहाँ जानकारी प्रवेश की प्रतीक्षा में बैठी रहती है। इसके बजाय, यह गतिशील रूप से उन टुकड़ों को संकलित करता है जिनकी उसे आवश्यकता होती है, उन्हें केवल तभी अपनी जगह पर लाता है जब कार्य की आवश्यकता होती है, जो कि पहले की कल्पना की तुलना में कहीं अधिक सक्रिय और चयनात्मक प्रक्रिया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।