Belief-reality separation lives in routing over a shared value slot in language models
यह शोध पत्र यह पहचानता है कि भाषा मॉडल दो विशिष्ट तंत्रों के माध्यम से विश्वास (belief) को वास्तविकता (reality) से अलग करते हैं: एक साझा मूल्य स्लॉट (shared value slot) जो आरोपित जानकारी को संग्रहीत करता है और एक क्वेरी-पोजीशन राउटर (query-position router) जो यह चयन करता है कि पात्र के विश्वास से पढ़ना है या वस्तुनिष्ठ वास्तविकता से, एक ऐसी क्षमता जो कई आर्किटेक्चरों में 3B से 7B पैरामीटर्स के बीच उभरती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक सुपर-स्मार्ट लैंग्वेज मॉडल की कल्पना करें जो एक विशाल, हलचल भरे पुस्तकालय की तरह है जहाँ वास्तविक समय में कहानियाँ लिखी और पढ़ी जा रही हैं। लंबे समय तक, हम सोचते रहे कि यह पुस्तकालय किसी पात्र के विश्वासों को वास्तविकता से अलग कैसे रखता है। यदि कोई कहानी कहती है, "एना को लगता है कि कप नीला है, लेकिन वास्तव में, वह लाल है," तो मॉडल को यह जानने की आवश्यकता है कि जब एना के विचार के बारे में पूछा जाए तो "नीला" क्या कहना है और जब वास्तविकता के बारे में पूछा जाए तो "लाल" क्या कहना है।
यह शोध पत्र पर्दा हटाकर यह दिखाता है कि मॉडल का मस्तिष्क वास्तव में यह कैसे करता है। यह पता चलता है कि मॉडल "सत्य" और "झूठ" के लिए दो अलग-अलग भंडारण कक्षों का उपयोग नहीं करता है; इसके बजाय, यह एक चतुर दो-भाग वाली प्रणाली का उपयोग करता है: एक यूनिवर्सल फाइलिंग स्लॉट और एक स्मार्ट स्विच।
यूनिवर्सल फाइलिंग स्लॉट (Universal Filing Slot)
सबसे पहले, मॉडल की मेमोरी में एक विशिष्ट स्थान है जिसे "वैल्यू स्लॉट" कहा जाता है। इसे एक डेस्क पर रखे एक साधारण, सामान्य स्टिकी नोट की तरह समझें। यह नोट इस बात की परवाह नहीं करता कि कौन इसे देख रहा है या वे क्या मानते हैं; यह बस रंग "नीला" को थामे रहता है।
शोध दिखाता है कि इस स्लॉट को दो अलग-अलग तरीकों से भरा जाता है:
- डायरेक्ट राइट (The Direct Write): यदि टेक्स्ट स्पष्ट रूप से कहता है, "एना का मानना है कि कप नीला है," तो मॉडल सीधे उस स्टिकी नोट पर "नीला" लिख देता है।
- डिटेक्टिव लुकबैक (The Detective Lookback): यदि टेक्स्ट कहता है, "एना ने देखा कि बेन ने कप को नीला रंगा," तो मॉडल को थोड़ा जासूसी काम करना पड़ता है। उसे कहानी में पीछे जाकर देखना होगा कि एना वास्तव में क्या देख सकती थी, यह पता लगाना होगा कि रंग नीला है, और फिर उसी स्टिकी नोट पर "नीला" लिखना होगा।
सबसे महत्वपूर्ण बात यह है कि इस स्टिकी नोट पर कोई लेबल नहीं होता कि "यह एना का विश्वास है" या "यह सत्य है।" यह केवल एक तटस्थ कंटेनर है जो रंग को थामे रहता है। यदि आप इस नोट पर रंग बदलते हैं, तो यह विश्वास और वास्तविकता दोनों प्रश्नों के उत्तर को समान रूप से बदल देता है। नोट केवल "क्या" है, "कौन" या "कब" नहीं।
स्मार्ट स्विच (The Smart Switch - Router)
तो, यदि नोट तटस्थ है, तो मॉडल को यह कैसे पता चलता है कि किस संस्करण को पढ़ना है? यहीं पर दूसरा तंत्र आता है: एक रूटर (Router) जो प्रश्न पूछे जाने के ठीक उसी क्षण मौजूद होता है।
कल्पना करें कि पुस्तकालय के निकास द्वार पर एक ट्रैफिक पुलिस वाला खड़ा है। जब कोई पूछता है, "एना क्या सोचती है?", तो पुलिस वाला स्विच को "विश्वास" (Belief) लेन पर घुमा देता है। जब कोई पूछता है, "वास्तव में क्या सच है?", तो पुलिस वाला स्विच को "वास्तविकता" (Reality) लेन पर घुमा देता है।
शोध सिद्ध करता है कि ये दोनों लेन पूरी तरह से अलग हैं। "विश्वास" का स्विच और "वास्तविकता" का स्विच दो अलग-अलग चाबियों की तरह हैं जो अलग-अलग दरवाजे खोलते हैं। वे आपस में नहीं मिलते। यदि आप "विश्वास" की चाबी का उपयोग "वास्तविकता" के दरवाजे पर करने की कोशिश करते हैं, तो यह बहुत ही कम काम करती है। यह अलगाव विशेष रूप से प्रश्न पूछे जाने के क्षण पर होता है, न कि उस भंडारण कक्ष में जहाँ रंग रखा जाता है।
यह सुपरपावर कब प्रकट हुआ?
शोधकर्ताओं ने यह देखने के लिए विभिन्न आकार के मॉडलों का परीक्षण किया कि यह क्षमता कब आती है।
- छोटे मॉडल (3 बिलियन पैरामीटर्स): ये मॉडल भ्रमित हो जाते हैं। वे अक्सर केवल अंतिम सुने गए रंग को दोहरा देते हैं (एक चाल जिसे "रेसेन्सी" कहा जाता है) बजाय इसके कि वे ट्रैक करें कि किसने क्या देखा।
- मध्यम मॉडल (7 बिलियन पैरामीटर्स): अचानक, यह क्षमता पूरी तरह से स्थापित हो जाती है। 3B और 7B के बीच, मॉडल विश्वास और वास्तविकता को स्पष्ट रूप से अलग करना सीख जाता है। जब तक मॉडल 7 बिलियन तक पहुँच जाता है, वह इन पहेलियों को लगभग पूरी तरह से हल कर लेता है, चाहे कहानी किसी भी क्रम में बताई गई हो।
यह क्या नहीं है
शोध पत्र कुछ सामान्य अनुमानों को खारिज करने में बहुत सावधान है:
- यह "सत्य" बनाम "झूठ" का टैग नहीं है: मॉडल के पास रंग के साथ जुड़ा कोई विशेष "विश्वास" स्टैम्प नहीं है। रंग "नीला" उसी तरह संग्रहीत किया जाता है चाहे वह एक विश्वास हो या एक तथ्य। अंतर पूरी तरह से इस बात में है कि मॉडल इसे कैसे चुनता है।
- यह केवल कॉपी करना नहीं है: परीक्षण इस तरह से डिज़ाइन किए गए थे कि केवल अंतिम शब्द को कॉपी करने से काम नहीं चलेगा। मॉडल को वास्तव में ट्रैक करना होगा कि किसने क्या देखा।
- यह केवल एक बड़ा "विश्वास वाला मस्तिष्क" नहीं है: अध्ययन दिखाता है कि जो हिस्सा मान (value) को संग्रहीत करता है, वह उस हिस्से से अलग है जो यह तय करता है कि किस दृष्टिकोण का उपयोग करना है।
मुख्य निष्कर्ष (The Bottom Line)
संक्षेप में, मॉडल के पास "विश्वास मशीन" और "वास्तविकता मशीन" नहीं है। इसके पास मानों (values) के लिए एक साझा फाइलिंग कैबिनेट है और एक स्मार्ट स्विच है जो प्रश्न के आधार पर यह तय करता है कि कौन सा दराज खोलना है। यह प्रणाली विभिन्न प्रकार के मॉडलों (जैसे Qwen, Mistral, और OLMo) में काम करती है और एक बार जब मॉडल पर्याप्त बड़ा (लगभग 7 बिलियन पैरामीटर्स) हो जाता है, तो यह तीव्रता से उभरती है।
शोधकर्ताओं ने यह जानकर यह पाया कि उन्होंने मॉडल के आंतरिक कोड के छोटे टुकड़ों को बदलकर (जैसे स्टिकी नोट या स्विच को बदलना) और उत्तरों के बदलने को देखकर यह निष्कर्ष निकाला। वे आश्वस्त हैं कि मॉडल इसी तरह काम करता है क्योंकि उन्होंने तीन अलग-अलग मॉडल आर्किटेक्चर पर परीक्षण किया और हर बार एक ही पैटर्न पाया। हालांकि उन्हें संदेह है कि यही "स्लॉट और स्विच" प्रणाली अन्य जटिल स्थितियों (जैसे समय यात्रा की कहानियाँ या "क्या होगा अगर" वाले परिदृश्य) में भी काम कर सकती है, लेकिन यह विशिष्ट शोध पत्र पूरी तरह से विश्वास-बनाम-वास्तविकता के विभाजन पर केंद्रित है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।