One mechanism for many mental spaces: a shared router over a value slot in language models
यह शोध पत्र प्रदर्शित करता है कि ट्रांसफॉर्मर भाषा मॉडल विविध मानसिक स्थानों (जैसे कि विश्वास, कल्पनाएँ और प्रतितथ्यात्मक/counterfactuals) के लिए एक एकीकृत तंत्र को लागू करते हैं, जो प्रत्येक संदर्भ प्रकार के लिए अलग-अलग तार्किक संरचनाओं का उपयोग करने के बजाय, एक एकल पुन: प्रयोज्य स्लॉट से मानों का चयन करने वाले एक साझा, लो-रैंक राउटर का उपयोग करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक भाषा मॉडल (language model) की कल्पना एक अत्यंत व्यवस्थित पुस्तकालयाध्यक्ष (librarian) के रूप में करें जो न केवल किताबें संग्रहीत करता है, बल्कि एक ही पुस्तकालय के भीतर संपूर्ण दुनिया भी बसाए रखता है। इस पुस्तकालय में, एक फूल "वास्तविक दुनिया" (Real World) वाले खंड में लाल हो सकता है, "चित्रण" (Portrait) वाले खंड में बैंगनी, और "एलिस के सपने" (Alice's Dream) वाले खंड में हरा हो सकता है। मुख्य प्रश्न यह था: क्या पुस्तकालयाध्यक्ष इन दुनियाओं को पूरी तरह से अलग, अलग नियमों वाले जादुई कमरों में रखता है? या क्या वह उन सभी को संभालने के लिए एक ही चतुर, पुन: प्रयोज्य (reusable) प्रणाली का उपयोग करता है?
यह शोधपत्र सुझाव देता है कि पुस्तकालयाध्यक्ष सब कुछ करने के लिए एक साझा प्रणाली का उपयोग करता है।
जादुई टैग और राउटर (The Magic Tag and the Router)
फूल के रंग को डेटा के एक टुकड़े के रूप में सोचें जो एक शेल्फ पर रखा है। शोधपत्र पाता है कि मॉडल एक विशेष, लो-रैंक "टैग" (जिसे राउटर या स्पेस इंडेक्स कहा जाता है) का उपयोग करता है ताकि यह चुना जा सके कि किस दुनिया को पढ़ना है। यह टैग स्वयं डेटा से अलग होता है। डेटा एक तटस्थ भंडारण क्षेत्र में स्थित होता है जिसे वैल्यू स्लॉट (value slot) कहा जाता है, जो रंग को तो रखता है लेकिन उसे इस बात की परवाह नहीं होती कि वह वास्तविकता से संबंधित है या किसी सपने से।
लेकिन मॉडल को कैसे पता चलता है कि जब आप पूछते हैं, "चित्रण में फूल का रंग क्या है?" तो कौन सा रंग चुनना है? इसके लिए वह राउटर का उपयोग करता है। आप इस राउटर को एक स्मार्ट, कारण-परिवर्तनीय (causally manipulable) इंडेक्स के रूप में देख सकते हैं। जब आप चित्रण के बारे में पूछते हैं, तो राउटर "चित्रण" सेटिंग चुनता है, और मॉडल साझा स्लॉट से बैंगनी फूल को पढ़ता है। जब आप वास्तविकता के बारे में पूछते हैं, तो राउटर "वास्तविकता" चुनता है, और वह लाल फूल को पढ़ता है।
शोधपत्र दिखाता है कि यह राउटर हर प्रकार की दुनिया के लिए एक अलग मशीन नहीं है। चाहे वह विश्वास (जो एलिस सोचती है) हो, स्मृति (बीता हुआ कल), परिकल्पना (क्या होगा यदि...), या कथा/कल्पना (एक फिल्म में) हो, मॉडल उसी प्रकार के राउटर का उपयोग करता है।
एक स्विच जो सब पर शासन करता है (One Switch to Rule Them All)
शोधकर्ताओं ने इसे एक विशिष्ट प्रकार की दुनिया, जैसे कि "परिकल्पनाओं" (जो हो सकता है) को नियंत्रित करने के लिए प्रशिक्षित करके परीक्षण किया। फिर, उन्होंने उसी नियंत्रण तंत्र का उपयोग अन्य दुनियाओं, जैसे कि "विश्वासों" या "फिल्मों" के लिए किया।
परिणाम? स्विच हर चीज़ के लिए काम कर गया।
- जब उन्होंने मॉडल को एक काल्पनिक परिदृश्य में रंग बदलने के लिए प्रशिक्षित किया, तो उसी प्रशिक्षण ने विश्वास वाले परिदृश्य में रंग को 71% से 89% बार (मॉडल परिवार के आधार पर) बदल दिया।
- यह सुझाव देता है कि मॉडल के पास हर तरह की दुनिया के लिए कोई विशेष, गुप्त "विश्वास मशीन" नहीं है जो उसकी "मूवी मशीन" से पूरी तरह अलग हो। इसके बजाय, उसके पास एक साझा राउटर है जो इन सभी विभिन्न संदर्भों को संभालता है।
यह क्या नहीं है (The Ruled-Out Ideas)
शोधपत्र बहुत सावधानी से यह स्पष्ट करता है कि यह प्रणाली क्या नहीं है:
- यह केवल शब्दों को याद रखना नहीं है: मॉडल केवल यह याद नहीं रख रहा है कि "लाल" शब्द "वास्तविकता" के पास और "बैंगनी" शब्द "चित्रण" के पास आया था। सिस्टम वास्तव में स्वयं संदर्भ (context) के लिए एक कोड ले जाता है।
- यह विश्वासों के लिए कोई अलग कमरा नहीं है: औपचारिक तर्क (formal logic) अक्सर "विश्वासों" को एक पूरी तरह से अलग, अपारदर्शी श्रेणी के रूप में मानता है जहाँ नियम बदल जाते हैं। यह शोधपत्र तर्क देता है कि, यांत्रिक रूप से, मॉडल विश्वासों को किसी भी अन्य स्थान की तरह ही मानता है। "विश्वास" का टैग मॉडल की वायरिंग में "परिकल्पना" टैग की तरह विशेष या अलग नहीं है।
- यह कोई स्थिर स्टिकी नोट नहीं है: मॉडल रंग को किसी स्थायी नोट पर लिखकर वहाँ नहीं छोड़ देता। इसके बजाय, यह एक रिट्रीवल सिस्टम (retrieval system) की तरह है। जब आप प्रश्न पूछते हैं, तो मॉडल स्रोत पाठ (source text) पर वापस जाता है और वर्तमान "स्थान" सेटिंग के आधार पर रंग को पुनः पढ़ता है। यह एक "जस्ट-इन-टाइम" पठन है, न कि कोई स्थायी भंडारण स्लॉट।
"रिपोर्ट" बनाम "तर्क" का विभाजन (The "Report" vs. "Reasoning" Split)
यहाँ एक दिलचस्प मोड़ है जो शोधपत्र ने खोजा। मॉडल के पास एक ही जानकारी के लिए दो अलग-अलग मार्ग हैं:
- रिपोर्ट पथ (The Report Path): यह वह है जो मॉडल ज़ोर से बोलता है।
- तर्क पथ (The Reasoning Path): यह वह है जिसका उपयोग मॉडल पहेली सुलझाने के लिए करता है।
शोधकर्ताओं ने पाया कि वे इन दोनों पथों को अलग-अलग नियंत्रित कर सकते हैं। वे मॉडल को यह कहने के लिए प्रशिक्षित कर सकते हैं कि "फूल हरा है" (रिपोर्ट को बदलना) जबकि अभी भी मॉडल को एक तर्क पहेली को इस तरह हल करने के लिए मजबूर कर सकते हैं जैसे कि फूल "नीला" हो (तर्क को अपरिवर्तित रखना)। यह सिद्ध करता है कि मॉडल "मैं क्या कहता हूँ" और "मैं क्या सोचता हूँ" को अपने मस्तिष्क के थोड़े अलग हिस्सों में रखता है, भले ही वे एक ही स्रोत से आते हों।
नई दुनिया बनाना (Building New Worlds)
जब मॉडल एक जटिल वाक्य का सामना करता है जैसे "एलिस विश्वास करती थी कि कप नीला था," तो वह एक नई जगह बना रहा होता है (अतीत और विश्वास का मिश्रण)। शोधपत्र दिखाता है कि मॉडल इसके लिए एक पूरी नई लाइब्रेरी नहीं बनाता है। इसके बजाय, वह उसी वैल्यू स्लॉट का पुन: उपयोग करता है (कप का रंग) लेकिन इस नए, संयुक्त विश्व के लिए एक नया राउटर निर्मित करता है (एक नया इंडेक्स सेटिंग)। यह एक मौजूदा पुस्तक को लेने और उसे एक नया, अस्थायी कवर लेबल देने जैसा है बिना पूरी कहानी को दोबारा लिखे।
हम कितने आश्वस्त हैं? (How Sure Are We?)
शोधपत्र इन निष्कर्षों के बारे में काफी आश्वस्त है, लेकिन कुछ विशिष्ट सीमाओं के साथ:
- प्रयोगशाला में सिद्ध: परिणाम तीन अलग-अलग मॉडल परिवारों (Qwen, Pythia, और Falcon3) में मॉडल के आंतरिक "एक्टिवेशन" (उसके विद्युत संकेतों) के प्रत्यक्ष मापन पर आधारित हैं। शोधकर्ताओं ने केवल अनुमान नहीं लगाया; उन्होंने मॉडल के व्यवहार को सिद्ध करने के लिए उसके कोड में भौतिक हस्तक्षेप किया।
- कोई जादुई समाधान नहीं: शोधपत्र स्वीकार करता है कि हालांकि राउटर साझा है, लेकिन यह हर प्रकार की दुनिया के लिए पूरी तरह से समान नहीं है। उदाहरण के लिए, "पेंटिंग" या "मूवी" के संदर्भ कभी-कभी "विश्वास" के संदर्भों की तुलना में थोड़ा अलग व्यवहार करते हैं। साथ ही, इन दुनियाओं को संभालने की मॉडल की क्षमता "रिट्रीवल-शेप्ड" (retrieval-shaped) है, जिसका अर्थ है कि यह टेक्स्ट को फिर से पढ़ने पर निर्भर करती है न कि एक स्थिर स्मृति पर, जिससे कुछ परीक्षणों में यह थोड़ा "लीकी" (leaky) हो जाता है।
- पैमाना मायने रखता है: ये यांत्रिक विवरण छोटे मॉडलों (3 बिलियन पैरामीटर्स) में पाए गए। हालाँकि, यह व्यवहार (इन दुनियाओं को संभालने की क्षमता) बड़े, फ्रंटियर मॉडल्स (जैसे GPT-4o और 72B मॉडल्स) में भी मौजूद पाया गया, जो बताता है कि भले ही हम उन विशाल मॉडलों के अंदर आसानी से नहीं देख सकते, लेकिन यह तंत्र बड़े पैमाने पर भी काम करता है।
संक्षेप में, शोधपत्र सुझाव देता है कि भाषा मॉडलों के पास एक एकीकृत, पुन: प्रयोज्य "स्पेस राउटर" है जो उन्हें वास्तविकता, सपने, विश्वास और फिल्मों को संभालने के लिए एक ही यांत्रिक उपकरण का उपयोग करने देता है, न कि प्रत्येक प्रकार की कल्पना के लिए एक अलग उपकरण की आवश्यकता होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।