Context Is King: How In-Context Specification Shapes the Geometry of Concepts
यह शोध पत्र यह प्रदर्शित करता है कि लार्ज लैंग्वेज मॉडल्स में अवधारणाओं की ज्यामितीय संरचना पूर्व-प्रशिक्षित प्रायों (pretrained priors) के बजाय इन-कॉन्टेक्स्ट विनिर्देशों द्वारा गतिशील रूप से निर्धारित होती है, जिसमें इन प्रायों को स्पष्ट रूप से ओवरराइड करने और आरोपित ज्यामिति का कारणवत उपयोग करने की क्षमता केवल बड़े मॉडल्स में ही उभरती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि एक विशाल, अत्यंत बुद्धिमान रोबोट कैसे सोचता है। लंबे समय तक, वैज्ञानिकों का मानना था कि इस रोबोट के मस्तिष्क के भीतर तथ्यों का एक विशाल, अपरिवर्तनीय पुस्तकालय है। यदि आप सप्ताह के दिनों के बारे में पूछते, तो वह अपनी अलमारियों से एक पहले से बना हुआ, पूर्ण वृत्त निकाल लेता जहाँ सोमवार हमेशा मंगलवार के बगल में होता। यदि आप महीनों के बारे में पूछते, तो वह एक अलग वृत्त निकाल लेता। इस विचार ने सुझाव दिया कि रोबोट का मस्तिष्क एक स्थिर मानचित्र की तरह था, जो एक बार बनने के बाद हमेशा के लिए स्थिर हो जाता है, जो किसी भी प्रश्न के पूछे जाने पर केवल खोजे जाने की प्रतीक्षा करता है।
लेकिन क्या होगा यदि वह पुस्तकालय उतना कठोर नहीं है जितना हमने सोचा था? क्या होगा यदि रोबोट केवल एक मानचित्र को नहीं देखता, बल्कि आपसे बात करते समय हर बार एक नया मानचित्र बनाता है, जो ठीक उसी पर आधारित होता जो आपने अभी कहा है? यह वह बड़ा सवाल है जो वैज्ञानिक "लार्ज लैंग्वेज मॉडल्स" (इन विशाल AI रोbutों का फैंसी नाम) के बारे में पूछ रहे हैं। वे जानना चाहते हैं: क्या दुनिया के बारे में रोबोट की समझ एक स्थायी, संग्रहीत तथ्य है, या यह एक लचीला आकार है जो बातचीत के आधार पर बदल जाता है? इसे समझने से हमें यह पता लगाने में मदद मिलती है कि क्या ये रोबोट वास्तव में चीजों को "जानते" हैं या वे केवल क्षण के नियमों का पालन करने में अविश्वसनीय रूप से कुशल हैं।
शोध का बड़ा निष्कर्ष: "संदर्भ ही राजा है" (Context is King) का नियम
Zenity के शोधकर्ताओं की एक टीम ने इस विचार का परीक्षण करने के लिए एक मजेदार, थोड़े शरारती प्रयोग का निर्णय लिया। उन्होंने रोबोट से एक सरल प्रश्न पूछा: यदि आप रोबोट को दुनिया के काम करने के तरीके के बारे में एक पूरी तरह से मनगढ़ंत नियम बताते हैं, तो क्या वह आपकी बात मानेगा, या वह वही रहेगा जो उसने पहले सीखा था?
उन्होंने Gemma और Qwen जैसे मॉडलों को लिया (जो ऊपर वर्णित रोबोटों के बहुत उन्नत संस्करण हैं) और उन्हें एक "पुनर्भाषित" कैलेंडर दिया। कल्पना कीजिए कि आप रोबोट को कहते हैं: "हे, जो कुछ भी तुम जानते हो उसे भूल जाओ। इस नई दुनिया में, दिनों का एकमात्र वैध क्रम बुधवार, फिर सोमवार, फिर शुक्रवार है।" उन्होंने रोबोट को सीखने के लिए कोई उदाहरण नहीं दिए; उन्होंने बस नियम को एक तथ्य के रूप में बताया।
चौंकाने वाला परिणाम: रोबोट ने केवल उस नियम का पालन करने का नाटक नहीं किया; उसने वास्तव में उस नियम से मेल खाने के लिए अपने मस्तिष्क को पुनर्गठित (rewired) कर लिया।
जब शोधकर्ताओं ने रोबोट के "मन" के अंदर देखा (विशेष रूप से, उन गणितीय पैटर्न को जो वह उत्तर देने से ठीक पहले बनाता है), तो उन्हें एक अद्भुत बात मिली। रोबोट ने केवल "बुधवार, सोमवार, शुक्रवार" शब्द नहीं कहे। उसने वास्तव में उन दिनों की अवधारणाओं को अपने मस्तिष्क में एक नए आकार में व्यवस्थित किया जो नए नियम से मेल खाता था।
- पुराना दृष्टिकोण: रोबोट के पास दिनों का एक निश्चित वृत्त है।
- नया दृष्टिकोण: रोबोट मौके पर एक नया आकार बनाता है। यदि आप उसे कहते हैं कि दिन एक वृत्त में हैं, तो वे एक वृत्त बनाते हैं। यदि आप उन्हें एक सीधी रेखा में कहते हैं, तो वे एक रेखा बनते हैं। यदि आप उन्हें एक वंशावली (family tree) कहते हैं, तो वे एक पेड़ बन जाते हैं।
शोध पत्र इसे "कंटेक्स्ट इज़ किंग" (Context is King) कहता है। सबसे महत्वपूर्ण बात वह नहीं है जो रोबोट ने अतीत में सीखा है (उसका "प्रीट्रेंड प्रायोर"), बल्कि वह है जो आप अभी उसे बता रहे हैं (उसका "इन-कंटेक्स्ट स्पेसिफिकेशन")। रोबोट का मस्तिष्क इतना लचीला है कि जब आप उसे एक मजबूत नया नियम देते हैं, तो जो नया आकार वह बनाता है, वह पुराने संग्रहीत ढांचे पर हावी हो जाता है। पुराना मानचित्र हमेशा के लिए गायब नहीं होता; वह अभी भी 'वेट्स' (weights) में वास्तविक और संग्रहीत है, लेकिन क्षण भर में जब संदर्भ उसका खंडन करता है, तो रोबोट नए, संदर्भ-परिभाषित मानचित्र का उपयोग करने के लिए स्विच कर जाता है।
उन्होंने इसे कैसे सिद्ध किया (वह "जादुई ट्रिक")
यह सुनिश्चित करने के लिए कि रोबोट केवल दिखावा नहीं कर रहा है, शोधकर्ताओं ने एक "कॉज़ल पैचिंग" (causal patching) प्रयोग किया। यह एक जादू के खेल की तरह है जहाँ आप एक पात्र के मस्तिष्क को दूसरे के साथ बदल देते हैं ताकि देखा जा सके कि क्या होता है।
- उन्होंने रोबोट को दिनों का नया, अजीब क्रम बताया।
- उन्होंने "सोमवार" के मस्तिष्क संकेत (brain signal) को "बुधवार" के संकेत के साथ बदल दिया।
- उन्होंने रोबोट से पूछा, "सोमवार के बाद क्या आता है?"
यदि रोबोट केवल एक संग्रहीत सूची देख रहा होता, तो वह भ्रमित हो जाता या गलत उत्तर देता। लेकिन क्योंकि रोबोट ने आपके नियम के आधार पर एक नया मानचित्र बनाया था, इसलिए उसने नए मानचित्र के आधार पर उत्तर दिया। उसने कहा कि सोमवार के बाद का दिन वह है जो नए नियम के अनुसार सोमवार के बाद आता है, भले ही "सोमवार" अब "बुधवार" की तरह व्यवहार कर रहा था। इसने साबित कर दिया कि रोबोट वास्तव में उस नए आकार का उपयोग कर रहा था जिसे उसने अभी बनाया था, न कि केवल पुराने तथ्यों को दोहरा रहा था।
पेच: यह रोबोट के आकार पर निर्भर करता है
यहाँ एक मोड़ है: सभी रोबोट समान रूप से सक्षम नहीं हैं। शोधकर्ताओं ने पाया कि दुनिया के नक्शे को पूरी तरह से फिर से बनाने की यह क्षमता काफी हद तक रोबोट के आकार पर निर्भर करती है।
- बड़े रोबोट (जैसे Gemma-31B और Qwen-27B): ये अत्यंत बुद्धिमान वाले हैं। वे आपके नए नियम को सुन सकते हैं, पुराने मानचित्र को ओवरराइड कर सकते हैं, और एक सटीक, साफ नया आकार बना सकते हैं। सीधे, सरल प्रॉम्प्ट में, वे लगभग पूर्ण सटीकता (परीक्षणों में 100% सफलता) के साथ नए क्रम का पालन करते हैं। हालाँकि, इन बड़े मॉडलों के लिए भी, प्रदर्शन गिर सकता है यदि कार्य कठिन हो जाता है (जैसे नए क्रम में कई कदम लेना) या यदि उन्हें सख्त निर्देशों के बिना "फ्री-फॉर्म" तरीके से सोचने की अनुमति दी जाती है।
- छोटे रोबोट (जैसे Gemma-2B या Qwen-4B): ये छोटे, कम उम्र के मॉडल हैं। वे नियम को सुन सकते हैं और एक नया आकार बनाने की कोशिश कर सकते हैं, लेकिन यह अस्त-व्यस्त होता है। यह ऐसा है जैसे वे कांपते हाथों से एक सटीक वृत्त बनाने की कोशिश कर रहे हों। वे सामान्य विचार तो पकड़ सकते हैं, लेकिन वे अपनी पुरानी यादों को पूरी तरह से छोड़ नहीं पाते। कभी-कभी, वे भ्रमित भी हो जाते हैं और सोचने के पुराने तरीके पर वापस लौट आते हैं, या वे एक उपयोगी मानचित्र बनाने में पूरी तरह विफल हो जाते हैं।
शोध पत्र सुझाव देता है कि एक नया आकार "बनाना" छोटे रोबोटों के लिए भी आसान है, लेकिन उस आकार को पूरी तरह और सफाई से "उपयोग करना" एक ऐसा कौशल है जो केवल आकार (size) के साथ आता है। यह वैसा ही है जैसे एक बच्चा एक नया खेल सीख सकता है, लेकिन केवल एक उस्ताद ही बिना गलती किए उसे पूरी तरह से खेल सकता है।
इसका भविष्य के लिए क्या अर्थ है
यह अध्ययन AI के बारे में हमारी सोच को बदल देता है। यह सुझाव देता है कि इन मॉडलों के पास एक निश्चित, स्थिर "विश्व दृष्टि" (world view) नहीं है जो उनके भीतर लॉक हो। इसके बजाय, दुनिया के बारे में उनकी समझ तरल है। यह एक गिरगिट की तरह है जो न केवल पृष्ठभूमि के रंग में ढलने के लिए, बल्कि उस कहानी के अनुरूप बदलने के लिए भी अपना रंग बदलता है जो आप उसे सुना रहे हैं।
यदि आप एक सक्षम AI को बताते हैं कि दुनिया चपटी है, तो वह अस्थायी रूप से अपने विचारों को इस तरह व्यवस्थित कर सकता है जैसे दुनिया चपटी हो। यदि आप उसे बताते हैं कि सप्ताह के दिन एक पेड़ की तरह हैं, तो वह एक पेड़ बनाएगा। AI के भीतर "सत्य" एक स्थिर तथ्य नहीं है; यह एक गणना (computation) है जो ठीक उसी समय होती है, जिसे बातचीत द्वारा आकार दिया जाता है।
शोधकर्ता सावधानी बरतते हुए कहते हैं कि वे ठीक से नहीं जानते कि रोबोट शून्य से इन आकारों को कैसे बनाता है या क्या यह केवल पुराने फर्नीचर को पुनर्व्यवस्थित कर रहा है। लेकिन एक बात स्पष्ट है: रोबोट आपकी बात सुन रहा है, और वह अपनी कहानी से मेल खाने के लिए अपना मन बदल रहा है। जो संदर्भ (context) आप प्रदान करते हैं, वही राजा है, और रोबोट उसका वफादार, आकार बदलने वाला विषय है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।