Exploring Geographic Relative Space in Large Language Models through Activation Patching
यह शोध पत्र यह जांच करता है कि लार्ज लैंग्वेज मॉडल्स (Large Language Models) सापेक्ष भौगोलिक स्थान को कैसे संसाधित करते हैं, जिसमें भौगोलिक अनुप्रयोगों में इन मॉडल्स की आंतरिक कार्यप्रणाली की सीमित समझ से उत्पन्न होने वाली सुरक्षा संबंधी चिंताओं को संबोधित करने के लिए एक्टिवेशन पैचिंग (activation patching), एक मैकेनिस्टिक इंटरप्रिटेबिलिटी तकनीक, का उपयोग किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट है जो कहानियाँ लिख सकता है, सवालों के जवाब दे सकता है और लगभग किसी भी चीज़ के बारे में बात कर सकता है। हम इन्हें लार्ज लैंग्वेज मॉडल्स (LLMs) कहते हैं। लेकिन समस्या यह है कि हमें वास्तव में यह नहीं पता कि रोबोट कैसे सोचता है। यह एक ब्लैक बॉक्स की तरह है जहाँ आप एक सवाल डालते हैं और उत्तर बाहर आता है, लेकिन इसके अंदर के गियर छिपे हुए होते हैं।
यह शोध पत्र एक टीम जासूसों की तरह है जो उस ब्लैक बॉक्स के अंदर झाँकने की कोशिश कर रहे हैं, विशेष रूप से यह देखने के लिए कि रोबोट भूगोल (geography) को कैसे समझता है—जैसे कि "पास" (near) और "दूर" (far) के बीच का अंतर।
जासूसी उपकरण: "एक्टिवेशन पैचिंग" (Activation Patching)
यह पता लगाने के लिए कि रोबोट कैसे काम करता है, शोधकर्ता एक्टिवेशन पैचिंग नामक एक उपकरण का उपयोग करते हैं। रोबोट के मस्तिष्क को एक विशाल फैक्ट्री असेंबली लाइन की तरह समझें जहाँ सैकड़ों कार्यकर्ता (परतें/layers) एक संदेश को नीचे की ओर भेजते हैं।
शोधकर्ताओं की तरकीब यह है कि वे असेंबली लाइन पर एक विशिष्ट बिंदु पर संदेश को बदल (swap out) देते हैं।
- स्वच्छ परिदृश्य (The Clean Scenario): वे रोबोट से पूछते हैं, "लंदन कहाँ स्थित है?" और वह कहता है, "लंदन शहर के पास स्थित है..." (यह "स्वच्छ" विचार है)।
- भ्रष्ट परिदृश्य (The Corrupted Scenario): वे पूछते हैं, "लंदन कहाँ स्थित है?" लेकिन इस बार वे रोबोट को दूरी के बारे में सोचने के लिए मजबूर करते हैं, जैसे "लंदन शहर से पाँच सौ मील दूर है..." (यह "भ्रष्ट" विचार है)।
- बदलाव (The Swap): अब, वे चरण 1 से "स्वच्छ" विचार लेते हैं और उसे चरण 2 वाले "भ्रष्ट" प्रश्न को प्रोसेस करते समय dekreti (गुप्त रूप से) रोबोट के मस्तिष्क में डाल देते हैं।
यदि रोबोट अचानक फिर से "पास" के बारे में बात करने लगता है बजाय "पाँच सौ मील" के, तो शोधकर्ता ठीक से जान जाते हैं कि फैक्ट्री में कौन सा कार्यकर्ता (या परत) "पास" की अवधारणा को समझने के लिए जिम्मेदार था। यदि बदलाव का कोई प्रभाव नहीं पड़ता है, तो उस कार्यकर्ता को भूगोल से कोई लेना-देना नहीं है।
प्रयोग: "पास" बनाम "दूर"
टीम ने इस परीक्षण के लिए एक विशिष्ट रोबोट मॉडल (Gemma 2 2B) का उपयोग किया और 249 अलग-अलग यूके (UK) शहरों का अध्ययन किया। वे यह देखना चाहते थे कि रोबोट "पास" (near) शब्द को विशिष्ट दूरियों जैसे कि "पाँच मील", "दस मील" या "एक हज़ार मील" की तुलना में कैसे संभालता है।
उन्होंने एक छोटी सी समस्या देखी: "पास" एक शब्द है, लेकिन "पाँच सौ मील" तीन शब्द हैं। यह एक एकल लेगो ब्रिक (Lego brick) को लेगो के पूरे टावर से बदलने की कोशिश करने जैसा है। शोधकर्ताओं ने इसे ठीक करने के लिए अतिरिक्त शब्द जोड़ने की कोशिश की, लेकिन इससे चीजें बहुत उलझ गईं, इसलिए वे बस सरल बदलाव के साथ गए और इस मामूली विसंगति को स्वीकार कर लिया।
उन्होंने क्या पाया
इन बदलावों के दौरान रोबोट के मस्तिष्क की सक्रियता को देखकर, उन्हें कुछ दिलचस्प पैटर्न मिले:
- "संख्या" क्षेत्र (The "Number" Zone): जब उन्होंने रोबोट द्वारा एक संख्या (जैसे "दो सौ मील" में "सौ" शब्द) पढ़ने के तुरंत बाद मस्तिष्क की गतिविधि को बदला, तो रोबोट दूरी के बारे में पूरी तरह से भूल गया और फिर से "पास" के बारे में सोचने लगा। ऐसा लगता है कि रोबोट के पास एक विशिष्ट स्थान है जो संख्याओं को प्रोसेस करने के लिए समर्पित है।
- "दूरी" क्षेत्र (The "Distance" Zone): जब उन्होंने "मील से" (miles from) शब्दों के लिए गतिविधि को बदला, तो प्रभाव अधिक बिखरा हुआ था। यह सुझाव देता है कि "सापेक्ष स्थान" (relative space - चीजें एक-दूसरे से कितनी दूर हैं) का विचार रोबोट के मस्तिष्क के कई अलग-अलग हिस्सों में फैला हुआ है, न कि केवल एक एकल स्थान पर।
- बड़ी दूरियाँ अधिक मायने रखती हैं: रोबोट ने बहुत अधिक मजबूती से प्रतिक्रिया दी जब दूरी बहुत बड़ी थी (जैसे सैकड़ों मील) तुलनात्मक रूप से छोटी दूरियों (जैसे पाँच मील) के। ऐसा लगता है कि रोबोट "एक हज़ार मील" के साथ "पाँच मील" की तुलना में बहुत अलग व्यवहार करता है।
- "सौ" और "हज़ार" की विचित्रता: दिलचस्प बात यह है कि रोबोट "एक सौ मील" और "एक हज़ार मील" जैसे वाक्यांशों से थोड़ा भ्रमित था। बदलाव इन मामलों में उतना प्रभावी नहीं रहा। शोधकर्ता सोचते हैं कि ऐसा इसलिए हो सकता है क्योंकि रोबोट इन बड़ी गोल संख्याओं को सटीक माप के बजाय अस्पष्ट अवधारणाओं के रूप में मानता है, या उनके लिए एक अलग मानसिक मानचित्र का उपयोग करता है।
मुख्य निष्कर्ष (The Bottom Line)
यह शोध पत्र हमें यह नहीं बताता है कि हमें इन रोबोटों का उपयोग नेविगेशन या शहर नियोजन के लिए कैसे करना है। इसके बजाय, यह एक आधारभूत अध्ययन है। यह हमें दिखाता है कि लार्ज लैंग्वेज मॉडल्स के पास भूगोल को समझने का एक तरीका होता है, लेकिन यह विभिन्न हिस्सों के एक जटिल जाल के रूप में काम करता है।
इस "सर्जरी" (एक्टिवेशन पैचिंग) का उपयोग करके, शोधकर्ताओं ने साबित कर दिया कि वे ठीक से पहचान सकते हैं कि रोबोट कहाँ भ्रमित होता है या वह "पास" और "दूर" के बीच के अंतर को कहाँ समझता है। यह इन AI उपकरणों को वास्तविक दुनिया के भौगोलिक कार्यों को संभालने से पहले सुरक्षित और विश्वसनीय बनाने के लिए एक महत्वपूर्ण पहला कदम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।