Localizing Anchoring Pathways in Language Models
यह शोध पत्र 7B–8B Qwen और Llama मॉडलों में एंकरिंग प्रभावों (anchoring effects) के आंतरिक तंत्रों की जांच करता है, जो यह प्रकट करता है कि एज-लेवल एट्रिब्यूशन विधियाँ नोड-लेवल विधियों की तुलना में प्रासंगिक निर्णय संकेतों को अधिक सटीक रूप से स्थानीयकृत करती हैं और जबकि ये मार्ग एक मॉडल के भीतर एंकर दिशाओं में सुसंगत होते हैं, वे बेस और इंस्ट्रक्शन-ट्यून्ड वेरिएंट के बीच महत्वपूर्ण रूप से बदल जाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक बड़े लैंग्वेज मॉडल (LLM) की कल्पना एक सुपर-स्मार्ट, लेकिन थोड़ी भोली जासूस के रूप में करें। आप उसे एक पहेली सुलझाने के लिए देते हैं, लेकिन आप बातचीत में एक यादृच्छिक (random), अप्रासंगिक संख्या भी डाल देते हैं—जैसे कि यह कहना, "वैसे, लॉटरी टिकट 15 पर रुका था," और फिर पूछना, "चंद्रमा को पृथ्वी की परिक्रमा करने में कितने दिन लगते हैं?"
भले ही जासूस जानता है कि सही उत्तर 27 दिन है, लेकिन वह यादृच्छिक "15" उसे थोड़ा बहुत 15 की ओर झुका सकता है। इसे एंकरिंग (Anchoring) कहा जाता है। यह एक संज्ञानात्मक पूर्वाग्रह (cognitive bias) है जहाँ एक अप्रासंगिक संख्या आपके निर्णय को उसकी ओर खींच लेती है।
यह शोध पत्र एक टीम के मैकेनिकल इंजीनियरों की तरह है जो उस जासूस को पुर्जों में अलग करके यह देखने की कोशिश कर रहे हैं कि उसके दिमाग में "भोलापन" ठीक कहाँ होता है। वे जानना चाहते हैं: कंप्यूटर के भीतर कौन से विशिष्ट तार और स्विच वह सिग्नल ले जा रहे हैं जो कहता है, "हे, वह यादृच्छिक संख्या महत्वपूर्ण है!"
उन्होंने इसे कैसे किया और उन्हें क्या मिला, इसका सरल विवरण यहाँ दिया गया है:
1. सेटअप: एक नियंत्रित खेल
जासूस को लंबा निबंध लिखने देने के बजाय, शोधकर्ताओं ने इस परीक्षण को एक बहुविकल्पीय (multiple-choice) खेल में बदल दिया।
- प्रश्न: "चंद्रमा की कक्षा कितनी लंबी है?" (सही उत्तर: 27 दिन)।
- जाल: उन्होंने एक वाक्य जोड़ा जिसमें एक यादृच्छिक संख्या थी, या तो एक "लो एंकर" (15) या एक "हाई एंकर" (49)।
- लक्ष्य: उन्होंने यह मापा कि केवल उस संख्या के उल्लेख के कारण मॉडल का आत्मविश्वास गलत उत्तर (15 या 49) की ओर कितना झुक गया।
उन्होंने पुष्टि की कि मॉडल भी वैसे ही धोखा खा गए, जैसे इंसान खाते हैं।
2. विधि: तारों का पता लगाना
"भोलेपन के सर्किट" को खोजने के लिए, शोधकर्ताओं ने सर्किट लोकलाइजेशन (Circuit Localization) नामक तकनीक का उपयोग किया।
- उपमा: कल्पना करें कि मॉडल एक विशाल शहर है जिसमें नोड्स (पड़ोस) को जोड़ने वाली लाखों सड़कें (एजेस/edges) हैं।
- पुराना तरीका: शोधकर्ता पहले पूरे पड़ोस (नोड्स) को देखते थे यह देखने के लिए कि ट्रैफ़िक कहाँ भारी है।
- नया तरीका: इस शोध पत्र ने पाया कि व्यक्तिगत सड़कों (एजेस) को देखना कहीं अधिक बेहतर है। यह यह समझने जैसा है कि समस्या पूरा "डाउनटाउन" पड़ोस नहीं है, बल्कि विशेष रूप से वह एक पुल है जो डाउनटाउन को उपनगरों से जोड़ता है।
उन्होंने पाया कि एज-लेवल मेथड्स (कनेक्शन को देखना) नोड-लेवल मेथड्स (केवल घटकों को देखना) की तुलना में पूर्वाग्रह को खोजने में कहीं अधिक सटीक थे। "भोलापन" किसी एक विशिष्ट हिस्से में नहीं फंसा है; यह उस पथ (pathway) में है जिससे जानकारी यात्रा करती है।
3. निष्कर्ष: मानचित्र ने क्या खुलासा किया
A. "लो" और "हाई" एंकर एक ही सड़कों का उपयोग करते हैं
चाहे मॉडल को कम संख्या (15) से धोखा दिया गया हो या उच्च संख्या (49) से, ट्रैफ़िक लगभग एक ही सेट की सड़कों से होकर गुजरा।
- रूपक: यह एक नदी की तरह है। चाहे पानी तेज़ (हाई एंकर) बह रहा हो या धीमा (लो एंकर), वह अभी भी उसी नदी के तल (riverbed) का उपयोग करता है। मॉडल के पास संख्याओं से प्रभावित होने का एक साझा "संवेदनशीलता पथ" (susceptibility pathway) होता है, चाहे संख्या बड़ी हो या छोटी।
B. "बेस" बनाम "इंस्ट्रक्शन-ट्यून्ड" मॉडल
शोधकर्ताओं ने एक ही मॉडल के दो संस्करणों का परीक्षण किया:
- बेस मॉडल: एक कच्चा, अप्रशिक्षित जासूस।
- इंस्ट्रक्शन-ट्यून्ड मॉडल: वह जासूस जिसे नियमों का पालन करने और प्रश्नों का विनम्रता से उत्तर देने के लिए प्रशिक्षित किया गया है।
आश्चर्य: हालांकि वे एक ही सामान्य "नदी के तल" (नेटवर्क की समान परतें) का उपयोग करते हैं, लेकिन प्रशिक्षण के बाद सबसे महत्वपूर्ण विशिष्ट सड़कें बदल गईं।
- रूपक: कल्पना करें कि आप एक ड्राइवर को एक नया रास्ता सिखाते हैं। वे अभी भी उसी शहर से गुजरते हैं, लेकिन गंतव्य तक पहुँचने के लिए वे जिन विशिष्ट सड़कों का उपयोग करते हैं, वे बदल गई हैं। "इंस्ट्रक्शन ट्यूनिंग" (प्रशिक्षण) ने सबसे महत्वपूर्ण कनेक्शनों को फिर से व्यवस्थित (rewire) कर दिया। एक सर्किट जो कच्चे मॉडल पर पूरी तरह से काम करता था, वह हमेशा प्रशिक्षित मॉडल पर काम नहीं करता था।
4. बड़ी तस्वीर
यह शोध पत्र सिद्ध करता है कि एंकरिंग केवल मॉडल के ज्ञान में एक "ग्लिच" (खराबी) नहीं है। यह एक विशिष्ट, यांत्रिक प्रक्रिया है जहाँ अप्रासंगिक संख्याएँ मॉडल के निर्णय लेने वाले पथों को हाईजैक कर लेती हैं।
- मुख्य निष्कर्ष: पूर्वाग्रह कनेक्शनों (edges) के माध्यम से यात्रा करता है, न कि केवल अलग-थलग हिस्सों के माध्यम से।
- मुख्य निष्कर्ष: लो और हाई एंकर एक ही "हाईवे" साझा करते हैं, लेकिन मॉडल को नए नियम सिखाने (इंस्ट्रक्शन ट्यूनिंग) से यह बदल जाता है कि उस हाईवे पर कौन से निकास (exits) सबसे महत्वपूर्ण हैं।
संक्षेप में, शोधकर्ताओं ने AI के भीतर "भोलेपन" का मानचित्र बनाया, जिससे हमें पता चला कि जब मॉडल एक यादृच्छिक संख्या से विचलित होता है, तो कौन से तार सिग्नल ले जाते हैं। यह हमें समझने में मदद करता है कि मॉडल केवल "गलत" नहीं है; यह एक विशिष्ट, अनुमानित पथ का पालन कर रहा है जो इसे गलत दिशा में ले जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।