Mechanistic Circuit-Based Knowledge Editing in Large Language Models
यह शोध पत्र MCircKE को प्रस्तुत करता है, जो एक नवीन ढांचा (framework) है जो विशिष्ट तर्क कार्यों के लिए जिम्मेदार कॉज़ल सर्किट्स (causal circuits) की पहचान करके और उन्हें सर्जिकल रूप से अपडेट करके ज्ञान संपादन (knowledge editing) में "रीज़निंग गैप" (reasoning gap) को पाटता है, जिससे लार्ज लैंग्वेज मॉडल्स को मल्टी-स्टेप रीज़निंग चेन्स में संपादित तथ्यों का प्रभावी ढंग से उपयोग करने में सक्षम बनाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
बड़ी समस्या: "स्मार्ट लेकिन अनभिज्ञ" रोबोट
कल्पना कीजिए कि आपके पास एक बहुत ही स्मार्ट रोबोट है (एक लार्ज लैंग्वेज मॉडल, या LLM) जिसने लगभग पूरा इंटरनेट पढ़ लिया है। वह बहुत सारी बातें जानता है।
एक दिन, आप रोबोट को बताते हैं: "पुर्तगाल के प्रधानमंत्री अब मार्सेलो नहीं हैं; अब जेवियर हैं।"
रोबोट अपनी याददाश्त अपडेट करता है। यदि आप उससे पूछते हैं, "पुर्तगाल के पीएम कौन हैं?" तो वह सही उत्तर देता है: "जेवियर।"
लेकिन यहाँ एक गड़बड़ी है: यदि आप एक फॉलो-अप सवाल पूछते हैं जैसे, "जेवियर किस राजनीतिक दल का नेतृत्व करते हैं?" तो रोबोट ठिठक जाता है। वह तथ्य को तो जानता है कि जेवियर पीएम हैं, लेकिन वह उस नए तथ्य को अपने बाकी के तर्क (logic) से जोड़ नहीं पाता। यह एक ऐसे लाइब्रेरियन की तरह है जिसे पता है कि किताब एक नई शेल्फ पर है, लेकिन उसे यह नहीं पता कि उस शेल्फ तक पहुँचने के लिए कैसे चला जाए ताकि वह किताब के अंदर देख सके।
इसे "रीज़निंग गैप" (Reasoning Gap) कहा जाता है। रोबोट तथ्य को याद तो कर सकता है, लेकिन वह इसे तर्क की एक श्रृंखला में इस्तेमाल नहीं कर पाता।
पुराना तरीका: "अंधा पैच" (The Blind Patch)
पिछले तरीकों ने यह अनुमान लगाने की कोशिश की कि रोबोट अपने तथ्यों को कहाँ संग्रहीत करता है। वे कहते थे, "ठीक है, तथ्य आमतौर पर मस्तिष्क के बीच में (MLP लेयर्स में) संग्रहीत होते हैं। चलिए बस उस क्षेत्र को थोड़ा छेड़ते हैं और उस नंबर को बदल देते हैं।"
उपमा (Analogy): कल्पना कीजिए कि रोबोट का मस्तिष्क लाखों सड़कों वाला एक विशाल शहर है। पुराना तरीका एक निर्माण दल को किसी विशिष्ट सड़क के चौराहे को बेतरतीब ढंग से ठीक करने के लिए भेजने जैसा था, इस उम्मीद में कि उसे ठीक करने से जादुई रूप से सारा ट्रैफिक नए गंतव्य की ओर मुड़ जाएगा। कभी-कभी यह एक साधारण यात्रा के लिए काम करता है, लेकिन एक जटिल यात्रा के लिए जिसमें कई मोड़ हों, ट्रैफिक फंस जाता है क्योंकि गंतव्य तक जाने वाली अन्य सड़कें कभी ठीक ही नहीं की गईं।
नया समाधान: MCircKE (द "जीपीएस सर्जन")
इस पेपर के लेखक एक नया तरीका प्रस्तावित करते हैं जिसे MCircKE कहा जाता है। अंदाज़ा लगाने के बजाय, वे एक हाई-टेक जीपीएस वाले मैकेनिक की तरह काम करते हैं।
यह कैसे काम करता है, चरण-दर-चरण यहाँ दिया गया है:
1. "तारों" का मानचित्रण (सर्किट डिस्कवरी)
किसी भी चीज़ को ठीक करने से पहले, टीम पूछती है: "इस विशिष्ट समस्या के बारे में सोचते समय रोबोट के दिमाग में कौन से तार वास्तव में जल उठते हैं?"
वे एक विशेष उपकरण (जिसे EAP-IG कहा जाता है) का उपयोग करते हैं जो एक एक्स-रे की तरह काम करता है। यह डेटा के बिजली के प्रवाह (path) का सटीक पता लगाता है—उस क्षण से जब रोबोट प्रश्न पढ़ता है जब तक कि वह उत्तर नहीं दे देता।
- उपमा: कल्पना कीजिए कि आप न्यूयॉर्क से टोक्यो तक एक पैकेज भेजना चाहते हैं। पुराना तरीका केवल पैकेज पर पता बदल देता था। नया तरीका पूरा उड़ान पथ ट्रेस करता है: न्यूयॉर्क एंकरेज टोक्यो। यह पहचानता है कि हर हवाई अड्डा (न्यूरॉन) और रनवे (कनेक्शन) जिसे पैकेज छूता है, वह क्या है।
2. लापता कड़ियों की खोज
उन्होंने पाया कि सरल प्रश्नों के लिए, रोबोट एक छोटा, सीधा रास्ता उपयोग करता है। लेकिन जटिल, बहु-चरणीय (multi-step) प्रश्नों के लिए, उसे एक लंबे, अधिक जटिल हाईवे सिस्टम की आवश्यकता होती जिसमें मस्तिष्क के बाद के लेयर्स में "रूटिंग" स्टेशन शामिल हों।
पुराने तरीकों ने केवल "स्टोरेज" (वह गोदाम जहाँ तथ्य रहता है) को ठीक किया, लेकिन "रूटिंग" (हाइवे जो तथ्य को अगले चरण तक ले जाते हैं) को अनदेखा कर दिया।
3. सर्जिकल फिक्स (सर्किट-गाइडेड एडेप्टेशन)
एक बार जब उनके पास मानचित्र आ जाता है, तो वे केवल कहीं भी छेड़छाड़ नहीं करते। वे सर्जरी करते हैं।
- वे मानचित्र के बाहर की हर चीज़ को फ्रीज (स्थिर) कर देते हैं।
- वे केवल उन विशिष्ट तारों और हवाई अड्डों को ट्यून करते हैं जो "न्यूयॉर्क से टोक्यो" के उड़ान पथ पर हैं।
- वे लो-रैंक एडेप्टेशन (Low-Rank Adaptation) नामक तकनीक का उपयोग करते हैं, जो हाईवे पर एक छोटा, कस्टम-मेड डायवर्जन साइन जोड़ने जैसा है, न कि पूरे सड़क को फिर से बनाने जैसा।
उपमा: पूरे शहर को फिर से पक्का करने के बजाय, वे उस विशिष्ट टूटे हुए पुल को ढूंढते हैं जिसकी रोबोट को ज़रूरत है और उसे सुदृढ़ करते हैं। वे सुनिश्चित करते हैं कि जब रोबोट "जेवियर" के बारे में सोचे, तो सिग्नल "राजनीतिक दल" तक सुचारू रूप से प्रवाहित हो।
यह क्यों महत्वपूर्ण है
पेपर का परीक्षण एक "रीज़निंग टेस्ट" (MQuAKE) पर किया गया जहाँ रोबोट को तर्क के 2, 3 या 4 चरणों वाले सवालों के जवाब देने थे।
- पुराने तरीके: जटिल सवालों पर लगभग 35% सही थे। वे तथ्य को याद रख सकते थे, लेकिन उसका उपयोग नहीं कर सकते थे।
- MCircKE: लगभग 50-60% सही रहा। इसने सफलतापूर्वक अंतर (gap) को पाट दिया।
मुख्य निष्कर्ष (The Takeaway)
यह पेपर हमें सिखाता है कि ज्ञान केवल एक फोल्डर में सहेजी गई स्थिर फ़ाइल नहीं है। यह एक गतिशील प्रक्रिया है। एक रोबोट के दिमाग को अपडेट करने के लिए, आप केवल फ़ाइल को नहीं बदल सकते; आपको उस वायरिंग डायग्राम को भी अपडेट करना होगा जो उस फ़ाइल को रोबोट की बाकी सोच से जोड़ता है।
संक्षेप में: MCircKE केवल रोबोट को यह नहीं सिखाता कि क्या सोचना है; यह उसे उस नई जानकारी के साथ कैसे सोचना है, यह सिखाता है—महत्वपूर्ण मार्गों को फिर से जोड़कर।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।