Understanding Verbatim Memorization in LLMs Through Circuit Discovery
यह शोध पत्र मैकेनिस्टिक इंटरप्रिटेबिलिटी और ट्रांसफॉर्मर सर्किट डिस्कवरी का उपयोग यह प्रकट करने के लिए करता है कि एलएलएम (LLMs) में शाब्दिक स्मृति (verbatim memorization) को शुरू करने बनाम उसे बनाए रखने के लिए विशिष्ट न्यूरल सबग्राफ जिम्मेदार हैं, जहाँ शुरुआत संदर्भ-निर्भर होती है जबकि रोकथाम तंत्र डोमेनों के बीच मजबूती से स्थानांतरित होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक लार्ज लैंग्वेज मॉडल (LLM) की कल्पना एक विशाल, अत्यंत व्यवस्थित पुस्तकालय के रूप में करें जहाँ अब तक लिखी गई हर किताब संग्रहीत है। कभी-कभी, जब आप लाइब्रेरियन से कोई प्रश्न पूछते हैं, तो वे केवल कहानी का सारांश नहीं देते; बल्कि वे किसी पुस्तक का एक पैराग्राफ शब्द-दर-शब्द सुना देते हैं। इसे मेमोराइजेशन (याद रखना) कहा जाता है।
आपके द्वारा साझा किया गया पेपर एक टीम जासूसों की तरह है जो यह पता लगाने की कोशिश कर रहे हैं कि लाइब्रेरियन ठीक कैसे तय करता है कि उस पुस्तक को सुनाना शुरू करना है और उसे कैसे जारी रखना है। केवल अनुमान लगाने के बजाय, उन्होंने "सर्किट डिस्कवरी" नामक एक विशेष उपकरण का उपयोग किया ताकि उस कार्य को संभालने वाले लाइब्रेरियन के मस्तिष्क के भीतर के विशिष्ट विद्युत पथों (electrical pathways) का मानचित्र बनाया जा सके।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. दो अलग-अलग काम: "स्टार्ट स्विच" और "ट्रेडमिल"
शोधकर्ताओं ने महसूस किया कि किसी वाक्य को याद करना केवल एक बड़ा कार्य नहीं है। यह वास्तव में दो अलग-अलग चरण हैं, जैसे किसी मशीन को चालू करना और फिर उसे चलते रहने देना।
- "स्टार्ट स्विच" (मेमोराइजेशन निर्णय): यह वह क्षण है जब मॉडल आपके प्रॉम्प्ट को देखता है और निर्णय लेता है, "हे, मुझे यह सटीक वाक्य पता है! चलो इसे कॉपी करते हैं।"
- "ट्रेडमिल" (ब्रांच कंपैरिजन): एक बार जब मॉडल ने कॉपी करना शुरू कर दिया है, तो यह वह तंत्र है जो इसे बिना विचलित हुए, शब्द-दर-शब्द, उसी पथ पर चलते रहने में मदद करता है।
2. जासूसी का काम: सूक्ष्म सर्किटों को खोजना
इन तंत्रों को खोजने के लिए, शोधकर्ताओं ने "अंतर पहचानें" (Spot the Difference) का एक खेल बनाया। उन्होंने मॉडल को दो बहुत मिलते-जुलते प्रॉम्प्ट दिए:
- क्लीन प्रॉम्प्ट (Clean Prompt): एक ऐसा वाक्य जो मेमोराइज्ड रिस्पॉन्स (याद किए गए उत्तर) को ट्रिगर करने से केवल एक कदम दूर है।
- करप्टेड प्रॉम्प्ट (Corrupted Prompt): एक ऐसा वाक्य जो समान दिखता है लेकिन मॉडल को एक पूरी तरह से अलग, गैर-मेमोराइज्ड उत्तर की ओर ले जाता है।
इन दोनों प्रॉम्प्ट्स के बीच "मस्तिष्क की गतिविधि" (activations) को बदलकर, वे देख सके कि कौन से सूक्ष्म तार (सर्किट) इस स्विच के लिए जिम्मेदार थे। उन्होंने दो आश्चर्यजनक चीजें पाईं:
- "स्टार्ट स्विच" एक मास्टर कंट्रोलर है: वे तारों का छोटा समूह जो मेमोराइजेशन शुरू करने के लिए जिम्मेदार है, इतना शक्तिशाली है कि वह इसे जारी भी रख सकता है। यदि आप "स्टार स्विच" के साथ छेड़छाड़ करते हैं, तो मॉडल मेमोराइजेशन पूरी तरह से बंद कर देता है।
- "ट्रेडमिल" एक वन-वे स्ट्रीट है: वे तार जो मॉडल को मेमोराइज्ड पथ पर बनाए रखने के लिए जिम्मेदार हैं (एक बार शुरू होने के बाद), अपने आप प्रक्रिया को शुरू नहीं कर सकते। वे एक ट्रेडमिल की तरह हैं जो केवल तभी काम करते हैं जब कोई पहले से ही उस पर दौड़ रहा हो; वे इंजन शुरू नहीं कर सकते।
3. "यूनिवर्सल स्टॉप बटन" बनाम "कॉन्टेक्स्ट-स्पेसिफिक स्टार्ट बटन"
शोधकर्ताओं ने परीक्षण किया कि क्या ये सर्किट विभिन्न प्रकार के टेक्स्ट (जैसे कोड, ईमेल, या वेब पेज) पर काम करते हैं, न कि केवल विकिपीडिया पर।
- "यूनिवर्सल स्टॉप बटन": वे सर्किट जो मेमोराइजेशन को रोकते हैं (मॉडल को सुनाने से रोकने के लिए), हर जगह काम करते हैं। चाहे वह GitHub कोड हो या एनरॉन (Enron) ईमेल, मॉडल को सुनाने से रोकने के लिए समान "ब्रेक" लगाए जा सकते हैं।
- "कॉन्टेक्स्ट-स्पेसिफिक स्टार्ट बटन": मेमोराइजेशन को कारण देने वाले सर्किट चयनात्मक थे। ईमेल में मॉडल को वाक्य याद करने के लिए क्या ट्रिगर करता है, वह जरूरी नहीं कि कोड फ़ाइल में वाक्य को याद करने के लिए ट्रिगर करे। "स्टार्ट" तंत्र विशिष्ट टेक्स्ट के प्रकार पर बहुत अधिक निर्भर करता है।
4. मुख्य निष्कर्ष: ट्रिगर को तोड़ना मेमोरी को तोड़ने से आसान है
सबसे दिलचस्प निष्कर्ष इस व्यवहार को नियंत्रित करने के बारे में है।
शोधकर्ताओं ने पाया कि "स्टार्ट स्विच" को तोड़ना (यह रोकने के लिए कि मॉडल मेमोराइज करने का निर्णय ले) नया कुछ भी मेमोराइज करने के लिए मॉडल को मजबूर करने की तुलना में बहुत आसान है।
वे इसकी तुलना एक घर के सुरक्षा तंत्र से करते हैं:
- संग्रहीत जानकारी (पुस्तकालय में मौजूद किताबें) को बदलना या मिटाना बहुत कठिन है।
- हालाँकि, ट्रिगर (वह चाबी जो पुस्तकालय के दरवाजे को खोलती है) नाजुक है। यदि आप चाबी के साथ छेड़छाड़ करते हैं, तो पुस्तकालय अंदर ही रहेगा, भले ही किताबें अभी भी अंदर हों।
सारांश में: यह पेपर सुझाव देता है कि यदि हम AI को निजी जानकारी या कॉपीराइट टेक्स्ट लीक करने से रोकना चाहते हैं, तो हमें यादों (memories) को हटाने या मिटाने की कोशिश नहीं करनी चाहिए (जो कि कठिन है)। इसके बजाय, हमें उन विशिष्ट "ट्रिगर सर्किट्स" को खोजने और उन्हें अक्षम करने पर ध्यान केंद्रित करना चाहिए जो यह तय करते हैं कि कब सुनाना शुरू करना है, क्योंकि वे कमजोर बिंदु हैं जो विभिन्न प्रकार के टेक्स्ट पर काम करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।