MoRFI: Monotonic Sparse Autoencoder Feature Identification
यह शोध पत्र MoRFI को प्रस्तुत करता है, जो नए ज्ञान पर फाइन-ट्यूनिंग के दौरान मतिभ्रम (hallucinations) के साथ निरंतर सह-संबंध रखने वाले लेटेंट दिशाओं (latent directions) की पहचान करने के लिए स्पार्स ऑटोएनकोडर्स (sparse autoencoders) का उपयोग करने वाली एक विधि है, जो यह प्रदर्शित करता है कि इन विशिष्ट विशेषताओं में हस्तक्षेप करके मॉडल की संग्रहीत ज्ञान को पुनः प्राप्त करने की क्षमता को बहाल किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक लार्ज लैंग्वेज मॉडल (LLM) की कल्पना एक ऐसे प्रतिभाशाली छात्र के रूप में करें जिसने वर्षों तक किताबों के एक विशाल पुस्तकालय को पढ़ा है (प्री-ट्रेनिंग)। इस छात्र ने तथ्यों की एक बहुत बड़ी मात्रा याद कर ली है। हालाँकि, जब हम उन्हें बाद में कुछ नए, विशिष्ट तथ्यों को सीखने के लिए कहते हैं (फाइन-ट्यूनिंग), तो कुछ अजीब होता है: यदि वे तथ्य छात्र के लिए पूरी तरह से अज्ञात हैं, तो वे "हैलुसिनेट" (hallucinate) करने लगते हैं। वे आत्मविश्वास के साथ मनगढ़ंत उत्तर बनाने लगते हैं, यहाँ तक कि उन पुराने तथ्यों के लिए भी जिन्हें वे पहले पूरी तरह से जानते थे।
यह शोध पत्र, MoRFI, इस बात की जांच करता है कि यह उनके मस्तिष्क के भीतर क्यों होता है और बिना सब कुछ दोबारा सिखाए इसे कैसे ठीक किया जाए।
समस्या: "नया ज्ञान" वाला ग्लिच (The "New Knowledge" Glitch)
छात्र के मस्तिष्क की कल्पना एक विशाल, जटिल कंट्रोल रूम के रूप में करें जो हजारों लाइट स्विचों (इन्हें लेटेंट फीचर्स कहा जाता है) से भरा हुआ है। जब छात्र नई चीजें सीखता है, तो वे कुछ स्विचों को चालू (flip) कर देता है। शोधकर्ताओं ने पाया कि जब वे छात्र को बहुत सारे नए तथ्यों को सीखने के लिए मजबूर करते हैं जो वे पहले नहीं जानते थे, तो स्विचों का एक विशिष्ट सेट "ON" स्थिति में फंस जाता है।
ये फंसे हुए स्विच एक तेज़ शोर या व्याकुलता (distraction) की तरह काम करते हैं। वे उन शांत, स्थिर संकेतों को दबा देते हैं जिनकी मदद से छात्र अपने पुराने, भरोसेमंद ज्ञान को याद करता है। वे जितने अधिक नए, अज्ञात तथ्यों को भरने की कोशिश करते हैं, और वे जितनी लंबी पढ़ाई करते हैं, यह शोर उतना ही तेज़ होता जाता है, और वे उन सवालों के जवाब देने में उतने ही खराब होते जाते हैं जो वे पहले से जानते थे।
समाधान: MoRFI (जासूस)
शोधकर्ताओं ने MoRFI (मोनोटोनिक रिलेशनशिप फीचर आइडेंटिफिकेशन) नामक एक टूल बनाया। MoRFI की कल्पना एक सुपर-स्मार्ट जासूस के रूप में करें जिसके पास विशेष चश्मे हैं।
- जांच (The Investigation): जासूस छात्र के सीखने के दौरान उनके कंट्रोल रूम को देखता है। वह उन स्विचों की तलाश करता है जो एक बहुत ही विशिष्ट तरीके से व्यवहार करते हैं: जैसे-जैसे छात्र को अधिक से अधिक "अज्ञात" तथ्य दिए जाते हैं, ये विशिष्ट स्विच एक स्थिर, अनुमानित रेखा में और अधिक चमकदार (या धुंधले) होते जाते हैं।
- फ़िल्टर (The Filter): अधिकांश स्विच बस बेतरतीब ढंग से टिमटिमाते हैं। MoRFI उन्हें अनदेखा कर देता है। यह केवल उन्हीं स्विचों पर ध्यान देता है जो मोनोटोनिकली (monotonic) बदलते हैं—अर्थात, जैसे-जैसे नया ज्ञान बढ़ता है, वे एक ही निरंतर दिशा में बदलते हैं।
- खोज (The Discovery): विभिन्न मॉडलों (जैसे Llama, Gemma, और Mistral) में इन स्विचों को ट्रैक करके, जासूस ने पाया कि स्विचों का एक छोटा, विरल (sparse) समूह सीधे तौर पर "हैलुसिनेशन शोर" के लिए जिम्मेदार है।
सुधार: स्विचों को वापस पलटना (Flipping the Switches Back)
एक बार जब जासूस इन "समस्या पैदा करने वाले" स्विचों की पहचान कर लेता है, तो शोधकर्ताओं ने एक सरल प्रयोग किया: स्टीयरिंग (Steering)।
छात्र को फिर से प्रशिक्षित करने के बजाय, उन्होंने भौतिक रूप से कंट्रोल रूम में पहुँचकर उन विशिष्ट स्विचों को उनकी मूल स्थिति में वापस पलटा (या उन्हें विपरीत दिशा में पलटा)।
- परिणाम: इसने जादू की तरह काम किया। केवल इन कुछ स्विचों को समायोजित करके, छात्र अचानक अपने पुराने तथ्यों को याद करने लगा।
- उपमा (The Analogy): यह एक रेडियो की तरह है जिसने एक नए स्टेशन से बहुत अधिक स्टैटिक (static) पकड़ लिया है। रेडियो को फिर से बनाने के बजाय, आप बस स्टैटिक फ्रीक्वेंसी को रद्द करने के लिए डायल को थोड़ा घुमाते हैं। संगीत (पुराना ज्ञान) फिर से स्पष्ट हो जाता है।
मुख्य निष्कर्ष (सरल भाषा में)
- यह मिटाना नहीं, बल्कि रोकना है (It's Not Erasure, It's Blocking): अध्ययन में पाया गया कि छात्र ने वास्तव में पुराने तथ्यों को भला नहीं है। तथ्य अभी भी वहीं थे, लेकिन नए सीखने का "शोर" उन्हें पुनः प्राप्त करने के मार्ग को अवरुद्ध कर रहा था। स्विचों को पलटने से रास्ता साफ हो गया।
- चालू करने से बेहतर है बंद करना (Turning Off is Better than Turning On): शोधकर्ताओं ने पाया कि कुछ स्विचों के लिए, उन्हें बंद करना (दबाना) उन्हें बढ़ाने की तुलना में अधिक प्रभावी था। यह सुझाव देता है कि नया सीखना मस्तिष्क के कुछ हिस्सों को अत्यधिक सक्रिय कर रहा था, और उन्हें शांत करना ही कुंजी थी।
- यह हर जगह काम करता है (It Works Everywhere): उन्होंने तीन अलग-अलग प्रकार के "छात्रों" (विभिन्न AI मॉडल) पर इसका परीक्षण किया, और वही छोटा स्विच समूह सभी में समस्या पैदा कर रहा था। यह एक सार्वभौमिक तंत्र का सुझाव देता है कि कैसे ये मॉडल भ्रमित होते हैं।
- "कंपोजिट" बनाम "सिंगल" स्विच (The "Composite" vs. "Single" Switch): यदि आप एक साथ सभी परिवर्तनों को समायोजित करके समस्या को ठीक करने की कोशिश करते हैं (एक "कंपोजिट" दिशा), तो यह थोड़ा मदद करता है। लेकिन यदि आप सबसे महत्वपूर्ण एकल स्विच को पाते हैं और केवल उसे ठीक करते हैं, तो सुधार बहुत बड़ा होता है। इसका अर्थ है कि समस्या बहुत विशिष्ट और स्थानीयकृत है, न कि पूरे मस्तिष्क पर फैला हुआ कोई सामान्य कोहरा।
सारांश
यह शोध पत्र तर्क देता है कि जब AI मॉडल नए, अज्ञात तथ्यों को सीखते हैं, तो वे अपने पुराने ज्ञान को खोते नहीं हैं; वे बस कुछ विशिष्ट आंतरिक संकेतों से "विचलित" हो जाते हैं। लेखक बताते हैं कि इन विचलित करने वाले संकेतों को खोजने का एक तरीका बनाया गया है और उन्होंने दिखाया है कि केवल उन्हें बंद करने (या उन्हें समायोजित करने) से AI तुरंत अपने सवालों के सही उत्तर देने की क्षमता को पुनः प्राप्त कर लेता है, जो प्रभावी रूप से नए प्रशिक्षण डेटा के कारण होने वाले हैलुसिनेशन को ठीक कर देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।