Towards Mechanistically Understanding Why Memorized Knowledge Fails to Generalize in Large Language Model Finetuning
यह शोध पत्र फाइन-ट्यून्ड लार्ज लैंग्वेज मॉडल्स में "जानने-उपयोग करने के अंतराल" (Knowing–Using Gap) की जांच करता है, जहाँ याद किया गया ज्ञान सामान्यीकरण करने में विफल रहता है, और एक सेल्फ-पैचिंग हस्तक्षेप का उपयोग करके यह प्रकट करता है कि मिसअलाइन्ड आंतरिक ज्ञान सर्किट प्रभावी तर्क को रोकते हैं, तथा एक ह्यूरिस्टिक रणनीति प्रस्तावित करता है जो 58–75% संभावित सामान्यीकरण प्रदर्शन को पुनः प्राप्त करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट लाइब्रेरियन है जिसने अभी-अभी एक नया तथ्य सीखा है: "सिडनी ऑस्ट्रेलिया में है।" आप उससे पूछते हैं, "सिडनी कहाँ है?" और वह बिल्कुल सही जवाब देता है। लेकिन फिर आप उससे पूछते हैं, "उस देश की राजधानी क्या है जिसमें सिडनी स्थित है?" और रोबोट जम जाता है, जैसे उसे समझ ही न आ रहा हो कि आप क्या कह रहे हैं।
यही वह पहेली है जिसे हल करने की कोशिश HKUST(GZ) और HKUST के शोधकर्ता कर रहे हैं। वे इसे "Knowing–Using Gap" (जानने और उपयोग करने के बीच का अंतर) कहते हैं। यह वह निराशाजनक क्षण है जब एक लार्ज लैंग्वेज मॉडल (LLM) ने स्पष्ट रूप से एक नया तथ्य याद तो कर लिया है, लेकिन एक थोड़े जटिल पहेली को सुलझाने के लिए उसका उपयोग करने में विफल रहता है।
रहस्य: रोबोट क्यों अटक जाता है?
शोधकर्ताओं ने पाया कि ऐसा इसलिए नहीं है क्योंकि रोबोट "भूल" गया है या इसलिए कि वह तर्क करने में बहुत कम बुद्धिमान है। वास्तव में, रोबोट को उत्तर पता है; बस वह इसे गलत कमरे में छिपा रहा है।
इसे समझने के लिए, रोबोट के मस्तिष्क को एक विशाल, बहु-मंजिला कार्यालय भवन के रूप में सोचें।
- शुरुआती मंजिलें (लेयर्स 1–10): ये लॉबी और मेलरूम की तरह हैं। ये आने वाले पैकेज (तथ्यों को याद करने) को स्टोर करने के लिए बेहतरीन हैं।
- मध्य मंजिलें (लेयर्स 10–20): यह "सोचने वाला" विभाग है जहाँ जटिल तर्क (reasoning) होता है।
- ऊपरी मंजिलें (लेयर्स 20–30): यहाँ अंतिम रिपोर्ट लिखी जाती है और भेजी जाती है।
जब रोबोट एक नया तथ्य सीखता है, तो वह जानकारी को जल्दी से लॉबी या ऊपरी मंजिल में डाल देता है। वह वहाँ सुरक्षित है! लेकिन बीच वाला "सोचने वाला विभाग" इस बारे में कभी जान ही नहीं पाता। इसलिए, जब रोबोट एक बहु-चरणीय पहेली (जैसे सिडनी को ऑस्ट्रेलिया से जोड़ना, और फिर ऑस्ट्रेलिया को उसकी राजधानी से जोड़ना) को हल करने की कोशिश करता है, तो जानकारी गलत जगह फंसी रह जाती है। यह वैसा ही है जैसे आपकी जेब में लाइब्रेरी कार्ड हो, लेकिन आप उसे ग्रोसरी स्टोर के चेकआउट पर इस्तेमाल करने की कोशिश कर रहे हों।
जासूसी का काम: "सेल्फ-पैचिंग" (Self-Patching)
उन्होंने यह कैसे साबित किया कि जानकारी वहीं थी लेकिन बस गलत जगह रखी थी? उन्होंने "सेल्फ-पैचिंग" नामक एक चतुर तकनीक का आविष्कार किया।
कल्पना कीजिए कि आपके पास दो संस्करण वाले रोबोट साथ-साथ चल रहे हैं।
- रोबोट A कठिन सवाल का जवाब देने की कोशिश कर रहा है और विफल हो रहा है।
- रोबोट B के पास "लॉबी" में उत्तर संग्रहीत है।
शोधकर्ताओं ने रोबोट B के अंदर हाथ डाला, "सिडनी ऑस्ट्रेलिया में है" की विशिष्ट स्मृति को पकड़ा, और भौतिक रूप से उसे रोबोट A के "सोचने वाले विभाग" में स्थानांतरित कर दिया।
परिणाम क्या रहा? रोबोट A ने तुरंत समस्या को हल कर लिया!
इस प्रयोग ने दिखाया कि ज्ञान कभी गायब नहीं हुआ था; यह बस गलत संरेखित (misaligned) था। रोबට के पास डेटा था, लेकिन वह गणित करने के लिए मस्तिष्क के सही हिस्से तक नहीं पहुँच पा रहा था। शोधकर्ता इसे "नॉलेज–सर्किट मिसअलाइनमेंट हाइपोथेसिस" (ज्ञान-सर्किट गलत संरेखण परिकल्पना) कहते हैं।
यह क्या नहीं है
शोधकर्ता बहुत सावधान थे कि वे अन्य विचारों को खारिज कर सकें:
- यह मस्तिष्क शक्ति की कमी नहीं है: उन्होंने बड़े और स्मार्ट मॉडल का परीक्षण किया, और समस्या फिर भी बनी रही।
- यह "प्रॉम्प्टिंग" की समस्या नहीं है: उन्होंने रोबोट को संकेत देने की कोशिश की (जैसे "कदम-दर-कदम सोचें" कहना), लेकिन इससे केवल थोड़ा ही सुधार हुआ। असली समाधान स्मृति को स्थानांतरित करना था, न कि केवल बेहतर सवाल पूछना।
- यह यह नहीं है कि रोबोट नया तर्क सीख रहा है: रोबोट को यह सीखने की आवश्यकता नहीं थी कि कैसे तर्क किया जाए; उसे बस उन तथ्यों तक पहुँचने की आवश्यकता थी जिन्हें वह पहले से जानता था।
अच्छी खबर: एक सरल समाधान
सबसे अच्छी बात? शोधकर्ताओं ने पाया कि बिना यह जाने कि कौन सी स्मृति किस तथ्य से संबंधित है, इस समस्या को ठीक किया जा सकता है।
उन्होंने देखा कि "सोचने वाला विभाग" (मध्य परतें) ही कुंजी है। उन्होंने एक सरल नियम बनाया: "यदि आपके पास लॉबी या ऊपरी मंजिल में कोई तथ्य संग्रहीत है, तो उसे मध्य मंजिल में ले जाएँ।"
उन्होंने इस सरल नियम का विभिन्न रोबोट मॉडलों और विभिन्न प्रकार के ज्ञान (जीव विज्ञान से लेकर शैक्षणिक शोध पत्रों तक) पर परीक्षण किया।
- बिना सुधार के, रोबोट तर्क वाले प्रश्नों को केवल 7% से 18% बार सही कर पाते थे।
- इस सरल "स्मृति को स्थानांतरित करने" के नियम के साथ, वे इसे 35% से 45% बार सही कर पाए।
इस सरल ट्रिक ने उस संभावित सफलता का 58% से 75% हिस्सा वापस पा लिया जो रोबोट प्राप्त कर सकते थे यदि वे पूरी तरह से संरेखित होते। यह कोई जादुई छड़ी नहीं है जो सब कुछ ठीक कर दे, लेकिन यह साबित करता है कि समस्या हल करने योग्य है।
निष्कर्ष
यह पेपर दिखाता है कि जब AI मॉडल उनके द्वारा सीखी गई चीजों का उपयोग करने में विफल होते हैं, तो यह अक्सर एक रूटिंग (मार्गदर्शन) की समस्या होती है, न कि सीखने की समस्या। तथ्य वहीं मौजूद हैं, मस्तिष्क के गलत कोनों में सुरक्षित रखे गए हैं। उन तथ्यों को "सोचने वाली" परतों में स्थानांतरित करके, हम रोबोट को बिंदुओं को जोड़ने और पहेली सुलझाने में मदद कर सकते हैं।
शोधकर्ता अब यह सुझाव दे रहे हैं कि भविष्य के प्रशिक्षण में केवल मॉडलों को तेजी से तथ्य याद करने पर ध्यान केंद्रित नहीं करना चाहिए, बल्कि उन्हें उन तथ्यों को तर्क के लिए सही जगह पर रूट (मार्गदर्शन) करना सिखाना चाहिए। यह "अधिक सिखाने" से बदलकर "बेहतर व्यवस्थित करने" की ओर एक बदलाव है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।