A Storage-Retrieval Gap in Parametric Knowledge Graph Memory
यह शोध पत्र यह प्रदर्शित करता है कि जबकि नॉलेज ग्राफ्स को एंटिटी-विशिष्ट लोरा (LoRA) एडेप्टर्स में संकलित करना तथ्यात्मक ज्ञान के कुशल, शून्य-कॉन्टेक्स्ट-लागत वाले पैरामीट्रिक स्टोरेज को सक्षम बनाता है, परिणामी वेट्स (weights) में सिमेंटिक समानता-आधारित पुनर्प्राप्ति क्षमता का अभाव होता है, जिससे सही एडेप्टर्स को चुनने और संयोजित करने के लिए एक सीखे हुए, क्वेरी-कंडीशन्ड तंत्र की आवश्यकता स्थापित होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
लार्ज लैंग्वेज मॉडल्स शक्तिशाली उपकरण हैं जो प्रश्नों के उत्तर दे सकते हैं और टेक्स्ट लिख सकते हैं, लेकिन उनकी एक मौलिक सीमा है: वे केवल वही जानते हैं जो उन्होंने अपने प्रारंभिक प्रशिक्षण के दौरान सीखा है। यदि किसी मॉडल को किसी विशिष्ट, अद्यतित तथ्य की आवश्यकता है—जैसे कि किसी नई फिल्म की कास्ट या औद्योगिक मशीनरी के विनिर्देश—तो आमतौर पर उसे वह जानकारी पूछे जाने के समय ही दी जानी पड़ती है। इसे करने का मानक तरीका 'रिट्रीवल-ऑगमेंटेड जनरेशन' (retrieval-augmented generation) कहलाता है। इस प्रक्रिया में, सिस्टम डेटाबेस से प्रासंगिक तथ्य खोजता है, उन्हें बातचीत में पेस्ट करता है, और मॉडल से उन्हें पढ़ने और उत्तर देने के लिए कहता है। हालांकि यह काम करता है, लेकिन इसके दो नुकसान हैं। पहला, बातचीत में बड़ी मात्रा में टेक्स्ट पेस्ट करने से एक सीमित स्थान खर्च होता है जिसे 'कॉन्टेक्स्ट विंडो' कहा जाता है, जिससे काम धीमा हो जाता है और लागत बढ़ती है। दूसरा, इसके लिए कच्चे डेटा को मॉडल चलाने वाले कंप्यूटर तक भेजना पड़ता है, जो सुरक्षा के लिहाज से जोखिम भरा हो सकता है यदि वह डेटा संवेदनशील या मालिकाना हो।
शोधकर्ता एक अलग विचार की खोज कर रहे हैं: तथ्यों को हर बार बातचीत में पेस्ट करने के बजाय, क्या हम तथ्यों को सीधे मॉडल की मेमोरी में समाहित कर सकते हैं? कल्पना कीजिए कि मॉडल एक पुस्तकालय है। मानक तरीका यह है कि जब भी कोई प्रश्न पूछा जाए, लाइब्रेरियन को एक किताब थमा दी जाए। नया दृष्टिकोण यह पूछता है कि क्या हम हर विषय के लिए पुस्तकालय के अंदर एक विशिष्ट बुकशेल्फ़ स्थायी रूप से स्थापित कर सकते हैं, ताकि लाइब्रेरियन उस शेल्फ को बाहर निकाल सके और बिना स्वयं पुस्तक देखे उससे पढ़ सके। यह शोध पत्र इस बात की जांच करता है कि क्या यह 'नॉलेज ग्राफ्स' (knowledge graphs) के लिए संभव है, जो फिल्मों, लोगों और उनके संबंधों जैसे तथ्यों के संरचित मानचित्र होते हैं। शोधकर्ता जानना चाहते थे कि क्या वे इस मानचित्र के एक छोटे से हिस्से को ले सकते हैं, उसे मॉडल की आंतरिक सेटिंग्स में सूक्ष्म समायोजन के एक छोटे से सेट में बदल सकते हैं, और उसे वहां संग्रहीत कर सकते हैं। यदि सफल रहे, तो मॉडल किसी विशिष्ट फिल्म के बारे में बिना फिल्म का डेटा दिखाए, केवल उस फिल्म के "आंतरिक समायोजन" को पहनकर उत्तर दे सकेगा।
टीम ने इस विचार का परीक्षण मूवी सूचना के एक डेटासेट का उपयोग करके किया। उन्होंने व्यक्तिगत फिल्मों के विवरण—जैसे निर्देशक, रिलीज वर्ष और अभिनेता—लिए और इन तथ्यों को टेक्स्ट में परिवर्तित किया। फिर उन्होंने 'लो-रैंक एडैप्टेशन' (low-rank adaptation) नामक तकनीक का उपयोग करके प्रत्येक फिल्म के लिए एक छोटा, विशिष्ट वजन (weights) प्रशिक्षित किया। इन 'वेट्स' को एक अद्वितीय, सूक्ष्म फिंगरप्रिंट के रूप में सोचें जो मॉडल के व्यवहार को उस विशिष्ट फिल्म के विवरण को जानने के लिए थोड़ा सा बदल देता है। उन्होंने इन फिंगरप्रिंट्स का एक बैंक बनाया, जिसमें 150 अलग-अलग फिल्मों में से प्रत्येक के लिए एक फिंगरप्रिंट था। महत्वपूर्ण परीक्षण यह देखना था कि क्या मॉडल किसी फिल्म के बारे में सवाल का जवाब दे सकता है जब वह उस फिल्म का फिंगरप्रिंट पहने हुए हो, भले ही उसे फिल्म का टेक्स्ट या कोई अन्य जानकारी न दिखाई गई हो।
परिणामों ने दिखाया कि यह विधि ज्ञान को संग्रहीत करने के लिए काम करती है। जब मॉडल को किसी फिल्म के लिए सही फिंगरप्रिंट दिया गया, तो वह उस फिल्म के बारे में उच्च सटीकता के साथ उत्तर दे सका, भले ही उसे परीक्षण के दौरान फिल्म का डेटा कभी नहीं दिखाया गया था। वास्तव में, निर्देशक या रिलीज वर्ष जैसे एकल तथ्यों के बारे में, मॉडल का प्रदर्शन लगभग शून्य से बढ़कर एक मजबूत सफलता दर तक पहुँच गया। इसने सिद्ध किया कि मॉडल ने वास्तव में तथ्यों को सीखा और उन्हें अपने स्वयं के ढांचे के भीतर संग्रहीत किया, न कि केवल उन्हें मौजूद होने पर पढ़ना सीखा। ज्ञान उस विशिष्ट फिल्म के लिए विशिष्ट था; यदि मॉडल को किसी दूसरी फिल्म का फिंगरप्रिंट दिया जाता, तो वह प्रश्न का उत्तर नहीं दे पाता, और यदि उसे एक रैंडम, अप्रशिक्षित फिंगरप्रिंट दिया जाता, तो वह पहले से भी बदतर प्रदर्शन करता। इसने पुष्टि की कि जानकारी वास्तव में उस विशिष्ट इकाई के लिए विशिष्ट समायोजन के भीतर लॉक थी।
हालांकि, अध्ययन ने एक महत्वपूर्ण बाधा भी उजागर की। जबकि ज्ञान को संग्रहीत किया जा सकता था, इसे आसानी से ढूँढा नहीं जा सकता था। शोधकर्ताओं ने यह पता लगाने की कोशिश की कि केवल प्रश्न को देखकर सही फिंगरप्रिंट का उपयोग कैसे किया जाए। उन्होंने प्रश्न को टेक्स्ट अर्थ के आधार पर सबसे मिलते-जुलते मूवी से मिलाने की कोशिश की, और उन्होंने प्रश्न को उसके गणितीय आकार के आधार पर सबसे मिलते-जुलते फिंगरप्रिंट से मिलाने की भी कोशिश की। दोनों तरीके पूरी तरह विफल रहे। सिस्टम का प्रदर्शन रैंडम अनुमान लगाने से बेहतर नहीं था। इसका कारण यह है कि ज्ञान स्थानीय रूप से संग्रहीत है और यह स्थानांतरित (transfer) नहीं होता है। भले ही दो फिल्में बहुत समान हों—शायद वे एक ही निर्देशक द्वारा बनाई गई हों या एक ही शैली की हों—उनके फिंगरप्रिंट पूरी तरह से अलग होते हैं। एक फिल्म के फिंगरप्रिंट में दूसरी फिल्म के बारे में प्रश्न का उत्तर नहीं होता, भले ही वे सिनेमा की दुनिया में करीबी पड़ोसी हों। फिंगरप्रिंट्स के बीच की गणितीय दूरी यह तो दर्शाती है कि फिल्में कितनी समान हैं, लेकिन यह नहीं बताती कि कौन सा फिंगरप्रिंट किसी विशिष्ट प्रश्न का उत्तर रखता है।
यह स्टोरेज और रिट्रीवल के बीच एक अंतर पैदा करता है। शोधकर्ताओं ने सिद्ध किया कि आप बातचीत के स्थान के मामले में मुफ्त में मॉडल के वेट्स में ज्ञान संग्रहीत कर सकते हैं, लेकिन वर्तमान में आपके पास यह जानने का कोई तरीका नहीं है कि बिना यह जाने कि आपको किसकी आवश्यकता है, सही स्टोरेज यूनिट को स्वचालित रूप से कैसे खोजा जाए। एक वास्तविक दुनिया के सिस्टम में, आपको अभी भी सही मूवी शीर्षक खोजने और सही फिंगरप्रिंट चुनने के लिए एक अलग टूल की आवश्यकता होगी, लेकिन एक बार ऐसा करने के बाद, मॉडल बिना कच्चे डेटा को दोबारा देखे उत्तर दे सकता है। यह गोपनीयता और दक्षता के लिए एक संभावित लाभ प्रदान करता है, क्योंकि कच्चा डेटा बातचीत के दौरान मॉडल को कभी नहीं भेजा जाता है। हालांकि, यह दृष्टिकोण सभी समस्याओं के लिए जादुई समाधान नहीं है। इसके लिए फिंगरप्रिंट बनाने के लिए एक बार की लागत लगती है, और फिंगरप्रिंट्स के लिए आवश्यक स्टोरेज स्पेस उनके द्वारा दर्शाए गए टेक्स्ट से बहुत अधिक है। यह लगातार बदलते सूचनाओं के बजाय, बार-बार पूछे जाने वाले स्थिर डेटा सेट के लिए सबसे उपयोगी है।
अध्ययन निष्कर्ष निकालता है कि जबकि हम सफलतापूर्वक एक नॉलेज ग्राफ को पैरामेट्रिक मेमोरी में बदल सकते हैं, जटिल प्रश्नों के लिए सही मेमोरी के टुकड़ों को स्वचालित रूप से चुनने और संयोजित करने की चुनौती अभी भी अनसुलझी है। सरल वस्तुओं के बारे में सरल प्रश्नों के लिए, यह विधि अच्छी तरह से काम करती है, लेकिन उन प्रश्नों के लिए जिनमें विभिन्न वस्तुओं के बीच जानकारी को जोड़ने की आवश्यकता होती है, सिस्टम अभी तक यह तय नहीं कर पाता कि किन यादों को मिलाना है। शोधकर्ता सुझाव देते हैं कि अगला कदम एक ऐसा लर्निंग मैकेनिज्म विकसित करना है जो यह तय कर सके कि किन फिंगरप्रिंट्स का उपयोग करना है और उन्हें कैसे मिलाना है, बजाय इसके कि केवल समानता पर निर्भर रहा जाए। जब तक यह हल नहीं हो जाता, तब तक तथ्यों के अपने पुस्तकालय को ले जाने वाले मॉडल का वादा आधा ही सच है: किताबें शेल्फ पर तो हैं, लेकिन लाइब्रेरियन को उन्हें खोजने के लिए अभी भी एक मैनुअल इंडेक्स की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।