Benchmarking Knowledge Editing using Logical Rules
यह शोध पत्र लार्ज लैंग्वेज मॉडल्स में नॉलेज एडिटिंग (ज्ञान संपादन) के मूल्यांकन के लिए एक नया बेंचमार्क प्रस्तुत करता है जो मल्टी-हॉप प्रश्नों के माध्यम से तार्किक परिणामों का आकलन करता है, जिससे यह पता चलता है कि वर्तमान विधियाँ प्रत्यक्ष तथ्यों को सफलतापूर्वक सम्मिलित करने के बावजूद निहित ज्ञान को प्रसारित करने में अक्सर विफल रहती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ इस शोध पत्र का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।
बड़ी समस्या: बिना नुकसान पहुँचाए मस्तिष्क को अपडेट करना
कल्पना कीजिए कि आपके पास एक रोबोट द्वारा लिखी गई एक बहुत ही बुद्धिमान, लेकिन थोड़ी पुरानी विश्वकोश (Encyclopedia) है (यह एक लार्ज लैंग्वेज मॉडल या LLM है)। एक दिन, आपको एहसास होता है कि किताब में एक तथ्य गलत है। उदाहरण के लिए, किताब कहती है "वैलेरी हॉब्सन यूके की नागरिक हैं," लेकिन वास्तव में वह ऑस्ट्रेलिया चली गई हैं और एक ऑस्ट्रेलियाई नागरिक बन गई हैं।
अतीत में, इसे ठीक करने के लिए, आपको विश्वकोश के हर पन्ने को फाड़कर उसे शुरू से फिर से लिखना पड़ता। इसमें बहुत समय लगता है और बहुत पैसा खर्च होता है।
नॉलेज एडिटिंग (Knowledge Editing) एक जादुई पेन का उपयोग करने जैसा है जिससे आप पूरे किताब को फिर से लिखे बिना बस "UK" को काटकर "Australia" लिख देते हैं। इसका लक्ष्य एक विशिष्ट तथ्य को तेज़ी से अपडेट करना है।
छिपा हुआ जाल: तथ्यों का "बटरफ्लाई इफेक्ट"
इस शोध पत्र के लेखकों ने गौर किया कि हम इन जादुई पेन का परीक्षण करने के तरीके में एक बड़ी खामी है। अधिकांश परीक्षण केवल यह जाँचते हैं कि क्या रोबोट ने एक तथ्य सही बताया। वे पूछते हैं: "क्या वैलेरी हॉब्सन अब ऑस्ट्रेलिया की नागरिक हैं?" यदि रोबोट कहता है "हाँ," तो परीक्षण सफल माना जाता है।
लेकिन लेखक तर्क देते हैं कि यह घर की सुरक्षा जाँचने के लिए केवल सामने के दरवाजे को देखने जैसा है। उन्होंने महसूस किया कि तथ्य एक जाल (Web) की तरह जुड़े होते हैं। यदि आप वैलेरी की नागरिकता बदलते हैं, तो अन्य तथ्यों को भी बदलना पड़ सकता है, भले ही आपने उनके बारे में सीधे तौर पर न पूछा हो।
उदाहरण:
कल्पना कीजिए कि आप अपने दोस्त से कहते हैं, "मैं अब ऑस्ट्रेलिया में रह रहा हूँ।"
- प्रत्यक्ष तथ्य (Direct Fact): आप ऑस्ट्रेलिया में हैं।
- तार्किक परिणाम (छिपा हुआ जाल): यदि आपका दोस्त जानता है कि "ऑस्ट्रेलिया में रहने वाले लोगों के पास आमतौर पर ऑस्ट्रेलियाई नागरिकता होती है," तो उसे स्वतः ही यह मान लेना चाहिए कि आप एक ऑस्ट्रेलियाई नागरिक हैं।
यदि आपका दोस्त अपनी याददाश्त को यह अपडेट करता है कि आप ऑस्ट्रेलिया में रहते हैं, लेकिन फिर भी सोचता है कि आप ब्रिटिश हैं, तो उसका तर्क टूट जाता है। शोध पत्र इसे कोरिलेटेड नॉलेज (Correlated Knowledge) कहता है। रोबोट को नया तथ्य तो पता हो सकता है, लेकिन वह उस तथ्य के तार्किक परिणामों को अपडेट करने में विफल रहता है।
नया टूल: एक "लॉजिक डिटेक्टिव" (तर्क का जासूस)
इसे ठीक करने के लिए, लेखकों ने एक नया बेंचमार्क (एक परीक्षण) बनाया है जो एक लॉजिक डिटेक्टिव की तरह काम करता है। यहाँ उनका सिस्टम चरण-दर-चरण कैसे काम करता है:
- एडिट (The Edit): वे एक रोबोट लेते हैं और एक तथ्य बदलते हैं (जैसे, "वैलेरी हॉब्सन ऑस्ट्रेलिया में रहती हैं")।
- नियम पुस्तिका (The Rulebook): वे एक विशेष टूल (जिसे AMIE3 कहा जाता है) का उपयोग करते हैं जो तथ्यों के एक विशाल मानचित्र (Knowledge Graph) को देखता है और उन "नियमों" को खोजता है जो तथ्यों को जोड़ते हैं।
- नियम मिला: "यदि व्यक्ति X, व्यक्ति Y का पति/पत्नी है, और व्यक्ति X देश Z में रहता है, तो व्यक्ति Y आमतौर पर देश Z की ही नागरिकता रखता है।"
- जाल वाला प्रश्न (The Trap Question): केवल वैलेरी के बारे में पूछने के बजाय, सिस्टम उन नियमों का उपयोग करके उनके पति के बारे में एक पेचीदा प्रश्न तैयार करता है।
- प्रश्न: "वैलेरी हॉब्सन के पति की राष्ट्रीयता क्या है?"
- सही उत्तर: ऑस्ट्रेलियाई (क्योंकि नियम के अनुसार)।
- पुराना रोबोट उत्तर: ब्रिटिश (क्योंकि उसने केवल प्रत्यक्ष तथ्य को अपडेट किया, तर्क को नहीं)।
उन्होंने क्या पाया: "डायरेक्ट बनाम इनडायरेक्ट" का अंतर
लेखकों ने इस नए लॉजिक डिटेक्टिव का उपयोग करके लोकप्रिय तरीकों (जैसे ROME और FT) का परीक्षण किया। परिणाम आश्चर्यजनक थे:
- प्रत्यक्ष जीत (The Direct Win): जब सरल प्रश्न पूछा गया ("वैलेरी कहाँ रहती है?"), तो रोबोट बहुत अच्छे थे। उन्होंने लगभग हर बार प्रत्यक्ष एडिट को सही बताया।
- तार्किक हार (The Logical Loss): जब पति या अन्य जुड़े हुए तथ्यों के बारे में "जाल" वाले प्रश्न पूछे गए, तो रोबोट बुरी तरह विफल रहे।
- कुछ मामलों में, रोबोट तार्किक प्रश्नों का उत्तर देने में प्रत्यक्ष प्रश्नों की तुलना में 24% खराब प्रदर्शन कर रहे थे।
रूपक (Metaphor):
यह एक छात्र को गणित का नया सूत्र सिखाने जैसा है।
- प्रत्यक्ष एडिट: आप पूछते हैं, "2 + 2 क्या है?" छात्र कहता है "4।" (परफेक्ट!)
- तार्किक परिणाम: आप पूछते हैं, "यदि 2 + 2 = 4 है, और मेरे पास दो सेब हैं, तो मेरे पास कितने सेब हैं?" छात्र कहता है "मुझे नहीं पता" या "5।"
- छात्र ने उत्तर रट लिया लेकिन उसके पीछे के तर्क को नहीं समझा।
निष्कर्ष
शोध पत्र यह निष्कर्ष निकालता है कि AI के मस्तिष्क को अपडेट करने के मौजूदा तरीके परिवर्तनों के प्रभाव (Ripple Effects) को संभालने के लिए बहुत "बेवकूफ" हैं। वे नाव में एक छेद को पैच करने में तो अच्छे हैं, लेकिन यह सुनिश्चित करने में बुरे हैं कि उस पैच के कारण पूरी नाव न डूब जाए।
उन्होंने पाया कि हालांकि कुछ तरीकों (जैसे Knowledge Neurons) ने इन तार्किक कनेक्शनों को संभालने में थोड़ा बेहतर प्रदर्शन किया, लेकिन अधिकांश लोकप्रिय तरीके एक एकल तथ्य के आसपास फैले "सत्य के जाल" (Web of Truth) को अपडेट करने में विफल रहते हैं। उन्हें AI के परीक्षण करने के एक नए तरीके की आवश्यकता है जो न केवल यह जाँचता है कि तथ्य सही है, बल्कि यह भी कि तथ्यों को जोड़ने वाला तर्क अभी भी बरकरार है या नहीं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।