GPTKB 2.0: Direct Construction of Disambiguated Knowledge Bases from Large Language Models
यह शोध पत्र GPTKB 2.0 प्रस्तुत करता है, जो एक स्केलेबल पद्धति है जो नेटिव रिप्रजेंटेशन की सीमाओं को दूर करने के लिए संस्थाओं (entities), संबंधों (relations) और वर्गों (classes) के ऑन-द-फ्लाई कैनोनिकलाइजेशन (canonicalization) को लागू करके बड़े भाषा मॉडल से सीधे दस लाख-स्तर का, विसंगति-रहित (disambiguated) ज्ञान आधार निर्मित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप दुनिया में मौजूद हर चीज़ की एक परम लाइब्रेरी (पुस्तकालय) बनाने की कोशिश कर रहे हैं। दशकों से, लाइब्रेरियन (कंप्यूटर वैज्ञानिक) किताबों और वेबसाइटों को पढ़कर, तथ्यों को काटकर, उन्हें सुंदर कार्डों में चिपकाकर यह करने की कोशिश कर रहे हैं। लेकिन एक पेचीदा समस्या है: नाम बहुत उलझे हुए होते हैं। "Munich" शब्द जर्मनी का एक शहर भी हो सकता है या जासूसों पर आधारित एक फिल्म भी। "Ile-de-France" और "Ile-de-France region" शब्द सुनने में अलग लग सकते हैं, लेकिन वे बिल्कुल एक ही जगह का अर्थ रखते हैं। यदि आपका पुस्तकालय सावधान नहीं रहा, तो अंत में एक ही चीज़ के लिए दो अलग-अलग कार्ड बन जाएंगे, या आप अनजाने में दो अलग-अलग चीज़ों को एक साथ जोड़ देंगे क्योंकि उनका नाम एक जैसा है।
हाल ही में, एक प्रकार का "सुपर-ब्रेन" (अति-मस्तिष्क) जिसे लार्ज लैंग्वेज मॉडल (LLM) कहा जाता है, सामने आया है। इन मॉडलों ने इंटरनेट का इतना अधिक अध्ययन किया है कि वे बिना किसी भौतिक पुस्तक की आवश्यकता के तथ्यों को जानते प्रतीत होते हैं। कुछ शोधकर्ताओं ने सोचा, "क्यों न इस सुपर-ब्रेन से हमारे लिए लाइब्रेरी बनाने को क्यों न कह दिया जाए?" लेकिन यहाँ एक पेंच है: सुपर-ब्रेन के पास वास्तव में चीज़ों के लिए यूनिक आईडी कार्ड की कोई सूची नहीं होती है। वह केवल शब्दों को जानता है। यदि आप उससे तथ्य लिखने के लिए कहते हैं, तो वह अनजाने में "Munich द सिटी" और "Munich द मूवी" के लिए दो अलग-अलग प्रविष्टियाँ बना सकता है क्योंकि वह उन्हें एक ही शब्द मानता है, या वह भूल सकता है कि "Ile-de-France" और "Ile-de-France region" एक ही स्थान हैं। यह पेपर उस गड़बड़ी को ठीक करने के लिए एक चतुर नई विधि पेश करता है, जो सुपर-ब्रेन के शब्द प्रधान उत्तरों को एक साफ, व्यवस्थित और विशाल लाइब्रेरी में बदल देता है जहाँ हर एक चीज़ का अपना एक अनूंक आईडी कार्ड होता है, भले ही उनका नाम एक जैसा हो।
द पेपर: GPTKB 2.0
इस कार्य के पीछे के शोधकर्ता, युजिया हू, तुआन-फोंग नगुयेन और साइमन राज़नेव्स्की, आर्टिफिशियल इंटेलिजेंस की दुनिया में एक बड़ी चुनौती का समाधान कर रहे हैं। वे यह देखना चाहते थे कि क्या वे मौजूदा डेटाबेस जैसे विकिपीडिया पर यह बताने के लिए निर्भर हुए बिना कि क्या क्या है, एक लार्ज लैंग्वेज मॉडल (LLM) से सीधे एक विशाल, व्यवस्थित नॉलेज बेस (ज्ञान आधार) बना सकते हैं।
समस्या: "नाम का खेल" और अराजकता
एक LLM को एक ऐसे बहुत बातूनी दोस्त के रूप में सोचें जो लाखों तथ्य जानता है लेकिन उसकी लिखावट बहुत खराब है और उसके पास कोई फाइलिंग सिस्टम नहीं है। यदि आप इस दोस्त से "Munich" के बारे में तथ्य लिखने के लिए कहते हैं, तो वह लिख सकता है:
- "Munich जर्मनी का एक शहर है।"
- "Munich जासूसों के बारे में एक फिल्म है।"
यदि आप इन्हें आते ही वैसे ही लिख देते हैं, तो आपके पास "Munich" के दो अलग-अलग प्रविष्टियाँ होंगी जो दिखने में एक जैसी होंगी। या, यदि आपका दोस्त "Ile-de-France" और "Ile-de-France region" कहता है, तो आप सोच सकते हैं कि वे दो अलग-अलग जगहें हैं और आप दो अलग-अलग कार्ड बना सकते हैं। इसे होमोनिमी (homonymy) (एक ही नाम, अलग चीजें) और सिनोनिमी (synonymy) (अलग नाम, एक ही चीज) की समस्या कहा जाता है। LLMs से इन पुस्तकालयों को बनाने के पिछले प्रयास ज्यादातर केवल शब्दों का उपयोग करते थे, जिससे एक अस्त-व्यस्त, डुप्लिकेट-भरी डेटाबेस बन जाता था।
समाधान: "कॉन्टेक्स्ट डिटेक्टिव" (संदर्भ जासूस)
टीम ने GPTKB 2.0 नामक एक नया सिस्टम बनाया है। केवल LLM से तथ्य पूछने के बजाय, उन्होंने एक स्मार्ट पाइपलाइन बनाई है जो एक जासूस की तरह काम करती है। यह कैसे काम करता है, चरण-दर-चरण यहाँ दिया गया है:
- द सीड (बीज): वे एक एकल इकाई (entity) से शुरू करते हैं, जैसे जमीन में बोया गया एक बीज (उन्होंने अपने शुरुआती बिंदु के रूप में "Vannevar Bush" का उपयोग किया)।
- द आस्क (पूछताछ/एलीसिटेशन): वे LLM से पूछते हैं, "[Seed] के बारे में तथ्य बताएं।" लेकिन वे केवल नाम नहीं पूछते; वे विवरण (description) भी मांगते हैं। इसलिए, यदि बीज "Munich (शहर)" है, तो LLM जानता है कि उसे केवल शहर के बारे में बात करनी है, न कि फिल्म के बारे में।
- द डिटेक्टिव वर्क (जासूसी कार्य/डिसांबिग्युएशन): जब LLM एक नया तथ्य देता है, तो सिस्टम जाँच करता है: "रुको, क्या हमने यह नाम पहले देखा है?"
- यदि नाम "Munich" है, तो सिस्टम संदर्भ (वाक्य जिससे वह आया है) को देखता है। यदि वाक्य कहता है "Munich एक राजधानी है," तो यह इसे शहर वाले कार्ड से मिला देता है। यदि यह कहता है "Munich एक फिल्म है," तो यह फिल्म के लिए एक बिल्कुल नया कार्ड बनाता है।
- यदि नाम "Ile-de-France region" है, तो सिस्टम समझ जाता है कि यह बस "Ile-de-France" कहने का एक फैंसी तरीका है और उन्हें एक ही कार्ड में मिला देता है।
- द गार्डेड पैरेलल (सुरक्षित समानांतर प्रक्रिया): इसे एक-एक करके करना धीमा है। एक साथ करना जोखिम भरा है (आप यह समझने से पहले कि वे एक ही हैं, दो "Munich" कार्ड बना सकते हैं)। टीम ने एक साथ कई जाँच करने का एक "गार्डेड" (सुरक्षित) तरीका विकसित किया, जिससे यह सुनिश्चित होता है कि वे अभी भी चीजों को समझने के दौरान गलती से डुप्लिकेट न बना दें।
बड़ा परिणाम
टीम ने इस सिस्टम को बड़े पैमाने पर चलाया। उन्होंने केवल एक छोटी सूची नहीं बनाई; उन्होंने एक ऐसी लाइब्रेरी बनाई जिसमें शामिल हैं:
- 38.4 मिलियन तथ्य (जिन्हें "ट्रिपल्स" कहा जाता है)।
- 1.6 मिलियन अद्वितीय, डिसांबिग्युएटेड एंटिटीज (जैसे लोग, स्थान और फिल्में)।
- 207,633 संबंध (कि वे कैसे जुड़ते हैं) और 66,523 क्लासेस (चीजों के प्रकार)।
जो इसे खास बनाता है वह यह है कि इनमें से 36.8% एंटिटीज नई हैं। वे प्रसिद्ध Wikidata डेटाबेस में मौजूद नहीं हैं। इसका मतलब है कि LLM ने ऐसी चीजें ढूंढ लीं जिन्हें मानव-क्यूरेटेड लाइब्रेरी ने मिस कर दिया था, विशेष रूप से कम प्रसिद्ध या कम सामान्य विषयों के "लॉन्ग टेल" में।
क्या यह काम कर गया?
शोधकर्ताओं ने अपनी लाइब्रेरी की सटीकता देखने के लिए उसका परीक्षण किया।
- मर्जिंग (विलय): जब उन्होंने उन चीजों को मिलाने की कोशिश की जो एक ही होनी चाहिए (सिनोनिम्स), तो वे 91% बार सही थे।
- स्प्लिटिंग (विभाजन): जब उन्होंने अलग-अलग चीजों को अलग रखने की कोशिश की (होमोनिम्स), तो वे अपने टेस्ट सैंपल में 100% बार सही थे।
- फैक्ट-चेकिंग (तथ्य-जांच): उन्होंने वेब के विरुद्ध यादृच्छिक (random) तथ्यों की जांच की। लगभग 94.5% तथ्य सत्य की पुष्टि के साथ पाए गए, और केवल 2% गलत थे।
यह क्यों महत्वपूर्ण है
इससे पहले, अधिकांश बड़े नॉलेज बेस व्यवस्थित रहने के लिए मनुष्यों या विकिपीडिया जैसे मौजूदा डेटाबेस पर निर्भर थे। यह पेपर दिखाता है कि आप किसी पूर्व-मौजूदा मानचित्र की आवश्यकता के बिना सीधे एक AI मॉडल के "मस्तिष्क" से एक विशाल, स्वच्छ नॉलेज बेस बना सकते हैं। यह साबित करता है कि सही "डिटेक्टिव" उपकरणों के साथ, AI अपने स्वयं के ज्ञान को व्यवस्थित कर सकता है, अद्वितीय चीजें खोज सकता है और भ्रमित करने वाले नामों को सुलझा सकता है, जिससे एक ऐसी लाइब्रेरी बनती है जो पहले से बनी किसी भी चीज़ से बड़ी और अधिक विस्तृत है।
यह सिस्टम अब अन्वेषण के लिए उपलब्ध है, जो यह दर्शाता है कि हम अंततः AI के अराजक, शब्द प्रधान ज्ञान को दुनिया के एक संरचित, विश्वसनीय मानचित्र में बदलने में सक्षम हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।