When Correct Edges Cannot Be Verified: A Provenance Gap in Incomplete KGQA and a Provenance-Favoring Completion Policy
यह शोध पत्र यह प्रकट करता है कि इनकम्प्लीट नॉलेज ग्राफ क्वेश्चन अनस्वर्सिंग (Incomplete Knowledge Graph Question Answering) में टेक्स्टुअल वेरिफिएबिलिटी (textual verifiability), एज करेक्टनेस (edge correctness) के लिए एक खराब प्रॉक्सी है क्योंकि वैध तथ्यों के लिए सहायक टेक्स्ट की व्यापक कमी है, जिससे TGComplete का प्रस्ताव मिलता है, जो एक प्रोवेनेंस-फेवरिंग पॉलिसी (provenance-favoring policy) है जो रिकॉल को अधिकतम करने के बजाय ऑडिटेबिलिटी सुनिश्चित करने के लिए केवल वेरिफिएबल एडजेस (verifiable edges) को स्वीकार करने को प्राथमिकता देती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, डिजिटल विश्वकोश (नॉलेज ग्राफ) और एक बहुत ही बुद्धिमान, लेकिन कभी-कभी भ्रमित होने वाले जासूस (लार्ज लैंग्वेज मॉडल) का उपयोग करके एक जटिल रहस्य को सुलझाने की कोशिश कर रहे हैं।
आमतौर पर, जासूस तथ्य के एक निशान का पीछा करते हुए विश्वकोश में घूमता है ताकि उत्तर मिल सके। लेकिन कभी-कभी, विश्वकोश के कुछ पन्ने गायब होते हैं। रास्ता टूट जाता है, और जासूस फंस जाता है।
इसे ठीक करने के लिए, जासूस अपनी याददाश्त से गायब तथ्य का "अनुमान" लगाने की कोशिश कर सकता है, या वह सबूत खोजने के लिए किताबों की एक लाइब्रेरी (टेक्स्ट) जा सकता है। मुख्य सवाल जो यह शोध पत्र पूछता है, वह यह है: यदि जासूस को एक ऐसी किताब मिलती है जिसमें उस गायब तथ्य का उल्लेख है, तो क्या इसका मतलब यह है कि वह तथ्य वास्तव में सत्य है?
लेखक कहते हैं: नहीं, जरूरी नहीं। और यहाँ इसका कारण सरल रूप में समझाया गया है।
1. "गायब पन्ना" की समस्या (The "Missing Page" Problem)
वास्तविक दुनिया में, नॉलेज ग्राफ अधूरे होते हैं। एक शहर के मानचित्र की कल्पना करें जहाँ कुछ सड़कें मिटा दी गई हैं। यदि आपका जीपीएस (रीजनिंग मॉडल) पॉइंट A से पॉइंट B तक जाने की कोशिश करता है, तो वह एक डेड एंड (बंद रास्ते) पर पहुँच जाता है।
- पुराना तरीका (GoG): जासूस जो उसे "याद" है उसके आधार पर गायब सड़क का नाम अनुमान लगा लेता है। यह सही हो सकता है, या यह पूरी तरह से एक भ्रम (hallucination) भी हो सकता है।
- नया विचार: अनुमान को स्वीकार करने से पहले, लाइब्रेरी (टेक्स्ट) की जाँच करें कि क्या किसी ने उस सड़क के बारे में लिखा है। यदि लाइब्रेरी में एक किताब है जो उसका उल्लेख करती है, तो हम मान लेते हैं कि अनुमान सुरक्षित है।
2. बड़ा आश्चर्य: "प्रोवेनेंस गैप" (The "Provenance Gap")
उन्होंने इसे टेस्ट करने के लिए एक आदर्श मानचित्र लिया, गुप्त रूप से उसकी 20% से 40% सड़कें हटा दीं, और देखा कि क्या होता है। वे जानते थे कि कौन सी सड़कें "असली" गायब सड़कें थीं क्योंकि उन्होंने उन्हें खुद हटाया था।
काउंटर-इंट्यूटिव (विपरीत) निष्कर्ष:
उन्होंने पाया कि 76% से 96% तक सही गायब सड़कें लाइब्रेरी की किताबों में नहीं मिल सकीं, भले ही उन्होंने हर एक किताब को पूरी तरह से खोजा हो।
उपमा (Analogy):
कल्पना कीजिए कि आप एक विशिष्ट, अज्ञात तथ्य की तलाश कर रहे हैं: "1994 में एक छोटे से गाँव का मेयर कौन था?"
- तथ्य: यह 100% सत्य है।
- लाइब्रेरी: आप हर समाचार पत्र, जीवनी और इतिहास की किताब खोजते हैं।
- परिणाम: लाइब्रेरी में मेयर का नाम गाँव के नाम के साथ एक ही वाक्य में नहीं मिलता। तथ्य सत्य है, लेकिन वह टेक्स्टुअली अदृश्य (textually invisible) है।
शोध पत्र इसे प्रोवेनेंस गैप कहता है।
- सत्यापनीयता (Verifiability): क्या मैं एक किताब ढूँढ सकता हूँ जो यह कहती हो?
- सत्यता (Correctness): क्या यह वास्तव में सत्य है?
- गैप (Gap): केवल इसलिए कि आप किताब नहीं ढूँढ पा रहे हैं, इसका मतलब यह नहीं है कि यह गलत है। और केवल इसलिए कि आपको एक किताब मिल गई है, यह गारंटी नहीं देता कि यह पूरा सच है। इन डेटाबेस के अधिकांश तथ्य उसी गुमनाम मेयर की तरह हैं—वे मौजूद हैं, लेकिन वे किसी किताब में एक ही वाक्य में "हेड + टेल" के रूप में दिखाई नहीं देते।
3. समाधान: TGComplete (एक "सतर्क जासूस")
चूंकि हम किसी तथ्य को सच साबित करने के लिए किताब खोजने पर भरोसा नहीं कर सकते, इसलिए लेखकों ने TGComplete नामक एक नया सिस्टम बनाया है।
पूर्ण होने की कोशिश करने के बजाय, TGComplete लक्ष्य बदल देता है। यह पूछता है: "क्या मुझे इस तथ्य को अपने तर्क में शामिल करना चाहिए, या मुझे यह स्वीकार करना चाहिए कि मेरे पास कोई प्रमाण नहीं है?"
यह कैसे काम करता है:
- रुकें (Stop): जब रास्ता टूट जाता है, तो यह रुक जाता है।
- खोजें (Search): यह लाइब्रेरी में सबूतों की तलाश करता है।
- सत्यापित करें (Verify): यह जाँचता है कि क्या सबूत उसके अनुमान का मजबूती से समर्थन करते हैं।
- निर्णय लें (Decide):
- यदि मजबूत प्रमाण है? तथ्य को स्वीकार (Admit) करें और आगे बढ़ें।
- यदि कोई प्रमाण नहीं है? परहेज (Abstain) करें (रुकें और कहें "मुझे नहीं पता")। यह अनुमान नहीं लगाता है।
4. ट्रेड-ऑफ: शुद्धता बनाम रिकॉल (Precision vs. Recall)
यहीं पर "जोखिम प्रबंधन" वाला हिस्सा आता है।
- लागत (The Cost): क्योंकि TGComplete बिना सबूत के अनुमान लगाने से इनकार करता है, इसलिए यह कुछ सही तथ्यों को छोड़ देता है। यह लगभग 24% से 50% सही गायब तथ्यों को खारिज कर देता है क्योंकि उनके पास किताब का सबूत नहीं था।
- लाभ (The Gain): हालाँकि, जिन तथ्यों को यह स्वीकार करता है, वे बहुत अधिक भरोसेमंद होते हैं। यह "नकली" अनुमानों को फ़िल्टर कर देता है।
- जादू (The Magic): आश्चर्यजनक रूप से, भले ही यह कई सही तथ्यों को खारिज कर देता है, लेकिन अंतिम उत्तर की सटीकता (final answer accuracy) (प्रश्न का सही उत्तर प्राप्त करना) अनुमान लगाने वाली विधि के समान ही रहती है।
क्यों?
लेखकों ने पाया कि अधिकांश गायब तथ्य कारण संबंधी रूप से अनावश्यक (causally redundant) होते हैं।
- उपमा: एक भूलभुलैया (maze) को हल करने की कल्पना करें। आपको बाएं मुड़ना है, फिर दाएं, फिर बाएं। "गायब तथ्य" दूसरा "बायां मोड़" है।
- लेखकों ने पाया कि 95-97% मामलों में, यदि आप उस विशिष्ट गायब मोड़ को अनदेखा भी कर दें, तो भी भूलभुलैया को हल किया जा सकता था, क्योंकि जासूस का आंतरिक ज्ञान या अन्य रास्ते बाहर निकलने के लिए पर्याप्त थे।
- इसलिए, उस गायब तथ्य को खारिज करने से अंतिम स्कोर पर बुरा प्रभाव नहीं पड़ा, लेकिन इसने जासूस को एक गलत तथ्य को आत्मविश्वास के साथ बताने से रोक दिया।
5. निष्कर्ष (The Bottom Line)
यह शोध पत्र निष्कर्ष निकालता है कि हमें AI के बारे में तथ्यों को "चेक" करने के तरीके को बदलने की आवश्यकता है।
- पुरानी धारणा: "यदि मैं इसे टेक्स्ट में नहीं ढूँढ सकता, तो यह शायद गलत है।"
- नई वास्तविकता: "यदि मैं इसे टेक्स्ट में नहीं ढूँढ सकता, तो यह अभी भी सत्य हो सकता है, लेकिन मैं इसे सिद्ध नहीं कर सकता।"
TGComplete ऑडिटेबिलिटी (Auditability) के लिए एक उपकरण है। यह यह वादा नहीं करता कि यह हर एक सही उत्तर ढूँढ लेगा। इसके बजाय, यह वादा करता है कि इसके द्वारा दिया गया हर उत्तर एक दस्तावेजी प्रमाण (paper trail) द्वारा समर्थित है। यह "सब कुछ खोजने" के बदले "केवल वही कहना जो मैं सिद्ध कर सकता हूँ" का विकल्प चुनता है।
एक ऐसी दुनिया में जहाँ हमें AI पर भरोसा करने की आवश्यकता है, यह शोध पत्र सुझाव देता है कि एक ऐसा सिस्टम होना बेहतर है जो कहता है "मुझे नहीं पता", बजाय एक ऐसे सिस्टम के जो आत्मविश्वास के साथ झूठ बोलता है, भले ही इसका मतलब रास्ते में कुछ सही अनुमानों को छोड़ देना ही क्यों न हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।