🤖 machine learning

CQD-SHAP: Explainable Complex Query Answering via Shapley Values

यह शोध पत्र CQD-SHAP का प्रस्ताव करता है, जो एक नवीन ढांचा है जो अपूर्ण ज्ञान ग्राफ (incomplete knowledge graphs) पर व्याख्यात्मक जटिल क्वेरी उत्तरों के लिए सहयोगात्मक गेम थ्योरी से शापली मानों (Shapley values) का लाभ उठाता है, जिससे प्रत्येक क्वेरी भाग के योगदान को उत्तर रैंकिंग में परिमाणित किया जाता है, और इस प्रकार मौजूदा ब्लैक-बॉक्स और न्यूरोसिम्बोलिक मॉडलों की व्याख्यात्मकता सीमाओं को संबोधित किया जाता है।

मूल लेखक: Parsa Abbasi, Stefan Heindorf

प्रकाशित 2026-06-23

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Parsa Abbasi, Stefan Heindorf

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य चित्र: "ब्लैक बॉक्स" जासूस

कल्पना कीजिए कि आपके पास एक विशाल, अव्यवस्थित पुस्तकालय (एक नॉलेज ग्राफ) है जहाँ किताबें धागों से जुड़ी हुई हैं। कभी-कभी इस पुस्तकालय में कुछ पन्ने या पूरी किताबें गायब होती हैं (यह अपूर्ण/incomplete है)।

जब आप "हैरी पॉटर किसने लिखा?" जैसा सरल प्रश्न पूछते हैं, तो कंप्यूटर आमतौर पर उन धागों के सहारे चलते हुए उत्तर ढूँढ लेता है। लेकिन क्या होगा यदि आप एक जटिल प्रश्न पूछें जैसे, "कौन सी दवाएं मधुमेह (diabetes) का इलाज करती हैं और किडनी की विषाक्तता (kidney toxicity) भी पैदा करती हैं?"

इसे हल करने के लिए, कंप्यूटर को दो काम करने होंगे:

धागों पर चलना (सिंबोलिक दृष्टिकोण): उन दवाओं को खोजना जो मौजूदा पुस्तकालय में निश्चित रूप से मधुमेह का इलाज करती हैं और निश्चित रूप से किडनी की विषाक्तता पैदा करती हैं।
लापता कड़ियों का अनुमान लगाना (न्यूरल दृष्टिकोण): चूंकि पुस्तकालय अधूरा है, इसलिए कंप्यूटर एक "स्मार्ट गेसर" (न्यूरल नेटवर्क) का उपयोग करता है ताकि उन संबंधों का अनुमान लगाया जा सके जो वहां होने चाहिए लेकिन अभी तक लिखे नहीं गए हैं।

समस्या यह है कि यह "स्मार्ट गेसर" एक ब्लैक बॉक्स है। यह आपको उत्तरों की एक सूची तो देता है (जैसे "इंसुलिन"), लेकिन यह नहीं बताता कि इसने वह उत्तर क्यों चुना। क्या इसने इंसुलिन को इसलिए चुना क्योंकि पुस्तकालय में स्पष्ट रूप से ऐसा लिखा था? या इसने इसका अनुमान इसलिए लगाया क्योंकि कंप्यूटर को लगता है कि इंसुलिन किडनी की विषाक्तता से संबंधित है, भले ही यह तथ्य पुस्तकालय में मौजूद न हो?

CQD-SHAP एक नया टूल है जिसे इस ब्लैक बॉक्स को खोलने और यह समझाने के लिए डिज़ाइन किया गया है कि प्रश्न के प्रत्येक हिस्से ने अंतिम उत्तर में कितना योगदान दिया।

मूल विचार: "टीम स्कोर" की उपमा

लेखक गेम थ्योरी की एक अवधारणा का उपयोग करते हैं जिसे शापली वैल्यूज (Shapley Values) कहा जाता है। इसे एक ग्रुप प्रोजेक्ट की तरह समझें जहाँ छात्रों की एक टीम (प्रश्न के एटम्स/atoms) मिलकर एक ग्रेड (उत्तर की रैंकिंग) प्राप्त करने के लिए काम करती है।

हमारे उदाहरण प्रश्न ("मधुमेह और किडनी विषाक्तता के लिए दवाएं") में, दो "छात्र" (एटम्स) हैं:

छात्र A: "मधुमेह के लिए दवाएं।"
छात्र B: "किडनी विषाक्तता के लिए दवाएं।"

अंतिम ग्रेड (इंसुलिन की रैंकिंग) इस बात पर निर्भर करता है कि दोनों छात्र कितनी अच्छी तरह प्रदर्शन करते हैं। लेकिन छात्र A को छात्र B के मुकाबले कितना श्रेय मिलना चाहिए?

CQD-SHAP एक निष्पक्ष रेफरी की तरह काम करता है। यह यह पता लगाने के लिए हजारों छोटे प्रयोग चलाता है कि स्कोर क्या है:

परिदृश्य 1: छात्र A "लाइब्रेरी वॉक" (सिंबोलिक) का उपयोग करता है, और छात्र B "स्मार्ट गेसर" (न्यूरल) का उपयोग करता है।
परिदृश्य 2: छात्र A "स्मार्ट गेसर" का उपयोग करता है, और छात्र B "लाइब्रेरी वॉक" का उपयोग करता है।
परिदृश्य 3: दोनों "लाइब्रेरी वॉक" का उपयोग करते हैं।
परिदृश्य 4: दोनों "स्मार्ट गेसर" का उपयोग करते हैं।

इन परिदृश्यों की तुलना करके, CQD-SHAP सटीक रूप से गणना करता है कि "स्मार्ट गेसर" ने प्रत्येक छात्र के लिए अंतिम ग्रेड में कितना सुधार किया।

"अहा!" क्षण: यह क्यों मायने रखता है

पेपर दावा करता है कि यह तरीका कुछ आश्चर्यजनक प्रकट करता है। कभी-कभी, "स्मार्ट गेसर" सारा भारी काम कर रहा होता है, और कभी-कभी यह वास्तव में परिणाम को बिगाड़ भी देता है।

"शोर मचाने वाले पड़ोसी" (Noisy Neighbor) की उपमा:
कल्पना कीजिए कि आप एक विशिष्ट घर (उत्तर) को खोजने की कोशिश कर रहे हैं।

लाइब्रेरी वॉक आधिकारिक एड्रेस बुक पढ़ने जैसा है। यह सटीक है लेकिन यदि किताब पुरानी है, तो इसमें घर सूचीबद्ध नहीं हो सकता है।
स्मार्ट गेसर एक पड़ोसी से पूछने जैसा है जो उस इलाके को जानता है। उन्हें पता हो सकता है कि घर वहां मौजूद है भले ही वह किताब में न हो।

CQD-SHAP आपको बता सकता है:

"'इंसुलिन' के उत्तर के लिए, आपके प्रश्न के 'किडनी विषाक्तता' वाले हिस्से को भारी बढ़त (+450 अंक) मिली क्योंकि स्मार्ट गेसर ने संबंध का अनुमान लगाया। हालांकि, 'मधुमेह' वाले हिस्से को थोड़ा दंड (-10 अंक) मिला क्योंकि स्मार्ट गेसर भ्रमित हो गया और उसने कुछ गलत पड़ोसियों का सुझाव दे दिया।"

CQD-SHAP के बिना, आप केवल सूची में शीर्ष पर "इंसुलिन" देखेंगे और मान लेंगे कि कंप्यूटर 100% सुनिश्चित है। CQD-SHAP के साथ, आप महसूस करेंगे: "रुको, कंप्यूटर किडनी वाले हिस्से पर ज्यादातर अनुमान लगा रहा है। मुझे इस तथ्य की दोबारा जांच करनी चाहिए।"

उन्होंने इसका परीक्षण कैसे किया (द "स्ट्रेस टेस्ट")

लेखकों ने वास्तविक दुनिया के डेटासेट्स (जैसे Freebase और NELL) का उपयोग करके विभिन्न प्रकार के जटिल प्रश्नों (कुछ "AND" के साथ, कुछ "OR" के साथ) पर इसका परीक्षण किया।

उन्होंने अन्य तरीकों (जैसे पहले भाग को चुनना, अंतिम भाग को चुनना, या सबसे कम स्कोर वाले भाग को चुनना) के मुकाबले अपनी विधि की तुलना की।

परिणाम:

आवश्यक स्पष्टीकरण (Necessary Explanations): यदि आप प्रश्न के सबसे महत्वपूर्ण भाग से "स्मार्ट गेसर" को हटा देते हैं, तो उत्तर की रैंक काफी गिर जानी चाहिए। CQD-SHAP इन महत्वपूर्ण हिस्सों की पहचान करने में अन्य तरीकों की तुलना में बहुत बेहतर था।
पर्याप्त स्पष्टीकरण (Sufficient Explanations): यदि आप केवल सबसे महत्वपूर्ण भाग पर "स्मार्ट गेसर" का उपयोग करते हैं, तो उत्तर की रैंक काफी बढ़ जानी चाहिए। यहाँ भी, CQD-SHAP विजेता रहा।

सरल शब्दों में, CQD-SHAP ही एकमात्र ऐसा तरीका है जो लगातार उस सही हिस्से की ओर इशारा करता है जो यह समझाने के लिए महत्वपूर्ण है कि कोई उत्तर उच्च या निम्न रैंक क्यों है।

मुख्य बातें

यह केवल उत्तर के बारे में नहीं है; यह "क्यों" के बारे में है: यह समझाता है कि एक जटिल क्वेरी ने किसी विशिष्ट परिणाम को क्यों वापस दिया, इसके लिए प्रत्येक तार्किक चरण के योगदान को तोड़कर।
यह "अनुमान लगाने की शक्ति" को मापता है: यह विशेष रूप से मात्रा निर्धारित करता है कि मौजूदा तथ्यों को देखने की तुलना में न्यूरल नेटवर्क की "अनुमान लगाने" की क्षमता ने अंतिम रैंकिंग में कितनी मदद की (या नुकसान पहुँचाया)।
यह गणितीय रूप से निष्पक्ष है: यह सुनिश्चित करने के लिए शापली वैल्यूज के कठोर गणितीय सूत्र का उपयोग करता है कि "श्रेय" प्रश्न के हिस्सों के बीच निष्पक्ष रूप से वितरित किया जाए।
यह त्रुटियों को पकड़ता है: यह प्रकट कर सकता है कि कब एक उच्च-रैंक वाला उत्तर वास्तव में एक कमजोर या शोर वाले अनुमान पर आधारित है, जिससे उपयोगकर्ताओं को सिस्टम पर आँख मूंदकर भरोसा करने के बजाय सावधानी बरतने में मदद मिलती है।

यह क्या नहीं है (पूरी तरह से पेपर के आधार पर)

यह बीमारियों के इलाज या मरीजों के निदान का दावा नहीं करता है। "ड्रग" का उदाहरण केवल यह समझाने के लिए एक रूपक है कि सिस्टम कैसे काम करता है।
यह यह नहीं कहता कि यह डॉक्टरों या वकीलों की जगह लेगा। यह यह समझने के लिए एक टूल है कि एक AI मॉडल कैसे सोच रहा है।
यह सभी AI के लिए "ब्लैक बॉक्स" समस्या को हल करने का दावा नहीं करता है, बल्कि केवल इस विशिष्ट प्रकार के जटिल प्रश्न-उत्तर प्रणाली के लिए है।

संक्षेप में, CQD-SHAP एक पारदर्शिता टूल है जो AI जासूसों के लिए एक "स्कोरकार्ड" की तरह कार्य करता है, जो आपको दिखाता है कि कौन से संकेत (क्वेरी के भाग) वास्तविक तथ्य थे और कौन से स्मार्ट अनुमान थे, ताकि आप जान सकें कि किस पर भरोसा करना है।

तकनीकी सारांश: CQD-SHAP

समस्या विवरण (Problem Statement)

नॉलेज ग्राफ्स (KGs) पर कॉम्प्लेक्स क्वेरी एनswering (CQA) सरल लिंक प्रेडिक्शन से आगे बढ़कर उन क्वेरीज को संभालने के लिए है जिनमें मल्टी-हॉप रीजनिंग और लॉजिकल ऑपरेटर्स (कंजंक्शन, डिसजंक्शन) की आवश्यकता होती है। जबकि CQD (कॉम्प्लेक्स क्वेरी डिकंपोजिशन) जैसे न्यूरोसिम्बोलिक दृष्टिकोण वास्तविक दुनिया के KGs की अपूर्णता को दूर करने के लिए उभरे हैं, वे काफी हद तक ब्लैक-बॉक्स मॉडल के रूप में कार्य करते हैं। लिंक प्रेडिक्शन के लिए मौजूदा व्याख्यात्मक (explainability) विधियाँ सिंगल-हॉप प्रेडिक्शन के लिए महत्वपूर्ण ट्रिपल्स या पाथ्स की पहचान करने पर केंद्रित हैं और सीधे तौर पर कॉम्प्लेक्स क्वेरीज पर लागू नहीं होती हैं। इसके अलावा, वर्तमान न्यूरोसिंबोलिक CQA विधियों में इस बात की पारदर्शिता की कमी है कि विभिन्न क्वेरी घटकों (एटम्स) का अंतिम उत्तर की रैंकिंग में क्या विशिष्ट योगदान है। यह अस्पष्टता उपयोगकर्ता के विश्वास, डिबगिंग और डोमेन विशेषज्ञों द्वारा KG के अंतराल को पहचानने या क्वेरी को परिष्कृत करने की क्षमता में बाधा डालती है।

कार्यप्रणाली (Methodology): CQD-SHAP

यह शोध पत्र CQD-SHAP प्रस्तावित करता है, जो एक फ्रेमवर्क है जो कोऑपरेटिव गेम थ्योरी से शापली वैल्यूज (Shapley values) का उपयोग करके एक विशिष्ट उत्तर एंटिटी के रैंकिंग में प्रत्येक क्वेरी एटम के योगदान को मापकर न्यूरोसिंबोलिक CQA मॉडल्स (विशेष रूपकर CQD) के परिणामों की व्याख्या करता है।

मुख्य परिभाषाएँ (Core Definitions)

खिलाड़ी (Players): एक जटिल क्वेरी $Q$ के एटम्स (घटक भागों) को एक कोऑपरेटिव गेम के खिलाड़ियों के रूप में माना जाता है।
कोलिशन (Coalitions): एक उपसमुच्चय (subset) $S$ के एटम्स को न्यूरल दृष्टिकोण (लिंक प्रेडिक्टर के माध्यम से लुप्त कड़ियों का अनुमान लगाना) का उपयोग करके निष्पादित किया जाता है, जबकि शेष एटम्स को सिंबोलिक दृष्टिकोण (स्ट्रिक्टली KG में देखे गए तथ्यों पर निर्भर रहना) का उपयोग करके निष्पादित किया जाता है।
वैल्यू फंक्शन (Value Function): एक लक्ष्य एंटिटी $e_i$ $e_{i}$ के लिए कोलिशन $S$ $S$ का मूल्य $\Delta$ Rank Quantity of Interest (QoI) द्वारा परिभाषित किया जाता है। यह पूरी तरह से सिंबोलिक निष्पादन के मुकाबले $S$ $S$ के एटम्स के न्यूरल निष्पादन द्वारा $e_i$ $e_{i}$ की रैंकिंग स्थिति में सुधार को मापता है।
- औपचारिक रूप से: $val_{e_i}(Q_S) = r_i(Q_{\emptyset}) - r_i(Q_S)$ , जहाँ $r_i$ एक फिल्टर्ड सेटिंग में एंटिटी $e_i$ की रैंक है।
शापली वैल्यू गणना (Shapley Value Calculation): एक विशिष्ट एटम $a$ का योगदान अन्य एटम्स के सभी संभावित कोलिशन में उस एटम के औसत सीमांत योगदान (marginal contribution) के रूप में गणना किया जाता है। यह शापली एक्सिओम्स (axioms) को संतुष्ट करता है, जिसमें एफिशिएंसी (efficiency) शामिल है (सभी एटम योगदानों का योग पूर्ण न्यूरल निष्पादन द्वारा प्राप्त कुल रैंक सुधार के बराबर है)।

निष्पादन विवरण (Execution Details)

न्यूरल निष्पादन (Neural Execution): एंटिटीज को स्कोर असाइन करने के लिए एक लिंक प्रेडिक्टर (जैसे, CQD से) का उपयोग करता है, जिससे अपूर्ण ग्राफों पर अनुमान लगाना संभव होता है।
सिंबोलिक निष्पादन (Symbolic Execution): देखे गए (अपूर्ण) KG पर ग्राफ ट्रावर्सल करता है, मौजूदा तथ्यों को स्थिर स्कोर असाइन करता है और गैर-मौजूद तथ्यों को कम स्कोर देता है।
सटीक गणना (Exact Computation): जटिल क्वेरीज में एटम्स की कम संख्या (आमतौर पर $\le 4$ ) के कारण, यह शोध पत्र सन्निकटन (approximation) के बिना सटीक शापली वैल्यूज की गणना करता है।

मुख्य योगदान (Key Contributions)

CQA के लिए प्रथम शापली-आधारित स्पष्टीकरण: लेखकों की जानकारी के अनुसार, यह शापली वैल्यूज का उपयोग करके न्यूरल कॉम्प्लेक्स क्वेरी एनswering मॉडल्स की व्याख्या करने वाला पहला दृष्टिकोण है।
एटम-लेवल स्पष्टीकरण की औपचारिक परिभाषा: यह पेपर क्वेरी एटम्स के स्तर पर एक औपचारिक स्पष्टीकरण फ्रेमवर्क को परिभाषित करता है, जो लिंक प्रेडिक्शन में उपयोग किए जाने वाले ट्रिपल-लेवल या पाथ-लेवल स्पष्टीकरणों से भिन्न है।
नया मेट्रिक (CQD-SHAP): यह एक विधि पेश करता है कि कैसे एक विशिष्ट एटम का न्यूरल निष्पादन, शुद्ध सिंबोलिक निष्पादन की तुलना में लक्ष्य उत्तर की रैंकिंग में योगदान देता है।
मूल्यांकन मानदंडों का पुनर्परिभाषण: लिंक प्रेडिक्शन से आवश्यक (Necessary) और पर्याप्त (Sufficient) स्पष्टीकरणों की अवधारणाओं को CQA डोमेन में विस्तारित करता है:
- आवश्यक (Necessary): सबसे महत्वपूर्ण एटम को सिंबोलिक निष्पादन के साथ बदलने से उत्तर की रैंकिंग में महत्वपूर्ण गिरावट आती है ( $\Delta$ MRR द्वारा मापा गया)।
- पर्याप्त (Sufficient): केवल सबसे महत्वपूर्ण एटम को न्यूरल रूप से निष्पादित करना (जबकि अन्य सिंबोलिक हैं) पूरी तरह से सिंबोलिक बेसलाइन की तुलना में रैंकिंग में महत्वपूर्ण सुधार करता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने विभिन्न क्वेरी प्रकारों (प्रोजेक्शन, इंटरसेक्शन, यूनियन) में FB15k-237, NELL995, और उनके कठिन वेरिएंट्स (+H) पर CQD-SHAP का मूल्यांकन किया।

प्रदर्शन (Performance): CQD-SHAP ने आवश्यक और पर्याप्त दोनों मूल्यांकन परिदृश्यों में सभी बेसलाइन्स (First, Last, Random, और Score-based selection) को लगातार पीछे छोड़ दिया।
- Necessary परिदृश्य में, CQD-SHAP ने मीन रेसिप्रोकल रैंक (MRR) को 45.70% तक कम कर दिया (NELL995 के लिए 2u क्वेरीज हेतु), जो सर्वश्रेष्ठ बेसलाइन से काफी अधिक है।
- Sufficient परिदृश्य में, इसने MRR को 58.90% तक बढ़ा दिया (NELL995+H के लिए 2u क्वेरीज हेतु)।
क्वेरी स्ट्रक्चर संवेदनशीलता (Query Structure Sensitivity): विधि ने प्रोजेक्शन क्वेरीज की तुलना में इंटरसेक्शन क्वेरीज (जैसे, 3i, 4i) के लिए उच्च प्रभावशीलता प्रदर्शित की। लेखक इसका श्रेय इंटरसेक्शन की संरचनात्मक प्रकृति (t-norms का उपयोग करना) को देते हैं, जहाँ एक एकल महत्वपूर्ण शाखा एक मजबूत फिल्टर के रूप में कार्य करती है, जबकि प्रोजेक्शन क्वेरीज में अक्सर वैकल्पिक पथ होते हैं।
दक्षता (Efficiency): शापली वैल्यूज की NP-hard प्रकृति के बावजूद, एटम्स की कम संख्या ने कम लेटेंसी के साथ सटीक गणना को संभव बनाया (डेटासेट के आधार पर प्रति क्वेरी-आंसर पेयर औसतन ~30–140 ms)।
अंतर्दृष्टि (Insight): विश्लेषण से पता चला कि सबसे महत्वपूर्ण एटम हमेशा "लुप्त लिंक" (missing link) नहीं होता है। कुछ मामलों में, KG में मौजूद तथ्य से संबंधित एक एटम एम्बेडिंग प्रॉक्सिमिटी या अन्य भागों के न्यूरल निष्पादन से उत्पन्न शोर के कारण रैंकिंग का प्राथमिक चालक हो सकता है।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि CQD-SHAP न्यूरोसिंबोलिक क्वेरी एनswering की व्याख्या करने का एक गणितीय रूप से कठोर और प्रभावी तरीका प्रदान करता है। शापली एक्सिओम्स को संतुष्ट करके, यह क्वेरी घटकों को क्रेडिट देने का एक निष्पक्ष एट्रिब्यूशन सुनिश्चित करता है। लेखकों का तर्क है कि यह दृष्टिकोण:

डोमेन विशेषज्ञों को यह पहचानने में मदद करता है कि KG के अंतराल कहाँ हैं, यह प्रकट करके कि कौन से क्वेरी भाग अनुमानित ज्ञान पर बहुत अधिक निर्भर हैं।
क्वेरी की डिबगिंग में सहायता करता है, यह दिखाकर कि कौन से एटम्स अंतिम रैंकिंग को सबसे अधिक प्रभावित करते हैं।
एक पारदर्शी दृश्य प्रदान करता है कि न्यूरल प्रेडिक्टर्स अधूरे डेटा का उपयोग सिंबोलिक रिट्रीवल की तुलना में कैसे करते हैं।

लेखक स्पष्ट रूप से कहते हैं कि यह जटिल क्वेरी एनswering परिणामों को समझाने के लिए शापली वैल्यूज को लागू करने वाला पहला कार्य है, जो मौजूदा लिंक प्रेडिक्शन स्पष्टीकरण विधियों की सीमाओं से आगे बढ़ता है। उन्होंने उल्लेख किया कि हालांकि वर्तमान कार्य स्थानीय स्पष्टीकरणों (सिंगल आंसर) पर केंद्रित है, भविष्य की दिशाओं में ग्लोबल स्पष्टीकरण और नेचुरल लैंग्वेज जनरेशन शामिल है ताकि इन वैल्यूज को मानव-पठनीय बनाया जा सके।