Higher-Order Feature Attribution: Bridging Statistics, Explainable AI, and Topological Signal Processing

तकनीकी सारांश: उच्च-क्रम विशेषता प्रकटीकरण (Higher-Order Feature Attribution)

समस्या विवरण
विशेषता प्रकटीकरण (Feature attribution) विधियाँ व्याख्यात्मक कृत्रिम बुद्धिमत्ता (XAI) के लिए आवश्यक हैं, जिनका लक्ष्य यह मात्रा निर्धारित करना है कि इनपुट विशेषताएँ एक मॉडल के आउटपुट प्रेडिक्शन में कैसे योगदान देती हैं। जबकि मानक प्रकटीकरण विधियाँ (जैसे, इंटीग्रेटेड ग्रेडिएंट्स) तब अच्छी तरह से काम करती हैं जब विशेषताएँ स्वतंत्र रूप से कार्य करती हैं, वे तब सीमाओं का सामना करती हैं जब प्रेडिक्टिव मॉडल जटिल अंतःक्रियाओं (interactions) में शामिल होते हैं, जैसे कि गुणात्मक संबंध या संयुक्त योगदान। ऐसे मामलों में, मानक प्रथम-क्रम प्रकटीकरण (first-order attributions) इन विशिष्ट अंतर्निर्भरताओं की प्रकृति का पता लगाने या उन्हें अलग करने में विफल रहते हैं। मौजूदा ढांचे अक्सर अंतःक्रियाओं को माध्यमिक मानते हैं या उच्च-क्रम निर्भरताओं (जैसे, विशेषताओं के ट्रिपलेट्स) को दर्शाने के लिए एक एकीकृत गणितीय संरचना का अभाव रखते हैं।

कार्यप्रणाली
लेखक इंटीग्रेटेड ग्रेडिएंट्स (IG) की नींव पर आधारित उच्च-क्रम विशेषता प्रकीकरण (higher-order feature attribution) का एक सामान्य सिद्धांत प्रस्तावित करते हैं। मुख्य पद्धतिगत नवाचार प्रेडिक्टिव फंक्शन के स्पेस पर एक रैखिक ऑपरेटर (linear operator) के रूप में विशेषता प्रकटीकरण का उपचार है।

1. ऑपरेटर-थ्योरेटिक फ्रेमवर्क:

   • मानक प्रथम-क्रम प्रकटीकरण $a_i$ को एक फंक्शन $f$ पर एक प्रकटीकरण ऑपरेटर $A_i$ के अनुप्रयोग के रूप में परिभाषित किया गया है: $a_i(x) = A_i f(x)$।
   • द्वितीय-क्रम प्रकटीकरणों (Second-order attributions) को दो ऑपरेटरों के संयोजन द्वारा परिभाषित किया गया है: $a_{ij}(x) = A_i A_j f(x)$। यह हेसियन (Hessians) जैसे द्वितीय-क्रम डेरिवेटिव की अवधारणा को दर्शाता है।
   • उच्च-क्रम प्रकटीकरण (जैसे, तृतीय-क्रम $a_{ijk}$) को इसी प्रकार $k$ ऑपरेटरों के संयोजन द्वारा परिभाषित किया जाता है।

2. विश्लेषणात्मक व्युत्पन्न (Analytical Derivations):

   • IG की परिभाषा का उपयोग करते हुए, लेखक इन उच्च-क्रम पदों के लिए विश्लेषणात्मक अभिव्यक्तियाँ व्युत्पन्न करते हैं।
   • वे प्रदर्शित करते हैं कि जब $i \neq j$ हो, तो द्वितीय-क्रम प्रकटीकरण इंटीग्रेटेड हेसियन (Integrated Hessians) ढांचे के साथ मेल खाते हैं, और बार-बार होने वाले प्रकटीकरणों ($i=j$) के लिए विशिष्ट इंटीग्रल फॉर्मुलेशन प्रदान करते हैं।
   • इसमें प्रमुख गुण स्थापित किए गए हैं, जिनमें रैखिकता (ऑपरेटर रैखिक हैं), समरूपता ($A_i A_j = A_j A_i$), मार्जिनलाइजेशन (एक इंडेक्स पर द्वितीय-क्रम प्रकटीकरणों को जोड़ने से प्रथम-क्रम प्रकटीकरण प्राप्त होता है), और पूर्णता (completeness) (सभी $k$-क्रम प्रकटीकरणों का योग कुल प्रेडिक्शन परिवर्तन $f(x) - f(\tilde{x})$ के बराबर होता है) शामिल हैं।

3. टोपोलॉजिकल सिग्नल प्रोसेसिंग कनेक्शन:

   • यह शोध पत्र XAI को टोपोलॉजिकल सिग्नल प्रोसेसिंग से जोड़ता है। यह ग्राफ या सिम्पलीशियल कॉम्प्लेक्स (simplicial complexes) पर संकेतों (signals) के रूप में प्रकटीकरण को प्रदर्शित करने का प्रस्ताव करता है।
   • प्रथम-क्रम प्रकटीकरण ($a_i$) को नोड सिग्नल के रूप में देखा जाता है।
   • द्वितीय-क्रम प्रकटीकरण ($a_{ij}$) को एज (edge) सिग्नल के रूप में देखा जाता है।
   • उच्च-क्रम प्रकटीकरण उच्च-आयामी संरचनाओं (जैसे, तृतीय-क्रम के लिए त्रिकोण) पर संकेतों के अनुरूप होते हैं।
   • पूर्णता गुण यह निहित करता है कि एक नोड सिग्नल आसन्न एज सिग्नलों के योग के बराबर होता है, जो विशेषता अंतःक्रियाओं का एक पदानुक्रमित ज्यामितीय प्रतिनिधित्व बनाता है।

प्रमुख परिणाम
लेखक अपने सिद्धांत को दो प्राथमिक प्रयोगों के माध्यम से सत्यापित करते हैं:

1. सिंथेटिक डेटा प्रयोग:

   • एक जेनेरेटिव मॉडल बनाया गया जिसमें ज्ञात ग्राउंड-ट्रुथ इंटरैक्शन, जिसमें एक तृतीय-क्रम पद ($3x_1x_2x_3$) और विभिन्न द्वितीय-क्रम पद शामिल थे, मौजूद थे।
   • इस डेटा पर एक गॉसियन प्रोसेस रिग्रेशन (GPR) मॉडल को प्रशिक्षित किया गया।
   • निष्कर्ष: द्वितीय-क्रम प्रकटीकरणों ने सफलतापूर्वक ग्राउंड-ट्रुथ इंटरैक्शन संरचना को रिकवर किया। इसके अलावा, मार्जिनलाइजेशन गुण अनुभवजन्य रूप से बना रहा: IG के माध्यम से सीधे गणना किए गए प्रथम-क्रम प्रकटीकरण, द्वितीय-क्रम प्रकटीकरणों को जोड़कर प्राप्त प्रकटीकरणों के सुसंगत थे। तृतीय-क्रम प्रकटीकरणों ने भी ग्राउंड ट्रुथ में मौजूद विशिष्ट ट्रिपलेट इंटरैक्शन की सही पहचान की।

2. रियल एस्टेट वैल्यूएशन (ताइपे डेटासेट):

   • आवास डेटा (416 अवलोकन, 6 कोवेरिएट्स) पर एक क्वाड्रेटिक इनपुट्स के साथ एक जनरलाइज्ड लीनियर मॉडल को प्रशिक्षित किया गया।
   • निष्कर्ष: जबकि अलग-अलग हाउस सैंपल के लिए प्रथम-क्रम प्रकटीकरण काफी भिन्न थे, द्वितीय-क्रम प्रकटीकरण ग्राफ ने संयुक्त फीचर व्यवहार के सुसंगत पैटर्न प्रकट किए। विशेष रूप से, "मेट्रो से दूरी", "स्टोरों की संख्या" और "अक्षांश" जैसे फीचर्स संयुक्त रूप से कार्य करते प्रतीत हुए, जबकि अन्य अकेले योगदान देते हैं। यह सुझाव देता है कि यह विधि उन फीचर्स के समूहों की पहचान कर सकती है जो भविष्यवाणी के दौरान आपस में क्रिया करते हैं, भले ही व्यक्तिगत योगदान भिन्न हों।

महत्व और दावे
यह शोध पत्र दावा करता है कि यह मौजूदा XAI साहित्य (विशेष रूप से इंटीग्रेटेड ग्रेडिएंट्स और इंटीग्रेटेड हेसियन) को अनिश्चित क्रम की अंतःक्रियाओं तक विस्तारित करने वाला एक एकीकृत गणितीय ढांचा प्रदान करता है।

• सैद्धांतिक एकीकरण: फंक्शन के रूप में प्रकटीकरण को परिभाषित करके, यह कार्य एक स्वाभाविक बीजगणितीय संरचना स्थापित करता है जो अंतःक्रियाओं के संयोजन की अनुमति देता है, जैसा कि डेरिवेटिव ऑपरेटरों में होता है।
• ज्यामितीय व्याख्या: टोपोलॉजिकल सिग्नल प्रोसेसिंग के साथ जुड़ाव, फीचर प्रकटीकरण को ग्राफ सिग्नल के रूप में विज़ुअलाइज़ और मैनिपुलेट करने का एक नया तरीका प्रदान करता है, जो जटिल मॉडल व्यवहारों की व्याख्या को सरल बना सकता है।
• पूर्व कार्य से अंतर: लेखक अपने दृष्टिकोण में ऑपरेटर-थ्योरेटिक परिप्रेक्ष्य पर जोर देकर अपने दृष्टिकोण को शापली इंटरैक्शन इंडिसेस (Shapley interaction indices) और इंटीग्रेटेड हेसियन से अलग करते हैं। यह बीजगणितीय और संरचनात्मक संबंधों को बनाए रखता है जो केवल फीचर्स के उपसमुच्चियों (subsets) पर स्केलर स्कोर के बजाय ग्राफ और सिम्पलीशियल कॉम्प्लेक्स जैसी कॉम्बिनेटरियल वस्तुओं से संबंधित हैं।

लेखक निष्कर्ष निकालते हैं कि हालांकि यह एक प्रारंभिक जांच है, यह ढांचा स्पष्ट रूप से उच्च-क्रम विशेषता अंतःक्रियाओं को मॉडल और विज़ुअलाइज़ करके जटिल मॉडलों में नए अंतर्दृष्टि खोजने की क्षमता प्रदर्शित करता है।