📊 statistics

Generalized Functional ANOVA in Closed-Form: A Unified View of Additive Explanations

यह शोध पत्र एक एकीकृत, क्लोज्ड-फॉर्म फ्रेमवर्क के रूप में सामान्यीकृत कार्यात्मक ANOVA (functional ANOVA) को प्रस्तुत करता है जो निर्भर निरंतर इनपुट के लिए मॉडल भविष्यवाणियों को स्पष्ट रूप से विघटित करने हेतु हिल्बर्ट स्पेस विधियों का लाभ उठाता है, जिससे योगात्मक स्पष्टीकरणों (additive explanations) का अनुमान लगाने के लिए एक सरल, मॉडल-अज्ञेय एल्गोरिदम सक्षम होता है जो मौजूदा अत्याधुनिक विधियों से बेहतर प्रदर्शन करता है।

मूल लेखक: Baptiste Ferrere, Nicolas Bousquet, Fabrice Gamboa, Jean-Michel Loubes

प्रकाशित 2026-05-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Baptiste Ferrere, Nicolas Bousquet, Fabrice Gamboa, Jean-Michel Loubes

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही जटिल, ब्लैक-बॉक्स मशीन है (जैसे कि एक परिष्कृत AI) जो कई सामग्रियों (डेटा) को लेती है और एक भविष्यवाणी (जैसे कि घर की कीमत या चिकित्सा निदान) निकालती है। आप यह जानना चाहते हैं: कौन सी सामग्रियां वास्तव में मायने रखती थीं, और वे परिणाम बनाने के लिए कैसे आपस में मिलीं?

यह शोध पत्र एक नया, गणितीय रूप से सटीक तरीका पेश करता है जिससे आप उस मशीन के पुर्जों को अलग कर सकते हैं और ठीक से समझा सकते हैं कि यह कैसे काम करती है, भले ही सामग्रियां आपस में मिली हुई हों और एक-दूसरे पर निर्भर हों।

यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है:

1. समस्या: "स्मूदी" का रहस्य

AI को समझाने के मौजूदा अधिकांश तरीके स्मूदी के स्वाद से उसकी रेसिपी का अनुमान लगाने जैसे हैं।

पुराना तरीका: कुछ तरीके (जैसे SHAP) इस बात में माहिर हैं कि प्रत्येक फल ने स्वाद में कितना योगदान दिया। लेकिन वे अक्सर "नियमों के अनुमान" (heuristics) पर निर्भर करते हैं। वे एक शेफ की तरह होते हैं जो अंदाज़ा लगाता है, "मुझे लगता है कि केले का योगदान 20% है," बिना किसी सख्त गणितीय प्रमाण के।
निर्भरता की समस्या: वास्तविक दुनिया में, सामग्रियां स्वतंत्र नहीं होती हैं। यदि आपके पास स्ट्रॉबेरी और क्रीम वाली स्मूदी है, तो क्रीम स्ट्रॉबेरी के स्वाद को बदल सकती है। यदि सामग्रियां "निर्भर" हैं (जैसे क्रीम और स्ट्रॉबेरी), तो पुराने गणितीय उपकरण टूट जाते हैं या उन्हें कैलकुलेट करना अविश्वसनीय रूप से धीमा और जटिल हो जाता है।

2. समाधान: "गणितीय रेसिपी बुक"

लेखकों ने Functional ANOVA पर आधारित एक नई "रेसिपी बुक" बनाई है। इसे अंतिम स्मूदी को उसके शुद्ध, अलग-अलग हिस्सों में विभाजित करने के तरीके के रूप में सोचें:

मुख्य प्रभाव (Main Effects): स्ट्रॉबेरी का अपना स्वाद अकेले कितना है?
परस्पर क्रिया (Interactions): स्ट्रॉबेरी और क्रीम के मिश्रण से स्वाद विशेष रूप से कितना बदल जाता है?
उच्च-क्रम प्रभाव (Higher-Order Effects): क्या होता है जब स्ट्रॉबेरी, क्रीम और शहद तीनों ब्लेंडर में एक साथ होते हैं?

पेपर का दावा है कि उन्होंने इस विभाजन के लिए एक क्लोज्ड-फॉर्म सॉल्यूशन (एक सीधा, स्पष्ट सूत्र) खोज लिया है, भले ही सामग्रियां एक-दूसरे पर निर्भर हों। यह एक जादुई तराजू रखने जैसा है जो बिना किसी अनुमान के शुद्ध स्ट्रॉबेरी के स्वाद, शुद्ध क्रीम के स्वाद और विशिष्ट "स्ट्रॉबेरी-क्रीम" के स्वाद को तुरंत तौल सकता है।

3. गुप्त सामग्री: "इनवर्स लाइकलीहुड" टूल

उन्होंने यह कैसे किया? उन्होंने Legendre Polynomials (जो कि बिल्डिंग-ब्लॉक कर्व्स का एक विशिष्ट सेट है) से जुड़े एक चतुर गणितीय ट्रिक का उपयोग किया।

कल्पना कीजिए कि आप ऊन की एक उलझी हुई गांठ को सुलझाने की कोशिश कर रहे हैं।

पुराना तरीका: आप ऊन को बेतरतीब ढंग से खींचते हैं, इस उम्मीद में कि वह सुलझ जाएगी।
नया तरीका: लेखकों ने एक विशिष्ट "हुक" (उनका गणितीय आधार) का आविष्कार किया जो गांठ में पूरी तरह फिट बैठता है। इस हुक का उपयोग करके, वे धागों को सफाई से अलग कर सकते हैं। वे इसे "एक्सप्लिसिट डिकंपोजिशन बेसिस" कहते हैं। यह एक जटिल, अनसुलझी पहेली को एक सरल लीनियर रिग्रेशन समस्या (मूल रूप से, बिंदुओं के बादल के माध्यम से सबसे अच्छी सीधी रेखा खींचना) में बदल देता है।

4. परिणाम: तेज़, सटीक और सार्वभौमिक

लेखकों ने वास्तविक दुनिया के डेटा (जैसे घर की कीमतें, बाइक रेंटल और बिजली ग्रिड की स्थिरता की भविष्यवाणी करना) पर इस नए तरीके का परीक्षण किया।

गति: क्योंकि उन्होंने इस समस्या को एक सरल गणितीय समीकरण में बदल दिया, इसलिए उनका तरीका अविश्वसनीय रूप से तेज़ है। यह सेकंडों में हजारों डेटा पॉइंट्स की व्याख्या कर सकता है।
सटीकता: उनका तरीका बहुत उच्च सटीकता (कई मामलों में 90% से अधिक) के साथ AI की भविष्यवाणियों को पुनर्गठित करता है।
एकीकरण: उन्होंने दिखाया कि कई लोकप्रिय स्पष्टीकरण उपकरण (जैसे SHAP, TreeSHAP, और Neural Additive Models) वास्तव में इसी एक ही "गणितीय रेसिपी बुक" के विशिष्ट हिस्सों को देख रहे हैं। उनका तरीका सिद्ध करता है कि ये विभिन्न उपकरण वास्तव में एक ही अंतर्निहित गणितीय समस्या को हल करने की कोशिश कर रहे हैं, बस उनके उपकरण अलग हैं।

5. कमी (सीमाएं)

पेपर अपनी सीमाओं के बारे में ईमानदार है:

"बॉक्स" का प्रतिबंध: उनका गणित तब सबसे अच्छा काम करता है जब डेटा एक साफ, सीमित बॉक्स (जैसे -1 और 1 के बीच की संख्याएं) के भीतर फिट बैठता है। उन्हें पहले इसे फिट करने के लिए डेटा को खींचना या सिकोड़ना पड़ता है। हालांकि वे ऐसा कर सकते हैं, लेकिन यह एक सैद्धांतिक सीमा है।
बहुत अधिक सामग्रियां: यदि आपके पास हजारों सामग्रियां (फीचर्स) हैं, तो गणित बहुत बड़ा हो जाता है ("curse of dimensionality")। हालांकि, वे तर्क देते हैं कि वास्तविक जीवन में, आमतौर पर केवल कुछ ही सामग्रियां और सरल मिश्रण मायने रखते हैं, इसलिए वे जटिल, उच्च-क्रम के उलझावों को सुरक्षित रूप से अनदेखा कर सकते हैं।

सारांश

संक्षेप में, यह पेपर कहता है: "हमने जटिल AI मॉडल को समझने योग्य भागों में तोड़ने का एक साफ, तेज़ और गणितीय रूप से पूर्ण तरीका खोज लिया है, भले ही डेटा अव्यवस्थित और परस्पर जुड़ा हुआ हो। हमने सिद्ध किया है कि मौजूदा कई स्पष्टीकरण उपकरण इसी एक ही गणितीय संरचना को देखने के विभिन्न तरीके हैं।"

यह दावा नहीं करता कि यह बीमारियों का इलाज करता है या शेयर बाजार की भविष्यवाणी करता है; यह दावा करता है कि यह उन मॉडलों के कैसे निर्णय लेने के तरीके को समझने के लिए सबसे अच्छा संभव लेंस प्रदान करता है जो ये कार्य करते हैं।

तकनीकी सारांश: क्लोज्ड-फॉर्म में सामान्यीकृत कार्यात्मक ANOVA (Generalized Functional ANOVA)

समस्या विवरण
आधुनिक मशीन लर्निंग मॉडल, विशेष रूप से जटिल एन्सेम्बल्स और न्यूरल नेटवर्क, अक्सर अपारदर्शी "ब्लैक बॉक्स" के रूप में कार्य करते हैं, जिससे उनके इनपुट-आउटपुट मैपिंग को समझना कठिन हो जाता है। जबकि व्याख्या योग्य AI (XAI) ने कई पोस्ट-हॉक स्पष्टीकरण विधियों (जैसे SHAP, LIME) और अंतर्निहित व्याख्या योग्य मॉडलों (जैसे GAMs, EBMs) को जन्म दिया है, ये दृष्टिकोण दो प्राथमिक आलोचनाओं का सामना करते हैं: वे अक्सर कठोर प्रतिनिधित्व प्रमेयों (representation theorems) की कमी वाले ह्यूरिस्टिक निर्माणों पर निर्भर करते हैं, और वे कम्प्यूटेशनल रूप से महंगे या औपचारिक रूप से अव्यवहारक (intractable) हो सकते हैं।

व्याख्यात्मकता (interpretability) में एक केंद्रीय चुनौती फंक्शनल ANOVA अपघटन (या होफडिंगिंग अपघटन - Hoeffding decomposition) है, जो एक प्रेडिक्टर को मुख्य प्रभावों (main effects) और उच्च-क्रम इंटरैक्शन (higher-order interactions) में विभाजित करता है। जबकि यह अपघटन स्वतंत्र इनपुट के लिए स्पष्ट और ऑर्थोगोनल (orthogonal) है, निर्भर इनपुट (dependent inputs) के लिए एक सुलभ प्रतिनिधित्व प्राप्त करना कठिन बना हुआ है। निर्भर सेटिंग्स के लिए मौजूदा विधियाँ या तो इनपुट घनत्व (input density) के ज्ञान पर निर्भर करती हैं, या विशिष्ट मॉडल प्रकारों (जैसे ट्री एन्सेम्बल्स) तक सीमित हैं, या हाल ही में केवल कैटेगोरिकल डेटा के लिए हल की गई हैं। निरंतर निर्भर इनपुट के लिए एक स्पष्ट, क्लोज्ड-फॉर्म समाधान प्रदान करने वाला एक एकीकृत, मॉडल-अज्ञेयवादी (model-agnostic) ढांचे की आवश्यकता है।

कार्यप्रणाली (Methodology)
लेखक निरंतर, बंधित यादृच्छिक चरों (continuous, bounded random variables) के लिए सामान्यीकृत कार्यात्मक ANOVA अपघटन हेतु एक एकीकृत ढांचे का प्रस्ताव करते हैं। कार्यप्रणाली तीन चरणों में आगे बढ़ती है:

सैद्धांतिक सूत्रीकरण (क्लोज्ड-फॉर्म आधार):
कागज यह स्थापित करता है कि सामान्यीकृत कार्यात्मक ANOVA अपघटन, जो कि एक हिल्बर्ट स्पेस में एक कतिपय बाधाओं वाले लीस्ट-स्क्वायर्स ऑप्टिमाइज़ेशन समस्या का समाधान है, निरंतर बंधित विशेषताओं के लिए एक स्पष्ट क्लोज्ड-फॉर्म समाधान स्वीकार करता है।

धारणा: इनपुट वेक्टर $X$ एक हाइपररेक्टेंगल $[-1, 1]^p$ पर समर्थित है जिसका घनत्व $f$ शून्य और अनंत से दूर (bounded away from zero and infinity) है।
आधार निर्माण (Basis Construction): लेखक नॉर्मलाइज्ड लेजेंड्रे पॉलिनोमिअल्स और एक इनवर्स लाइकलीहुड वेटिंग मैकेनिज्म का उपयोग करके $L^2([−1, 1]^p, \mu_f)$ के स्थान के लिए एक रीज़ बेसिस (Riesz basis) $\Xi$ का निर्माण करते हैं। विशेष रूप से, चरों के एक उपसमुच्चय $S$ के लिए, बेसिस फंक्शन इस प्रकार परिभाषित हैं:
$\xi^{(m_S)}_S(x) := \frac{1}{\sqrt{2^{p-|S|}}} \cdot \frac{\prod_{j \in S} \tilde{P}_{m_j}(x_j)}{f_S(x_S)}$
जहाँ $\tilde{P}_m$ नॉर्मलाइज्ड लेजेंड्रे पॉलिनोमिअल्स हैं और $f_S$ $X_S$ का मार्जिनल डेंसिटी है।
ऑर्थोगोनैलिटी: यह निर्माण पदानुक्रमित ऑर्थोगोनैलिटी (hierarchical orthogonality) सुनिश्चित करता है, जिसका अर्थ है कि किसी भी सख्त उपसमुच्चय $T \subset S$ के लिए, घटक $\nu_S$ किसी भी फलन $X_T$ के प्रति ऑर्थोगोनल है। यह स्वतंत्र मामले में शास्त्रीय ऑर्थोगोनल अपघटन को पुनः प्राप्त करता है और हर्षानी डिविडेंड्स (Harsanyi dividends) के माध्यम से शापली वैल्यू (Shapley values) से स्वाभाविक रूप से जुड़ता है।

अनुमान एल्गोरिदम (Estimation Algorithm):
चूंकि बेसिस क्लोज्ड-फॉर्म में उपलब्ध है, इसलिए अपघटन का अनुमान लगाना लीस्ट-स्क्वायर्स रिग्रेशन के माध्यम से बेसिस एक्सपेंशन के गुणांकों का अनुमान लगाने में बदलना है।

ट्रंकेशन (Truncation): समस्या की अनंत-आयामी प्रकृति को संभालने के लिए, लेखक एक ट्रंकेशन सेट $I^K_d$ का उपयोग करते हैं जो इंटरैक्शन ऑर्डर को $K$ और पॉलिनोम डिग्री को $d$ तक सीमित करता है। यह "स्पैरसिटी-ऑफ-इफेक्ट्स" और "रिलक्टेंस" सिद्धांतों का लाभ उठाता है।
घनत्व अनुमान (Density Estimation): बेसिस के लिए आवश्यक मार्जिनल डेंसिटीज $f_S$ का अनुमान डेटा से ट्रंकेटेड टेंसरइज्ड लेजेंड्रे एक्सपेंशन का उपयोग करके लगाया जाता है।
पाइपलाइन: एल्गोरिदम में फीचर स्केलिंग ( $[-1, 1]$ तक), घनत्व अनुमान, बेसिस फंक्शनों का उपयोग करके डिज़ाइन मैट्रिक्स का निर्माण, और एक लीनियर सिस्टम को हल करना (मॉडल चयन के लिए LARS और हल करने के लिए SVD का उपयोग करके) शामिल है। यह पूरी प्रक्रिया मॉडल-अज्ञेयवादी है, जिसके लिए केवल इनपुट-आउटपुट जोड़े की आवश्यकता होती है।

प्रायोगिक सत्यापन (Experimental Validation):
विधि का मूल्यांकन सिंथेटिक एनालिटिकल मामलों और छह वास्तविक दुनिया के डेटासेट्स (बाइक शेयरिंग, कैलिफोर्निया हाउसिंग, सेंसस इनकम, आदि) पर चार मॉडल परिवारों (XGBoost, MLP, EBM, और NAM) का उपयोग करके किया गया है। इसकी तुलना अत्याधुनिक विधियों (KernelSHAP, DeepSHAP, TreeSHAP, TreeHFD) और व्याख्या योग्य मॉडलों के नेटिव अपघटन से की गई है।

प्रमुख योगदान

स्पष्ट क्लोज्ड-फॉर्म समाधान: यह शोध पत्र प्रदर्शित करता है कि निरंतर बंधित विशेषताओं के लिए सामान्यीकृत कार्यात्मक ANOVA अपघटन एक स्पष्ट समाधान स्वीकार करता है, जिससे अंतर्निहित नॉन-पैरामीट्रिक ऑप्टिमाइज़ेशन को लीस्ट-स्क्वायर्स रिग्रेशन समस्या में बदल दिया जाता है।
एकीकृत ढांचा: यह फॉर्मूलेशन स्वाभाविक रूप से शास्त्रीय स्वतंत्र मामले, ऑर्थोगोनल पॉलिनोमियल एक्सपेंशन और शापली वैल्यू के साथ संबंध को पुनः प्राप्त करता है। यह निर्भर इनपुट की उपस्थिति में एडिटिव स्पष्टीकरणों के लिए एक कठोर गणितीय आधार प्रदान करता है।
कुशल मॉडल-अज्ञेयवादी एस्टिमेटर: लेखक डेटा सैंपल से अपघटन का अनुमान लगाने के लिए एक सरल, पॉलिनॉमियल-टाइम एल्गोरिदम प्रस्तावित करते हैं, जिसे मॉडल की आंतरिक संरचना तक पहुँचने की आवश्यकता नहीं है। यह विधि व्यवहार्यता बनाए रखने के लिए स्पैरसिटी (sparsity) का लाभ उठाती है।
अनुभवजन्य एकीकरण (Empirical Unification): प्रयोगात्मक परिणाम दर्शाते हैं कि मौजूदा स्पष्टीकरण विधियाँ (SHAP वेरिएंट) और अंतर्निहित व्याख्या योग्य मॉडल (GAMs, EBMs) कार्यात्मक ANOVA अपघटन के विशिष्ट घटकों का बारीकी से अनुमान लगाते हैं, जो यह सुझाव देता है कि प्रस्तावित ढांचा इन विविध दृष्टिकोणों को एकीकृत करता है।

परिणाम

सटीकता (Accuracy): प्रस्तावित एस्टिमेटर सभी डेटासेट्स और मॉडल परिवारों में उच्च पुनर्निर्माण सटीकता ( $R^2 \geq 0.85$ ) प्राप्त करता है।
ऑर्थोगोनैलिटी: प्लग-इन डेंसिटी अनुमानों का उपयोग करने के बावजूद, घटकों के बीच पदानुक्रमित ऑर्थोगोनैलिटी (कम MaxCorr मानों के साथ) को निष्ठापूर्वक संरक्षित किया गया है।
दक्षता (Efficiency): विधि कम्प्यूटेशनल रूप से कुशल है, जो सेकंडों में (उदाहरण के लिए, सेंसस इनकम के लिए 48k सैंपल्स पर ~0.6s) हजारों सैंपल्स वाले डेटासेट्स के लिए अपघटन का अनुमान लगा सकती है।
तुलना: विजुअल तुलनाएं (चित्र 1-4) दर्शाती हैं कि प्रस्तावित विधि के मुख्य प्रभाव (main effects) सिंथेटिक सेटिंग्स में सैद्धांतिक घटकों के साथ और EBM/NAM के नेटिव प्रभावों के साथ निकटता से मेल खाते हैं, जबकि यह हेयुरिस्टिक SHAP वेरिएंट की तुलना में अधिक कठोर अपघटन प्रदान करता है।

महत्व और दावे
यह शोध पत्र एडिटिव स्पष्टीकरणों पर एक एकीकृत दृष्टिकोण प्रदान करने का दावा करता है। सामान्यीकृत कार्यात्मक ANOVA के कठोर गणितीय ऑब्जेक्ट में व्याख्यात्मक विधियों को स्थापित करके, लेखक तर्क देते हैं कि:

एडिटिव स्पष्टीकरण केवल ह्यूरिस्टिक निर्माण नहीं हैं, बल्कि एक अच्छी तरह से परिभाषित गणितीय वस्तु के घटक हैं जिनके पास संरचनात्मक गुण हैं।
कई मौजूदा पोस्ट-हॉक विधियाँ और अंतर्निहित व्याख्या योग्य मॉडल इस अपघटन के विशिष्ट घटकों के रूप में पुनर्गठित किए जा सकते हैं।
प्रस्तावित दृष्टिकोण ब्लैक-बॉक्स मॉडलों को डीकंपोज़ करने के लिए एक व्यावहारिक, कुशल और सैद्धांतिक रूप से सुदृढ़ उपकरण प्रदान करता है, विशेष रूप से उन सेटिंग्स में जहाँ इनपुट निर्भर हैं और जहाँ पिछली विधियाँ सीमित या अव्यवहारक थीं।

लेखक सीमाओं को स्वीकार करते हैं, जिसमें बंधित निरंतर इनपुट की धारणा और उच्च-आयामी समस्याओं के लिए ट्रंकेशन पर निर्भरता शामिल है, और यह भी उल्लेख करते हैं कि अनबाउंडेड या मिश्रित डेटा प्रकारों के लिए ढांचे का विस्तार करना भविष्य के कार्य के लिए एक चुनौती है।