📊 statistics

Exact Functional ANOVA Decomposition for Categorical Inputs Models

यह शोध पत्र श्रेणीबद्ध इनपुट (categorical inputs) के लिए एक गणनात्मक रूप से कुशल, क्लोज्ड-फॉर्म फंक्शनल ANOVA डिकम्पोज़िशन प्रस्तुत करता है जो कार्यात्मक विश्लेषण (functional analysis) को असतत फूरियर विश्लेषण (discrete Fourier analysis) के साथ जोड़कर सैंपलिंग-आधारित सन्निकटन की सीमाओं को हल करता है, जिससे मनमाने निर्भरता संरचनाओं (arbitrary dependence structures) के तहत सटीक व्याख्यात्मकता सक्षम होती है और SHAP मानों का एक स्वाभाविक सामान्यीकरण प्रदान किया जाता है।

मूल लेखक: Baptiste Ferrere (IMT, SINCLAIR AI Lab), Nicolas Bousquet (SINCLAIR AI Lab), Fabrice Gamboa (IMT, ANITI), Jean-Michel Loubes (IMT, REGALIA, ANITI), Joseph Muré

प्रकाशित 2026-06-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Baptiste Ferrere (IMT, SINCLAIR AI Lab), Nicolas Bousquet (SINCLAIR AI Lab), Fabrice Gamboa (IMT, ANITI), Jean-Michel Loubes (IMT, REGALIA, ANITI), Joseph Muré

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक जटिल मशीन है, जैसे कि एक ब्लैक बॉक्स, जो कई अलग-अलग सामग्रियों (इनपुट्स) को लेती है और एक भविष्यवाणी (जैसे "क्या यह मशरूम खाने योग्य होगा?" या "यह कौन सा अंक है?") उगलती है। आप जानना चाहते हैं कि इसने वह निर्णय क्यों लिया। क्या इसने मुख्य रूप से रंग पर भरोसा किया? आकार पर? या दोनों के एक अजीब संयोजन पर?

यह व्याख्यात्मकता (interpretability) की समस्या है। लंबे समय तक, यदि आपकी सामग्रियां स्वतंत्र थीं (जैसे अलग-अलग पासे फेंकना), तो गणितज्ञों के पास मशीन के निर्णय को सरल भागों में तोड़ने का एक सटीक नुस्खा था। लेकिन यदि आपकी सामग्रियां आपस में जुड़ी हुई थीं (जैसे ब्रेड और मक्तर की कीमत अक्सर एक साथ चलती है), तो वह नुस्खा विफल हो गया। अभ्यासकर्ताओं को उत्तर पाने के लिए धीमी, महंगी अनुमान लगाने वाली प्रक्रियाओं (सैंपलिंग) का उपयोग करने के लिए मजबूर होना पड़ा।

यह पेपर विशेष रूप से कैटेगोरिकल इनपुट्स (categorical inputs) के लिए—वह डेटा जो विशिष्ट श्रेणियों में आता है, जैसे "लाल/नीला/हरा" या "हाँ/नहीं/शायद"—एक नया, सटीक और तेज़ नुस्खा पेश करता है।

यहाँ सरल उपमाओं का उपयोग करके इसका विवरण दिया गया है:

1. समस्या: "जुड़ी हुई सामग्रियों" की पहेली

एक मॉडल को सूप बनाने वाले शेफ के रूप में सोचें।

स्वतंत्र मामला: यदि शेफ तीन अलग-अलग जार से नमक, काली मिर्च और लहसुन चुनता है, तो यह कहना आसान है कि प्रत्येक ने स्वाद में कितना योगदान दिया।
निर्भर मामला: लेकिन क्या होगा यदि शेफ हमेशा नमक और काली मिर्च को एक साथ चुनता है क्योंकि वे एक ही शेकर में चिपके हुए हैं? यदि आप सूप चखने की कोशिश करते हैं और कहते हैं "नमक ने इसे नमकीन बनाया," तो आप गलत हो सकते हैं क्योंकि काली मिर्च भी वहां मौजूद थी। पिछले तरीके इस उलझन को सुलझाने में संघर्ष करते थे, जिसके लिए हजारों टेस्ट टेस्ट (स्वाद परीक्षण) करने पड़ते थे (जो धीमा और महंगा है)।

2. समाधान: एक नया "गणितीय लेंस"

लेखकों ने एक नया गणितीय उपकरण (एक "क्लोज्ड-फॉर्म डिकंपोजिशन") बनाया है जो एक उच्च-शक्ति वाले लेंस की तरह काम करता है। अनुमान लगाने के बजाय, वे फूरियर विश्लेषण (Fourier Analysis) नामक एक तकनीक (जो आमतौर पर ध्वनि तरंगों या बाइनरी स्विच के लिए उपयोग की जाती है) के एक चतुर विस्तार का उपयोग करते हैं ताकि श्रेणियों को संभाला जा सके।

जादुगर का कमाल: उन्होंने "बिल्डिंग ब्लॉक्स" (फंक्शंस) का एक विशेष सेट बनाया है जो मॉडल द्वारा की जाने वाली किसी भी भविष्यवाणी को पूरी तरह से पुनर्गठित कर सकता है।
कोई अनुमान नहीं: पिछले तरीकों के विपरीत जिन्हें हजारों परिदृश्यों का अनुकरण करने की आवश्यकता थी, यह तरीका एक ही बार में हर सामग्री और सामग्रियों के हर संयोजन के सटीक योगदान की गणना करता है।
मेसी डेटा को संभालना: यह तब भी काम करता है जब डेटा "स्पार्स" (यानी, सामग्रियों के कई संभावित संयोजन वास्तविक दुनिया में कभी नहीं होते) हो या यदि सामग्रियां गहराई से जुड़ी हुई हों।

3. यह कैसे काम करता है: "लेगो (Lego)" की उपमा

कल्पना कीजिए कि मॉडल की भविष्यवाणी एक विशाल लेगो महल है।

पुराना तरीका: महल को समझने के लिए, आपको अनुमान लगाकर यह पता लगाना पड़ता था कि कौन सा हिस्सा क्या करता है, और अक्सर सुनिश्चित करने के लिए इसे कई बार फिर से बनाना पड़ता था।
नया तरीका: लेखक एक ब्लूप्रिंट प्रदान करते हैं जो आपको बताता है कि कौन से लेगो ब्रिक्स (मुख्य प्रभाव) और कौन से विशिष्ट क्लस्टर (इंटरेक्शन) ने उस महल का निर्माण किया।
- मुख्य प्रभाव (Main Effects): "लाल ईंट" ने अपने आप में कितना योगदान दिया?
- इंटरेक्शन (Interactions): "लाल ईंट + नीली ईंट" के संयोजन ने कितना योगदान दिया?
- ट्विस्ट: भले ही लाल और नीली ईंटें आपस में चिपकी हुई हों (निर्भर), गणित अभी भी यह बता सकता है कि प्रत्येक को कितना श्रेय मिलता है, बिना उन्हें पहले अलग किए।

4. यह एक बड़ी बात क्यों है

गति: यह अविश्वसनीय रूप से तेज़ है। पेपर दिखाता है कि यह सेकंड या मिनटों में विशाल डेटासेट (जैसे 60,000 चित्र या जटिल कार्ड गेम) का विश्लेषण कर सकता है, जबकि अन्य तरीकों को घंटों लग सकते हैं या वे पूरी तरह विफल हो सकते हैं।
सटीकता: यह कोई अनुमान नहीं देता; यह सटीक उत्तर देता है।
सार्वभौमिक: यह किसी भी प्रकार की निर्भरता के लिए काम करता है। चाहे आपका डेटा पूरी तरह से रैंडम हो या कसकर बंधा हुआ, यह तरीका अनुकूलित हो जाता है।
SHAP वैल्यू: यह स्वाभाविक रूप से इन जटिल, जुड़े हुए डेटा प्रकारों के लिए "SHAP वैल्यू" (AI निर्णयों को समझाने का एक लोकप्रिय तरीका) भी बनाता है, जो पहले बहुत कठिन था।

5. वास्तविक दुनिया के परीक्षण (द "प्रूफ")

लेखकों ने कई चीजों पर अपने तरीके का परीक्षण किया:

मशरूम: उन्होंने सही ढंग से पहचाना कि मशरूम के जहरीले होने को बताने में "गंध" सबसे महत्वपूर्ण कारक था, जो मानव विशेषज्ञ के ज्ञान से मेल खाता है।
पोकर: उन्होंने एक पोकर हैंड क्लासिफायर का विश्लेषण किया और सही ढंग से पता लगाया कि कार्डों का रैंक (एक्का, बादशाह, आदि) उनके सूट (हार्ट्स, स्पेड्स) की तुलना में बहुत अधिक मायने रखता था, जबकि अन्य तरीके भ्रमित हो गए और दोनों को समान महत्व दिया।
डिजिट (MNIST): उन्होंने संख्या "3" को पहचानने वाले एक मॉडल को देखा और दृश्य रूप से दिखा सके कि स्क्रीन पर किन पिक्सेल ने मॉडल को "8" के बजाय "3" कहने के लिए प्रेरित किया।

सारांश

संक्षेप में, यह पेपर एक विशिष्ट प्रकार के डेटा (श्रेणियों) के लिए दशकों पुराने गणितीय प्रश्न को हल करता है। यह धीमे, धुंधले अनुमान को एक तेज़, सटीक गणितीय सूत्र से बदल देता है। यह हमें ब्लैक-बॉक्स AI के अंदर झांकने और यह कहने की अनुमति देता है कि, "यहाँ बताया गया है कि प्रत्येक श्रेणी और प्रत्येक श्रेणी के संयोजन ने अंतिम निर्णय में कितना योगदान दिया," भले ही वे श्रेणियां एक-दूसरे से मजबूती से जुड़ी हुई हों।

सीमाओं पर नोट: लेखक स्वीकार करते हैं कि यदि डेटा अत्यधिक विशाल और सघन (हर संभव संयोजन मौजूद है) है, तो गणित अभी भी भारी हो सकता है, लेकिन अधिकांश वास्तविक दुनिया के "स्पार्स" डेटा (जहाँ कई संयोजन नहीं होते) के लिए, यह अत्यधिक कुशल है। वे यह भी नोट करते हैं कि जब डेटा बहुत स्पार्स होता है, तो इसे तोड़ने के कई गणितीय रूप से मान्य तरीके हो सकते हैं, इसलिए वे सबसे सरल वाला चुनते हैं (पहले एकल सामग्रियों पर ध्यान केंद्रित करना, फिर जोड़ों आदि पर)।

तकनीकी सारांश: श्रेणीगत इनपुट मॉडलों के लिए सटीक कार्यात्मक ANOVA अपघटन (Exact Functional ANOVA Decomposition)

समस्या विवरण
फंक्शनल ANOVA (Functional ANOVA) भविष्यवाणियों को मुख्य प्रभावों (main effects) और उच्च-क्रम की अंतःक्रियाओं (higher-order interactions) में विभाजित करके मॉडल व्याख्यात्मकता (interpretability) के लिए एक सिद्धांतपूर्ण ढांचा प्रदान करता है। हालांकि यह स्वतंत्र विशेषताओं के लिए अच्छी तरह से परिभाषित है और SHAP मानों से जुड़ा हुआ है, लेकिन सामान्य आश्रित वितरणों (dependent distributions) के लिए इसमें एक स्पष्ट क्लोज्ड-फॉर्म अभिव्यक्ति का अभाव है। फलस्वरूप, अभ्यासी (practitioners) लागतपूर्ण सैंपलिंग-आधारित अनुमानों पर निर्भर रहते हैं। मौजूदा विधियों की विशिष्ट सीमाएँ हैं:

बुलियन विश्लेषण (Boolean Analysis): यह स्वतंत्र बर्नौली इनपुट्स (पैरामीटर 1/2) तक सीमित है और सामान्य श्रेणीगत निर्भरताओं या वन-हॉट एनकोडिंग द्वारा पेश की गई काल्पनिक अंतःक्रियाओं को नहीं संभाल सकता है।
ट्री-आधारित विधियाँ (Tree-Based Methods): प्यूरीफाइंग (Purifying) या ट्रीएचएफडी (TreeHFD) जैसे एल्गोरिदम ट्री एन्सेम्बल्स तक सीमित हैं, उन्हें डेटा घनत्व धारणाओं की आवश्यकता होती है, या वे उच्च-आयामी श्रेणीगत डेटा में विरलता (sparsity) को समझने में विफल रहते हैं।
सामान्य आश्रित सेटिंग्स (General Dependent Settings): श्रेणीगत इनपुट्स के लिए किसी भी मनमाने निर्भरता संरचना या गैर-आयताकार सपोर्ट (non-rectangular support) के लिए कोई गणनात्मक रूप से सुलभ, सटीक क्लोज्ड-फॉर्म समाधान मौजूद नहीं है।

कार्यप्रणाली (Methodology)
लेखक विशेष रूप से श्रेणीगत डोमेन के लिए डिज़ाइन किए गए 'सामान्यीकृत फंक्शनल ANOVA' (Generalized Functional ANOVA) के लिए एक क्लोज्ड-फॉर्म फॉर्मूलेशन प्रस्तावित करते हैं। यह दृष्टिकोण कार्यात्मक विश्लेषण को डिस्क्रीट फूरियर विश्लेषण (discrete Fourier analysis) के विस्तार के साथ जोड़ता है।

गणितीय ढांचा:
- इनपुट स्पेस को एक प्रायिकता द्रव्यमान फलन (pmf) के साथ एक परिमित हाइपरग्रिड $E$ के रूप में परिभाषित किया गया है। सपोर्ट $X$ , $E$ का एक सख्त उपसमुच्चय (strict subset) हो सकता है (विरल सपोर्ट)।
- लेखक वाल्श-हाडामार्ड आधार (Walsh–Hadamard basis - पैरिटी फंक्शन्स) के एक विस्तार, जिसे "इनवर्स लाइकलीहुड मैकेनिज्म" (Inverse likelihood mechanism) कहा जाता है, का परिचय देते हैं। ये आधार फलन $\phi^{(z)}_A$ , साइन वाले इनवर्स लाइकलीहुड्स का उपयोग करके निर्मित किए गए हैं ताकि कार्यात्मक ANOVA के लिए आवश्यक पदानुक्रमित ऑर्थोगोनैलिटी (hierarchical orthogonality) की स्थिति को पूरा किया जा सके।
- अपघटन को फूरियर विस्तार के रूप में व्यक्त किया गया है: $f(X) = \sum c^{(z)}_A(f) \cdot \phi^{(z)}_A(X)$ ।
रैखिक फॉर्मूलेशन (Linear Formulation):
- गुणांक $c^{(z)}_A(f)$ को एक रैखिक प्रणाली $\Gamma c(f) = \mu(f)$ के समाधान के रूप में प्राप्त किया जाता है।
- $\Gamma$ आधार फलनों के आंतरिक उत्पादों का एक ग्राम मैट्रिक्स (Gram matrix) है, और $\mu(f)$ लक्ष्य फलन और आधार के बीच आंतरिक उत्पादों का एक वेक्टर है।
- स्वतंत्र सेटिंग में, $\Gamma$ ब्लॉक-डायगोनल हो जाता है, जिससे मानक ANOVA प्राप्त होता है। सामान्य आश्रित मामले में, यह प्रणाली मनमाने सहसंबंधों (correlations) को संभालती है।
विरलता और उच्च आयामों को संभालना:
- उन विरल डेटासेट्स के लिए जहाँ प्रभावी सपोर्ट आकार $r$ , पूर्ण ग्रिड $|E|$ की तुलना में बहुत छोटा है, लेखक इस तथ्य का उपयोग करते हैं कि फलन स्थान का आयाम $r$ में कम हो जाता है।
- वे एक ग्रीडी रैंक-आधारित एल्गोरिदम (एल्गोरिदम 1) का प्रस्ताव करते हैं जो आधार फलनों के एक न्यूनतम उपसमुच्चय को चुनने के लिए काम करता है जो देखे गए सपोर्ट के लिए एक वैध आधार बनाता है।
- कम्प्यूटेशनल लागत को प्रबंधित करने के लिए, एक लो-रैंक सन्निकटन (low-rank approximation) पेश किया गया है, जो पुनर्निर्माण निष्ठा (reconstruction fidelity) और व्याख्यात्मकता एवं गति के बीच संतुलन बनाने के लिए एक बजट $r_{low}$ तक पहुँचने पर आधार चयन को समाप्त कर देता है।

प्रमुख योगदान

सटीक क्लोज्ड-फॉर्म अपघटन: यह पेपर श्रेणीगत इनपुट के लिए मनमाने निर्भरता संरचनाओं और विरल सपोर्ट के तहत पहला सटीक, क्लोज्ड-फॉर्म एडिटिव अपघटन प्रदान करता है, जिसमें घनत्व धारणाओं की आवश्यकता नहीं होती है।
SHAP का सामान्यीकरण: ANOVA और शैप्ली मानों (Shapley values) के बीच संबंध का लाभ उठाकर, यह ढांचा श्रेणीगत सेटिंग्स के लिए SHAP मानों का एक स्वाभाविक सामान्यीकरण प्रदान करता है, जो स्वतंत्र मामले में मानक परिणामों को पुनः प्राप्त करता है।
कम्प्यूटेशनल दक्षता: यह विधि सैंपलिंग से बचती है। यह अनुभवजन्य वितरण (empirical distribution) से प्राप्त एक रैखिक प्रणाली को हल करती है। विरल शासन (sparse regimes) में, यह ग्रीडी चयन रणनीति का उपयोग करके प्रमुख अंतःक्रियाओं (मुख्य प्रभाव और निम्न-क्रम पद) को कुशलतापूर्वक अलग करती है।
सैद्धांतिक गारंटी: लेखक सिद्ध करते हैं कि प्रस्तावित आधार $L^2$ स्पेस को स्पैन करता है और पूर्ण सपोर्ट के तहत अपघटन अद्वितीय है। विरल सेटिंग्स में, वे चयनित आधार सपोर्ट पर आधारित एक अद्वितीय अपघटन की उपस्थिति स्थापित करते हैं।

प्रायोगिक परिणाम
इस ढांचे को सिंथेटिक और वास्तविक दुनिया के डेटासेट्स पर सत्यापित किया गया:

सिंथेटिक सत्यापन: पूर्ण निर्भरता ( $X_3=X_2$ ) वाले एक नियंत्रित परिवेश में, विधि ने सही ढंग से पहचाना कि सिग्नल केवल मुक्त चरों (free variables) पर निर्भर था, और इसने अनावश्यक विशेषताओं को अनदेखा कर दिया।
स्वतंत्र सेटिंग (सेंटी चेक): Car Evaluation और Nursery डेटासेट्स (यूनिफॉर्म डिस्ट्रीब्यूशन) पर, सटीक ANOVA-आधारित शैप्ली मानों ने नगण्य त्रुटि के साथ KernelSHAP अनुमानों से मिलान किया, जिसे बड़े ग्रिडों के लिए मिनटों या घंटों के बजाय काफी तेजी से (0.5 सेकंड में) गणना की गई।
ग्राउंड ट्रुथ (Mushrooms): Mushrooms डेटासेट पर (अत्यधिक विरल, $|E| \approx 10^{14}$ , $r=8,124$ ), केवल मुख्य प्रभावों ने ही $R^2 \approx 1$ के साथ सिग्नल को पुनर्गठित किया। विधि ने "odor" को सबसे महत्वपूर्ण विशेषता के रूप में सही ढंग से पहचाना, जो TreeSHAP के अनुरूप था लेकिन बिना ट्री संरचना पर निर्भर रहे।
उच्च-आयामी विरल डेटा: Poker Hand, Connect-4, और DOTA2 पर प्रयोगों ने विशाल कॉम्बिनेटोरियल स्पेस को संभालने की विधि की क्षमता प्रदर्शित की।
- Poker Hand में, विधि ने कार्ड के सूट (suits) के ऊपर कार्ड रैंक को महत्व देने का सही श्रेय दिया, जबकि अटेंशन रोलआउट (attention rollout) ने महत्व को समान रूप से वितरित कर दिया।
- गणना समय प्रतिस्पर्धी था (उदाहरण के लिए, Connect-4 में 67k नमूनों के लिए <40 मिनट), हालांकि बहुत उच्च-रैंक सन्निकटन के लिए ग्रीडी रैंक खोज एक बाधा बन जाती है।
बाइनराइज्ड MNIST: इसे 784-आयामी बाइनरी डेटासेट पर लागू किया गया, जहाँ इसने अप्रासंगिक चरों को छांटने और पड़ोस खोजने के लिए स्थानिक संरचना (spatial structure) का लाभ उठाकर उच्च दक्षता प्राप्त की, और 15 मिनट में 10,000-टर्म सन्निकटन के साथ $R^2 \approx 0.86$ प्राप्त किया।

महत्व और दावे
यह पेपर श्रेणीगत डेटा के लिए सैंपलिंग-आधारित अनुमानों के एक सैद्धांतिक रूप से सुदृढ़, सटीक और गणनात्मक रूप से सुलभ विकल्प प्रदान करके मॉडल व्याख्यात्मकता की एक लंबे समय से चली आ रही सीमा को हल करने का दावा करता है।

प्रतिमान परिवर्तन (Paradigm Shift): यह स्वतंत्र सेटिंग में मानक ANOVA और SHAP को पुनः प्राप्त करते हुए, जटिल, आश्रित और विरल श्रेणीगत संरचनाओं को संभालने के लिए, अनुमान (approximation) से सटीक अपघटन (exact decomposition) की ओर प्रतिमान को बदल देता है।
एकीकृत ढांचा: यह स्थानीय और वैश्विक व्याख्यात्मकता को एकीकृत करता है, जो स्वतंत्र सेटिंग्स में मानक ANOVA और SHAP को पुनः प्राप्त करता है और जटिल, आश्रित और विरल श्रेणीगत संरचनाओं तक विस्तार करता है।
सीमाएँ: लेखक स्वीकार करते हैं कि घने (dense) शासन में, पूर्ण हाइपरग्रिड का आकार अभी भी निषेधात्मक रहता है। विरल शासन में, अपघटन की गैर-विशिष्टता (non-uniqueness), जो रैंक की कमी के कारण है, डेटा सपोर्ट का एक ज्यामितीय गुण है, न कि पद्धतिगत दोष, हालांकि इसके लिए "सर्वश्रेष्ठ" अपघटन चुनने के मानदंड की आवश्यकता होती है। भविष्य के कार्य के रूप में संरचनात्मक बाधाओं (जैसे छवियों में स्थानिक स्थानीयता) को एकीकृत करने और ढांचे को निरंतर डोमेन (continuous domains) तक विस्तारित करने का सुझाव दिया गया है।