A Multinomial Canonical Decomposition Model, with emphasis on the analysis of Multivariate Binary data

तकनीकी सारांश: बहुभिन्नरूपी बाइनरी डेटा के लिए एक बहुपद कैनोनिकल अपघटन मॉडल (Multinomial Canonical Decomposition Model)

समस्या विवरण
यह शोध पत्र एक श्रेणीगत प्रतिक्रिया चर $G$ के सांख्यिकीय विश्लेषण को संबोधित करता है जिसमें श्रेणियों की संख्या ($K$) संभावित रूप से बहुत अधिक हो सकती है, जहाँ प्रतिभागियों (वस्तुओं) और श्रेणियों दोनों के लिए अतिरिक्त जानकारी उपलब्ध होती है। मानक बहुपद लॉजिस्टिक रिग्रेशन (multinomial logistic regression) तब अव्यवहार्य हो जाता है जब $K$ बहुत बड़ा हो (जैसे, $R$ बाइनरी प्रतिक्रिया चरों के लिए $K=2^R$), क्योंकि इसमें बड़ी संख्या में मापदंडों (Parameters) ($K-1$ रिग्रेशन वेट्स के वेक्टर्स) का अनुमान लगाने की आवश्यकता होती है। इसके अलावा, मानक दृष्टिकोण श्रेणियों का वर्णन करने वाली बाहरी जानकारी (जैसे, प्रतिक्रिया प्रोफाइल्स की विशेषताएं या अंतर्निहित चरों के बीच परस्पर क्रिया) को आसानी से शामिल नहीं कर सकते हैं। जबकि लॉग-लीनियर मॉडल श्रेणीगत भविष्यवक्ताओं (predictors) और प्रतिक्रियाओं को संभाल सकते हैं, वे संख्यात्मक भविष्यवक्ताओं को समाहित नहीं कर सकते। यह शोध पत्र एक ऐसे मॉडल की खोज करता है जो बहुपद वितरण के कैनोनिकल मापदंडों को ऑब्जेक्ट स्कोर और कैटेगरी स्कोर में विघटित (decompose) कर सके, जो बाहरी चरों द्वारा नियंत्रित हों, ताकि उच्च-आयामी श्रेणीगत परिणामों और मिश्रित भविष्यवक्ता प्रकारों (श्रेणीगत और संख्यात्मक) को संभाला जा सके।

कार्यप्रणाली (Methodology)
लेखक एक बहुपद कैनोनिकल अपघटन मॉडल (Multinomial Canonical Decomposition Model) का प्रस्ताव करते हैं। इस विधि का मुख्य भाग प्रतिभागी $i$ के श्रेणी $k$ से संबंधित होने के कैनोनिकल पैरामीटर $\theta_{ik}$ (लॉग-ऑड्स) को निम्नानुसार विघटित करना है:
$$\theta_{ik} = m_k + u_i' v_k$$
जहाँ $m_k$ एक इंटरसेप्ट है, $u_i$ ऑब्जेक्ट स्कोर को दर्शाता है, और $v_k$ कैटेगरी (प्रोफाइल) स्कोर को दर्शाता है।

बाहरी जानकारी को शामिल करने के लिए, मॉडल इन स्कोर्स पर रैखिक प्रतिबंध (linear constraints) लगाता है:

1. ऑब्जेक्ट स्कोर्स ($U$): प्रतिभागी भविष्यवक्ताओं $X$ के रैखिक संयोजन के रूप में प्रतिबंधित हैं ($U = X B_x$)।
2. कैटेगरी स्कोर्स ($V$): कैटेगरी विशेषताओं $Z$ के रैखिक संयोजन के रूप में प्रतिबंधित हैं ($V = Z B_z$)।
3. इंटरसेप्ट्स ($m$): एसोसिएशन संरचनाओं $W$ के रैखिक संयोजन के रूप में प्रतिबंधित हैं ($m = W b_w$)।

परिणामी प्रायिकता मॉडल है:
$$\pi_{ik} = \frac{\exp(w_k' b_w + x_i' B_x B_z' z_k)}{\sum_{k'} \exp(w_{k'}' b_w + x_i' B_x B_z' z_{k'})}$$

अनुमान एल्गोरिदम (Estimation Algorithm)
शोध पत्र अधिकतम संभावना अनुमान (maximum likelihood estimation) के लिए एक मेजराइजेशन-मिनिमाइजेशन (MM) एल्गोरिदम व्युत्पन्न करता है।

• मेजराइजेशन (Majorization): नकारात्मक लॉग-लाइक्लीहुड को एक द्विघातीय ऊपरी सीमा (quadratic upper bound) द्वारा मेजराइज किया जाता है, जो समस्या को "वर्किंग रिस्पॉन्स" ($H$) वाले भारित न्यूनतम वर्ग (weighted least squares) की समस्या में बदल देता है।
• मिनिमाइजेशन (Minimization): एल्गोरिदम इंटरसेप्ट मापदंडों ($b_w$) और गुणांक मैट्रिसेस ($B_x, B_z$) को अपडेट करने के बीच बारी-बारी से कार्य करता है। $B_x$ और $B_z$ के लिए अपडेट एक रूपांतरित मैट्रिक्स के जनरलाइज्ड सिंगुलर वैल्यू डिकंपोजिशन (GSVD) के माध्यम से प्राप्त किया जाता है, जो प्रभावी रूप से एक CANDELINC समस्या को हल करता है।
• अभिसरण (Convergence): एल्गोरिदम के एक स्थानीय न्यूनतम (local minimum) की ओर निरंतर (monotonically) अभिसरण की गारंटी है। इटरेटिवली रीवेटेड लीस्ट स्क्वायर्स (IRLS) के विपरीत, इसे प्रत्येक पुनरावृत्ति (iteration) में मैट्रिक्स इनवर्जन की आवश्यकता नहीं होती है, जिससे यह गणनात्मक रूप से कुशल बनता है।

मुख्य योगदान और व्याख्यात्मक नियम
शोध पत्र उन मामलों के लिए विशिष्ट व्याख्यात्मक नियम प्रदान करता है जहाँ श्रेणीगत चर $G$, $R$ बाइनरी प्रतिक्रिया चरों का एक प्रोफाइल प्रतिनिधित्व करता है।

• लॉग ऑड्स (Log Odds): शोध पत्र एक विशिष्ट बाइनरी प्रतिक्रिया के लॉग-ऑड्स पर एक भविष्यवक्ता के प्रभाव की व्याख्या करने के नियम व्युत्पन्न करता है। यदि प्रोफाइल स्कोर्स पर एक मुख्य-प्रभाव संरचना (main-effect structure) लागू की जाती है, तो एक भविष्यवक्ता में इकाई परिवर्तन के लिए लॉग-ऑड्स में परिवर्तन अनुमानित गुणांकों का एक सरल रैखिक संयोजन होता है।
• लॉग ऑड्स रेश्यो (Log Odds Ratios): शोध पत्र दो बाइनरी प्रतिक्रियाओं के बीच एसोसिएशन (लॉग ऑड्स रेश्यो) पर एक भविष्यवक्ता के प्रभाव के नियम व्युत्पन्न करता है। यदि एक एसोसिएशन संरचना शामिल है, तो लॉग ऑड्स रेश्यो में परिवर्तन गुणांक मैट्रिसेस में इंटरेक्शन टर्म्स द्वारा निर्धारित होता है।
• मॉडल चयन (Model Selection): अकीके सूचना मानदंड (Akaike Information Criterion - AIC) पर आधारित एक स्टेप-वाइज़ चयन प्रक्रिया प्रस्तावित है। चरणों में आयामीता ($S$), प्रोफाइल स्कोर संरचना ($Z$), भविष्यवक्ता संरचना ($X$), और एसोसिएशन संरचना ($W$) का चयन शामिल है।

अनुभवजन्य परिणाम (Empirical Results)
मॉडल को प्रदर्शित करने के लिए दो अनुभवजन्य डेटासेट का विश्लेषण किया गया:

1. अल्कोहल, सिगरेट और मारिजुआना डेटा: इस डेटासेट (Agri, 2013) का उपयोग प्रस्तावित मॉडल की लॉग-लीनियर विश्लेषण के साथ तुलना करने के लिए किया गया था। परिणाम दर्शाते हैं कि जब सभी चर श्रेणीगत होते हैं, तो अधिकतम आयामीता वाला कैनोनिकल अपघटन मॉडल, विचलन अंतर (deviance differences) और मापदंड अनुमानों के संदर्भ में विशिष्ट लॉग-लीनियर मॉडलों के समान होता है। हालाँकि, लॉग-लीनियर ढांचा कुछ जटिल अंतःक्रियाओं (जैसे, विशिष्ट तीन-कारक जुड़ाव) के लिए अधिक लचीला है जिन्हें कैनोनिकल अपघटन रूप में प्रस्तुत नहीं किया जा सकता है।
2. NESDA डेटा (डिप्रेशन और एंग्जायटी डिसऑर्डर): इसमें पांच बाइनरी मनोरोग निदान और आठ भविष्यवक्ता (पाँच व्यक्तित्व लक्षण और तीन नियंत्रण चर, जो अधिकतर निरंतर/continuous हैं) शामिल थे। मॉडल चयन प्रक्रिया ने एक विशिष्ट मुख्य प्रभावों और एक युग्मवार जुड़ाव (डिस्थीमिया और सामान्यीकृत चिंता विकार के बीच) के साथ एक द्वि-आयामी समाधान की पहचान की। परिणामों ने सफलतापूर्वक मात्रात्मक रूप से बताया कि कैसे व्यक्तित्व लक्षण (जैसे, न्यूरोटिसिज्म) विशिष्ट विकारों के लॉग ऑड्स और सह-रुग्ण (comorbid) स्थितियों के बीच लॉग ऑड्स रेश्यो को प्रभावित करते हैं, जो ऐसी अंतर्दृष्टि प्रदान करता है जो मानक रिड्यूस्ड-रैंक लॉजिस्टिक रिग्रेशन सीधे नहीं दे पाता।

महत्व और दावे
शोध पत्र दावा करता है कि बहुपद कैनोनिकल अपघटन मॉडल संभावित रूप से बड़े श्रेणी गणना वाले बहुभिन्नरूपी बाइनरी डेटा के विश्लेषण के लिए एक एकीकृत ढांचा प्रदान करता है। इसका प्राथमिक महत्व निम्नलिखित में निहित है:

• उच्च-आयामीता को संभालना: यह मॉडल को बाहरी चरों द्वारा नियंत्रित निम्न-रैंक संरचनाओं में विघटित करके मापदंड स्थान (parameter space) को कम करता है, जिससे मानक बहुपद लॉजिस्टिक रिग्रेशन में निहित "डायमेंशनलिटी का अभिशाप" (curse of dimensionality) से बचा जा सकता है।
• मिश्रित डेटा प्रकार: लॉग-लीनियर मॉडलों के विपरीत, यह श्रेणीगत और संख्यात्मक दोनों भविष्यवक्ताओं को समायोजित करता है।
• व्याख्यात्मकता: यह शोधकर्ताओं को केवल प्रोफाइल संभावनाओं के बजाय, अंतर्निहित बाइनरी प्रतिक्रियाओं और उनके बीच के जुड़ाव (लॉग ऑड्स और लॉग ऑड्स रेश्यो) पर भविष्यवक्ताओं के प्रभाव का सीधे अनुमान लगाने और व्याख्या करने की अनुमति देता है।
• एल्गोरिदम दक्षता: प्रस्तावित MM एल्गोरिदम एक स्थिर और कुशल अनुमान विधि प्रदान करता है जो बार-बार मैट्रिक्स इनवर्जन से बचता है।

लेखक निष्कर्ष निकालते हैं कि जबकि लॉग-लीनियर मॉडल अपने लचीलेपन के कारण विशुद्ध रूप से श्रेणीगत डेटा के लिए बेहतर बने हुए हैं, प्रस्तावित मॉडल तब पसंदीदा दृष्टिकोण है जब संख्यात्मक भविष्यवक्ता मौजूद हों या जब अनुसंधान का केंद्र बाइनरी प्रतिक्रिया प्रोफाइल्स के अंतर्निहित ढांचे पर भविष्यवक्ताओं के प्रभाव पर हो। शोध पत्र यह भी नोट करता है कि स्पार्स डेटा (sparse data) परिदृश्यों में जहाँ लॉग-लीनियर अनुमान मौजूद नहीं हो सकते हैं, वहाँ भी इसके संभावित लाभ हैं।