तकनीकी सारांश: कम्पोजिशनल डेटा में लुप्त मानों के प्रतिस्थापन (Imputation) के लिए एक जेन्सन-शैनन डायवर्जेंस आधारित k–NN एल्गोरिदम

1. समस्या विवरण (Problem Statement)

कम्पोजिशनल डेटा (Compositional data), जिसे गैर-ऋणात्मक बहुभिन्नीय वेक्टर्स (non-negative multivariate vectors) के रूप में परिभाषित किया गया है जिनका योग एक स्थिर मान (आमतौर पर 1) होता है, एक मानक सिम्प्लेक्स सैंपल स्पेस ($S^{D-1}$) में स्थित होता है। ऐसे डेटा में लुप्त मान (missing values) अनूठी चुनौतियाँ पेश करते हैं क्योंकि मानक प्रतिस्थापन तकनीकें अक्सर सिम्प्लेक्स की प्रतिबंधात्मक ज्यामिति का सम्मान करने में विफल रहती हैं या उन्हें लॉग-अनुपात रूपांतरणों (log-ratio transformations) की आवश्यकता होती है जो शून्य मानों को संभाल नहीं सकते।

मौजूदा विधियाँ, जैसे कि ह्रोन एट अल. (2010) द्वारा प्रस्तावित k–NN एल्गोरिदम, एिचिसन की दूरी (Aitchison's distance) पर निर्भर करती हैं। हालाँकि, एिचिसन की दूरी के लिए लॉग-अनुपात रूपांतरणों की आवश्यकता होती है, जिससे यह शून्य मानों वाले डेटासेट (चाहे वे राउंडेड हों या स्ट्रक्चरल) के लिए अनुपयुक्त हो जाता है। इसके अलावा, पारंपरिक दृष्टिकोण अक्सर एक विशिष्ट पैरामीट्रिक संरचना मानते हैं या उन्हें गहन गणना वाले पुनरावृत्ति रिग्रेशन मॉडल की आवश्यकता होती है। यह शोध पत्र एक लचीले, नॉन-पैरामीट्रिक प्रतिस्थापन पद्धति की आवश्यकता को संबोधित करता है जो:

1. लॉग-अनुपात रूपांतरणों के बिना सीधे सिम्प्लेक्स पर कार्य करती है।
2. स्वाभाविक रूप से शून्य मानों को समायोजित करती है।
3. लुप्त मानों के पैटर्न को संभालने में कम्प्यूटेशनल दक्षता और लचीलापन प्रदान करती है।

2. कार्यप्रणाली (Methodology)

प्रस्तावित समाधान एक नवीन JSD k–NN एल्गोरिदम है, जिसे Fréchet mean के सामान्यीकरण और एक अनुकूली (adaptive) तंत्र के साथ विस्तारित किया गया है।

2.1 दूरी मीट्रिक: जेन्सन-शैनन डायवर्जेंस (JSD)

एिचिसन की दूरी के बजाय, एल्गोरिदम कम्पोजिशनल वेक्टर्स के बीच की दूरी मापने के लिए जेन्सन-शैनन डायवर्जेंस (JSD) का उपयोग करता है।

• परिभाषा: दो कंपोजिशन $x$ और $y$ के लिए, $JSD(x, y) = \sum_{j=1}^D \left( x_j \log \frac{2x_j}{x_j+y_j} + y_j \log \frac{2y_j}{x_j+y_j} \right)$।
• लाभ: एिचिसन की दूरी के विपरीत, JSD शून्य मानों को स्वाभाविक रूप से संभालता है (चूंकि $0 \log 0 = 0$), जिससे शून्य-प्रतिस्थापन रणनीतियों की आवश्यकता समाप्त हो जाती है। यह एक मीट्रिक है (इसका वर्गमूल त्रिकोणीय असमानता (triangular inequality) को संतुष्ट करता है) और यह एक सीमित (bounded) मान है।

2.2 JSD k–NN एल्गोरिदम

मुख्य एल्गोरिदम एक छह-चरणीय नॉन-पैरामीट्रिक प्रक्रिया का पालन करता है:

1. चयन (Selection): निकटतम पड़ोसियों की संख्या, $k$, चुनें।
2. पृथक्करण (Separation): डेटा को अपूर्ण वेक्टर्स ($X_M$) और पूर्ण वेक्टर्स ($X_O$) में विभाजित करें।
3. सामान्यीकरण (Normalization): एक अपूर्ण वेक्टर के लिए, देखे गए घटकों (components) को 1 के योग तक सामान्यीकृत करें। इसी तरह, पूर्ण वेक्टर्स के संगत घटकों को भी सामान्यीकृत करें।
4. दूरी गणना (Distance Calculation): अपूर्ण वेक्टर के सामान्यीकृत देखे गए घटकों और सभी पूर्ण वेक्टर्स के बीच JSD की गणना करें।
5. पड़ोसी चयन (Neighbor Selection): $k$ पूर्ण वेक्टर्स की पहचान करें जिनमें JSD दूरी सबसे कम है।
6. प्रतिस्थापन (Imputation): $k$ निकटतम पड़ोसियों का माध्य (mean) निकालें। लुप्त घटकों का अनुमान लगाने के लिए $k$ पड़ोसियों के संगत घटकों के अंकगणितीय माध्य (arithmetic mean) को लेते हैं, उन्हें सामान्यीकृत करते हैं, और फिर उन्हें मूल अपूर्ण वेक्टर के देखे गए घटकों के योग द्वारा स्केल करते हैं।

2.3 विस्तार 1: JSD $\alpha$–k–NN (Fréchet Mean)

लचीलेपन को बढ़ाने के लिए, चरण 5 में उपयोग किए जाने वाले अंकगणितीय माध्य को त्सैग्रिस एट अल. (2011) द्वारा परिभाषित सैंपल Fréchet mean द्वारा प्रतिस्थापित किया जाता है:
$$\hat{\mu}_\alpha(x) = C \left\{ \left( \sum_{i=1}^n \frac{x_{ij}^\alpha}{\sum_{k=1}^D x_{kj}^\alpha} \right)^{1/\alpha} \right\}_{j=1,\dots,D}$$
जहाँ $\alpha$ एक ट्यूनेबल हाइपर-पैरामीटर है।

• विशेषताएं: जैसे-जैसे $\alpha \to 0$ होता है, यह ज्यामितीय माध्य (geometric mean) की ओर अभिसरित होता है; $\alpha = 1$ पर, यह अंकगणितीय माध्य होता है। यह एल्गोरिदम को लॉग-अनुपास रूपांतरणों के बिना डेटा के वितरण के अनुकूल होने की अनुमति देता है।

2.4 विस्तार 2: Adaptive JSD $\alpha$–k–NN

यह पहचानते हुए कि लुप्त मानों के पैटर्न भिन्न हो सकते हैं (उदाहरण के लिए, विशिष्ट घटक परिमाणों से संबंधित लुप्त होना), लेखक एक अनुकूली दृष्टिकोण का प्रस्ताव करते हैं जहाँ हाइपर-पैरामीटर्स ($\alpha$ और $k$) को डेटा में देखे गए प्रत्येक विशिष्ट लुप्त होने के पैटर्न के लिए अलग-अलग ट्यून किया जाता है, न कि एक एकल वैश्विक जोड़ी के रूप में।

2.5 हाइपर-पैरामीटर ट्यूनिंग

$k$ और $\alpha$ के इष्टतम मानों को रिपीटेड लीव-N-आउट क्रॉस-वैलिडेशन (repeated leave-N-out cross-validation) प्रोटोकॉल के माध्यम से निर्धारित किया जाता है। प्रदर्शन मीट्रिक टेस्ट सेट में वास्तविक मानों और प्रतिस्थापित मानों के बीच की दूरी है (यदि कोई शून्य मौजूद नहीं है तो एिचिसन की दूरी; यदि शून्य मौजूद हैं तो JSD)।

3. मुख्य योगदान (Key Contributions)

1. जीरो-टॉलरेंस प्रतिस्थापन (Zero-Tolerance Imputation): यह विधि कम्पोजिशनल डेटा के लिए पहला k–NN दृष्टिकोण है जिसे लॉग-अनुपात रूपांतरणों की आवश्यकता नहीं है, जिससे यह राउंडेड और स्ट्रक्चरल दोनों प्रकार के शून्य को स्वाभाविक रूप से संभालती है।
2. नॉन-पैरामीट्रिक लचीलापन: JSD और Fréchet mean का उपयोग करके, यह विधि डेटा संरचना के बारे में प्रतिबंधात्मक पैरामीट्रिक धारणाओं से बचती है।
3. कम्प्यूटेशनल दक्षता: प्रस्तावित एल्गोरिदम प्रतिस्पर्धी पुनरावृत्ति रिग्रेशन-आधारित विधियों (विशेष रूप से robCompsitions पैकेज में) की तुलना में काफी तेज़ है।
4. अनुकूली ढांचा (Adaptive Framework): अनुकूली तंत्र का परिचय यह अनुमति देता है कि हाइपर-पैरामीटर्स लुप्त होने के पैटर्न के अनुसार समायोजित हों, हालांकि शोध पत्र नोट करता है कि इससे कम्प्यूटेशनल जटिलता बढ़ जाती है।

4. सिमुलेशन अध्ययनों से परिणाम

लेखकों ने चार वास्तविक दुनिया के डेटासेट का उपयोग करके एल्गोरिदम का मूल्यांकन किया: Wines (कोई शून्य नहीं), Hydrochemical (कोई शून्य नहीं), Prey Fatty Acids (शून्य और प्रजाति वर्ग शामिल हैं), और FADN (एकत्रीकरण/विखंडन परिदृश्यों के साथ कृषि डेटा)।

• सटीकता (बिना शून्य के): Wines और Hydrochemical डेटासेट पर, JSD $\alpha$–k–NN (इष्टतम $\alpha$ के साथ) ने मानक JSD k–NN की तुलना में क्रमशः 12% और 2% बेहतर प्रदर्शन किया, जिसे एिचिसन की दूरी द्वारा मापा गया। दोनों प्रस्तावित विधियों ने Hron et al. (2010) के एल्गोरिदम (rob k–NN, lm, ltsReg) को पछाड़ दिया।
• सटीकता (शून्य के साथ): Prey Fatty Acids डेटासेट पर, JSD k–NN ने यूक्लिडियन दूरी (Euclidean distance) का उपयोग करने वाले रोबस्ट k–NN (Hron et al., 2010) की तुलना में 22% सुधार किया। JSD $\alpha$–k–NN ने अतिरिक्त 3.5% का सुधार प्रदान किया। अनुकूली संस्करण ने इस विशिष्ट मामले में कोई अतिरिक्त लाभ नहीं दिया।
• विखंडन परिदृश्य (Disaggregation Scenario): FADN डेटासेट में (कृषि फसल डेटा के एकत्रीकरण के विखंडन का अनुकरण करते हुए), JSD k–NN ने रोबस्ट k–NN से 15% बेहतर प्रदर्शन किया। $\alpha$ और अनुकूली विस्तार यहाँ और अधिक सुधार नहीं दिखा सके।
• कम्प्यूटेशनल लागत: JSD k–NN, रोबस्ट k–NN की तुलना में काफी तेज़ था। स्पीड-अप कारक नमूना आकार और आयाम के आधार पर लगभग 6x से 25x के बीच थे। उच्च आयामों और कम नमूना आकार पर स्पीड-अप अधिक स्पष्ट था।

5. महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि प्रस्तावित JSD k–NN एल्गोरिदम कम्पोजिशनल डेटा में लुप्त मानों को प्रतिस्थापित करने के लिए एक मजबूत, सटीक और कम्प्यूटेशनल रूप से कुशल विकल्प प्रदान करता है। इसका प्राथमिक महत्व शून्य मानों को बिना किसी संशोधन के संभालने की क्षमता में निहित है, जो मौजूदा लॉग-अनुपात आधारित विधियों की एक महत्वपूर्ण सीमा है।

लेखक विनम्रतापूर्वक निष्कर्ष निकालते हैं कि जबकि adaptive JSD $\alpha$–k–NN विस्तार लुप्त होने के पैटर्न को अनुकूलित करके एक सैद्धांतिक सुधार प्रदान करता है, यह व्यवहार में हमेशा महत्वपूर्ण सुधार नहीं करता है। वे सुझाव देते हैं कि जोड़ा गया जटिलता स्तर सभी मामलों में, विशेष रूप से जब लुप्त पैटर्न विरल (sparse) हों, सार्थक नहीं हो सकता है। हालाँकि, मुख्य JSD k–NN और Fréchet mean विस्तार (JSD $\alpha$–k–NN) वर्तमान अत्याधुनिक विधियों की तुलना में लगातार बेहतर सटीकता और दक्षता प्रदर्शित करते हैं।

यह कार्य पारिस्थितिकी, कृषि और आधिकारिक सांख्यिकी जैसे क्षेत्रों के लिए एक व्यावहारिक उपकरण के रूप में प्रस्तुत किया गया है जहाँ शून्य और लुप्त मानों वाला कम्पोजिशनल डेटा प्रचलित है। लेखक स्वीकार करते हैं कि जबकि यह विधि 'मिसिंग एट रैंडम' (MAR) को मानती है, इसका 'मिसिंग नॉट एट रैंडम' (MNAR) परिदृश्यों के तहत मूल्यांकन नहीं किया गया है, जो आधिकारिक सांख्यिकी में आम हैं।