🤖 machine learning

MM-algorithms for traditional and convex NMF with Tweedie and Negative Binomial cost functions and empirical evaluation

यह शोध पत्र नेगेटिव बाइनोमियल और ट्वीडी वितरणों के अंतर्गत पारंपरिक और उत्तल (कॉन्वेक्स) नॉन-नेगेटिव मैट्रिक्स फैक्टराइजेशन (NMF) के लिए एक एकीकृत ढांचा प्रस्तुत करता है, जो मेजराइज-मिनिमाइजेशन के माध्यम से नवीन मल्टीप्लिकेटिव अपडेट नियमों को व्युत्पन्न करता है और अनुभवजन्य मूल्यांकन के माध्यम से यह प्रदर्शित करता है कि उपयुक्त शोर मॉडल चयन और उत्तल सूत्रीकरण ओवरडिस्पर्सड डेटा में फीचर रिकवरी में महत्वपूर्ण सुधार करते हैं।

मूल लेखक: Elisabeth Sommer James, Asger Hobolth, Marta Pelizzola

प्रकाशित 2026-03-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Elisabeth Sommer James, Asger Hobolth, Marta Pelizzola

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, बिखरा हुआ जिग्सॉ पज़ल (jigsaw puzzle) है। इसकी तस्वीर छिपी हुई है और इसके टुकड़े एक अव्यवस्थित ढेर में बिखरे पड़े हैं। आपका लक्ष्य यह पता लगाना है कि वह तस्वीर कैसी दिखती है, जिसके लिए आपको टुकड़ों को कुछ विशिष्ट "थीमों" या "पैटर्न" में समूहबद्ध करना होगा।

डेटा साइंस की दुनिया में, इसे नॉन-नेगेटिव मैट्रिक्स फैक्टराइजेशन (NMF) कहा जाता है। यह एक उपकरण है जिसका उपयोग डेटा के एक विशाल, जटिल स्प्रेडशीट (जैसे कैंसर म्यूटेशन काउंट या समाचार लेखों के हजारों शब्द) को दो सरल सूचियों में तोड़ने के लिए किया जाता है:

"सामग्री" (विशेषताएं/Features): बुनियादी निर्माण खंड क्या हैं? (जैसे, "खेल के शब्द," "धार्मिक शब्द," या "विशिष्ट म्यूटेशन पैटर्न")।
"नुस्खे" (वजन/Weights): प्रत्येक विशिष्ट दस्तावेज़ या रोगी में प्रत्येक सामग्री कितनी मात्रा में है?

समस्या: "एक ही आकार सबके लिए" वाली गलती

लंबे समय से, वैज्ञानिक इस पहेली को सुलझाने के लिए हर प्रकार के डेटा के लिए एक ही "नुस्खा" इस्तेमाल करते थे। उन्होंने माना कि डेटा एक गौसियन (नॉर्मल) वितरण (एक आदर्श घंटी के आकार का वक्र) या पॉइसन (Poisson) वितरण (जैसे बारिश की बूंदों को गिनना) की तरह व्यवहार करता है।

लेकिन वास्तविक जीवन अव्यवस्थित है।

कैंसर का डेटा एक तूफान की तरह है: कभी-कभी यह शांत होता है, लेकिन कभी-कभी अचानक बहुत बड़ी लहरें (ओवरडिस्पर्शन/overdispersion) टकराती हैं। एक साधारण घंटी के आकार का वक्र उन विशाल लहरों की भविष्यवाणी नहीं कर सकता।
टेक्स्ट डेटा एक विरल रेगिस्तान (sparse desert) की तरह है: अधिकांश शब्द अधिकांश लेखों में कभी दिखाई नहीं देते, लेकिन जब वे दिखाई देते हैं, तो वे बहुत बड़े विस्फोट के रूप में आते हैं।

यदि आप एक चौकोर खूँटी को गोल छेद (एक सरल मॉडल) में फिट करने की कोशिश करते हैं, तो जो तस्वीर आप फिर से बनाएंगे वह धुंधली और गलत होगी। आप सोच सकते हैं कि किसी मरीज में एक विशिष्ट कैंसर सिग्नेचर है जबकि वास्तव में नहीं है, या आप "राजनीति" के समाचार लेख को "खेल" के रूप में गलत लेबल कर सकते हैं।

समाधान: एक "स्मार्ट कैमेलियन" टूलकिट

यह पेपर एक एकीकृत टूलकिट (जिसे MM-अल्गोरिदम कहा जाता है) पेश करता है जो एक गिरगिट (chameleon) की तरह काम करता है। डेटा को एक एकल मॉडल में फिट होने के लिए मजबूर करने के बजाय, यह टूलकिट अपने आकार को बदलने की क्षमता रखता है ताकि यह उस विशिष्ट "शोर" या "बनावट" से मेल खा सके जिसे आप देख रहे हैं।

लेखकों ने अपने टूलकिट में दो शक्तिशाली नए आकार जोड़े हैं:

ट्विडी (Tweedie) मॉडल: इसे एक आकार बदलने वाले (shape-shifter) के रूप में सोचें। यह एक सुचारू घंटी के आकार के वक्र से लेकर एक ऊबड़-खाबड़, भारी पूंछ वाले आकार (heavy-tailed shape) में बदल सकता है। यह उस डेटा के लिए उपयुक्त है जहाँ "वेरिएंस" (चीजें कितनी उछलती हैं) बदलता है जैसे-जैसे "मीन" (औसत) बदलता है।
नेगेटिव बिनोमियल (Negative Binomial) मॉडल: इसे एक सर्वाइवल एक्सपर्ट के रूप में सोचें। यह विशेष रूप से "काउंट" डेटा (जैसे म्यूटेशन या शब्दों को गिनना) के लिए डिज़ाइन किया गया है जहाँ संख्याएँ अप्रत्याशित होती हैं और अक्सर अपेक्षित संख्या से बहुत अधिक होती हैं। यह पुराने मॉडलों की तुलना में डेटा के "हैवी टेल्स" (heavy tails) को बेहतर तरीके से संभालता है।

ट्विस्ट: "कॉन्वेक्स" शॉर्टकट

पेपर पहेली को हल करने के दो तरीकों की तुलना भी करता है:

पारंपरिक NMF: आप नए, अमूर्त तत्वों का उपयोग करके शून्य से तस्वीर बनाते हैं।
कॉन्वेक्स NMF: आप मूल ढेर के मौजूदा टुकड़ों को मिलाकर तस्वीर बनाते हैं।

उपमा (Analogy):

पारंपरिक NMF एक शेफ की तरह है जो कच्चे मसालों का उपयोग करके बिल्कुल शुरू से एक नया सॉस बनाता है। यह लचीला है लेकिन अस्थिर हो सकता है।
कॉन्वेक्स NMF एक शेफ की तरह है जो रसोई में पहले से मौजूद सामग्रियों को मिलाकर सॉस बनाता है। यह अधिक स्थिर है और इसके गलत होने की संभावना कम है।

लेखकों ने पाया कि जब डेटा स्पार्स (sparse) होता है (जैसे टेक्स्ट डेटा जहाँ अधिकांश शब्द गायब होते हैं), तो कॉन्वेक्स दृष्टिकोण एक सुपरहीरो की तरह काम करता है। यह एक "स्मार्ट फिल्टर" की तरह कार्य करता है जो मॉडल को अनावश्यक पैटर्न बनाने से रोकता है। यह कम मापदंडों (parameters) के साथ सत्य को खोज लेता है, जिससे यह मेसी टेक्स्ट डेटा के लिए तेज़ और अधिक विश्वसनीय बन जाता है।

वास्तविक दुनिया के परिणाम: कैंसर और समाचार

लेखकों ने अपने नए टूलकिट का परीक्षण दो बहुत अलग डेटासेट्स पर किया:

लिवर कैंसर म्यूटेशन:
- डेटा: 260 रोगियों और 96 प्रकार के जेनेटिक म्यूटेशन की एक सूची।
- परिणाम: पुराने मॉडल (Gaussian/Poisson) म्यूटेशन काउंट के उतार-चढ़ाव को पकड़ने में विफल रहे। हालाँकि, नए नेगेटिव बिनोमियल मॉडल ने डेटा को पूरी तरह से फिट किया। इसने कैंसर के "सिग्नेचर" (म्यूटेशन के विशिष्ट पैटर्न) की सफलतापूर्वक पहचान की, जिनकी डॉक्टरों को सही उपचार चुनने के लिए आवश्यकता होती है। यह एक धुंधली ब्लैक-एंड-व्हाइट फोटो से बदलकर एक स्पष्ट, हाई-डेफिनिशन कलर इमेज में स्विच करने जैसा था।
न्यूज़ग्रुप टेक्स्ट:
- डेटा: खेल, धर्म और राजनीति पर आधारित 500 लेख।
- परिणाम: क्योंकि टेक्स्ट डेटा बहुत विरल (sparse) होता है, इसलिए कॉन्वेक्स NMF दृष्टिकोण जीत गया। इसने लेखों को उनके सही विषयों (खेल, धर्म, राजनीति) में अविश्वसनीय सटीकता के साथ वर्गीकृत किया, जबकि पारंपरिक तरीके भ्रमित हो गए।

निष्कर्ष (Takeaway)

यह पेपर अनिवार्य रूप रूप से यह कह रहा है: "हर कील के लिए एक ही हथौड़ा इस्तेमाल करना बंद करें।"

यदि आप डेटा का विश्लेषण कर रहे हैं, तो आपको पहले उसके "व्यक्तित्व" को देखना होगा।

क्या यह अनियंत्रित और ओवर-डिस्पर्स्ड है? नेगेटिव बिनोमियल मॉडल का उपयोग करें।
क्या यह सुचारू और ऊबड़-खाबड़ का मिश्रण है? ट्विडी मॉडल का उपयोग करें।
क्या यह एक स्पार्स टेक्स्ट डेटासेट है? कॉन्वेक्स NMF का उपयोग करें।

लेखकों ने एक मुफ्त सॉफ्टवेयर पैकेज भी बनाया है (R में) जिसे nmfgenr कहा जाता है, जो किसी को भी गणित का जीनियस बने बिना इन "स्मार्ट कैमेलियन" मॉडलों का उपयोग करने की अनुमति देता है। यह सबको विशेष लेंस का एक सेट देने जैसा है ताकि वे अंततः अपने डेटा में छिपी वास्तविक तस्वीर को देख सकें।

यहाँ शोध पत्र "MM-algorithms for traditional and convex NMF with Tweedie and Negative Binomial cost functions and empirical evaluation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

नॉन-नेगेटिव मैट्रिक्स फैक्टराइजेशन (NMF) डाइमेंशनलिटी रिडक्शन और फीचर एक्सट्रैक्शन के लिए एक मानक अनसुपरवाइज्ड लर्निंग तकनीक है। हालाँकि, पारंपरिक NMF फॉर्मुलेशन आमतौर पर गॉसियन (लीस्ट स्क्वेयर्स) या पॉइसन (कुलबैक-लीलर डाइवर्जेंस) नॉइज़ धारणाओं पर निर्भर करते हैं। ये धारणाएँ वास्तविक दुनिया के डेटा के लिए अपर्याप्त हैं जो निम्नलिखित प्रदर्शित करता है:

ओवरडिस्पर्शन (Overdispersion): जहाँ वेरिएंस, मीन (औसत) से अधिक होता है (जीनोमिक्स और टेक्स्ट जैसे काउंट डेटा में सामान्य है)।
जटिल मीन-वेरिएंस संबंध (Complex Mean-Variance Relationships): जहाँ वेरिएंस, मीन के साथ नॉन-लीनियर रूप से स्केल करता है।
स्पर्सिटी (Sparsity): उच्च-आयामी डेटा जिसमें कई शून्य प्रविष्टियाँ होती हैं।

इसके अलावा, जबकि कॉन्वेक्स NMF (जहाँ फीचर्स डेटा मैट्रिक्स के लीनियर कॉम्बिनेशन होते हैं) व्याख्यात्मकता (interpretability) प्रदान करता है और एक शैलो ऑटोएन्कोडर के रूप में कार्य करता है, मौजूदा एल्गोरिदम मुख्य रूप से नेगेटिव बाइनोमियल और सामान्य ट्वीडी (Tweedie) परिवारों जैसे रोबस्ट डिस्ट्रीब्यूशन के लिए समर्थन की कमी रखते हैं। गलत वितरण संबंधी धारणाएँ विकृत फैक्टराइजेशन और खराब फीचर रिकवरी का कारण बन सकती हैं।

2. कार्यप्रणाली (Methodology)

लेखक ट्वीडी (Tweedie) और नेगेटिव बाइनोमियल (Negative Binomial) वितरणों के तहत दोनों पारंपरिक NMF और कॉन्वेक्स NMF के लिए एक एकीकृत ढांचा प्रस्तावित करते हैं।

A. सैद्धांतिक ढांचा (Theoretical Framework)

नोटेशन: पेपर मॉडलों को वर्गीकृत करने के लिए केंडल के नोटेशन को अपनाता है (जैसे, NMF/T/TWp ट्वीडी वितरण के साथ पारंपरिक NMF के लिए)।
ट्वीडी वितरण (Tweedie Distribution): एक लचीला परिवार जहाँ वेरिएंस, मीन के साथ एक पावर लॉ द्वारा संबंधित है: $Var(X) = \sigma^2 \mu^p$ $V a r (X) = σ^{2} μ^{p}$ ।
- $p=0$ : नॉर्मल (Normal) वितरण।
- $p=1$ : पॉइसन (Poisson) वितरण।
- $p=2$ : गामा (Gamma) वितरण।
- $p \in (1, 2)$ : कंपाउंड पॉइसन (Compound Poisson)।
- $p > 2$ : पॉजिटिव स्टेबल डिस्ट्रीब्यूशन्स (Heavy-tailed)।
नेगेटिव बाइनोमियल (NB): विशेष रूप से काउंट डेटा में ओवरडिस्पर्शन को संबोधित करता है, जहाँ $Var(X) = \mu + \mu^2/\alpha$ ।

B. एल्गोरिद्मिक दृष्टिकोण: मेजराइज-मिनिमाइजेशन (Majorize-Minimization - MM)

लेखक मेजराइज-मिनिमाइजेशन (MM) एल्गोरिदम का उपयोग करके मल्टीप्लिकेटिव अपडेट रूल्स प्राप्त करते हैं। यह दृष्टिकोण एक सरोगेट फंक्शन बनाता है जो कॉस्ट फंक्शन को मेजराइज करता है, जिससे ऑब्जेक्टिव फंक्शन में निरंतर कमी सुनिश्चित होती है।

पारंपरिक NMF: ट्वीडी और NB वितरणों के लिए $W$ और $H$ के अपडेट्स प्राप्त किए गए हैं।
कॉन्वेक्स NMF: पेपर पॉइसन, ट्वीडी और नेगेटिव बाइनोमियल कॉस्ट फंक्शन के तहत कॉन्वेक्स NMF के लिए नवीन मल्टीप्लिकेटिव अपडेट्स प्राप्त करता है।
- कॉन्वेक्स NMF के लिए, फैक्टराइजेशन $V^T \approx V^T E D$ है, जहाँ $E$ एनकोडर है और $D$ डिकोडर है।
- व्युत्पत्ति (Derivation) में मेजराइजिंग फंक्शन बनाने के लिए नॉन-कॉन्वेक्स यूनिट डेविएंस को कॉन्वेक्स/कॉनकेव भागों में विभाजित करना शामिल है।
पैरामीटर एस्टीमेशन (Parameter Estimation):
- पावर पैरामीटर $p$ (ट्वीडी के लिए) और डिस्पर्शन पैरामीटर $\alpha$ (NB के लिए) को प्रोफाइल लाइकलीहुड (पैरामीटर पर लॉग-लाइकेलीहुड को मैक्सिमाइज करते हुए NMF फैक्टर्स को ऑप्टिमाइज़ करना) के माध्यम से अनुमानित किया जाता है।
- एल्गोरिदम 1 $E, D,$ और $\alpha$ को एक साथ अनुमानित करने की पुनरावृत्ति प्रक्रिया (iterative procedure) को रेखांकित करता है।

C. कम्प्यूटेशनल कॉम्प्लेक्सिटी (Computational Complexity)

पारंपरिक NMF: प्रति इटरेशन जटिलता $O(MNK)$ है, जो मैट्रिक्स मल्टीप्लिकेशन द्वारा संचालित है।
कॉन्वेक्स NMF: $V^T$ के स्ट्रक्चर के कारण प्रति इटरेशन जटिलता $O(MN^2K)$ है।
ओवरहेड: सामान्य ट्वीडी मॉडल ( $p \notin \{0, 1\}$ ) के लिए एलिमेंट-वाइज मैट्रिक्स पावर्स के लिए अतिरिक्त गणना की आवश्यकता होती है, जिससे वे नॉर्मल/पॉइसन समकक्षों की तुलना में थोड़े धीमे हो जाते हैं।

3. प्रमुख योगदान (Key Contributions)

एकीकृत ढांचा (Unified Framework): नॉर्मल, पॉइसन, ट्वीडी और नेगेटिव बाइनोमियल वितरणों के तहत दोनों पारंपरिक और कॉन्वेक्स NMF को संभालने वाला एक एकल ढांचा।
नवीन व्युत्पत्ति (Novel Derivations): नेगेटिव बाइनोमियल और सामान्य ट्वीडी कॉस्ट फंक्शन के साथ कॉन्वेक्स NMF के लिए मल्टीप्लिकेटिव अपडेट रूल्स की पहली व्युत्पत्ति।
सॉफ्टवेयर कार्यान्वयन (Software Implementation): इन कई कॉन्वेक्स NMF मॉडलों के लिए पहली तैयार-उपलब्ध कार्यान्वयन प्रदान करने वाला R पैकेज nmfgenr का रिलीज।
अनुभवजन्य सत्यापन (Empirical Validation): दो अलग-अलग डेटासेट्स पर मॉडल फिट और फीचर रिकवरी का व्यापक तुलनात्मक अध्ययन:
- जीनोमिक्स: लिवर कैंसर म्यूटेशनल काउंट्स (260 पेशेंट्स, 96 म्यूटेशन प्रकार)।
- टेक्स्ट माइनिंग: न्यूजग्रुप वर्ड काउंट्स (500 डॉक्यूमेंट्स, 6354 वर्ड्स)।

4. परिणाम (Results)

लेखकों ने BIC, रेसिडुअल एनालिसिस और ग्राउंड ट्रुथ (कैंसर के लिए COSMIC सिग्नेचर; टेक्स्ट के लिए ज्ञात टॉपिक्स) के विरुद्ध कोसाइन सिमिलरिटी का उपयोग करके मॉडलों का मूल्यांकन किया।

A. लिवर कैंसर म्यूटेशनल डेटा

मॉडल फिट: नेगेटिव बाइनोमियल और ट्वीडी मॉडल, नॉर्मल और पॉइसन मॉडलों की तुलना में काफी बेहतर प्रदर्शन करते हैं (कम BIC)।
ओवरडिस्पर्शन: रेसिडुअल प्लॉट्स ने पुष्टि की कि नॉर्मल/पॉइसन मॉडल म्यूटेशन काउंट्स में अंतर्निहित ओवरडिस्पर्शन (वेरिएंस > मीन) को पकड़ने में विफल रहे।
फीचर रिकवरी: नेगेटिव बाइनोमियल मॉडल (NMF/T/NB) ने सबसे कम BIC प्राप्त किया और COSMIC डेटाबेस के साथ उच्च कोसाइन सिमिलरिटी (>0.8) के साथ म्यूटेशनल सिग्नेचर (विशेष रूप से SBS12, जो लिवर कैंसर से जुड़ा है) को रिकवर किया।
पारंपरिक बनाम कॉन्वेक्स: इस डेटासेट पर पारंपरिक NMF ने आमतौर पर कॉन्वेक्स NMF की तुलना में कम BIC मान प्राप्त किए, जो संभवतः म्यूटेशन डेटा की विशिष्ट संरचना के कारण है।

B. न्यूजग्रुप टेक्स्ट डेटा

स्पर्सिटी प्रभाव: यह डेटासेट अत्यधिक स्पर्स था। यहाँ, कॉन्वेक्स NMF ने पारंपरिक NMF को पीछे छोड़ दिया।
रेगुलराइजेशन (Regularization): कॉन्वेक्स NMF ने काफी कम पैरामीटर्स (लगभग 6 गुना कम) के साथ तुलनीय लाइकलीहुड प्राप्त की, जो सुझाव देता है कि कॉन्वेक्स कंस्ट्रेंट उच्च-आयामी स्पर्स सेटिंग्स में एक प्रभावी रेगुलराइज़र के रूप में कार्य करता है।
सर्वश्रेष्ठ मॉडल: NMF/C/TW1.02/7 (ट्वीडी $p \approx 1$ के साथ कॉन्वेक्स NMF) ने सबसे अच्छा फिट प्रदान किया, जिसके ठीक बाद पॉइसन और नेगेटिव बाइनोमियल वेरिएंट्स का स्थान रहा।
फीचर क्वालिटी: कॉन्वेक्स NMF द्वारा निकाले गए फीचर्स ने पारंपरिक NMF फीचर्स की तुलना में सर्वश्रेष्ठ प्रदर्शन करने वाले मॉडल के साथ उच्च सामंजस्य (concordance) दिखाया।

5. महत्व और निष्कर्ष (Significance and Conclusion)

सांख्यिकीय कठोरता (Statistical Rigor): पेपर इस बात पर जोर देता है कि NMF को एक सांख्यिकीय मॉडल के रूप में माना जाना चाहिए जहाँ कॉस्ट फंक्शन का चयन डेटा के एम्पिरिकल मीन-वेरिएंस संबंध के अनुरूप होना चाहिए।
लचीलापन (Flexibility): ट्वीडी और नेगेटिव बाइनोमियल विस्तारों के माध्यम से, NMF ओवरडिस्पर्स और हेवी-टेल्ड डेटा को संभालने में सक्षम है, जो जीनोमिक्स और टेक्स्ट माइनिंग में आम है लेकिन जिन्हें गॉसियन/पॉइसन धारणाओं द्वारा ठीक से सेवा नहीं दी जाती है।
कॉन्वेक्स NMF उपयोगिता: यह अध्ययन दर्शाता है कि कॉन्वेक्स NMF विशेष रूप से स्पर्स, उच्च-आयामी डेटा के लिए फायदेमंद है, जो बेहतर व्याख्यात्मकता और रेगुलराइजेशन गुणों के साथ ऑटोएन्कोडर्स के लिए एक मजबूत विकल्प प्रदान करता है।
व्यावहारिक उपकरण (Practical Tool): nmfgenr की उपलब्धता शोधकर्ताओं के लिए जटिल MM-एल्गोरिदम को स्क्रैच से लागू किए बिना वास्तविक दुनिया के डेटा पर इन सांख्यिकीय रूप से सिद्धांतबद्ध मॉडलों को लागू करने की बाधा को कम करती है।

संक्षेप में, यह कार्य सैद्धांतिक वितरण संबंधी धारणाओं और व्यावहारिक NMF अनुप्रयोगों के बीच के अंतर को पाटता है, नए एल्गोरिदम और सॉफ्टवेयर प्रदान करता है जो जटिल, ओवरडिस्पर्सड डेटासेट्स के लिए फीचर एक्सट्रैक्शन सटीकता में महत्वपूर्ण सुधार करते हैं।