📊 statistics

A Gaussian mixture model for discovering latent group structures in classification problems with multiple classes

यह शोध पत्र एक नवीन ग्रुप्ड गॉसियन मिक्स्चर मॉडल (GGM) के साथ एक कुशल एक्सपेक्टेशन-मैक्सिमाइजेशन एल्गोरिदम प्रस्तावित करता है ताकि पूरी तरह से डेटा-संचालित तरीके से कई श्रेणियों के बीच व्याख्या योग्य लेटेंट ग्रुप संरचनाओं की खोज की जा सके, जो सिमुलेशन और ई-कॉमर्स अनुप्रयोगों दोनों में मौजूदा विधियों की तुलना में बेहतर प्रदर्शन प्रदर्शित करता है।

मूल लेखक: Hong Chang, Xuetong Li, Ke Xu, Hansheng Wang

प्रकाशित 2026-09-07

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hong Chang, Xuetong Li, Ke Xu, Hansheng Wang

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

आधुनिक डेटा के विशाल और अराजक परिदृश्य में, जानकारी अक्सर एक एकल धारा के रूप में नहीं, बल्कि विशिष्ट श्रेणियों के संग्रह के रूप में आती है। एक विशाल पुस्तकालय के बारे में सोचें जहाँ प्रत्येक पुस्तक का अपना अनूठा लेबल है, फिर भी किसी ने भी यह समझाने के लिए कैटलॉग नहीं लिखा है कि वे लेबल एक-दूसरे से कैसे संबंधित हैं। जीव विज्ञान से लेकर ऑनलाइन शॉपिंग तक के क्षेत्रों में, वैज्ञानिक और व्यवसाय इसी समस्या का सामना करते हैं: उनके पास हजारों विशिष्ट आइटम हैं, लेकिन उनके पास इस बात का स्पष्ट मानचित्र नहीं है कि वे आइटम स्वाभाविक रूप से कैसे समूहों में बँधते हैं। जबकि कंप्यूटर चीजों को पूर्व-निर्धारित बक्सों में छाँटने में उत्कृष्ट होते हैं, वे अक्सर नए, छिपे हुए समूहों को खोजने में संघर्ष करते हैं जब कोई मैन्युअल निर्देश मौजूद नहीं होते। चुनौती यह है कि मशीन के लिए एक ऐसा तरीका ढूँढा जाए जिससे वह विविध डेटा के पहाड़ को देख सके और सहजता से समझ सके कि कुछ आइटम, अलग-अलग नामों के बावजूद, एक ही परिवार के सदस्य हैं।

यह वह केंद्रीय पहेली है जिसे पेकिंग यूनिवर्सिटी, शीआन जियाओतोंग यूनिवर्सिटी और यूनिवर्सिटी ऑफ इंटरनेशनल बिजनेस एंड इकोनॉमिक्स के शोधकर्ताओं की एक टीम ने हल किया है। उन्होंने डिजिटल युग के एक सामान्य परिदृश्य पर ध्यान केंद्रित किया: बड़ी संख्या में श्रेणियों वाले वर्गीकरण की समस्याएँ। अमेज़न जैसे ऑनलाइन स्टोर की कल्पना करें, जो लाखों उत्पादों को होस्ट करता है जो "वायरलेस ईयरबड्स" से लेकर "सिरेमिक कॉफी मग" तक के हजारों विशिष्ट प्रकारों में व्यवस्थित हैं। उपयोगकर्ताओं के लिए इसे प्रबंधनीय बनाने के लिए, इन उत्पादों को आमतौर पर "इलेक्ट्रॉनिक्स" या "होम गुड्स" जैसी व्यापक श्रेणियों में वर्गीकृत किया जाता है। हालाँकि, इन पदानुक्रमों (hierarchies) को हाथ से बनाना अविश्वसनीय रूप से महंगा और धीमा है, विशेष रूप से जब हर दिन नए उत्पाद आते हैं। शोधकर्ताओं ने एक सरल लेकिन गहन प्रश्न पूछा: क्या एक कंप्यूटर बिना किसी मानव द्वारा पहले से नक्शा बनाए, केवल डेटा को देखकर इन छिपे हुए समूह संरचनाओं को स्वचालित रूप से समझ सकता है?

इसका उत्तर देने के लिए, टीम ने 'ग्रुपड गॉसियन मिक्सचर मॉडल' (Grouped Gaussian Mixture Model) नामक एक नया सांख्यिकीय उपकरण विकसित किया। सरल शब्दों में, यह एक ऐसी विधि है जो प्रत्येक उत्पाद श्रेणी को एक निश्चित, अलग बिंदु के रूप में नहीं, बल्कि एक बड़े, अदृश्य परिवार के सदस्य के रूप में देखती है। मॉडल यह मानता है कि जबकि प्रत्येक उत्पाद श्रेणी की अपनी अनूठी विशेषताएं होती हैं, कई श्रेणियों के बीच एक सामान्य "पैरेंट" (जनक) समूह होता है जो उनके सामान्य व्यवहार को परिभाषित करता है। शोधकर्ताओं ने एक ऐसा गणितीय ढांचा तैयार किया जो कंप्यूटर को श्रेणियों के बीच संबंधों का विश्लेषण करके इन पैरेंट समूहों को सीखने की अनुमति देता है। पुराने तरीकों के विपरीत जो केवल सतही समानताओं के आधार पर डेटा को समूहों में मजबूर करते हैं, यह नया दृष्टिकोण डेटा में निहित अनिश्चितता को ध्यान में रखता है। यह पहचानता है कि कुछ श्रेणियों को अलग करना दूसरों की तुलना में कठिन हो सकता है और साक्ष्य को उसी के अनुसार तौलता है, जिससे वास्तविक पैटर्न और रैंडम शोर (noise) के बीच प्रभावी ढंग से अंतर किया जा सके।

शोधकर्ताओं ने सिम्युलेटेड डेटा और वास्तविक दुनिया के उदाहरणों दोनों का उपयोग करके अपने तरीके का कड़ाई से परीक्षण किया। अपने कंप्यूटर सिमुलेशन में, उन्होंने कृत्रिम डेटासेट बनाए जिनमें ज्ञात छिपी हुई संरचनाएं थीं ताकि यह देखा जा सके कि क्या उनका मॉडल उन्हें खोज सकता है। उन्होंने अपने नए टूल की तुलना K-means क्लस्टरिंग और स्पेक्ट्रल क्लस्टरिंग जैसी स्थापित तकनीकों से की, जो डेटा को समूहित करने के लिए मानक उपकरण हैं। परिणाम स्पष्ट थे: नया मॉडल पुराने तरीकों की तुलना में लगातार बेहतर प्रदर्शन करता रहा। यह विशेष रूप से समूहों के बीच सूक्ष्म अंतर होने पर भी वास्तविक समूह संरचनाओं को पुनः प्राप्त करने में प्रभावी था। सिमुलेशन ने यह बताते हुए एक दिलचस्प अंतर्दृष्टि भी दी कि मॉडल कैसे सीखता है: इसने पाया कि समूहों की पहचान करने की सटीकता केवल प्रत्येक व्यक्तिगत श्रेणी के लिए डेटा की विशाल मात्रा पर नहीं, बल्कि बड़ी संख्या में विशिष्ट श्रेणियों के होने पर बहुत अधिक निर्भर करती है। दूसरे शब्दों में, समूहों को खोजने के लिए एक ही आइटम की हजारों प्रतियां होने की तुलना में विभिन्न प्रकार के आइटमों का होना अधिक महत्वपूर्ण था।

यह सिद्ध करने के लिए कि यह विधि वास्तविक दुनिया में काम करती है, टीम ने एक प्रमुख चीनी ई-कॉमर्स प्लेटफॉर्म के विशाल डेटासेट पर इसे लागू किया। इस डेटासेट में लगभग पाँच लाख उत्पाद विवरण शामिल थे, जिन्हें उन्नत भाषा प्रसंस्करण उपकरणों का उपयोग करके संख्यात्मक प्रतिनिधित्व में परिवर्तित किया गया था। इस प्लेटफॉर्म में 238 विशिष्ट उत्पाद श्रेणियाँ थीं, और मानव विशेषज्ञों ने तुलना के लिए एक "गोल्ड स्टैंडर्ड" के रूप में इन्हें पहले से ही 24 तार्किक समूहों में व्यवस्थित किया था। जब शोधकर्ताओं ने बिना किसी मानवीय मार्गदर्शन के इस डेटा पर अपने नए मॉडल को चलाया, तो इसने स्वतः ही एक ऐसी संरचना की खोज की जो मानव विशेषज्ञों के संगठन के साथ 86 प्रतिशत से अधिक सटीकता के साथ मेल खाती थी। इसके विपरीत, प्रतिस्पर्धी तरीकों ने केवल लगभग 61 प्रतिशत और 80 प्रतिशत की सटीकता दर हासिल की। मॉडल ने "इलेक्ट्रिक केतली" और "स्लो कुकर" जैसे आइटमों को किचन अप्लायंस श्रेणी में और "वॉशिंग मशीन" को "ड्रायर" के साथ लॉन्ड्री श्रेणी में सफलतापूर्वक समूहित किया, जो बिना यह जाने कि वे श्रेणियाँ क्या हैं, मानवीय अंतर्ज्ञान को दर्शाता है।

अध्ययन ने इस दृष्टिकोण की व्यावहारिक सीमाओं और भविष्य की क्षमता पर भी प्रकाश डाला। हालांकि मॉडल ने प्रभावशाली प्रदर्शन किया, लेकिन इसके लिए अभी भी उपयोगकर्ता को यह निर्दिष्ट करना आवश्यक है कि वे कितने समूहों की अपेक्षा करते हैं, जो वर्तमान में मानवीय निर्णय या परीक्षण और त्रुटि (trial and error) पर निर्भर करता है। इसके अतिरिक्त, यह विधि मानती है कि डेटा एक विशिष्ट सांख्यिकीय आकार का पालन करता है, जो ई-कॉमर्स टेक्स्ट डेटा के लिए तो ठीक था, लेकिन अन्य प्रकार की सूचनाओं के लिए इसमें समायोजन की आवश्यकता हो सकती है। इसके बावजूद, यह कार्य स्वचालित डेटा संगठन की दिशा में एक महत्वपूर्ण प्रगति को प्रदर्शित करता है। पूरी तरह से डेटा-संचालित तरीके से गुप्त संरचनाओं को उजागर करने का मार्ग प्रशस्त करके, शोधकर्ताओं ने एक ऐसा उपकरण प्रदान किया है जो व्यवसायों को जटिल उत्पाद कैटलॉग प्रबंधित करने, वैज्ञानिकों को जैविक डेटा व्यवस्थित करने और किसी भी ऐसे व्यक्ति को मदद करने में सक्षम बना सकता है जो बड़े, असंरचित श्रेणियों के संग्रह से जूझ रहा है। निष्कर्ष बताते हैं कि सही गणितीय ढांचे के साथ, मशीनें वास्तव में पेड़ों के बीच जंगल को देख सकती हैं, और लाखों की भीड़ के भीतर छिपे प्राकृतिक परिवारों की पहचान कर सकती हैं।

तकनीकी सारांश: लेटेंट ग्रुप स्ट्रक्चर की खोज के लिए एक गॉसियन मिक्सचर मॉडल (Gaussian Mixture Model)

समस्या विवरण (Problem Statement)
बड़ी संख्या में श्रेणियों ( $K$ ) से जुड़ी वर्गीकरण समस्याओं में, लेटेंट ग्रुप स्ट्रक्चर (latent group structures) अक्सर देखे जाते हैं (जैसे, जीन ऑन्टोलॉजी, रोग वर्गीकरण, ImageNet)। हालांकि इन संरचनाओं का लाभ उठाने से पदानुक्रमित शिक्षण (hierarchical learning) और सूक्ष्म-वर्गीकरण (fine-grained classification) में सुधार हो सकता है, मौजूदा दृष्टिकोण अक्सर पूर्व-निर्धारित मैनुअल टैक्सोनॉमी या डोमेन ऑन्टोलॉजी पर निर्भर करते हैं, जो अपूर्ण, अनुपलब्ध या डेटा के साथ असंगत हो सकते हैं। इसके विपरीत, इन संरचनाओं की खोज करने वाले डेटा-संचालित तरीकों को महत्वपूर्ण चुनौतियों का सामना करना पड़ता है: ट्री-आधारित दृष्टिकोण NP-hard अनुकूलन और लोकल ऑप्टिमा से ग्रस्त होते हैं; ग्राफ-आधारित तरीकों में औपचारिक सांख्यिकीय गारंटी का अभाव होता है; और मानक मिश्रण मॉडल (mixture models) अक्सर सॉफ्ट-क्लस्टरिंग फॉर्मुलेशन का उपयोग करते हैं जो वास्तविक अंतर-श्रेणी भिन्नता (inter-category variation) और सैंपलिंग अनिश्चितता के बीच के अंतर को धुंधला कर देते हैं, विशेष रूप से जब क्लास का आकार सीमित होता है। लेखक एक सिद्धांतपूर्ण, पूरी तरह से डेटा-संचालित सांख्यिकीय पद्धति की कमी की पहचान करते हैं जो इन लेटेंट ग्रुप स्ट्रक्चर को प्राथमिक अनुमानत्मक उद्देश्य के रूप में स्वचालित रूप से खोजने में सक्षम हो।

कार्यप्रणाली (Methodology)
लेखक इन चुनौतियोंों को संबोधित करने के लिए एक ग्रुपड गॉसियन मिक्सचर मॉडल (GGM) और एक संगत एक्सपेक्टेशन-मैक्सिमाइजेशन (EM) एल्गोरिदम प्रस्तावित करते हैं।

मॉडल फ्रेमवर्क (Model Framework): GGM पारंपरिक गॉसियन मिक्सचर मॉडल का विस्तार करता है, जो फीचर वेक्टर्स के पदानुक्रमित निर्माण में एक लेटेंट ग्रुप स्ट्रक्चर को समाहित करता है।
- मान लीजिए कि $(X_i, Y_i)$ एक अवलोकन है जहाँ $Y_i \in \{1, \dots, K\}$ क्लास लेबल है और $X_i \in \mathbb{R}^p$ एक उच्च-आयामी फीचर वेक्टर है।
- प्रत्येक क्लास $k$ को एक लेटेंट ग्रुप मेंबरशिप $Z_k \in \{1, \dots, M\}$ (जहाँ $M \ll K$ ) दिया जाता है जिसकी प्रायिकता $\alpha_m$ है।
- क्लास-विशिष्ट मीन वेक्टर $\mu_{km}$ को एक रैंडम वेरिएबल के रूप में माना जाता है जिसे मल्टीवेरिएट नॉर्मल डिस्ट्रीब्यूशन $N(\nu_m, \Omega)$ से खींचा गया है, जहाँ $\nu_m$ और $\Omega$ ग्रुप-लेवल पैरामीटर हैं।
- क्लास $k$ और उसके ग्रुप $m$ की स्थिति में, अवलोकन $X_i$ को $N(\mu_{km}, \Sigma)$ से खींचा जाता है।
- महत्वपूर्ण रूप से, मॉडल क्लास मीन्स को फिक्स्ड पॉइंट्स के बजाय रैंडम इफेक्ट्स के रूप में मानता है, जो कोवेरिएंस $\Sigma$ और ग्रुप-लेवल कोवेरिएंस $\Omega$ के माध्यम से सैंपलिंग अनिश्चितता को स्पष्ट रूप से संबोधित करता है।
अनुमान एल्गोरिदम (Estimation Algorithm):
- लेखक रैंडम मीन वेक्टर्स को इंटीग्रेट करके लॉग-लाइक्लीहुड फंक्शन प्राप्त करते हैं।
- वे समवर्ती पैरामीटर अनुमान ( $\theta = \{\alpha, \nu, \Omega, \Sigma\}$ $θ = {α, ν, Ω, Σ}$ ) और ग्रुप रिकवरी के लिए एक इटरेटिव EM एल्गोरिदम विकसित करते हैं।
  - E-step: यह वर्तमान पैरामीटर अनुमानों का उपयोग करते हुए क्लास $k$ के ग्रुप $m$ होने की पोस्टीरियर प्रायिकता $\pi_m(I_k)$ की गणना करता है।
  - M-step: यह लॉग-लाइक्लीहुड के फर्स्ट-ऑर्डर कंडीशंस से प्राप्त क्लोज्ड-फॉर्म मैपिंग फंक्शन्स का उपयोग करके पैरामीटर्स को अपडेट करता है।
- स्केलेबिलिटी (Scalability): बड़े $K$ और $p$ को संभालने के लिए, एक टेन्सरइज्ड इम्प्लीमेंटेशन (tensorized implementation) प्रस्तावित किया गया है। यह दृष्टिकोण बार-बार $K$ मैट्रिक्स इनवर्जन से बचने के लिए एक क्लास-इंडिपेंडेंट आइजनडीकंपोजिशन का उपयोग करता है। यह E-step की कम्प्यूटेशनल जटिलता को प्रारंभिक डीकंपोजिशन के बाद $O(Kp^3 + KMp^2)$ से घटाकर $O(Kp^3 + KMp)$ कर देता है और वेक्टरइज्ड टेन्सर कॉन्ट्रैक्शन के माध्यम से GPU एक्सेलेरेशन को सुगम बनाता है।
ग्रुप रिकवरी (Group Recovery): लेटेंट ग्रुप स्ट्रक्चर को प्रत्येक क्लास $k$ को उस ग्रुप $m$ को असाइन करके रिकवर किया जाता है जो अनुमानित पोस्टीरियर प्रायिकता $\hat{\pi}_m(I_k)$ को अधिकतम करता है।

सैद्धांतिक गुण (Theoretical Properties)
पेपर मिक्सिंग प्रोबेबिलिटीज, डाइवर्जिंग क्लास नंबर्स ( $K \to \infty$ ), और कोवेरिएंस रेगुलरिटी के तहत स्थितियों के अंतर्गत कठोर एसिम्प्टोटिक थ्योरी स्थापित करता है।

कन्वर्जेंस रेट्स (Convergence Rates): ग्रुप-लेवल पैरामीटर्स ( $\alpha, \nu, \Omega$ ) के लिए एस्टिमेटर्स $O_p(K^{-1/2})$ की दर से अभिसरित होते हैं, जो क्लास की संख्या पर निर्भर करते हैं। इसके विपरीत, व्हिथिन-क्लास कोवेरिएंस $\Sigma$ के लिए एस्टिमेटर $O_p(N^{-1/2})$ की दर से अभिसरित होता है, जो कुल सैंपल साइज पर निर्भर करता है।
एसिम्प्टोटिक ऑर्थोगोनैलिटी (Asymptotic Orthogonality): थ्योरी ग्रुप-लेवल पैरामीटर्स और व्हिथिन-क्लास कोवेरिएंस $\Sigma$ के बीच एक एसिम्प्टोटिक ऑर्थोगोनैलिटी (और इस प्रकार स्वतंत्रता) को प्रकट करती है। यह स्पष्ट करता है कि लेटेंट ग्रुप डिस्कवरी, व्हिथिन-क्लास कोवेरिएंस एस्टीमेशन से सांख्यिकीय रूप से भिन्न है।
कंसिस्टेंसी और नॉर्मैलिटी (Consistency and Normality): मैक्सिमम लाइक्लीहुड एस्टिमेटर्स को कंसिस्टेंट और एसिम्प्टोटिकली नॉर्मल दिखाया गया है।

परिणाम (Results)

सिमुलेशन स्टडीज (Simulation Studies):
- क्लास साइज बनाम ग्रुप साइज: प्रयोग प्रदर्शित करते हैं कि क्लास की संख्या ( $K$ ) बढ़ाने से लेटेंट ग्रुप डिस्कवरी की सटीकता काफी बढ़ जाती है, जबकि प्रति क्लास सैंपल साइज ( $N/K$ ) बढ़ाने का ग्रुप रिकवरी पर न्यूनतम प्रभाव पड़ता है (हालांकि यह $\Sigma$ एस्टीमेशन में सुधार करता है)। यह सैद्धांतिक निष्कर्ष के अनुरूप है कि ग्रुप-लेवल पैरामीटर्स क्लास की संख्या पर निर्भर करते हैं, न कि व्यक्तिगत सैंपल काउंट पर।
- परफॉरमेंस तुलना: GGM विधि, लेटेंट ग्रुप स्ट्रक्चर को रिकवर करने में K-means++ और स्पेक्ट्रल क्लस्टरिंग (Spectral Clustering) सहित प्रतिस्पर्धी तरीकों से काफी बेहतर प्रदर्शन करती है। इसका लाभ विशेष रूप रूप से तब स्पष्ट होता है जब ग्रुप मीन्स के बीच अलगाव कम होता है।
रियल-वर्ल्ड एप्लीकेशन (Real-World Application):
- विधि को एक ई-कॉमर्स डेटासेट पर लागू किया गया जिसमें 238 श्रेणियों में 476,000 प्रोडक्ट इंस्टेंस शामिल थे, जिनके फीचर्स BERT एम्बेडिंग्स से प्राप्त किए गए थे।
- मानव विशेषज्ञों द्वारा मैन्युअल रूप से एनोटेट किए गए 24 समूहों के "गोल्ड स्टैंडर्ड" के मुकाबले, GGM ने 86.13% की डिस्कवरी सटीकता हासिल की।
- इसने K-means++ (60.92%) और स्पेक्ट्रल क्लस्टरिंग (79.83%) को पछाड़ दिया।
- प्राप्त ग्रुपिंग व्याख्या योग्य (interpretable) पाई गई और मानव अंतर्ज्ञान के साथ निकटता से संरेखित थी (जैसे, "इलेक्ट्रिक केतली" और "स्लो कुकर" को "इलेक्ट्रिक केतली और कुकवेयर" के तहत ग्रुप करना), जिसमें केवल कार्यात्मक ओवरलैप के कारण सीमित गलत वर्गीकरण देखे गए।

महत्व और दावे (Significance and Claims)
पेपर का दावा है कि GGM पूर्व-निर्धारित टैक्सोनॉमी पर निर्भर किए बिना लेटेंट कैटेगरी स्ट्रक्चर को खोजने के लिए एक सिद्धांतपूर्ण, पूरी तरह से डेटा-संचालित सांख्यिकीय ढांचा प्रदान करता है।

व्याख्यात्मकता (Interpretability): सॉफ्ट-क्लस्टरिंग विधियों के विपरीत, GGM स्पष्ट रूप से अंतर-श्रेणी निर्भरताओं को मॉडल करता है और वास्तविक भिन्नता को सैंपलिंग शोर से अलग करता है, जिससे अधिक व्याख्या योग्य ग्रुप स्ट्रक्चर मिलते हैं।
सांख्यिकीय कठोरता (Statistical Rigor): यह कार्य औपचारिक सांख्यिकीय गारंटी (कंसिस्टेंसी, एसिम्प्टोटिक नॉर्मैलिटी और ऑर्थोगोनैलिटी) प्रदान करता है जो अक्सर ट्री- या ग्राफ-आधारित डिस्कवरी विधियों में नहीं होती है।
व्यावहारिक उपयोगिता (Practical Utility): विधि को उच्च-आयामी, बड़े पैमाने के परिवेश (जैसे, ई-कॉमर्स) में प्रभावी दिखाया गया है, जो विशाल प्रोडक्ट कैटलॉग को व्यवस्थित करने के लिए एक स्केलेबल समाधान प्रदान करता है जहाँ मैनुअल टैक्सोनॉमी निर्माण अत्यधिक महंगा हो सकता है।

सीमाएं और भविष्य की दिशाएं (Limitations and Future Directions)
लेखक वर्तमान सीमाओं को स्वीकार करते हैं, जिसमें समूहों की संख्या $M$ को प्री-स्पेसिफाई करने की आवश्यकता और एक निश्चित फीचर डायमेंशन $p$ का अनुमान शामिल है। भविष्य के कार्य के रूप में $M$ के ऑटोमैटिक निर्धारण, अल्ट्रा-हाई-डायमेंशनल सेटिंग्स में विस्तार, और अत्यधिक असंतुलित ग्रुप स्ट्रक्चर को संभालने का सुझाव दिया गया है।

इसी तरह के और पेपर