🔢 mathematics

Variational inference and density estimation with non-negative tensor of hierarchical tucker format

यह शोधपत्र एक दो-चरणीय, रैखिक-जटिलता वाली कार्यप्रणाली प्रस्तावित करता है जो इंटरपोलेशन के बाद एक अनुकूलित द्वितीय-क्रम अनुकूलन (second-order optimization) का उपयोग करके उच्च-आयामी विविक्त संभाव्यता टेंसरों (discrete probability tensors) को एक गैर-ऋणात्मक पदानुक्रमित टकर प्रारूप (non-negative hierarchical Tucker format) में संकुचित करता है, जिससे उच्च-आयामी परिवेश में कुशल वेरिएशनल इन्फरेंस और घनत्व अनुमान सक्षम होता है।

मूल लेखक: Xun Tang, Haoxuan Chen, Lexing Ying

प्रकाशित 2026-06-24

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xun Tang, Haoxuan Chen, Lexing Ying

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास सूचनाओं का एक विशाल, बहु-आयामी पुस्तकालय है। प्रायिकता (probability) की दुनिया में, यह पुस्तकालय एक "टेंसर" (tensor) है—संख्याओं का एक विशाल ग्रिड जो हर संभव घटना के होने की संभावना को दर्शाता है। यदि आपके पास केवल 10 चर (variables) हैं जिनमें से प्रत्येक की 100 संभावनाएं हैं, तो आपके पुस्तकालय में $100^{10}$ पृष्ठ होंगे। यह इतना बड़ा है कि इसे स्टोर करना तो दूर, पढ़ना भी असंभव है।

यह शोध पत्र उस विशाल पुस्तकालय को एक छोटे, प्रबंधनीय बैकपैक में सिकोड़ने का एक चतुर तरीका प्रस्तावित करता है बिना उसकी मूल कहानी खोए। वे इस विधि को नॉन-नेगेटिव हिरार्किकल टकर फॉर्मेट के साथ वेरिएशनल इन्फरेंस एंड डेंसिटी एस्टीमेशन (Variational Inference and Density Estimation with Non-Negative Hierarchical Tucker Format) कहते हैं।

यहाँ इसका सरल विवरण दिया गया है कि वे इसे कैसे करते हैं, रोजमर्रा के उदाहरणों का उपयोग करते हुए।

समस्या: "चिह्न" (Sign) की परेशानी

गणित में, जब आप इन विशाल पुस्तकालयों को कंप्रेस करने की कोशिश करते हैं, तो आप अक्सर एक ऐसी तकनीक का उपयोग करते हैं जो डेटा को छोटे टुकड़ों (factors) में तोड़ देती है। हालांकि, मानक गणित इन टुकड़ों को "ऋणात्मक" (negative) संख्याएं रखने की अनुमति देता है।

प्रायिकता को रेत के ढेर की तरह समझें। आप "-5 रेत के कण" नहीं रख सकते। यदि आपकी संपीड़न (compression) विधि नकारात्मक संख्याएं बनाती है, तो आप एक "चिह्नित" (signed) ढेर बना देते हैं—कुछ हिस्से रेत हैं, और कुछ "एंटी-रेत" (anti-sand) हैं। यह प्रायिकता के नियमों को तोड़ देता है। आप ढेर का कुल वजन नहीं निकाल सकते, और न ही आप भविष्यवाणियां करने के लिए इसका उपयोग कर सकते हैं।

लेखकों का लक्ष्य डेटा को कंप्रेस करना है जबकि यह सुनिश्चित करना है कि हर एक संख्या सकारात्मक बनी रहे, बिल्कुल असली रेत की तरह।

समाधान: एक दो-चरणीय निर्माण परियोजना

लेखकों ने इस समस्या को हल करने के लिए एक दो-चरणीय मशीन बनाई है। इसे घर के नवीनीकरण (renovation) की तरह समझें।

चरण 1: एक कच्चा मसौदा (इंटरपोलेशन)

सबसे पहले, वे विशाल, अनकंप्रेस्ड लाइब्रेरी का एक "कच्चा मसौदा" संस्करण बनाते हैं।

वे इसे कैसे करते हैं: वे एक ऐसी तकनीक का उपयोग करते हैं जो परिदृश्य की कुछ प्रमुख तस्वीरें लेने के समान है ताकि यह अनुमान लगाया जा सके कि पूरा दृश्य कैसा दिखता है। वे विशिष्ट "पिवट" बिंदु (पुस्तकालय के मुख्य पृष्ठ) चुनते हैं और उन्हें जोड़ने के लिए हिरार्किकल टकर (HT) नामक विधि का उपयोग करते हैं।
चुनौती: यह कच्चा मसौदा बनाना तेज़ है, लेकिन यह "चिह्नित" (signed) है। इसमें वे समस्याग्रस्त नकारात्मक संख्याएं हो सकती हैं। यह एक अच्छा स्केच है, लेकिन यह अभी तक एक तैयार, उपयोगी घर नहीं है।

चरण 2: नवीनीकरण (फिटिंग)

अब, वे उस कच्चे मसौदे को लेते हैं और उसे एक "नॉन-नेगेटिव" संस्करण में बदलने के लिए मजबूर करते हैं। यही इस शोध पत्र का मुख्य नवाचार है।

लक्ष्य: वे चाहते हैं कि वे अपने कच्चे मसौदे को एक नए ढांचे (NHT) में ढालें जहाँ हर एक संख्या सकारात्मक हो, लेकिन फिर भी यह मूल कच्चे मसौदे जैसा ही दिखे।
चाल: वे एक "सेकंड-ऑर्डर" विधि का उपयोग करते हैं। कल्पना कीजिए कि आप एक छेद में पहेली के टुकड़े (puzzle piece) को फिट करने की कोशिश कर रहे हैं। एक साधारण विधि केवल टुकड़े को अंधे होकर अंदर धकेल सकती है। यह पेपर एक "स्मार्ट पुश" (एक न्यूटन स्टेप) का उपयोग करता है जो ठीक से गणना करता है कि "कोई नकारात्मक संख्या नहीं" के नियम को तोड़े बिना, एकदम सही फिट पाने के लिए कितना और किस दिशा में धक्का देना है।
गुप्त नुस्खा (वॉर्म स्टार्ट): आमतौर पर, जब आप किसी पहेली को ठीक करने की कोशिश करते हैं, तो आप एक स्थानीय जाल (local trap) में फंस सकते हैं (एक ऐसा टुकड़ा जो ठीक-ठाक फिट बैठता है लेकिन सबसे अच्छा फिट नहीं है)। लेखों ने एक "वॉर्म इनिशियलाइजेशन" रणनीति का आविष्कार किया है। मुख्य काम शुरू करने से पहले, वे टुकड़ों को एक अच्छी स्थिति में व्यवस्थित करने के लिए एक त्वरित, स्मार्ट प्री-गेम करते हैं। यह उन्हें फंसने से रोकता है और उन्हें बहुत तेज़ी से सटीक समाधान खोजने में मदद करता है।

एक "पेड़" (Tree) संरचना का उपयोग क्यों करें?

यह शोध पत्र एक हिरार्किकल टकर प्रारूप का उपयोग करता है, जो एक बाइनरी ट्री (जैसे कि एक फैमिली ट्री या डिसीजन ट्री) पर आधारित है।

पुराना तरीका (ट्रेन): पिछले तरीकों ने एक "ट्रेन" संरचना (टेन्सर ट्रेन) का उपयोग किया था, जहाँ चर एक लंबी रेखा में जुड़े होते हैं। यह उस डेटा के लिए बहुत अच्छा काम करता है जहाँ चीजें केवल अपने निकटतम पड़ोसियों को प्रभावित करती हैं (जैसे कि संदेश पास करते लोगों की एक पंक्ति)।
नया तरीका (पेड़): लेखकों की "ट्री" संरचना उस डेटा के लिए बेहतर है जहाँ चीजें जटिल, 2D पैटर्न में एक-दूसरे को प्रभावित करती हैं (जैसे कि एक कमरे में लोगों का ग्रिड जहाँ हर कोई अपने पड़ोसियों से सभी दिशाओं में बात करता है)। ट्री संरचना स्वाभाविक रूप से इन जटिल "2D लैटिस" संबंधों को कैप्चर करती है, जिन्हें "ट्रेन" संरचना संघर्ष करती है।

परिणाम

लेखकों ने दो प्रकार की समस्याओं पर इनका परीक्षण किया:

वेरिएशनल इन्फरेंस: जहाँ आपके पास एक फॉर्मूला होता है और आप सीधे उससे प्रश्न पूछ सकते हैं।
डेंसिटी एस्टीमेशन: जहाँ आपके पास केवल रैंडम सैंपल्स का एक बैग होता है और आपको वितरण (distribution) के आकार का अनुमान लगाना होता है।

दोनों मामलों में, उनकी विधि:

डेटा को कुशलतापूर्वक कंप्रेस किया (फाइल का आकार छोटा रखा)।
सभी संख्याओं को सकारात्मक रखा (यह सुनिश्चित किया कि यह एक वैध प्रायिकता मॉडल है)।
पुराने तरीकों की तुलना में, विशेष रूप से जटिल 2D ग्रिड समस्याओं के लिए, बहुत तेज़ी से और अधिक सटीकता के साथ काम पूरा किया।

सारांश

इस शोध पत्र को एक विशाल, जटिल मानचित्र को अपनी जेब में मोड़ने का एक नया, स्मार्ट तरीका आविष्कार करने के रूप में समझें।

पहले वे मानचित्र का एक त्वरित, कच्चा स्केच बनाते हैं (चरण 1)।
फिर, वे एक विशेष, स्मार्ट फोल्डिंग तकनीक का उपयोग करते हैं (चरण 2) जो यह सुनिश्चित करती है कि मानचित्र को बिना किसी "नकारात्मक" मोड़ के पूरी तरह से मोड़ा जाए, जिसमें पुराने सीधी रेखा वाले फोल्डिंग तरीकों की तुलना में जटिल आकृतियों को बेहतर ढंग से संभालने वाला पेड़ जैसा फोल्डिंग पैटर्न उपयोग किया जाता है।
उन्होंने फोल्डिंग प्रक्रिया को सही जगह से शुरू करने का तरीका भी खोजा ताकि बाद में खराब फोल्ड को ठीक करने में समय बर्बाद न हो।

परिणामस्वरूप, यह भारी मात्रा में प्रायिकता डेटा को संग्रहीत करने और समझने का एक अत्यधिक कुशल और गणितीय रूप से सुदृढ़ तरीका है।

तकनीकी सारांश: गैर-ऋणात्मक पदानुक्रमित टकर (Hierarchical Tucker) प्रारूप के साथ विचलनकारी अनुमान (Variational Inference) और घनत्व अनुमान (Density Estimation)

समस्या विवरण
यह शोध पत्र उच्च-आयामी असतत संभाव्यता वितरणों (high-dimensional discrete probability distributions), जिन्हें टेंसर $P: [n]^d \to \mathbb{R}_{\geq 0}$ के रूप में दर्शाया गया है, को सुलभ निम्न-रैंक प्रारूपों में संकुचित करने की चुनौती का समाधान करता है। ऐसे टेंसर को सीधे संग्रहीत करने के लिए $O(n^d)$ जटिलता की आवश्यकता होती है, जो मध्यम आयामों $d$ (जैसे, दर्जनों चर) के लिए भी अव्यवहार्य हो जाती है। लक्ष्य $P$ को एक ऐसे पैरामेट्रिक परिवार के भीतर अनुमानित करना है जो कुशल भंडारण, नमूनाकरण (sampling) और संभावना मूल्यांकन (likelihood evaluation) की अनुमति देता है। यह कार्य दो एक्सेस मॉडल पर विचार करता है:

विचलनकारी अनुमान (Variational Inference - VI): $P$ तक एक ऑरेकल के माध्यम से पहुँच, जो असामान्यीकृत मानों (unnormalized values) को एक स्थिरांक तक प्रदान करता है।
घनत्व अनुमान (Density Estimation - DE): वितरण से लिए गए नमूनों के संग्रह के माध्यम से $P$ तक पहुँच।

मौजूदा टेंसर नेटवर्क मॉडल, जैसे कि टेंसर-ट्रैन (Tensor-Train - TT) प्रारूप, उन वितरणों के लिए प्रभावी हैं जो "एरिया लॉ" (area law) का पालन करते हैं, लेकिन वे 2D लैटिस मॉडल या जटिल इंटरेक्शन संरचनाओं के साथ संघर्ष करते हैं जहाँ एरिया लॉ लागू नहीं होता है। इसके अतिरिक्त, मानक टेंसर नेटवर्क स्वाभाविक रूप से गैर-ऋणात्मकता (non-negativity) की गारंटी नहीं देते हैं, जो संभाव्यता वितरणों के लिए महत्वपूर्ण है ताकि डाउनस्ट्रीम कार्यों जैसे कि कुलबैक-लीब्लर (Kullback-Leibler) डाइवर्जेंस गणना या नमूनाकरण में "साइन समस्याओं" (sign problems) से बचा जा सके।

कार्यप्रणाली
लेखक $P$ को गैर-ऋणात्मक पदानुक्रमित टकर (Non-Negative Hierarchical Tucker - NHT) प्रारूप में संकुचित करने के लिए एक दो-चरणीय एंड-टू-एंड एल्गोरिदम प्रस्तावित करते हैं।

चरण 1: पदानुक्रमित टकर इंटरपोलेशन (संदर्भ निर्माण)
- लक्ष्य: एक हस्ताक्षरित (signed) Hierarchical Tucker (HT) सन्निकटन $\tilde{P} \approx P$ का निर्माण करना।
- VI केस: इंटरपलेटिव डीकंपोजिशन (CUR-जैसी डीकंपोजिशन) पर आधारित मौजूदा इंटरपोलेशन विधियों का उपयोग करना जो $P$ के प्रविष्टियों (entries) को क्वेरी करती हैं और $\tilde{P}$ का पुनर्निर्माण करती हैं।
- DE केस: $\tilde{P}$ का निर्माण करने के लिए मौजूदा घनत्व अनुमान एल्गोरिदम का उपयोग करना।
- आउटपुट: एक हस्ताक्षरित घटकों वाला संदर्भ टेंसर $\tilde{P}$ । यह चरण गैर-ऋणात्मकता को लागू नहीं करता है।
चरण 2: गैर-ऋणात्मक पदानुखंडित टकर फिटिंग
- लक्ष्य: हस्ताक्षरित संदर्भ $\tilde{P}$ के लिए एक गैर-ऋणात्मक एंसेट (ansatz) $P_G$ (जो गैर-ऋणात्मक टेंसर कारकों $G = \{G_q\}$ द्वारा पैरामीटराइज्ड है) को फिट करना।
- अनुकूलन (Optimization): समस्या को $\tilde{P}$ और $P_G$ के बीच वर्ग फ्रोबेनियस नॉर्म (squared Frobenius norm) और गैर-ऋणात्मकता को लागू करने के लिए एक लॉग-बैरियर पेनल्टी वाले लॉस फंक्शन $\ell(G)$ को कम करने के रूप में तैयार किया गया है:
  $\ell(G) = \|P_G - \tilde{P}\|_F^2 + \sum_q \mu_q \phi_q(G_q)$
  जहाँ $\phi_q$ , $G_q$ की प्रविष्टियों पर एक लॉग-बैरियर है।
- एल्गोरिदम: एक अल्टरनेटिंग मिनिमाइजेशन दृष्टिकोण का उपयोग किया जाता है। प्रत्येक टेंसर घटक $G_q$ $G_{q}$ के लिए, एल्गोरिदम दूसरे-क्रम के न्यूटन स्टेप (second-order Newton step) का उपयोग करके वेरिएबल को अपडेट करता है।
  - ग्रेडिएंट/हेसियन (Gradient/Hessian): बाइनरी ट्री संरचना पर मैसेज पासिंग के माध्यम से कंप्यूट किया जाता है, जिसमें क्रोनेकर उत्पादों (Kronecker products) का उपयोग होता है।
  - दक्षता: $O(\rho^9)$ लागत वाले डेंस हेसियन को इनवर्ट करने से बचने के लिए, विधि मध्य नोड्स के लिए कंजुगेट ग्रेडिएंट (CG) और लीफ नोड्स के लिए डिकपल्ड सॉल्व्स का उपयोग करती है।
- वार्म इनिशियलाइजेशन (Warm Initialization): एक महत्वपूर्ण घटक "गेज वार्म इनिशियलाइजेशन" रणनीति (एल्गोरिदम 2.3) है। केवल हस्ताक्षरित संदर्भ के थ्रेशोल्डिंग के बजाय, यह विधि टेंसर नेटवर्क में गेज स्वतंत्रता (gauge freedom) का लाभ उठाती है। यह संदर्भ घटकों $F_q$ को "लीव-वन-आउट" (leave-one-out) पद्धति में सर्वोत्तम रूप से फिट करने के लिए एक डिकपल्ड स्वीप (लीफ से रूट तक) करता है। यह अभिसरण (convergence) में काफी सुधार करता है और स्थानीय मिनिमा (local minima) से बचाता है।

प्रमुख योगदान

उच्च-आयामी वितरणों के लिए NHT प्रारूप: यह शोध पत्र गैर-ऋणात्मक पदानुक्रमित टकर प्रारूप के उपयोग का परिचय देता है, जो संरचनात्मक बाधाओं (जैसे 2D लैटिस) के कारण पारंपरिक टेंसर-ट्रैन (TT) मॉडल की तुलना में बेहतर है, और साथ ही संभाव्यता वितरणों के लिए आवश्यक गैर-ऋणात्मकता बनाए रखता है।
द्वितीय-क्रम फिटिंग प्रक्रिया: लेखक NHT फिटिंग चरण के लिए एक अनुकूलित द्वितीय-क्रम अनुकूलन विधि डिजाइन करते हैं। इसमें एक नवीन वार्म इनिशियलाइजेशन रणनीति शामिल है जो उच्च-आयामी सेटिंग्स में स्थानीय मिनिमा तक पहुँचने की कठिनाई को संबोधित करती है, जो अक्सर मानक इनिशियलाइजेशन की तुलना में अंतिम सटीकता में एक क्रम (order of magnitude) का सुधार करती है।
कंप्यूटेशनल जटिलता: प्रस्तावित कार्यप्रणाली के दोनों चरणों में $O(d)$ कंप्यूटेशनल जटिलता है, जिससे यह उच्च-आयामी सेटिंग्स के लिए स्केलेबल बनता है।
एंड-टू-एंड एल्गोरिदम: यह कार्य साइन संदर्भ (signed reference) के निर्माण और एक भौतिक रूप से वैध गैर-ऋणात्मक मॉडल को फिट करने के बीच के अंतर को पाटते हुए, दोनों Variational Inference और Density Estimation परिदृश्यों के लिए एक पूर्ण पाइपलाइन प्रदान करता है।

प्रायोगिक परिणाम
दोनों एक्सेस मॉडलों पर संख्यात्मक प्रयोग किए गए:

विचलनकारी अनुमान (Variational Inference): 2D गिंजबर्ग-लैंडौ (Ginzburg-Landau) मॉडल ( $d=32$ ) और एक हेवी-टेल्ड (heavy-tailed) मॉडल ( $d=30$ ) पर परीक्षण किया गया। एडेप्टिव-बैरियर प्रीकंडीशन्ड न्यूटन इटरेशन ने मल्टीप्लिकेटिव-अपडेट बेंचमार्क की तुलना में काफी बेहतर प्रदर्शन किया, जिससे समान वॉल-क्लॉक समय के भीतर कम सापेक्ष वर्ग फ्रोबेनियस लॉस प्राप्त हुआ।
घनत्व अनुमान (Density Estimation): 2D आइसिंग मॉडल ( $d=32$ ) और 2D ट्रांसवर्स-फील्ड आइसिंग मॉडल ( $d=64$ ) पर परीक्षण किया गया। विधि ने ग्राउंड-ट्रुथ वितरण का सफलतापूर्वक सन्निकटन किया, जिसमें नेगेटिव लॉग-लाइक्लीहुड (NLL) मान सटीक मानों के करीब थे।
एब्लेशन अध्ययन (Ablation Studies):
- NHT बनाम NTT: 2D गिंजबर्ग-लैंडौ मॉडल में, NHT एंसेट ने NTT एंसेट की तुलना में बेहतर फिटिंग सटीकता प्राप्त की, भले ही NTT मॉडल को दोगुने पैरामीटर दिए गए थे।
- इनिशियलाइजेशन: प्रस्तावित गेज वार्म इनिशियलाइजेशन (एल्गोरिदम 2.3) ने मल्टीप्लिकेटिव अपडेट एल्गोरिदम (एल्गोरिदम 3.1) का उपयोग करके इनिशियलाइज करने की तुलना में लगातार बेहतर फिटिंग परिणाम दिए।

महत्व और दावे
शोध पत्र का दावा है कि प्रस्तावित NHT कार्यप्रणाली उन उच्च-आयामी असतत वितरणों के संपीड़न के लिए एक मजबूत समाधान प्रदान करती है जहाँ पारंपरिक टेंसर-ट्रैन मॉडल संरचनात्मक बाधाओं (जैसे 2D लैटिस) के कारण विफल हो जाते हैं। एंसेट के माध्यम से गैर-ऋणात्मकता सुनिश्चित करके और एक परिष्कृत द्वितीय-क्रम फिटिंग प्रक्रिया तथा एक विशेष वार्म स्टार्ट का उपयोग करके, यह विधि अनियंत्रित टेंसर नेटवर्क से जुड़ी साइन समस्याओं के बिना सटीक घनत्व अनुमान और विचलनकारी अनुमान को सक्षम बनाती है। लेखक नोट करते हैं कि हालांकि यह विधि पूर्ण बाइनरी ट्री पर दर्शायी गई है, कोड अधूरे ट्री (incomplete trees) का समर्थन करता है, और भविष्य के कार्य कार्यात्मक पदानुक्रमित टेंसर एंसेट (functional hierarchical tensor ansatzes) तक विस्तार कर सकते हैं या मोमेंट संरक्षण बाधाओं (moment conservation constraints) को शामिल कर सकते हैं।