💻 computer science

Algebraic Operations on Tensor Trains

यह शोध पत्र टेंसर ट्रेन (TT) प्रारूप में प्रस्तुत टेंसरों पर योग (summation), हेडामार्ड उत्पाद (Hadamard products), और मैट्रिक्स-वेक्टर उत्पादों को करने के लिए कुशल एल्गोरिदम पेश करता है, जो मौजूदा विधियों की तुलना में कम्प्यूटेशनल दक्षता और सटीकता के बीच एक बेहतर संतुलन प्राप्त करता है।

मूल लेखक: Petr Tichavsky

प्रकाशित 2026-06-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Petr Tichavsky

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप सूचना के एक विशाल, बहु-आयामी पुस्तकालय को संग्रहीत करने की कोशिश कर रहे हैं। डेटा विज्ञान की दुनिया में, इस पुस्तकालय को टेंसर (tensor) कहा जाता है। जैसे-जैसे यह पुस्तकालय बढ़ता है (इसमें समय, रंग, स्थान और मनोदशा जैसे अधिक आयाम जुड़ते हैं), इसे संग्रहीत करने के लिए आवश्यक स्थान तेजी से बढ़ता जाता है। यह एक जूते के डिब्बे में पूरी आकाशगंगा को फिट करने की कोशिश करने जैसा है; अंततः, आपका कंप्यूटर मेमोरी की कमी के कारण रुक जाएगा।

इसे हल करने के लिए, वैज्ञानिक एक चतुर संपीड़न (compression) तकनीक का उपयोग करते हैं जिसे टेंसर ट्रेन (Tensor Train - TT) कहा जाता है। एक टेंसर ट्रेन को डेटा के एक विशाल, ठोस ब्लॉक के रूप में नहीं, बल्कि जुड़े हुए डिब्बों की एक ट्रेन के रूप में सोचें। पूरे पुस्तकालय को एक साथ संग्रहीत करने के बजाय, आप आपस में जुड़े हुए छोटे, प्रबंधनीय डिब्बों (जिन्हें "वैगन" कहा जाता है) की एक श्रृंखला संग्रहीत करते हैं। पूरी तस्वीर पाने के लिए, आपको बस क्रम में इन डिब्बों को जोड़ना होता है। यह इसे बिना किसी विशाल शहर जितने बड़े सुपरकंप्यूटर के, भारी मात्रा में डेटा को संभालने में सक्षम बनाता है।

हालाँकि, कभी-कभी वह "ट्रेन" भी बहुत भारी हो जाती है। डिब्बों के बीच के जुड़ाव (जिसे बॉन्ड डायमेंशन/bond dimensions कहा जाता) इतने मोटे हो सकते हैं कि ट्रेन अभी भी इतनी बड़ी हो जाती है कि मेमोरी में न समा सके। आपको ट्रेन के मूल आकार को खोए बिना उसका वजन कम करने की आवश्यकता होती है। इस प्रक्रिया को राउंडिंग (rounding) कहा जाता है।

मौजूदा तरीकों के साथ समस्या

यह पेपर बताता है कि ट्रेन को हल्का करने के मौजूदा तरीके हैं, लेकिन उनमें एक समझौता (trade-off) है:

पुराना तरीका: यह बहुत सटीक है (ट्रेन को एकदम सही रखता है) लेकिन धीमा और भारी है।
नए "तेज" तरीके: वे अविश्वसनीय रूप से त्वरित हैं लेकिन अक्सर बहुत अधिक विवरण काट देते हैं, जिससे ट्रेन विकृत (distorted) दिखने लगती है।

लेखक, पेट्र टिचाव्स्की (Petr Tichavský), उपकरणों का एक नया सेट पेश करते हैं जो एक स्मार्ट, सटीक स्कैल्पल (शल्य चिकित्सा चाकू) की तरह काम करते हैं। ये उपकरण ट्रेन से अतिरिक्त वजन को काटने में सक्षम हैं ताकि इसे छोटा और तेज़ बनाया जा सके, लेकिन वे यह सुनिश्चित करते हैं कि ट्रेन लगभग मूल के समान ही दिखे। वे गति और सटीकता का सबसे अच्छा संतुलन प्रदान करते हैं: सटीकता से बहुत अधिक समझौता किए बिना गति।

तीन नए उपकरण

यह पेपर तीन विशिष्ट परिदृश्यों पर ध्यान केंद्रित करता है जहाँ आपको इन डेटा ट्रेनों को जोड़ने या संसाधित करने की आवश्यकता होती है:

1. ट्रेनों को आपस में जोड़ना (Sum of TTs)
कल्पना कीजिए कि आपके पास कई अलग-अलग ट्रेनें हैं, और आप उन्हें एक बड़ी ट्रेन में मिलाना चाहते हैं।

पुरानी समस्या: यदि आप उन्हें बस आपस में टकरा देते हैं, तो नई ट्रेन बहुत अधिक चौड़ी और भारी हो जाती है।
नया समाधान: लेखक का एल्गोरिदम (TTSVDTT) जानता है कि इन ट्रेनों को कैसे मिलाया जाए और तुरंत अतिरिक्त वजन को कैसे छाँटा जाए, ताकि अंतिम परिणाम एक एकल, सुव्यवस्थित ट्रेन हो जो मेमोरी में फिट हो सके। यह डेटा को एक प्रारूप (जैसे कि सामग्रियों की सूची) से "ट्रेन" प्रारूप में बदलने के लिए विशेष रूप से उपयोगी है।

2. ट्रेनों को तत्व-दर-तत्व मिलाना (Hadamard Product)
कल्पना कीजिए कि आपके पास दो ट्रेनें हैं, और आप उन्हें इस तरह मिलाना चाहते हैं कि ट्रेन A का हर डिब्बा, ट्रेन B के संगत डिब्बे के साथ जुड़ जाए।

पुरानी समस्या: यदि आप इसे साधारण तरीके से करते हैं, तो नए डिब्बे डेटा के विशाल ब्लॉक बन जाते हैं (जैसे कि 1,000 को 1,000 से गुणा करके 1,000,000 प्राप्त करना)। आपका कंप्यूटर इन विशाल ब्लॉकों को संभालने की कोशिश में क्रैश हो जाएगा।
नया समाधान: लेखक का नया एल्गोरिदम (TTSVDHP) एक जादूगर की तरह है। यह उस विशाल, भारी ब्लॉकों को वास्तव में बनाए बिना ही मिश्रण (mixing) करता है। यह परिणाम की गणना किनारे पर छोटे, चतुर गणितीय चरणों के माध्यम से करता है, जिससे बिना किसी विशाल मध्यवर्ती डेटा के, अंतिम, हल्का ट्रेन प्राप्त होता है।

3. एक ट्रेन पर फ़िल्टर लागू करना (Matrix-Vector Product)
कल्पना कीजिए कि आपके पास एक "वेव फंक्शन" (एक कण प्रणाली का वर्णन) को दर्शाने वाली एक ट्रेन है और एक विशाल फ़िल्टर (हैमिल्टोनियन मैट्रिक्स) है जो वेव को बदल देता है। आप उस ट्रेन को फ़िल्टर के माध्यम से गुजारना चाहते हैं।

पुरानी समस्या: एक विशाल ट्रेन को एक विशाल फ़िल्टर के माध्यम से धकेलना आमतौर पर ऐसा परिणाम पैदा करता है जिसे संग्रहीत करना बहुत कठिन होता है।
नया समाधान: लेखक की विधि (TTSVDHX) ट्रेन को फ़िल्टर के माध्यम से भेजती है और तुरंत परिणाम को कंप्रेस (संपीड़ित) कर देती है। यह एक ऐसे फ़िल्टर की तरह है जो न केवल पानी को साफ करता है बल्कि उससे निकलने वाले पाइप को भी तुरंत सिकोड़ देता है, ताकि आपको उसे पकड़ने के लिए बड़े टैंक की आवश्यकता न पड़े।

वास्तविक दुनिया का परीक्षण: क्वांटम केमिस्ट्री

इन उपकरणों के काम करने को सिद्ध करने के लिए, लेखक ने क्वांटम केमिस्ट्री पर इनका परीक्षण किया।

परिदृश्य: वैज्ञानिक अणुओं (जैसे बेंजीन या एनुलिन) के निम्नतम ऊर्जा स्तर को खोजने का प्रयास करते हैं ताकि उनके व्यवहार को समझा जा सके। इसमें विशाल डेटा ट्रेनों के साथ बड़े समीकरणों को हल करना शामिल है।
परिणाम: नए एल्गोरिदम ने सफलतापूर्वक इन अणुओं की न्यूनतम ऊर्जा की गणना की। वे मानक कंप्यूटरों पर चलने के लिए पर्याप्त तेज़ थे और सटीक होने के मामले में सबसे भरोसेमंद, भारी-भरकम विधियों (जिन्हें DMRG कहा जाता है) के बराबर थे।

मुख्य निष्कर्ष

यह पेपर डेटा ट्रेनों के लिए "स्मार्ट कंप्रेशन टूल्स" का एक सेट प्रस्तुत करता है। चाहे आप ट्रेनों को जोड़ रहे हों, मिला रहे हों, या फ़िल्टर कर रहे हों, ये नए एल्गोरिदम आपको पुराने धीमे तरीकों की तुलना में तेज़ और अन्य तेज़ तरीकों की तुलना में अधिक सटीक तरीके से गणित करने की अनुमति देते हैं। यह डेटा की "आकाशगंगा" को उसके सितारों को खोए बिना आपके "जूते के डिब्बे" में रखने का एक तरीका है।

तकनीकी सारांश: टेंसर ट्रेनों पर बीजगणितीय संचालन

समस्या विवरण
उच्च-आयामी टेंसर क्वांटम केमिस्ट्री, सिस्टम आइडेंटिफिकेशन और डायनेमिक प्रोग्रामिंग जैसे अनुप्रयोगों में बार-बार सामने आते हैं। आयाम के सापेक्ष टेंसर तत्वों की घातांकीय वृद्धि (जिसे "डायमेंशनलिटी का अभिशाष" या "curse of dimensionality" कहा जाता है) पूर्ण टेंसरों को संग्रहीत और हेरफेर करना अव्यावहारिक बनाती है। टेंसर ट्रेन (TT) प्रारूप, जिसे मैट्रिक्स प्रोडक्ट स्टेट (MPS) भी कहा जाता है, प्रबंधनीय बॉन्ड आयामों के साथ कम-रैंक वाले कोर (वैगन्स/wagons) के एक अनुक्रम के रूप में टेंसर को प्रस्तुत करके इस समस्या का समाधान करता है।

हालाँकि, पहले से ही TT प्रारूप में मौजूद टेंसरों पर बीजगणितीय संचालन करना महत्वपूर्ण चुनौतियाँ पेश करता है। विशेष रूप से:

योग (Summation): कई TTs को जोड़ना (जैसे, टेंसर ट्रेनों का योग या SOTT) अक्सर एक एकल TT में परिणाम देता है जिसका बॉइड आयाम अत्यधिक बड़ा हो जाता है यदि इसे सहज रूप से परिवर्तित किया जाए।
हादामर्ड उत्पाद (Hadamard Product): दो TTs का तत्ववार (elementwise) उत्पाद सैद्धांतिक रूप से व्यक्तिगत बॉइड आयामों के गुणनफल के बराबर बॉइड आयाम ( $B_{prod} = B_1 B_2$ ) उत्पन्न करता है। बड़े बॉइड आयामों (जैसे, $B=1000$ ) के लिए, मध्यवर्ती वैगन्स बहुत बड़े हो जाते हैं (प्रत्येक कोर के लिए $10^6$ तत्व, जिससे कुल $10^{12}$ तत्व हो जाते हैं)।
मैट्रिक्स-वेक्टर उत्पाद (Matrix-Vector Product): $y = Hx $की गणना करना जहाँ ऑपरेटर$ H$ (मैट्रिक्स प्रोडक्ट ऑपरेटर, MPO) और वेक्टर $x$ दोनों MPS प्रारूप में हैं, इसी तरह बॉइड आयामों के विशाल विस्तार की ओर ले जाता है।

"टेंसर राउंडिंग" (बॉइड आयामों को कम करना) के मौजूदा तरीके अक्सर एक ट्रेड-ऑफ का सामना करते हैं: पारंपरिक एल्गोरिदम (जैसे, TT-SVD) उच्च सटीकता प्रदान करते हैं लेकिन कम्प्यूटेशनल रूप से महंगे होते हैं, जबकि तेज़ रैंडमाइज्ड या खात्री-राओ उत्पाद (KRP) आधारित तरीके अक्सर लॉस्य (lossy) परिदृश्यों में कम सटीकता से ग्रस्त होते हैं।

कार्यप्रणाली
यह शोध पत्र TTSVDTT (TT पर लागू किया गया TT-SVD) एल्गोरिदम के एक सामान्यीकृत और बेहतर संस्करण का प्रस्ताव करता है। मुख्य कार्यप्रणाली इन टेंसरों के पूर्ण निर्माण से बचने पर आधारित है। इसके बजाय, यह मैट्रिक्स अपघटन (decompositions) का उपयोग करके इन टेंसरों के उत्पादों पर कार्य करती है।

स्ट्रैंगुलेशन और SVD (Strangulation and SVD): दृष्टिकोण "स्ट्रैंगुलेशन" का उपयोग करता है, जहाँ एक टेंसर को मैट्रिक्स में पुनर्गठित किया जाता है और बॉइड आयाम को कम करने के लिए सिंगुलर वैल्यू डीकंपोजिशन (SVD) के माध्यम से विघटित किया जाता है।
निहित मैट्रिक्स संचालन (Implicit Matrix Operations): TTSVDTT एल्गोरिदम के लिए, बड़े मैट्रिक्स $X_n$ (जिसमें पूर्ण उत्पाद टेंसर वैगन्स शामिल होंगे) का निर्माण करने के बजाय, एल्गोरिदम $X_n X_n^T$ का निहित रूप से गणना करता है। यह $X_n$ के बाएं सिंगुलर वेक्टर्स को $X_n X_n^T$ के आइजनवेक्टर्स के रूप में प्राप्त करता है।
चोलेस्की अपघटन और ट्रंकेटेड SVD (Cholesky Decomposition and Truncated SVD): एक प्रमुख नवाचार $M_n = X_n X_n^T$ को $S_n S_n^T$ के रूप में विघटित करना (जैसे, चोलेस्की अपघटन के माध्यम से) है। एल्गोरिदम फिर एक छोटे सहायक टेंसर $Y_n$ (जो $z_n$ और $S_n$ से व्युत्पन्न है) पर ट्रंकेटेड SVD निष्पादित करके वांछित वैगन $y_n$ की गणना करता है, न कि पूर्ण $X_n$ पर।
विशेषित वेरिएंट्स (Specialized Variants): यह शोध पत्र तीन विशिष्ट इनपुट प्रारूपों के लिए इस ढांचे का विस्तार करता है, बिना पूर्ण उत्पाद को स्पष्ट रूप से बनाए:
- SOTT (Sum of TTs): $M$ ट्रेनों के योग के लिए, एल्गोरिदम संयुक्त वैगन्स की ब्लॉक-डायगोनल संरचना का लाभ उठाता है, जो $O(M^2)$ मेमोरी कॉम्प्लेक्सिटी से बचने के लिए केवल डायगोनल ब्लॉक्स को संग्रहीत करता है।
- हादामर्ड उत्पाद (Hadamard Product - TTSVDHP): दो TTs के तत्ववार उत्पाद के लिए, यह पूर्ण वैगन्स के क्रोनेकर उत्पाद (Kronecker product) के निर्माण से बचता है। यह बड़े क्रोनेकर स्ट्रक्चर के साथ उत्पाद की गणना करने के लिए छोटे घटक मैट्रिसेस ( $f_n$ और $g_n$ ) को अलग-अलग गुणा करके $\text{vec}(ABC) = (C^T \otimes A)\text{vec}(B)$ पहचान का उपयोग करता है।
- MPO-MPS उत्पाद (MPO-MPS Product - TTSVDHX): $y=Hx $के उत्पाद के लिए, एल्गोरिदम सहायक टेंसर ($ z_n, V_n, Y_n$) की गणना करता है जो पूर्ण उत्पाद वैगन्स की तुलना में काफी छोटे होते हैं, जिससे कुशल ट्रंकेशन संभव होता है।

प्रमुख योगदान

सामान्यीकृत TTSVDTT: शोध पत्र एक सामान्यीकृत TTSVDTT एल्गोरिदम प्रस्तुत करता है जो न केवल एकल TT बल्कि उनके योग, हादामर्ड उत्पाद, या MPO-MPS उत्पादों को भी संभालने में सक्षम है।
मेमोरी दक्षता: प्रस्तावित एल्गोरिदम (TTSVDHP और TTSVDHX) बिना किसी पूर्ण उत्पाद का मूल्यांकन किए या विशाल मध्यवर्ती सरणियों को संग्रहीत किए बिना टेंसर उत्पादों की राउंडिंग करने की अनुमति देते हैं।
सटीकता-गति ट्रेड-ऑफ (Accuracy-Speed Tradeoff): यह शोध पत्र "सक्सेसिव रैंडमाइज्ड कम्प्रेशन" (SRC) और KRP-आधारित राउंडिंग विधियों के विकल्प के रूप में एक नया दृष्टिकोण पेश करता है। जबकि रैंडमाइज्ड तरीके तेज़ होते हैं, प्रस्तावित TTSVDTT वेरिएंट्स बेहतर सटीकता और दक्षता का संतुलन प्रदान करते हैं, विशेष रूप से लॉस्य राउंडिंग परिदृश्यों में जहाँ परिशुद्धता महत्वपूर्ण है।
CPD से TT रूपांतरण: यह कार्य कैनोनिकल पॉलीडिक डीकंपोजिशन (CPD) को TT प्रारूप में (और इसके विपरीत) बदलने में सक्षम बनाता है, CPD को बॉइड आयाम 1 के साथ SOTT के एक विशेष मामले के रूप में मानकर।

परिणाम
सिंथेटिक डेटा और वास्तविक दुनिया की क्वांटम केमिस्ट्री समस्याओं पर संख्यात्मक प्रयोग किए गए:

SOTT/CPD: एक CP मॉडल (रैंक 1000) को TT में बदलने में, विशेषीकृत TTSVDCP एल्गोरिदम उच्च सटीकता बनाए रखते हुए सबसे तेज़ तरीकों के प्रतिस्पर्धी रहा।
हादामर्ड उत्पाद: दो TTs (बॉइड आयाम 20) के तत्ववार उत्पाद के प्रयोगों में, प्रस्तावित TTSVDHP एल्गोरिदम ने TTSVDTT और पारंपरिक राउंडिंग के समान फिटिंग एरर प्राप्त किया, लेकिन पारंपरिक राउंडिंग की तुलना में काफी तेज़ था। इसने उन उच्च आयामों को सफलतापूर्वक संभाला जहाँ अन्य विधियाँ मेमोरी बाधाओं के कारण विफल रहीं।
MPO-MPS उत्पाद: $y=Hx$ की गणना करने में, TTSVDHX एल्गोरिदम ने पारंपरिक TT राउंडिंग और TTSVDTT के लगभग समान सटीकता प्रदर्शित की, और SRC एवं KRP विधियों की तुलना में बेहतर प्रदर्शन किया। इसकी कम्प्यूटेशनल जटिलता पारंपरिक विधियों की तुलना में बढ़ते बॉइड आयामों के साथ कम दर से बढ़ी।
क्वांटम केमिस्ट्री अनुप्रयोग: एल्गोरिदम को चक्रीय एरोमैटिक अणुओं (बेंजीन, [10]एनुलिन, [18]एनुलिन) के लिए हैमिल्टनियन के क्वाड्रेटिक फॉर्म को मिनिमाइज करने (ग्राउंड स्टेट एनर्जी खोजने) के लिए लागू किया गया। TTSVDHX एल्गोरिदम ने सफलतापूर्वक न्यूनतम ऊर्जा की गणना की, जिसकी पुष्टि DMRG एल्गोरिदम द्वारा की गई, जो इसकी व्यावहारिक व्यवहार्यता को सिद्ध करता है।

महत्व और दावे
शोध पत्र का दावा है कि प्रस्तावित एल्गोरिदम अत्याधुनिक विधियों की तुलना में कम्प्यूटेशनल दक्षता और सटीकता के बीच एक बेहतर संतुलन प्राप्त करते हैं। विशेष रूप से:

रैंडमाइज्ड या KRP-आधारित एल्गोरिदम के विपरीत, जो 50× तक तेज़ हो सकते हैं लेकिन लॉस्य परिदृश्यों में कम सटीक होते हैं, प्रस्तावित TTSVDTT वेरिएंट्स मूल TT-SVD दृष्टिकोण की उच्च सटीकता बनाए रखते हुए गति में सुधार प्रदान करते हैं।
एल्गोरिदम टेंसर बीजगणित (योग, हादामर्ड उत्पाद और मैट्रिक्स-वेक्टर उत्पाद) में निहित "मेमोरी बॉटलनेक" की समस्या को हल करते हैं, जो स्पष्ट विस्तार के बिना संकुचित निरूपणों पर कार्य करते हैं।
यह कार्य उच्च-आयामी अनुप्रयोगों, विशेष रूप से क्वांटम केमिस्ट्री के लिए एक मजबूत उपकरण प्रदान करता है, जिससे बड़े हैमिल्टोनियन्स के लिए जटिल क्वाड्रेटिक ऑप्टिमाइजेशन समस्याओं को हल करना संभव होता है जो मेमोरी सीमाओं के कारण अन्यथा असंभव होता।

मौजूदा तरीकों के साथ समस्या

तीन नए उपकरण

वास्तविक दुनिया का परीक्षण: क्वांटम केमिस्ट्री

मुख्य निष्कर्ष

इसी तरह के और पेपर