🤖 machine learning

Tensor Cookbook: Mastering Tensors through Diagrams

यह शोधपत्र टेंसर नेटवर्क के लिए एक स्व-निहित मार्गदर्शिका प्रदान करता है, जो यह प्रदर्शित करता है कि कैसे उनकी ग्राफ़िकल नोटेशन पारंपरिक इंडेक्स-आधारित विधियों की तुलना में अधिक पारदर्शी प्रमाण और कुशल व्युत्पत्ति प्रदान करके उच्च-आयामी टेंसरों के प्रतिनिधित्व, हेरफेर और विश्लेषण को सरल बनाती है।

मूल लेखक: Beheshteh T. Rakhshan, Guillaume Rabusseau

प्रकाशित 2026-05-19

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Beheshteh T. Rakhshan, Guillaume Rabusseau

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप सूचना के एक विशाल पुस्तकालय को व्यवस्थित करने की कोशिश कर रहे हैं। यदि आपके पास नामों की एक साधारण सूची है, तो यह आसान है। यदि आपके पास नाम और आयु का एक स्प्रेडशीट है, तो वह भी प्रबंधनीय है। लेकिन क्या होगा यदि आपके पास नाम, आयु, स्थान, शौक, पसंदीदा रंग और बहुत कुछ को ट्रैक करने वाला 10-आयामी डेटाबेस हो? इन कारकों के हर एक संयोजन को लिखने की कोशिश करने से एक ऐसी सूची बन जाएगी जो इतनी लंबी होगी कि चंद्रमा तक पहुँच जाएगी। यह उच्च-आयामी डेटा (high-dimensional data) की समस्या है: जैसे-जैसे आप अधिक श्रेणियाँ जोड़ते हैं, डेटा तेजी से बढ़ता जाता है, जिससे मानक तरीकों का उपयोग करके इसे संग्रहीत या गणना करना असंभव हो जाता है।

यह शोध पत्र, Tensor Cookbook: Mastering Tensors through Diagrams, इन समस्याओं को हल करने और देखने का एक नया तरीका प्रदान करता है। यह टेंसर नेटवर्क (Tensor Networks) को पेश करता है, जो एक ग्राफ़िकल भाषा है जो जटिल गणित को सरल चित्रों में बदल देती है।

यहाँ इस शोध पत्र के मुख्य विचारों का रोजमर्रा के उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. मूल अवधारणा: इंडेक्स से चित्रों तक

पारंपरिक गणित में, इन बहु-आयामी डेटा ब्लॉक्स (जिन्हें टेंसर कहा जाता है) के साथ काम करने के लिए अक्षरों और संख्याओं की लंबी कतारों (इंडेक्स) जैसे $A_{i,j,k,l}$ को लिखना पड़ता है। यह बिना मानचित्र के केवल सड़कों के निर्देशांकों की सूची का उपयोग करके शहर में नेविगेट करने की कोशिश करने जैसा है।

लेखक टेंसर नेटवर्क का उपयोग करने का प्रस्ताव देते हैं, जो सर्किट आरेखों या फ्लोचार्ट की तरह होते हैं।

नोड्स (आकृतियाँ): प्रत्येक आकृति डेटा के एक हिस्से (टेंसर) का प्रतिनिधित्व करती है। एक वृत्त एक संख्या हो सकता है, एक वर्ग एक सूची हो सकता है, और एक त्रिकोण एक स्प्रेडशीट हो सकता है।
लेग्स (रेखाएँ): आकृतियों से बाहर निकलती रेखाएँ डेटा की विभिन्न श्रेणियों (मोड्स) का प्रतिनिधित्व करती हैं।
कनेक्शन: जब दो लेग्स आपस में जुड़े होते हैं, तो इसका मतलब है कि उन श्रेणियों को "मैच" किया जा रहा है या जोड़ा जा रहा है, ठीक वैसे ही जैसे दो तारों को आपस में जोड़ दिया जाता है।

जादू: जटिल फॉर्मूलों को लिखने के बजाय, आप बस आकृतियों को खींचते हैं और रेखाओं को जोड़ते हैं। यदि आप दो मैट्रिसेस को गुणा करना चाहते हैं, तो आप बस उन्हें अगल-बगल रखते हैं और मिलान करने वाले लेग्स को जोड़ देते हैं। शोध पत्र दिखाता है कि यह दृश्य दृष्टिकोण केवल एक सुंदर चित्र नहीं है; यह वास्तव में गणित को समझने और सिद्ध करने में आसान बनाता है।

2. ऑपरेशन्स की "कुकबुक"

यह शोध पत्र इन आकृतियों को बदलने के लिए एक मार्गदर्शिका (कुकबुक) के रूप में कार्य करता है। यह दृश्यात्मक रूप से मानक गणितीय क्रियाओं को करने का तरीका बताता है:

इनर प्रोडक्ट (Inner Product): दो आकृतियों के सभी लेग्स को एक साथ जोड़ना जब तक कि बाहर कुछ भी न बचा हो। यह एक एकल संख्या (स्केलर) में बदल जाता है, जैसे दो डेटासेट के बीच कुल समानता की गणना करना।
आउटर प्रोडक्ट (Outer Product): दो आकृतियों को बिना जोड़े एक-दूसरे के बगल में रखना। यह एक बड़ा, अधिक जटिल आकार बनाता है, जैसे दो अलग-अलग सूचियों को मिलाकर एक विशाल ग्रिड बनाना।
ट्रेस (Trace): एक आकृति के लेग को वापस खुद से जोड़कर एक लूप बनाना। यह एक मैट्रिक्स के "विकर्ण" (diagonal) तत्वों को गिनने जैसा है।

3. चीजों को तोड़ना: टेंसर डिकंपोजिशन (Tensor Decompositions)

सबसे बड़ी चुनौतियों में से एक यह है कि ये डेटा ब्लॉक्स संभालने के लिए बहुत बड़े होते हैं। शोध पत्र टेंसर डिकंपोजिशन पेश करता है, जो एक विशाल, भारी लेगो कैसल (Lego castle) को उसके अंदर के छोटे, सरल ईंटों को देखने के लिए अलग करने जैसा है।

CP डिकंपोजिशन: कल्पना करें कि एक जटिल 3D ऑब्जेक्ट को सरल, सपाट शीटों (rank-one tensors) के ढेर में तोड़ना।
टकर डिकंपोजिशन (Tucker Decomposition): इसे एक "कोर" ब्लॉक के रूप में सोचें जो छोटे "फैक्टर" ब्लॉक्स से घिरा हुआ है। यह एक केंद्रीय हब की तरह है जिसमें चारों ओर स्पोक्स (spokes) लगे हों।
टेंसर ट्रेन (Tensor Train - TT): यह एक चेन की तरह है। आप विशाल ऑब्जेक्ट को छोटे, जुड़े हुए ब्लॉक्स की एक रेखा में तोड़ देते हैं। यह विशेष रूप से शक्तिशाली है क्योंकि यह आपको बहुत कम पैरामीटर्स के साथ विशाल डेटा को संभालने की अनुमति देता है, ठीक वैसे ही जैसे एक लंबी चेन के छोटे लिंक को प्रबंधित करना एक विशाल ठोस छड़ की तुलना में आसान होता है।

शोध पत्र दिखाता है कि कैसे इन बड़े टेंसरों को SVD (सिंगुलर वैल्यू डिकंपोजिशन) जैसी मानक लीनियर अलजेब्रा ट्रिक्स का उपयोग करके छोटे, प्रबंधनीय टुकड़ों में "काटा" जा सकता है, जिसे आकृतियों के प्रवाह के रूप में दर्शाया गया है।

4. "कॉपी" बटन

शोध पत्र एक विशेष टूल पेश करता है जिसे कॉपी टेंसर (Copy Tensor) कहा जाता है (जिसे एक काले बिंदु के रूप में दर्शाया गया है)।

उपमा: एक फोटोकॉपी मशीन की कल्पना करें। यदि आप उस मशीन में एक विशिष्ट "मानक" कागज डालते हैं, तो यह उसकी समान प्रतियां प्रिंट करती है।
कार्य: यह विशेष बिंदु एक मानक इनपुट लेता है और उसे कई लेग्स पर "कॉपी" करता है। यह उन ऑपरेशन्स के लिए महत्वपूर्ण है जहाँ एक ही डेटा का उपयोग एक साथ कई स्थानों पर किया जाना चाहिए, जैसे कि कंडीशनल प्रोबेबिलिटी की गणना करना।

5. परिवर्तनों की गणना (Gradients)

मशीन लर्निंग में, हमें अक्सर बेहतर परिणाम प्राप्त करने के लिए अपने डेटा को कैसे बदला जाए, यह जानने की आवश्यकता होती है। इसके लिए ग्रेडिएंट्स (gradients/derivatives) की गणना करना आवश्यक है। आमतौर पर, इसमें जटिल और त्रुटिपूर्ण कैलकुलस शामिल होता है।

शोध पत्र की तकनीक: लेखक दिखाते हैं कि यदि आपके पास अपने डेटा का एक आरेख (diagram) है, तो ग्रेडिएंट खोजना एक आकृति को मिटाने (erase) जितना सरल है।
उपमा: यदि आप जानना चाहते हैं कि मशीन के एक विशिष्ट गियर को बदलने से पूरे सिस्टम पर क्या प्रभाव पड़ता है, तो आप बस अपने ड्राइंग से उस गियर को हटा देते हैं और देखते हैं कि बाकी का मशीन कैसा दिखता है। शोध पत्र सिद्ध करता है कि यह "नोड को हटाना" वाला नियम लगभग किसी भी जटिल टेंसर नेटवर्क के लिए काम करता है, जिससे एक कठिन कैलकुलस समस्या एक सरल ड्राइंग अभ्यास में बदल जाती है।

6. रैंडमनेस और प्रोबेबिलिटी (Randomness and Probability)

अंतिम खंड यह देखता है कि जब डेटा रैंडम होता है (जैसे पासा फेंकना) तो क्या होता है।

अंतर्दृष्टि: जब आपके टेंसर नेटवर्क में रैंडम नंबर होते हैं, तो आप भारी गणना किए बिना जटिल परिणामों के औसत का अनुमान लगा सकते हैं।
उपमा: लाखों पासे फेंककर उन्हें जोड़ने के बजाय, शोध पत्र आपको कुछ सरल लूप और रेखाएं खींचकर तुरंत औसत परिणाम जानने का तरीका दिखाता है। यह जटिल प्रणालियों, जैसे कि क्वांटम भौतिकी या उन्नत सांख्यिकी में रैंडम शोर (noise) के व्यवहार को समझने के लिए उपयोगी है।

सारांश

शोध पत्र तर्क देता है कि टेंसर नेटवर्क केवल गणित को लिखने का एक नया तरीका नहीं है, बल्कि इसके बारे में सोचने का एक मौलिक रूप से बेहतर तरीका है। भ्रमित करने वाले इंडेक्स स्ट्रिंग्स को आकृतियों और रेखाओं के सहज आरेखों से बदलकर, लेखक दिखाते हैं कि:

जटिलता कम हो जाती है: विशाल, असंभव गणनाएँ सरल चित्रों में बदल जाती हैं।
प्रमाण छोटे होते हैं: गणितीय पहचान (identities), जिनमें आमतौर पर बीजगणित के कई पन्ने लगते हैं, उन्हें ड्राइंग की एक पंक्ति में सिद्ध किया जा सकता है।
संरचना प्रकट होती है: आरेख यह स्पष्ट करते हैं कि डेटा कैसे बहता है और जुड़ता है, जो पारंपरिक सूत्रों में अक्सर छिपा रहता है।

संक्षेप में, शोध पत्र एक दृश्य "कुकबुक" प्रदान करता है जो विशाल, बहु-आयामी डेटा को प्रबंधित करने के डरावने कार्य को आकृतियों और रेखाओं को जोड़ने के खेल में बदल देता है।

तकनीकी सारांश: टेंसर कुकबुक: आरेखों के माध्यम से टेंसरों में महारत हासिल करना

समस्या विवरण

मशीन लर्निंग, सिग्नल प्रोसेसिंग, कम्प्यूटेशनल भौतिकी और सांख्यिकी जैसे क्षेत्रों में उच्च-आयामी डेटा सर्वव्यापी है। जबकि टेंसर (मैट्रिक्स के बहु-आयामी सामान्यीकरण) मल्टी-मोडल संरचनाओं के लिए एक स्वाभाविक प्रतिनिधित्व प्रदान करते हैं, टेंसर के क्रम (order) के बढ़ने के साथ उनका सीधा हेरफेर कम्प्यूटेशनल और नोटेशनल रूप से अव्यवहार्य हो जाता है। पैरामीटर्स की संख्या तेजी से बढ़ती है, और कई इंडिसेस (indices) वाले बीजगणितीय व्यंजक व्याख्या करने, लागू करने और डिफरेंशिएट (differentiate) करने में कठिन हो जाते हैं। यद्यपि क्वांटम भौतिकी समुदाय के भीतर टेंसर नेटवर्क (TN) को इन समस्याओं के समाधान के लिए व्यापक रूप से विकसित किया गया है, फिर भी वे आरेखीय परंपराओं (diagrammatic conventions) और अनुप्रयुक्त गणित के बीच के अंतर को पाटने वाले सुलभ, स्व-निहित गणितीय संदर्भों की कमी के कारण व्यापक तकनीकी डोमेन में कम उपयोग किए जाते हैं।

कार्यप्रणाली

यह पांडुलिपि टेंसर नेटवर्क के लिए एक स्व-निहित मार्गदर्शिका प्रस्तुत करती है, जो एक ग्राफिकल भाषा का उपयोग करती है जहाँ टेंसरों को लेबल किए गए लेग्स (legs/edges) वाले नोड्स के रूप में दर्शाया जाता है और कॉन्ट्रैक्शन्स (contractions) को साझा किनारों (edges) के रूप में कूटबद्ध किया जाता है। यह कार्यप्रणाली मानक टेंसर बीजगणक संचालन को आरेखीय रूपों में अनुवादित करने पर निर्भर करती है ताकि तर्क और व्युत्पत्ति (derivation) को सरल बनाया जा सके।

यह शोध पत्र इस ढांचे को पांच अध्यायों के माध्यम से व्यवस्थित रूप से विकसित करता है:

नींव (Foundations): यह इनर प्रोडक्ट, आउटर प्रोडक्ट, ट्रेस और नॉर्म्स सहित बुनियादी कार्यों के लिए ग्राफिकल नोटेशन स्थापित करता है। यह समवर्ती संकुचन (simultaneous contractions) को दर्शाने के लिए "कॉपी टेंसर" (हाइपरएज) पेश करता है और यह प्रदर्शित करता है कि मैट्रिक्स गुणनखंड (QR, SVD) को कैसे विज़ुअलाइज़ किया जा सकता है।
टेंसर संचालन (Tensor Operations): पाठ रीशेपिंग ऑपरेशन्स (मैट्रिसिज़ेशन, वेक्टराइज़ेशन) और विभिन्न उत्पाद प्रकारों (mode-n, क्रोनेकर, खात्री-राओ, हेडामार्ड) को आरेखों का उपयोग करके औपचारिक रूप देता है। एक प्रमुख कार्यप्रणाली योगदान टेंसर मैट्रिसिज़ेशन के रैंक को सीमित करने के लिए ग्राफ कट्स (graph cuts) का उपयोग करना है।
अपघटन (Decompositions): पेपर तीन प्राथमिक अपघटन मॉडलों का विवरण देता है:
- CP (CANDECOMP/PARAFAC): एक टेंसर को रैंक-वन टर्म्स के योग के रूप में व्यक्त करना।
- Tucker: एक कोर टेंसर और फैक्टर मैट्रिसेस में टेंसर का गुणनखंड करना।
- Tensor Train (TT): एक चेन-स्ट्रक्चर्ड गुणनखंड जहाँ पैरामीटर गणनाएँ टेंसर के क्रम के साथ रैखिक रूप से स्केल करती हैं।
  प्रत्येक के लिए, यह गणितीय सूत्र, रैंक लक्षण और एल्गोरिदम (जैसे, Tucker के लिए HOSVD, TT के लिए TT-SVD और ALS) प्रदान करता है।
ग्रेडिएंट गणना (Gradient Computation): लेखक विभेदन (differentiation) के लिए एक ग्राफिकल कैलकुलस विकसित करते हैं। मुख्य कार्यप्रणाली अंतर्दृष्टि यह है कि एक विशिष्ट कोर टेंसर के सापेक्ष एक टेंसर नेटवर्क का जैकोबियन (Jacobian) केवल उस कोर को आरेख से हटाकर प्राप्त किया जाता है। यह दृष्टिकोण उन मामलों तक विस्तारित होता है जहाँ एक कोर योग के माध्यम से कई बार दिखाई देता है।
संभाव्यता अनुप्रयोग (Probabilistic Applications): फ्रेमवर्क को संभाव्यता वितरणों (संयुक्त वितरणों को टेंसर के रूप में कूटबद्ध करना) और रैंडम टेंसर नेटवर्क पर लागू किया जाता है। पेपर डायग्रामेटिक रीजनिंग को इसेरलिस प्रमेय (Isserlis' theorem) के साथ जोड़कर रैंडम टेंसर मात्राओं के एक्सपेक्टेशन (expectations) के लिए क्लोज्ड-फॉर्म एक्सप्रेशन प्राप्त करता है।

प्रमुख योगदान

एकीकृत ग्राफिकल नोटेशन: पेपर टेंसर बीजगणक के लिए एक सुसंगत दृश्य भाषा प्रदान करता है जो नोटेशनल ओवरहेड को कम करता है और उन संरचनात्मक गुणों को प्रकट करता है जो अक्सर इंडेक्स नोटेशन द्वारा छिपे रहते हैं।
सरलीकृत व्युत्पन्न (Simplified Derivations): यह प्रदर्शित करता है कि आरेखीय दृष्टिकोण शास्त्रीय पहचानों, रैंक बाउंड्स और ग्रेडिएंट सूत्रों के लिए छोटे और अधिक पारदर्शी प्रमाण प्रदान करता है। उदाहरण के लिए, एक टेंसर नेटवर्क फंक्शन का ग्रेडिएंट नोड हटाने का सीधा परिणाम है, जो जटिल डेरिवेटिव पहचानियों (जैसे, क्वाड्रेटिक फॉर्म के ग्रेडिएंट) को तत्काल कोरोलरी के रूप में प्राप्त करता है।
ग्राफ कट्स के माध्यम से रैंक बाउंड्स: पेपर एक प्रमेय (थ्योरम 9) स्थापित करता है जिसमें कहा गया है कि किसी भी टेंसर नेटवर्क के मैट्रसिज़ेशन का रैंक, रो लेग्स (row legs) को कॉलम लेग्स से अलग करने वाले किसी भी कट के आयामों के गुणनफल द्वारा सीमित होता है।
कुशल एल्गोरिदम: यह डीकंपोज़िशन (TT-SVD, ALS) करने और TT फॉर्मेट में ऑपरेशन्स (इनर प्रोडक्ट, मैट्रिक्स-वेक्टर प्रोडक्ट) करने के लिए कुशल एल्गोरिदम की रूपरेखा तैयार करता है, जो टेंसर के क्रम के बजाय रैखिक रूप से स्केल होने वाली कम्प्यूटेशनल जटिलताओं को उजागर करते हैं।
संभाव्यता पहचान (Probabilistic Identities): कार्य डायग्रामेटिक रीजनिंग का उपयोग करके रैंडम टेंसर नेटवर्क के नॉर्म्स और उत्पादों के अपेक्षित मानों (जैसे, $E[\|AB\|_F^2]$ और $E[(A^TA)^{\otimes 2}]$ ) के लिए क्लोज्ड-फॉर्म एक्सप्रेशन प्राप्त करता है, जिसे लेखक पारंपरिक इंडेक्स-आधारित विधियों का उपयोग करके काफी श्रमसाध्य मानते हैं।

परिणाम

पेपर नए प्रयोगात्मक बेंचमार्क या अनुभवजन्य प्रदर्शन डेटा प्रस्तुत नहीं करता है। इसके बजाय, इसके परिणाम सैद्धांतिक और संरचनात्मक हैं:

सैद्धांतिक प्रमाण: यह साइक्लिक परम्यूटेशन के तहत ट्रेस की अपरिवर्तनीयता, CP रैंक और मैट्रसिज़ेशन रैंक के बीच संबंध, और टकर अपघटन में मल्टी-लीनियर रैंक के मैट्रसिज़ेशन रैंक के साथ तुल्यता जैसे गुणों के लिए डायग्रामेटिक प्रमाण प्रदान करता है।
एल्गोरिद्मिक जटिलता: यह TT फॉर्मेट में ऑपरेशन्स की कम्प्यूटेशनल जटिलता को मापता है (जैसे, मानक विधियों के लिए $O(d^N)$ की तुलना में TT फॉर्मेट में इनर प्रोडक्ट $O(NdR^4)$ या $O(NdR^3)$ के रूप में स्केल होते हैं, जो कॉन्ट्रैक्शन ऑर्डर पर निर्भर करता है)।
सांख्यिकीय अपेक्षाएं: यह रैंडम टेंसर नेटवर्क के अपेक्षित मानों के लिए विशिष्ट सूत्र प्राप्त करता है, जैसे कि गाऊसी मैट्रिसेस $A \in \mathbb{R}^{m \times r}$ और $B \in \mathbb{R}^{r \times n}$ के लिए $E[\|AB\|_F^2] = mnr$ , और विशार्ट वितरण (Wishart distribution) और इसेरलिस प्रमेय से संबंधित अभिव्यक्तियाँ।

महत्व और दावे

लेखक का दावा है कि इस पांडुलिपि का प्राथमिक महत्व एक स्व-निहित संदर्भ प्रदान करना है जो टेंसर नेटवर्क आरेखों को गणितज्ञों, मशीन लर्निंग अभ्यासकर्ताओं और भौतिकविदों सहित एक व्यापक तकनीकी दर्शकों के लिए सुलभ बनाता है।

पेपर तर्क देता है कि आरेखीय दृष्टिकोण केवल एक नोटेशनल सुविधा नहीं है बल्कि एक वास्तव में शक्तिशाली गणितीय ढांचा है। यह दावा करता है कि गणनाओं को टेंसर नेटवर्क कॉन्ट्रैक्शन के रूप में व्यवस्थित करने से ऐसे प्रतिनिधित्व प्राप्त होते हैं जो संक्षिप्त और वैचारिक रूप से पारदर्शी दोनों हैं। शास्त्रीय परिणामों (रैंक बाउंड्स, ग्रेडिएंट नियम, संभाव्यता पहचान) को एक एकल ग्राफिकल संरचना के तहत एकीकृत करके, यह ढांचा उच्च-क्रम डेरिवेटिव के व्युत्पन्न और उच्च-आयामी संभाव्यता वितरणों के हेरफेर को सरल बनाता है। यह कार्य क्वांटम भौतिकी की डायग्रामेटिक परंपराओं और अनुप्रयुक्त गणित की भाषा के बीच के अंतर को पाटने का लक्ष्य रखता है, जिससे मशीन लर्निंग में उच्च-आयामी वेट मैट्रिसेस को पैरामीटराइज करने और जटिल वितरणों को मॉडल करने के लिए टेंसर नेटवर्क के उपयोग को सुगम बनाया जा सके।