🔬 physics

Tensor-Augmented Convolutional Neural Networks: Enhancing Expressivity with Generic Tensor Kernels

यह शोध पत्र टेंसर-ऑगमेंटेड कन्वोल्यूशनल न्यूरल नेटवर्क (TACNN) को प्रस्तुत करता है, जो एक भौतिक रूप से निर्देशित उथली संरचना (shallow architecture) है जो उच्च-क्रम के फीचर सहसंबंधों (high-order feature correlations) को कैप्चर करने के लिए पारंपरिक कर्नेल के स्थान पर जेनेरिक टेंसरों का उपयोग करती है, और VGG-16 एवं GoogLeNet जैसे गहरे CNN की तुलना में काफी कम परतों के साथ Fashion-MNIST पर प्रतिस्पर्धी सटीकता प्राप्त करती है।

मूल लेखक: Chia-Wei Hsing, Wei-Lin Tu

प्रकाशित 2026-04-10

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chia-Wei Hsing, Wei-Lin Tu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कंप्यूटर को काले-और-सफेद पिक्सेल के ग्रिड से विभिन्न प्रकार के कपड़ों (जैसे कि टी-शर्ट, स्नीकर या हैंडबैग) को पहचानना सिखाने की कोशिश कर रहे हैं। यह आर्टिफिशियल इंटेलिजेंस की एक क्लासिक समस्या है जिसे इमेज क्लासिफिकेशन (image classification) कहा जाता है।

लंबे समय से, इस काम के लिए मानक उपकरण एक कन्वोल्यूशनल न्यूरल नेटवर्क (CNN) रहा है। आप एक पारंपरिक CNN को जासूसों की एक टीम के रूप में सोच सकते हैं जो छवि पर चलते हैं। प्रत्येक जासूस एक छोटा, सरल आवर्धक लेंस (जिसे "कर्नेल" कहा जाता है) लेकर चलता है। वे छवि के एक छोटे से हिस्से को देखते हैं, यह जांचते हैं कि क्या वह किसी विशिष्ट पैटर्न (जैसे सीधी रेखा या वक्र) से मेल खाता है, और फिर "हाँ" या "नहीं" चिल्लाते हैं। कपड़ों को बेहतर ढंग से पहचानने के लिए, आपको आमतौर पर बहुत सारे जासूसों और कई मंजिलों वाले एक बहुत ही गहरे भवन (परतों) की आवश्यकता होती है। यह सिस्टम को धीमा, महंगा और समझने में कठिन बनाता है।

नया विचार: "सुपर-डिटेक्टिव" (Super-Detective)

इस शोध पत्र के लेखक, चिया-वेई हिंग और वेई-लिन तू ने एक सरल प्रश्न पूछा: क्या होगा यदि हम जासूसों को केवल साधारण आवर्धक लेंस देने के बजाय, उन्हें एक "क्वांटम सुपर-मैग्निफाइंग ग्लास" दे दें?

उन्होंने TACNN (टेंसर-ऑगमेंटेड CNN) नामक एक नया मॉडल प्रस्तावित किया है। यह कैसे काम करता है, इसके लिए कुछ रोजमर्रा के उदाहरणों का उपयोग करते हैं:

1. एकल लेंस से प्रिज्म तक

पुराना तरीका (CNN): कल्पना कीजिए कि एक जासूस कपड़े के एक टुकड़े को देख रहा है। उनका लेंस एक समय में केवल एक विशिष्ट पैटर्न ही देख सकता है। यदि कपड़े में धारियों, बिंदुओं और छायाओं का एक जटिल मिश्रण है, तो जासूस को उस बात को समझने के लिए विभिन्न लेंसों के साथ कई तस्वीरें लेनी पड़ेंगी।
नया तरीका (TACNN): लेखक साधारण लेंस को एक जेनेरिक टेंसर से बदल देते हैं। इसे एक प्रिज्म या सुपर-लेंस के रूप में सोचें। केवल एक पैटर्न देखने के बजाय, यह लेंस एक साथ हर संभव संयोजन को देख सकता है। यह ऐसा है जैसे जासूस तुरंत धारियों, बिंदुओं और छायाओं के बीच के संबंध को एक साथ समझ सकता है, बजाय इसके कि वह उन्हें एक-एक करके जांचे।

2. "सुपरपोजिशन" (Superposition) का कमाल

क्वांटम भौतिकी की दुनिया में, एक कण एक ही समय में कई अवस्थाओं में मौजूद हो सकता है (एक अवधारणा जिसे सुपरपोजिशन कहा जाता है)। लेखक अपने "लेंसों" को क्वांटम कणों की तरह व्यवहार करने के लिए एक गणितीय ट्रिक का उपयोग करते हैं।

उपमा: कल्पना कीजिए कि एक मानक जासूस के पास 9 मदों (items) वाली एक चेकलिस्ट है। वे एक समय में केवल एक ही मद को चेक कर सकते हैं।
TACNN जासूस के पास एक ऐसी चेकलिस्ट है जहाँ वे सभी 9 मदों को एक ही समय में चेक कर सकते हैं, और यहाँ तक कि यह भी देख सकते हैं कि वे मद एक-दूसरे के साथ कैसे इंटरैक्ट करते हैं। यह एक एकल "TACNN जासूस" को सैकड़ों "मानक जासूसों" का काम करने की अनुमति देता है।

3. उथला बनाम गहरा (Shallow vs. Deep)

क्योंकि प्रत्येक TACNN जासूस इतना शक्तिशाली है, इसलिए आपको समस्या को हल करने के लिए एक ऊंची इमारत की आवश्यकता नहीं है।

मानक CNN: 93.5% सटीकता प्राप्त करने के लिए एक 16-मंजिला इमारत (जैसे प्रसिद्ध VGG-16 मॉडल) और हजारों जासूसों की आवश्यकता होती है।
TACNN: केवल एक 2-मंजिला इमारत के साथ समान (या बेहतर) 93.7% सटीकता प्राप्त कर सकता है।

यह क्यों महत्वपूर्ण है

लेखकों ने इसका परीक्षण Fashion-MNIST डेटासेट (संख्या पहचान परीक्षण का एक कठिन संस्करण) पर किया। यहाँ उन्हें क्या मिला:

दक्षता (Efficiency): TACNN बहुत अधिक कुशल है। समान परिणाम प्राप्त करने के लिए यह बहुत कम "पैरामीटर्स" (मॉडल की दिमागी शक्ति) का उपयोग करता है। यह एक साइकिल के वजन के साथ फेरारी की गति प्राप्त करने जैसा है।
सरलता: क्योंकि मॉडल उथला (केवल 2 परतें) है, इसलिए मनुष्यों के लिए यह समझना बहुत आसान है कि यह कैसे निर्णय ले रहा है। गहरे मॉडल अक्सर "ब्लैक बॉक्स" होते हैं, लेकिन TACNN अधिक पारदर्शी है।
प्रदर्शन: केवल दो परतों वाले एक TACNN ने VGG-16 और GoogLeNet जैसे बहुत प्रसिद्ध, बहुत गहरे मॉडलों को मात दी या उनके बराबर प्रदर्शन किया।

बड़ी तस्वीर

लेखक मूल रूप से यह कह रहे हैं: "हमें अपने AI मॉडल को स्मार्ट बनाने के लिए उन्हें और गहरा और भारी बनाने की आवश्यकता नहीं है। इसके बजाय, हम मॉडल के व्यक्तिगत हिस्सों को डेटा को देखने का एक समृद्ध, अधिक जटिल तरीका देकर उन्हें 'स्मार्टर' बना सकते हैं।"

क्वांटम भौतिकी से विचारों (विशेष रूप से इस बात से कि कण एक साथ कई अवस्थाओं में कैसे हो सकते हैं) को उधार लेकर, उन्होंने एक ऐसा मॉडल बनाया है जो उद्योग के दिग्गजों की तरह हल्का, तेज़ और उतना ही स्मार्ट है। यह न केवल शक्तिशाली बल्कि कुशल और समझाने में आसान AI बनाने की दिशा में एक बड़ा कदम है।

यहाँ शोध पत्र "Tensor-Augmented Convolutional Neural Networks: Enhancing Expressivity with Generic Tensor Kernels" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

कन्वोल्यूशनल न्यूरल नेटवर्क (CNNs) इमेज प्रोसेसिंग के लिए मानक हैं, लेकिन उन्हें दो प्राथमिक सीमाओं का सामना करना पड़ता है:

गहराई बनाम दक्षता (Depth vs. Efficiency): जटिल डेटासेट (जैसे Fashion-MNIST) पर उच्च सटीकता प्राप्त करने के लिए आमतौर पर गहरे आर्किटेक्चर (जैसे VGG-16, GoogLeNet) की आवश्यकता होती है, जो गणनात्मक रूप से महंगे और व्याख्या करने में कठिन होते हैं।
टेन्सर नेटवर्क (TN) की सीमाएँ: टेन्सर नेटवर्क मॉडल (जो क्वांटम मेनी-बॉडी फिजिक्स से प्रेरित हैं) कुशल प्रतिनिधित्व तो प्रदान करते हैं, लेकिन वे अक्सर क्लासिकल इमेज क्लासिफिकेशन कार्यों पर डीप CNNs की तुलना में कम प्रदर्शन करते हैं। इसका कारण इंडक्टिव बायस (inductive bias) का बेमेल होना है: TNs लंबी दूरी के क्वांटम सहसंबंधों (long-range quantum correlations) के लिए अनुकूलित हैं, जबकि क्लासिकल इमेज डेटा स्थानीय पैटर्न और सांख्यिकीय नियमितताओं (statistical regularities) से प्रधान होता है।
अंतर्निहित सहसंबंध (Implicit Correlations): मानक CNNs में, विभिन्न कन्वल्यूशन कर्नेल्स के बीच के सहसंबंध अंतर्निहित रूप से सीखे जाते हैं और प्रशिक्षण के दौरान सुलभ नहीं रहते, जिससे व्यक्तिगत कर्नेल्स की प्रतिनिधि क्षमता सीमित हो जाती है।

2. कार्यप्रणाली: टेन्सर-ऑगमेंटेड CNN (TACNN)

लेखक TACNN का प्रस्ताव करते हैं, जो एक भौतिक रूप से निर्देशित (physically-guided) शैलो मॉडल है जो पारंपरिक कन्वल्यूशन कर्नेल्स को जेनेरिक हायर-ऑर्डर टेन्सर्स से बदल देता है।

मुख्य आर्किटेक्चर (Core Architecture)

फीचर एनकोडिंग (Feature Encoding): इनपुट पिक्सेल मान $x \in [0, 1]$ को एक 2-आयामी हिल्बर्ट स्पेस (Hilbert space) में एक फीचर एनकोडिंग फंक्शन का उपयोग करके मैप किया जाता है: $|x\rangle = x|0\rangle + (1-x)|1\rangle$ । $N$ पिक्सल के एक स्थानीय इमेज पैच को $2^N$ -आयामी हिल्बर्ट स्पेस में एक प्रोडक्ट स्टेट $|\phi\rangle = \bigotimes_{k=1}^N |x_k\rangle$ के रूप में दर्शाया जाता है।
जेनेरिक टेन्सर कर्नेल्स (Generic Tensor Kernels): भार (weights) के एक निश्चित सरणी के बजाय, प्रत्येक कन्वल्यूशन कर्नेल को एक जेनेरिक टेन्सर $|\psi\rangle = \sum_s c(s)|s\rangle$ द्वारा प्रतिस्थापित किया जाता है, जो सभी $2^N$ बाइनरी कॉन्फ़िगरेशन पर एक मनमाना क्वांटम सुपरपोजिशन स्टेट (superposition state) दर्शाता है।
कन्वल्यूशन ऑपरेशन (Convolution Operation): कन्वल्यूशन आउटपुट की गणना इनर प्रोडक्ट $\langle \phi | \psi \rangle$ $⟨ ϕ ∣ ψ ⟩$ के रूप में की जाती है।
- गणितीय रूप से, यह इनपुट पिक्सल्स के एक मल्टीलीनर फॉर्म (multilinear form) का परिणाम है।
- मानक CNNs के विपरीत, जहाँ आउटपुट पिक्सेल मानों के प्रति रैखिक (linear) होता है (जिसके लिए नॉन-लिनैरिटी लाने हेतु एक्टिवेशन फंक्शन्स की आवश्यकता होती है), TACNN कर्नेल स्वाभाविक रूप से उच्च-क्रम के गैर-रैखिक सहसंबंधों (high-order non-linear correlations) को कैप्चर करता है क्योंकि यह बेसिस फंक्शन्स की मल्टीप्लिकेटिव संरचना के कारण होता है।

मल्टीलेयर विस्तार (Multilayer Extension)

एक गहरा नेटवर्क बनाने के लिए, एक लेयर के आउटपुट को नॉर्मलाइज (मीन और स्टैंडर्ड डेविएशन) किया जाता है और एक सिग्मॉइड फंक्शन $\sigma(\cdot)$ के माध्यम से पास किया जाता है ताकि अगली लेयर के इनपुट $[0, 1]$ के भीतर रहें। यह नेटवर्क को लेयर्स को स्टैक करने की अनुमति देता है, जहाँ प्रत्येक अगली लेयर एक बड़े रिसेप्टिव फील्ड (receptive field) में तेजी से जटिल, उच्च-क्रम के सहसंबंधों को कैप्चर करती है।

3. प्रमुख योगदान (Key Contributions)

प्रति कर्नेल बढ़ी हुई अभिव्यक्ति क्षमता (Enhanced Expressivity per Kernel): TACNN में एक एकल जेनेरिक टेन्सर कर्नेल $2^N$ लीनियर फिल्टर्स के एक सुसंगत सुपरपोजिशन के रूप में कार्य करता है। यह एक एकल पारंपरिक कर्नेल की तुलना में घातीय रूप से अधिक अभिव्यंजक क्षमता प्रदान करता है, जिससे मॉडल उन जटिल स्थानीय पिक्सेल सहसंबंधों को कैप्चर कर सकता है जिन्हें लीनियर फिल्टर्स छोड़ देते हैं।
गहरे प्रदर्शन वाला शैलो आर्किटेक्चर (Shallow Architecture with Deep Performance): टेन्सर के माध्यम से व्यक्तिगत परतों की अभिव्यक्ति क्षमता को अधिकतम करके, TACNN केवल 1 या 2 कन्वल्यूशन लेयर्स का उपयोग करके बहुत गहरे CNNs के समान प्रदर्शन प्राप्त करता है।
फिजिक्स और AI के बीच सेतु (Bridging Physics and AI): मॉडल ने क्वांटम-प्रेरित अवधारणाओं (हिल्बर्ट स्पेस एम्बेडिंग) को क्लासिकल मशीन लर्निंग के लिए सफलतापूर्वक अनुकूलित किया है, जिसमें ग्लोबल एंटैंगलमेंट (global entanglement) के बजाय लोकल एक्सप्रेसिविटी (local expressivity) को प्राथमिकता दी गई है, जो पिछले TN-आधारित ML प्रयासों में देखी गई प्रदर्शन की कमी को दूर करता है।
पैरामीटर दक्षता (Parameter Efficiency): टेन्सर स्पेस के सैद्धांतिक घातीय आकार के बावजूद, मॉडल पैरामीटर-कुशल रहता है क्योंकि प्रशिक्षण योग्य पैरामीटर एम्पलीट्यूड्स $c(s)$ हैं, और आर्किटेक्चर पारंपरिक डीप फुली-कनेक्टेड लेयर्स में पाए जाने वाले विशाल पैरामीटर काउंट से बचता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

मॉडल का बेंचमार्किंग Fashion-MNIST डेटासेट (70,000 ग्रेस्केल इमेज, 10 क्लासेस) पर किया गया, जो इमेज क्लासिफिकेशन के लिए एक चुनौतीपूर्ण मानक है।

गहराई बनाम प्रदर्शन (Performance vs. Depth):
- $64 \times 64$ कर्नेल्स के साथ एक 2-लेयर TACNN ने 93.7% की टेस्ट सटीकता प्राप्त की।
- यह GoogLeNet (93.7%) के बराबर है और VGG-16 (93.5%) से बेहतर है, बावजूद इसके कि TACNN बहुत कम वेरिएशनल पैरामीटर्स का उपयोग करता है।
- 512 कर्नेल्स के साथ एक 1-लेयर TACNN ने 93.1% सटीकता प्राप्त की, जो सभी उद्धृत टेन्सर नेटवर्क-आधारित मॉडलों (जो 88.0% से 92.4% के बीच थे) और मानक शैलो CNNs को पछाड़ देता है।
कर्नेल दक्षता (Kernel Efficiency):
- "फ्यू-कर्नेल" (few-kernel) शासन (1–8 कर्नेल्स) में, TACNN ने CNNs को बहुत पीछे छोड़ दिया। उदाहरण के लिए, 1-कर्नेल TACNN ने 89.7% सटीकता प्राप्त की, जबकि 1-कर्नेल CNN संघर्ष करता रहा।
- TACNN ने CNNs की तुलना में बेहतर स्थिरता और ओवरफिटिंग के प्रति प्रतिरोध प्रदर्शित किया, भले ही प्रति कर्नेल पैरामीटर्स की संख्या अधिक थी (9 के $3 \times 3$ CNN कर्नेल के मुकाबले 512)।
TN मॉडल्स के साथ तुलना: TACNN ने मौजूदा TN-आधारित क्लासिफायर (जैसे MPS, PEPS, TTN) को महत्वपूर्ण रूप से पछाड़ा, जो यह प्रमाणित करता है कि इमेज डेटा के लिए, ग्लोबल टेन्सर नेटवर्क टोपोलॉजी के बजाय लोकल टेन्सरइजेशन अधिक प्रभावी है।

5. महत्व और निहितार्थ (Significance and Implications)

व्याख्यात्मकता (Interpretability): टेन्सर संरचना एक भौतिक रूप से व्याख्या योग्य ढांचा प्रदान करती है जहाँ कर्नेल्स क्वांटम सुपरपोजिशन अवस्थाओं का प्रतिनिधित्व करते हैं, जो डीप लर्निंग मॉडल्स की व्याख्यात्मकता (explainability) में सहायता कर सकते हैं।
NISQ कम्पैटिबिलिटी: उन क्वांटम कन्वल्यूशनल न्यूरल नेटवर्क (QCNNs) के विपरीत जिन्हें गहरे, शोर वाले क्वांटम सर्किट की आवश्यकता होती है, TACNN को केवल छोटे, शैलो क्वांटम स्टेट्स (कुछ-क्यूबिट सर्किट) तैयार करने की आवश्यकता होती है। यह आर्किटेक्चर वर्तमान Noisy Intermediate-Scale Quantum (NISQ) उपकरणों पर कार्यान्वयन के लिए व्यवहार्य बनाता है, जो हाइब्रिड क्वांटम-क्लासिकल लर्निंग के लिए एक व्यावहारिक मार्ग प्रदान करता है।
भविष्य की दिशाएं: यह कार्य सुझाव देता है कि ग्लोबल एंटैंगलमेंट को मॉडल करने का प्रयास करने के बजाय क्वांटम-प्रेरित टेन्सरलाइजेशन के माध्यम से स्थानीय फीचर निष्कर्षण (local feature extraction) को बढ़ाना क्लासिकल डेटा के लिए एक अधिक प्रभावी रणनीति है, जो अधिक कुशल और व्याख्या योग्य डीप लर्निंग आर्किटेक्चर के लिए मार्ग प्रशस्त करता है।