🤖 machine learning

Structure of the Circular-Dyadic Convolution Error

यह शोध पत्र सर्कुलर कन्वल्यूशन में DFT के स्थान पर हैडामार्ड ट्रांसफॉर्म का उपयोग करने से उत्पन्न होने वाली संरचित और पूर्वानुमेय बीजगणितीय त्रुटि का लक्षण वर्णन करता है, जो यह प्रकट करता है कि यह त्रुटि संरेखण (alignment) द्वारा नियंत्रित होती है, एक लघुगणकीय शून्य स्थान (logarithmic null space) के साथ लगभग पूर्ण-रैंक की होती है, और विशिष्ट सार्वभौमिक शून्य-त्रुटि उप-स्थानों को छोड़कर आउटपुट ऊर्जा को स्पर्शोन्मुख रूप से दोगुना कर देती है।

मूल लेखक: Ben Fauber, Alireza Moradzadeh

प्रकाशित 2026-07-20

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ben Fauber, Alireza Moradzadeh

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक भीड़ भरे कमरे में एक गुप्त संदेश भेजने की कोशिश कर रहे हैं। इसे कुशलतापूर्वक करने के लिए, आपको एक विशेष कोड की आवश्यकता है जो आपके शब्दों को इस तरह से उलझा दे कि उन्हें जल्दी से भेजा जा सके और प्राप्तकर्ता द्वारा अनस्क्रैम्बल (unscramble) किया जा सके। कंप्यूटर विज्ञान की दुनिया में, विशेष रूप से यह समझने में कि मशीनें पैटर्न को कैसे पहचानती हैं, इस काम के लिए दो प्रसिद्ध "कोड-मेकर" उपयोग किए जाते हैं। एक है फूरियर ट्रांसफॉर्म (Fourier Transform), जो एक गणितीय जादूगर है जो संख्याओं को एक घेरे में घुमाकर (एक घड़ी की तरह) उन्हें मिला देता है। दूसरा है हैडामार्ड ट्रांसफॉर्म (Hadamard Transform), जो एक सरल, तेज़ जादूगर है जो केवल प्लस और माइनस संकेतों का उपयोग करता है, बिट्स को स्विच की तरह ऑन और ऑफ करता है। वर्षों से, इंजीनियर जटिल, घूमने वाले फूरियर जादूगर को सरल, स्विच करने वाले हैडामार्ड जादूगर से बदलने के लिए आकर्षित होते रहे हैं। क्यों? क्योंकि हैडामार्ड संस्करण कंप्यूटरों के लिए संभालना आसान है और इसे जटिल काल्पनिक संख्याओं (imaginary numbers) के साथ निपटने की आवश्यकता नहीं होती है। यह एक उच्च-स्तरीय, रंगीन प्रिंटिंग वाले 3D प्रिंटर को एक तेज़, ब्लैक-एंड-व्हाइट डॉट-मैट्रिक्स प्रिंटर से बदलने जैसा है क्योंकि डॉट-मैट्रिक्स सस्ता और तेज़ है। बड़ा सवाल यह है: क्या तस्वीर अभी भी सही दिखती है? यदि आप गलत प्रिंटर का उपयोग करते हैं, तो क्या छवि केवल थोड़ी धुंधली हो जाती है, या यह पूरी तरह से एक अलग तस्वीर बन जाती है? यह शोध पत्र ठीक इसी प्रश्न की गहराई में जाता है, जहाँ यह "त्रुटि" (error) को एक यादृच्छिक गड़बड़ी के रूप में नहीं, बल्कि एक संरचित, पूर्वानुमेय पैटर्न के रूप में देखता है जो अपने स्वयं के सख्त नियमों का पालन करता है।

महान बदलाव: जब "तेज़" होना "सही" नहीं होता

डीप लर्निंग (AI के पीछे की तकनीक जो तस्वीरों में बिल्लियों को पहचानती है या भाषाओं का अनुवाद करती है) की दुनिया में, कंप्यूटरों को अक्सर एक कार्य करने की आवश्यकता होती है जिसे कन्वोल्यूशन (convolution) कहा जाता है। इसे एक इमेज पर एक फ़िल्टर (जैसे एक स्टेंसिल) को स्लाइड करने के रूप में सोचें ताकि विशिष्ट विशेषताओं को हाइलाइट किया जा सके। इसे सुपर फास्ट करने के लिए, कंप्यूटर आमतौर पर फूरियर पद्धति का उपयोग करते हैं, जो एक गोलाकार तर्क (circular logic) पर निर्भर करता है: यदि आप सूची के अंत से आगे निकल जाते हैं, तो आप वापस शुरुआत पर आ जाते हैं, जैसे घड़ी की सुई 12 पर पहुँचकर वापस 1 पर आ जाती है।

हालाँकि, कुछ शोधकर्ताओं ने हैडामार्ड पद्धति का उपयोग करने का प्रस्ताव दिया। यह पद्धति एक अलग प्रकार के तर्क का उपयोग करती है जिसे "XOR" (एक्सक्लूसिव ऑर) कहा जाता है, जो एक घेरे के चारों ओर घूमने के बजाय "बिट्स को स्विच करने" के खेल जैसा है। उम्मीद यह थी कि आप बिना कोड में कुछ भी बदले फूरियर पद्धति को हैडामार्ड पद्धति से बदल सकते हैं। NVIDIA से बेन फौबर और अलीरेज़ा मोराडेह द्वारा इस शोध पत्र में इस बात की जांच की गई है कि जब आप वह बदलाव करते हैं तो क्या होता है।

खोज: यह केवल रैंडम शोर नहीं है

लेखकों ने पाया कि इन दोनों विधियों को बदलने से केवल थोड़ा सा स्टैटिक शोर (static noise) पैदा नहीं होता है। इसके बजाय, यह एक बहुत ही विशिष्ट, संरचित त्रुटि पैदा करता है। यहाँ उनकी खोज है, जिसे तीन मुख्य निष्कर्षों में विभाजित किया गया है:

1. दो "सुरक्षित क्षेत्र" (The Two "Safe Zones")
सबसे आश्चर्यजनक खोज यह है कि त्रुटि हर जगह नहीं है। आउटपुट में ठीक दो स्थान हैं जहाँ दोनों विधियाँ पूरी तरह से सहमत होती हैं, चाहे आप कोई भी डेटा डालें। यदि आप परिणाम के बिल्कुल अंतिम स्थान और मध्य स्थान को देखते हैं, तो "गोलाकार" गणित और "बिट-फ्लिपिंग" गणित आपको बिल्कुल समान उत्तर देते हैं।

सावधानी: आप परिणामों के क्रम को बदलकर बाकी की गड़बड़ी को ठीक नहीं कर सकते। लेखकों ने सिद्ध किया कि आप परिणामों को चाहे कैसे भी पुनर्व्यवस्थित कर लें, आप हर इनपुट के लिए दोनों विधियों को मेल खाने के लिए मजबूर नहीं कर सकते। यह बेमेल (mismatch) गणित में ही रचा-बसा है।

2. "लगभग पूर्ण" त्रुटि मशीन (The "Almost Full" Error Machine)
शोध पत्र "त्रुटि ऑपरेटर" (error operator) को देखता है, जो एक फैंसी तरीका है यह बताने का कि वह मशीन जो सही उत्तर को गलत उत्तर में बदल देती है। उन्होंने पाया कि यह मशीन "लगभग पूर्ण रैंक" (nearly full rank) की है। सरल शब्दों में, इसका मतलब है कि त्रुटि लगभग हर एक डेटा को प्रभावित करती है जिसे आप इस पर डालते हैं।

छोटा अपवाद: एकमात्र डेटा जिसे खराब नहीं किया जाता है, वह इनपुट का एक बहुत छोटा, विशिष्ट समूह है। इस "सुरक्षित समूह" का आकार कुल डेटा की तुलना में अविश्वसनीय रूप से छोटा है। 1,024 की सिग्नल लंबाई के लिए, सुरक्षित समूह केवल 11 आयामों (dimensions) चौड़ा है (कुल का लगभग 1%)। जैसे-जैसे डेटा बढ़ता है, यह सुरक्षित क्षेत्र और भी छोटा होता जाता है, जिससे यह लगभग अदृश्य हो जाता है। इसका मतलब है कि अधिकांश वास्तविक दुनिया के फिल्टरों के लिए, यह बदलाव एक महत्वपूर्ण त्रुटि पैदा करता है।

3. ऊर्जा विस्फोट (The Energy Explosion)
शायद सबसे नाटकीय खोज "ऊर्जा" (energy) के बारे में है। जब आप एक रैंडम फ़िल्टर (एक विशिष्ट, अप्रशिक्षित फ़िल्टर) का उपयोग करते हैं, तो त्रुटि केवल थोड़ा शोर नहीं जोड़ती है; यह वास्तव में आउटपुट की ऊर्जा को दोगुना कर देती है।

कल्पना कीजिए कि आप एक गाने का वॉल्यूम मापने की कोशिश कर रहे हैं। यदि आप गलत गणित का उपयोग करते हैं, तो वॉल्यूम केवल थोड़ा तेज़ नहीं होता है; यह अचानक जितना होना चाहिए उससे दोगुना तेज़ हो जाता है, लेकिन "ध्वनि" पूरी तरह से विकृत हो जाती है। शोध पत्र दिखाता है कि जैसे-जैसे डेटा बड़ा होता जाता है, त्रुटि ऊर्जा इच्छित आउटपुट की ऊर्जा के ठीक दोगुने के करीब पहुँच जाती है। ऐसा इसलिए होता है क्योंकि दोनों विधियाँ इतनी अलग हो जाती हैं कि वे एक-दूसरे को रद्द करना बंद कर देती हैं और इसके बजाय अपनी गलतियों को ढेर लगा देती हैं।

"एलाइनमेंट" का रहस्य

शोध पत्र एक अवधारणा पेश करता है जिसे "एलाइनमेंट स्केलर" (alignment scalar) कहा जाता है। इसे एक स्कोर के रूप में सोचें जो बताता है कि आपका फ़िल्टर हैडामार्ड पद्धति में कितनी अच्छी तरह फिट बैठता है।

यदि आपका फ़िल्टर उन दुर्लभ, विशेष फ़िल्टर्स में से एक है जो उस छोटे से "सुरक्षित क्षेत्र" में रहता है, तो स्कोर एकदम सही है, और त्रुटि शून्य है।
यदि आपका फ़िल्टर एक मानक, रैंडम फ़िल्टर है, तो स्कोर कम है, और त्रुटि बहुत बड़ी है।
लेखकों ने एक सूत्र (formula) निकाला है जो भविष्यवाणी करता है कि आपको इस एलाइनमेंट स्कोर के आधार पर कितनी त्रुटि मिलेगी। उन्होंने पाया कि सामान्य, रैंडम फिल्टरों के लिए, त्रुटि अपरिहार्य और पर्याप्त है।

यह क्यों मायने रखता है

यह शोध पत्र प्रभावी रूप से इस विचार पर रोक लगाता है कि हैडामार्ड ट्रांसफॉर्म को न्यूरल नेटवर्क में फूरियर ट्रांसफॉर्म के एक साधारण "ड्रॉप-इन" रिप्लेसमेंट के रूप में उपयोग किया जा सकता है। जबकि हैडामार्ड पद्धति तेज़ और सरल है, लेखक सिद्ध करते हैं कि यह एक मौलिक रूप से भिन्न ऑपरेशन को कंप्यूट करती है।

यह कोई बग नहीं है; यह गणित का एक फीचर है: त्रुटि यादृच्छिक नहीं है; यह संरचित है।
इसे शफलिंग से ठीक नहीं किया जा सकता: आप डेटा को फिर से व्यवस्थित करके इसे काम करने लायक नहीं बना सकते।
यह आमतौर पर बुरी खबर है: जब तक कि आप विशेष रूप से अपने फ़िल्टर को उस छोटे "जीरो-एरर" ज़ोन में रहने के लिए डिज़ाइन नहीं करते (जो संयोग से करना बहुत कठिन है), यह बदलाव संभवतः आपकी आउटपुट की ऊर्जा को दोगुना कर देगा और आपके परिणामों को विकृत कर देगा।

संक्षेप में, यदि आप एक ऐसा सिस्टम बना रहे हैं जो सर्कुलर कन्वोल्यूशन (जैसे कि कई वर्तमान AI मॉडल) पर निर्भर करता है, तो फूरियर ट्रांसफॉर्म को हैडामार्ड ट्रांसफॉर्म से बदलना एक सटीक स्विस घड़ी को डिजिटल स्टॉपवॉच से बदलने जैसा है क्योंकि स्टॉपवॉच सस्ती है। यह समय बता सकती है, लेकिन यह सही समय नहीं बताएगी, और अंतर केवल कुछ सेकंड का नहीं है—यह समय को मापने का पूरी तरह से अलग तरीका है। यह शोध पत्र ठीक इस बात का ब्लूप्रिंट प्रदान करता है कि वह माप कितना गलत होगा, यह दिखाते हुए कि त्रुटि पूर्वानुमेय, विशाल है और यह नए गणित के साथ आपके डेटा के एलाइनमेंट द्वारा नियंत्रित होती है।

तकनीकी सारांश: सर्कुलर-डायडिक कन्वोल्यूशन त्रुटि की संरचना

समस्या विवरण
यह शोध पत्र उस बीजगणितीय बेमेल (algebraic mismatch) को संबोधित करता है जो कन्वोल्यूशन ऑपरेशन्स में डिस्क्रीट फूरियर ट्रांसफॉर्म (DFT) के स्थान पर हेडामार्ड ट्रांसफॉर्म (Hadamard transform) का उपयोग करने पर उत्पन्न होता है। जबकि दोनों रूपांतरण $O(N \log N)$ गणना को सक्षम करते हैं, वे मौलिक रूप से भिन्न ग्रुप कन्वोल्यूशन को विकीर्ण (diagonalize) करते हैं: DFT चक्रीय समूह $\mathbb{Z}_N$ (मॉड्यूलर इंडेक्सिंग का उपयोग करके) पर सर्कुलर कन्वोल्यूशन को विकीर्ण करता है, जबकि हेडामार्ड ट्रांसफॉर्म बाइनरी समूह $(\mathbb{Z}_2)^m$ (XOR इंडेक्सिंग का उपयोग करके) पर डायडिक कन्वोल्यूशन को विकीर्ण करता है। हालांकि हालिया डीप लर्निंग आर्किटेक्चर ने DFT-आधारित कन्वोल्यूशन के "ड्रॉप-इन" रिप्लेसमेंट के रूप में हेडामार्ड लेयर्स का प्रस्ताव दिया है, लेकिन उन विशिष्ट सिग्नल स्थितियों का औपचारिक रूप से लक्षण वर्णन नहीं किया गया है जिनके तहत यह प्रतिस्थापन त्रुट उत्पन्न करता है, परिणामी त्रुटि ऑपरेटर की संरचनात्मक गुण, और उस त्रुटि का परिमाण क्या है। लेखक नोट करते हैं कि जबकि परिमित-समूह फूरियर सिद्धांत यह स्थापित करता है कि $m \ge 2$ के लिए ये समूह गैर-आइसोमोर्फिक (non-isomorphic) हैं, उनके अंतर ऑपरेटर की रैंक संरचना और अपेक्षित त्रुटि व्यवहार का अन्वेषण अभी बाकी है।

कार्यप्रणाली (Methodology)
लेखक त्रुट सिग्नल $e = y_C - y_D$ का विश्लेषण करते हैं, जहाँ $y_C$ एक फिल्टर $u$ और इनपुट $v$ का सर्कुलर कन्वोल्यूशन है और $y_D$ उनका डायडिक कन्वोल्यूशन है। वे त्रुट को एक रैखिक रूपांतरण $e = (C_u - H_u)v$ के रूप में परिभाषित करते हैं, जहाँ $C_u$ और $H_u$ क्रमशः सर्कुलर और डायडिक कन्वोल्यूशन मैट्रिसेस हैं। विश्लेषण तीन पूरक दृष्टिकोणों के माध्यम से आगे बढ़ता है:

सटीक निरस्तीकरण (Exact Cancellation): उन विशिष्ट आउटपुट/इनपुट इंडेक्स की पहचान करना जहाँ मॉड्यूलर और XOR इंडेक्सिंग सभी सिग्नल्स के लिए मेल खाते हैं।
ऑपरेटर संरचना (Operator Structure): ग्रुप एक्शन द्वारा उत्पन्न "मिसमैच परम्यूटेशन्स" $\rho_n$ की ऑर्बिट संरचना का अध्ययन करके त्रुट मैट्रिक्स $(C_u - H_u)$ की रैंक और नुल स्पेस (null space) का विश्लेषण करना।
सांख्यिकीय अपेक्षा (Statistical Expectation): रैंडम फिल्टर्स और इनपुट्स पर औसत निकालकर अपेक्षित वर्ग त्रुट परिमाण (expected squared error magnitude) के लिए एक क्लोज्ड-फॉर्म अभिव्यक्ति प्राप्त करना, जो एक "अलाइनमेंट स्केलर" $Q(u)$ द्वारा नियंत्रित होता है जो दोनों कन्वोल्यूशन प्रकारों के बीच इंडेक्स सामंजस्य को मापता है।

मुख्य योगदान और परिणाम

सार्वभौमिक शून्य-त्रुटि स्थितियाँ (Universal Zero-Error Conditions):
यह शोध पत्र सिद्ध करता है कि किसी भी $N=2^m$ ( $m \ge 2$ ) के लिए, ठीक दो आउटपुट स्थितियाँ ( $n = N-1$ और $n = N/2 - 1$ ) और दो इनपुट स्थितियाँ ( $k = 0$ और $k = N/2$ ) हैं जहाँ त्रुट सभी सिग्नल्स के लिए सार्वभौमिक रूप से शून्य हो जाती है। महत्वपूर्ण रूप से, लेखक प्रदर्शित करते हैं कि आउटपुट का कोई भी पुनर्व्यवस्था (reordering/permutation) इस सामंजस्य को सभी इनपुट्स तक विस्तारित नहीं कर सकता; दोनों कन्वोल्यूशन बीजगणितीय रूप से भिन्न हैं और उन्हें सरल इंडेक्स शिफ्टिंग द्वारा सुधारा नहीं जा सकता।
नुल-स्पेस और रैंक संरचना (Null-Space and Rank Structure):
त्रुट ऑपरेटर $(C_u - H_u)$ लगभग फुल रैंक (full rank) दिखाया गया है। विशेष रूप रूप से, जेनेरिक फिल्टर्स के लिए, इसकी रैंक $N - m - 1$ है, जिससे एक नुल स्पेस (जो "सार्वभौमिक शून्य-त्रुटि सबस्पेस" है) मिलता है जिसकी विमा (dimension) $m + 1$ है। इस सबस्पेस के बेस वेक्टर्स $N$ के सापेक्ष लघुगणकीय आकार के होते हैं (विमा $\approx \log_2 N + 1$ )। इन बेस वेक्टर्स के आधार वेक्टर मानक बेस वेक्टर $b_0$ और इंडेक्स के लीस्ट सिग्निफिकेंट बिट (LSB) स्थितियों द्वारा परिभाषित वेक्टर्स $f_p$ हैं। फलस्वरूप, जैसे-जैसे $N$ बढ़ता है, शून्य-त्रुटि सबस्पेस कुल स्थान के एक नगण्य अंश को घेर लेता है (जैसे, $N=1024$ पर 1.1%)।
अपेक्षित त्रुट परिमाण और अलाइनमेंट (Expected Error Magnitude and Alignment):
रैंडम, स्वतंत्र, शून्य-मीन सिग्नल्स के लिए अपेक्षित वर्ग त्रुट एक एकल अलाइनमेंट स्केलर $Q(u) = \sum_{n,k} u[(n-k) \mod N] u[n \oplus k]$ द्वारा नियंत्रित होती है।

जेनेरिक फिल्टर्स के लिए, अपेक्षित त्रुट ऊर्जा $N \to \infty$ होने पर इच्छित सर्कुलर कन्वोल्यूशन की आउटपुट ऊर्जा को एसिम्प्टोटिकली (asymptotically) दोगुना कर देती है।
अपेक्षित त्रुट ऊर्जा और आउटपुट ऊर्जा का अनुपात 2 के करीब पहुँच जाता है, जो दोनों कन्वोल्यूशन प्रकारों के बीच डिकोरिलेशन (decorrelation) से प्रेरित है।
सार्वभौमिक शून्य-त्रुटी सबस्पेस में स्थित फिल्टर्स अधिकतम अलाइनमेंट ( $Q(u) = N\|u\|^2_2$ ) प्राप्त करते हैं और शून्य त्रुट उत्पन्न करते हैं।
जेनेरिक i.i.d. फिल्टर्स के लिए, सामान्यीकृत अलाइनमेंट $N$ बढ़ने के साथ शून्य की ओर घटता है, जो उन्हें शून्य-त्रुटि शासन (zero-error regime) से बहुत दूर रखता है।

महत्व और दावे
यह शोध पत्र दावा करता है कि प्रतिस्थापन त्रुट केवल रैंडम शोर नहीं है बल्कि यह संरचित, पूर्वानुमेय और अलाइनमेंट द्वारा नियंत्रित है। परिणाम यह औपचारिक रूपते हैं कि हेडामार्ड-आधारित डायडिक कन्वोल्यूशन के साथ DFT-आधारित सर्कुलर कन्वोल्यूशन को बदलना मौलिक रूप से उस ऑपरेशन को बदल देता है जिसे कंप्यूट किया जा रहा है।

पूर्वानुमेयता (Predictability): त्रुट उन इंडेक्स के "मैचिंग सेट" द्वारा निर्धारित होती है जहाँ मॉड्यूलर और XOR अंकगणित मेल खाते हैं।
जेनेरिक सिग्नल्स के लिए अपरिहार्यता (Inevitability for Generic Signals): अधिकांश इनपुट्स और जेनेरिक फिल्टर्स के लिए, प्रतिस्थापन पर्याप्त त्रुट पेश करता है (आउटपुट ऊर्जा को एसिम्प्टोटिकली दोगुना करते हुए), न कि एक नगण्य विचलन।
डिज़ाइन निहितार्थ (Design Implication): अलाइनमेंट स्केलर $Q(u)/\|u\|^2_2$ एक नैदानिक मीट्रिक (diagnostic metric) के रूप में कार्य करता है। हालांकि यह शोध पत्र नए प्रशिक्षण तरीके प्रस्तावित नहीं करता है, लेकिन यह इस बात पर प्रकाश डालता है कि क्या न्यूरल नेटवर्क में सीखे गए फिल्टर्स स्वाभाविक रूप से शून्य-त्रुटी सबस्पेस के साथ संरेखित होते हैं, यह एक खुला अनुभवजन्य प्रश्न है, क्योंकि कुल पैरामीटर स्पेस के सापेक्ष यह सबस्पेस अत्यंत छोटा है।

यह कार्य निष्कर्ष निकालता है कि जबकि हेडामार्ड ट्रांसफॉर्म्स हार्डवेयर दक्षता प्रदान करते हैं, कन्वोल्यूशन सेटिंग्स में उनके DFT के साथ विनिमय योग्य होने की क्षमता केवल फिल्टर्स और इनपुट्स के एक नगण्य सबस्पेस तक सीमित है, और परिणामी त्रुट को गैर-आइसोमोर्फिक ग्रुप कन्वोल्यूशन के संरचनात्मक परिणाम के रूप में समझा जाना चाहिए।

महान बदलाव: जब "तेज़" होना "सही" नहीं होता

खोज: यह केवल रैंडम शोर नहीं है

"एलाइनमेंट" का रहस्य

यह क्यों मायने रखता है

इसी तरह के और पेपर