📊 statistics

Beyond Lipschitz: Data-Driven Robustness via Discrete Modulus of Continuity

यह शोध पत्र डिस्क्रीट मोडुलस ऑफ कंटीन्युटी (DMOC) पर आधारित एक डेटा-संचालित, आर्किटेक्चर-अज्ञेय ढांचा प्रस्तुत करता है ताकि न्यूरल नेटवर्क की मजबूती का एक सूक्ष्म, गैर-रैखिक माप प्रदान किया जा सके जो वैश्विक लिप्सचिट्ज़ स्थिरांकों से ध्यान हटाकर डेटा-निर्भर नियमितता पर केंद्रित करता है, जिससे प्रशिक्षण व्यवस्थाओं के लिए स्केलेबल डायग्नोस्टिक्स और सटीक लिप्सचिट्ज़ अनुमान प्राप्त होते हैं।

मूल लेखक: Jürgen Dölz, Michael Multerer, Michele Palma

प्रकाशित 2026-05-28

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jürgen Dölz, Michael Multerer, Michele Palma

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

बड़ी समस्या: "एक ही आकार के लिए उपयुक्त" (One-Size-Fits-All) पैमाना

कल्पना कीजिए कि आप यह मापने की कोशिश कर रहे हैं कि एक न्यूरल नेटवर्क (AI का एक प्रकार) कितना "उछाल वाला" या "संवेदनशील" है। यदि आप इनपुट में एक छोटा सा बदलाव करते हैं, तो उसके उत्तर में कितना बदलाव आता है?

लंबे समय से, वैज्ञानिक इसे मापने के लिए एक ही उपकरण का उपयोग करते आए हैं: लिप्सचिट्ज़ कांस्टेंट (Lipschitz constant)। इसे एक कठोर, सीधी स्केल (रूलर) के रूप में सोचें। यह आपको वह अधिकतम संभव उछाल बताता है जो AI कभी भी कर सकता है, चाहे वह मैप पर कहीं भी हो।

इस पेपर के लेखक तर्क देते हैं कि यह स्केल दो कारणों से दोषपूर्ण है:

यह बहुत मोटा (Blunt) है: कभी-कभी AI कुछ क्षेत्रों में बहुत स्थिर होता है लेकिन अन्य क्षेत्रों में बहुत अनियंत्रित। एक अकेला नंबर उस बारीकी को नहीं पकड़ सकता। यह ऐसा है जैसे कहना कि एक कार की "टॉप स्पीड" 100 मील प्रति घंटा है, लेकिन वास्तव में वह स्कूल ज़ोन में 5 मील प्रति घंटा और हाईवे पर 90 मील प्रति घंटा चलती है। वह अकेला नंबर वास्तविकता को छिपा देता है।
यह बहुत सख्त है: AI को सुरक्षित (Robust) बनाने के लिए, हम कभी-कभी उसे हर जगह "स्मूथ" होने के लिए मजबूर करते हैं। लेकिन कुछ फंक्शन (जैसे वर्गमूल/square root) शून्य के पास स्वाभाविक रूप से ऊबड़-खाबड़ होते हैं। उन्हें पूरी तरह से स्मूथ बनाने के लिए मजबूर करना उनकी सच्चाई सीखने की क्षमता को बिगाड़ देता है।

नया समाधान: "लचीला इंची टेप" (DMOC)

लेखक एक नया टूल प्रस्तावित करते हैं जिसे डिस्क्रीट मोडुलस ऑफ कॉन्टिन्युटी (DMOC) कहा जाता है।

एक कठोर स्केल के बजाय, एक लचीले इंची टेप (Tape Measure) की कल्पना करें जिसे आप अलग-अलग लंबाई तक खींच सकते हैं।

यह कैसे काम करता है: यह पूछने के बजाय कि, "सबसे बुरा उछाल क्या हो सकता है?" यह पूछता है, "यदि मैं अपने इनपुट को थोड़ा सा बदलूँ, तो आउटपुट कितना बदलेगा? यदि मैं इसे मध्यम मात्रा में बदलूँ तो क्या होगा? यदि मैं इसे बहुत अधिक बदल दूँ तो क्या होगा?"
डेटा-संचालित (Data-Driven): महत्वपूर्ण बात यह है कि यह इंची टेप AI के दिमाग (इसके कोड या वेट्स) के अंदर नहीं झांकता है। यह केवल डेटा (पूछे गए सवाल और दिए गए जवाब) को देखता है। यह पूछता है: "क्या AI का व्यवहार उस डेटा की प्राकृतिक सहजता (Smoothness) से मेल खाता है जिस पर उसे प्रशिक्षित किया गया था?"

यदि डेटा स्मूथ है, तो AI को भी स्मूथ होना चाहिए। यदि डेटा में तीखे किनारे हैं, तो AI को भी तीखे किनारे रखने की अनुमति होनी चाहिए। DMOC यह मापता है कि AI के "उछाल" हर स्तर पर डेटा के "उछाल" के साथ कितनी अच्छी तरह मेल खाते हैं।

तीन मुख्य खोजें

1. यह एक डायग्नोस्टिक टूल की तरह काम करता है

लेखकों ने इस टूल का परीक्षण उन AI नेटवर्क पर किया जो थे:

अच्छी तरह से प्रशिक्षित (Well-trained): AI ने सबक को पूरी तरह से सीख लिया।
ओवरफिटिंग (Overfitting): AI ने उत्तरों को रट लिया लेकिन सबक को नहीं समझा (यह बहुत ज्यादा झटकेदार/jittery है)।
अंडरफिटिंग (Underfitting): AI ने पर्याप्त नहीं सीखा (यह बहुत अधिक सख्त/बोरिंग है)।

उपमा (Analogy): एक डांसर की कल्पना करें।

एक अच्छी तरह से प्रशिक्षित डांसर ठीक वैसे ही हिलता है जैसा संगीत निर्देश देता है—जब संगीत धीमा हो तो स्मूथ, जब तेज़ हो तो शार्प। DMOC इंची टेप दिखाता है कि उनकी गति संगीत के साथ पूरी तरह मेल खाती है।
एक ओवरफिटिंग वाला डांसर अनावश्यक रूप से फड़क रहा है और कांप रहा है। इंची टेप दिखाता है कि वे संगीत की तुलना में बहुत अधिक जंगली तरीके से हिल रहे हैं।
एक अंडरफिटिंग वाला डांसर स्थिर खड़ा है या रोबोटिक तरीके से हिल रहा है। इंची टेप दिखाता है कि वे संगीत से मेल खाने के लिए पर्याप्त नहीं हिल रहे हैं।

पेपर दिखाता है कि DMOC तुरंत बता सकता है कि आपके पास किस प्रकार का डांसर है, जबकि पुराना "कठोर स्केल" (Lipschitz constant) अक्सर अंतर नहीं बता पाता था।

2. यह विशाल डेटासेट्स के लिए पर्याप्त तेज़ है

इस नए इंची टेप की गणना करने के लिए आमतौर पर डेटा के हर संभावित जोड़े की जांच करने की आवश्यकता होती है, जो समुद्र तट पर रेत के हर कण को गिनने जैसा है। यह धीमा और महंगा है।

लेखकों ने एक मिनिबैच एल्गोरिदम (Minibatch Algorithm) बनाया है।

उपमा: समुद्र तट पर रेत के हर कण को गिनने के बजाय, आप एक मुट्ठी (एक "बैच") उठाते हैं, उसे गिनते हैं, और यही प्रक्रिया दोहराते हैं। इसे स्मार्ट तरीके से करके, वे बहुत कम समय में विशाल डेटासेट्स (जैसे लाखों फोटो वाला ImageNet) की स्मूथनेस का अनुमान लगा सकते हैं।

3. यह एक बेहतर "स्पीड लिमिट" साइन है

इस नए इंची टेप का एक अन्य लाभ यह है कि यदि आपको वास्तव में आवश्यकता हो, तो यह पुराने "लिप्सचिट्ज़ कांस्टेंट" (स्पीड लिमिट) की भी गणना कर सकता है।

लेखकों ने पाया कि उनका नया तरीका इस स्पीड लिमिट की गणना मौजूदा सर्वोत्तम उच्च-तकनीकी तरीकों (जैसे ECLipsE) जितनी ही सटीकता से करता है, लेकिन अक्सर अधिक तेज़ी से और बिना AI की आंतरिक संरचना को जाने।

सारांश

यह पेपर यह जाँचने का एक नया तरीका पेश करता है कि क्या एक AI सही व्यवहार कर रहा है। एक ब्लंट, एक-नंबर वाले नियम के बजाय जो विवरणों को अनदेखा करता है, वे एक लचीले, डेटा-संचालित "इंची टेप" का उपयोग करते हैं जो हर स्तर के विवरण पर AI के व्यवहार की जाँच करता है।

पुराना तरीका: "क्या AI सुरक्षित है? यहाँ एक नंबर है।" (अक्सर भ्रामक)।
नया तरीका (DMOC): "यहाँ एक ग्राफ है जो दिखाता है कि AI छोटे, मध्यम और बड़े बदलावों के प्रति कैसे प्रतिक्रिया करता है, और यह उस डेटा के मुकाबले कैसा है जिससे उसने सीखा है।"

यह शोधकर्ताओं को यह देखने की अनुमति देता है कि क्या कोई AI "ओवरफिटिंग" (बहुत ज्यादा झटकेदार) कर रहा है या "अंडरफिटिंग" (बहुत ज्यादा सख्त) कर रहा है और यह उन्हें AI के कोड के अंदर झांके बिना उसकी मजबूती (Robustness) की अधिक सटीक तस्वीर देता है।

तकनीकी सारांश: लिप्सचिट्ज़ से परे: डिस्क्रीट मोडुलस ऑफ कंटिन्यूटी के माध्यम से डेटा-संचालित सुदृढ़ता (Robustness)

समस्या विवरण
न्यूरल नेटवर्क की सुदृढ़ता (robustness) को पारंपरिक रूप से स्थानीय या वैश्विक लिप्सचिट्ज़ स्थिरांकों (Lipschitz constants) का उपयोग करके मापा जाता है। जबकि लिप्सचिट्ज़ निरंतरता (Lipschitz continuity) प्रतिकूल परिवर्तनों (adversarial perturbations) के विरुद्ध सैद्धांतिक गारंटी प्रदान करती है, लेखक तर्क देते हैं कि यह अक्सर एक अपर्याप्त मीट्रिक है। यह बहुत अधिक व्यापक (coarse) हो सकती है, जो सूक्ष्म, डेटा-निर्भर व्यवहार को पकड़ने में विफल रहती है, या बहुत अधिक प्रतिबंधात्मक हो सकती है, जिससे नेटवर्क की अभिव्यक्ति और सटीकता बाधित हो सकती है। उदाहरण के लिए, उन फलनों (functions) पर लिप्सचिट्ज़ बाधाएं लागू करना जो निरंतर हैं लेकिन लिप्सचिट्ज़ नहीं हैं (जैसे, $\sqrt{x}$ ), या उन फलनों पर जहाँ वैश्विक लिप्सचिट्ज़ सीमाएँ स्थानीय भिन्नता का अतिरंजित अनुमान लगाती हैं (जैसे, $\tanh(x)$ ), सीखने की प्रक्रिया में बाधा डाल सकता है। इसके अलावा, लिप्सचिट्ज़ स्थिरांकों का अनुमान लगाने वाली मौजूदा विधियाँ अक्सर विशिष्ट आर्किटेक्चर पर निर्भर करती हैं या उनमें सटीक सैद्धांतिक गारंटी का अभाव होता है। शोध पत्र एक ब्लैक-बॉक्स, मल्टी-स्केल धारणा की आवश्यकता की पहचान करता है जो आर्किटेक्चर के पार लागू हो सके और जो केवल मॉडल के आंतरिक भाग के बजाय डेटा वितरण पर आधारित हो।

कार्यप्रणाली (Methodology)
प्रस्तावित ढांचा डिस्क्रीट मोडुलस ऑफ कंटिन्यूटी (DMOC) पर केंद्रित है, जो एक डेटा-संचालित, आर्किटेक्चर-अज्ञेय (architecture-agnostic) माप है।

सैद्धांतिक आधार:
- DMOC, शास्त्रीय मोडुलस ऑफ कंटिन्यूटी (MOC), $\omega(f, t) = \sup_{d_X(x,x') \leq t} d_Y(f(x), f(x'))$ का एक डिस्क्रीट सन्निकटन (approximation) है।
- लिप्सचिट्ज़ स्थिरांक के विपरीत, जो MOC के सबसे सजातीय रैखिक मेजरेंट (least homogeneous linear majorant) का ढलान है, MOC (और इसके विस्तार के रूप में, DMOC) संवेदनशीलता का एक स्केल-डिपेंडेंट विवरण प्रदान करता है। इसमें लिप्सचिट्ज़, होल्डर (Hölder), और कमजोर नियमितताएं शामिल हैं।
- लेखक $\rho$ -नॉर्मलाइज्ड सेमीनॉर्म्स, $|f|_\rho = \sup_{t>0} \rho(t)^{-1}\omega(f, t)$ , को परिभाषित करते हैं ताकि नियमितता को मापा जा सके। DMOC सेमीनॉर्म, $|f_N|_{\rho,N}$ , डेटा साइट्स $X_N$ के एक परिमित सेट पर गणना की जाती है।
अभिसरण सिद्धांत (Convergence Theory):
- शोध पत्र DMOC-प्रेरित सेमीनॉर्म्स के अभिसरण परिणामों को स्थापित करता है। प्रमेय 2.4, सेपरेशन डिस्टेंस ( $q_N$ ) और फिल डिस्टेंस ( $h_{D,N}$ ) के संदर्भ में त्रुटि $|f|_\rho - |f_N|_{\rho,N}$ के लिए स्पष्ट गैर-एसिम्प्टोटिक (non-asymptotic) सीमाएं प्रदान करता है।
- यह सिद्धांत डिस्क्रीट एस्टीमेटर को उसके निरंतर समकक्ष से जोड़ता है, यह प्रदर्शित करते हुए कि DMOC की सटीकता अंतर्निहित डेटा वितरण की ज्यामितीय गुणवत्ता पर निर्भर करती है।
एल्गोरिदम:
- सटीक गणना (एल्गोरिदम 1): डेटासेट में सभी युग्मों की दूरियों (pairwise distances) का मूल्यांकन करके DMOC की गणना करता है। इसकी रनटाइम जटिलता द्विघाती (quadratic), $O(N^2)$ है, जो बड़े डेटासेट के लिए निषेधात्मक है।
- मिनिबैच सन्निकटन (एल्गोरिदम 2): स्केलेबिलिटी को सक्षम करने के लिए, लेखक एक मिनिबैच एल्गोरिदम का प्रस्ताव करते हैं। डेटा को शफल करके और बैचों को प्रोसेस करके, लागत को $O(NC) $तक कम किया जाता है, जहाँ$ C$ बैच का आकार है। यह ImageNet जैसे बड़े पैमाने के डेटासेट पर मूल्यांकन को सक्षम बनाता है।
नैदानिक मीट्रिक (Diagnostic Metrics):
- विभिन्न नेटवर्कों के बीच या डेटा के विरुद्ध DMOC की तुलना करने के लिए, लेखक अलाइनमेंट मीट्रिक्स पेश करते हैं: एक सापेक्ष अलाइनमेंट स्कोर $S(w, w')$ और पियर्सन सहसंबंध गुणांक (Pearson correlation coefficient) $r(w, w')$ । ये मीट्रिक यह मात्रा निर्धारित करते हैं कि एक नेटवर्क का इनपुट-आउटपुट व्यवहार डेटा की अंतर्निहित नियमितता के साथ कितनी अच्छी तरह मेल खाता है।

प्रमुख योगदान

डेटा-केंद्रित ढांचा: DMOC फोकस को मॉडल की नियमितता से हटाकर डेटा की नियमितता पर ले जाता है, जिससे एक बेसलाइन मिलती है जिसके विरुद्ध नेटवर्क की सुदृढ़ता का आकलन किया जा सके, और इसके लिए मॉडल के आंतरिक भाग तक पहुँच की आवश्यकता नहीं होती (ब्लैक-बॉक्स सेटिंग)।
सैद्धांतिक गारंटी: शोध पत्र डेटा सेपरेशन और फिल डिस्टेंस के आधार पर DMOC-प्रेरित सेमीनॉर्म्स के लिए स्पष्ट अभिसरण दरें प्रदान करता है।
स्केलेबिलिटी: मिनिब बैच एल्गोरिदम का परिचय द्विघाती कम्प्यूटेशनल लागत को कम करता है, जिससे यह विधि बड़े डेटासेट (जैसे, ImageNet) के लिए लागू हो जाती है।
अनुभवजन्य नैदानिक उपकरण: यह ढांचा एक आर्किटेक्चर-स्वतंत्र डायग्नोस्टिक के रूप रूप में कार्य करता है जो प्रशिक्षित और अप्रशिक्षित नेटवर्कों के बीच अंतर करता है और अंडरफिटिंग एवं ओवरफिटिंग व्यवस्थाओं की पहचान करता है।

प्रायोगिक परिणाम
लेखकों ने चार डेटासेट: कैलिफोर्निया हाउसिंग, आइरिस, MNIST और ImageNet पर विभिन्न फीडफॉरवर्ड ReLU नेटवर्क और AlexNet का उपयोग करके DMOC का मूल्यांकन किया।

लिप्सचिट्ज़ अनुमान: एक विशेष मामले के रूप में, DMOC सटीक लिप्सचिट्ज़ अनुमान प्रदान करता है। कैलिफोर्निया हाउसिंग डेटासेट पर, DMOC अनुमान ECLipsE और ECLipsE-Fast जैसे अत्याधुनिक तरीकों के तुलनीय थे, जिन्हें अक्सर तेजी से गणना किया गया (उदाहरण के लिए, विशिष्ट आर्किटेक्चर पर ECLipsE के लिए 30-96 सेकंड बनाम 9 सेकंड में समाप्त हुआ)।
नेटवर्क अवस्थाएं:
- वेल-फिटिंग (Well-fitting) नेटवर्क: डेटा के DMOC प्रोफाइल के साथ मजबूत अलाइनमेंट और उच्च सहसंबंध स्कोर दिखाया।
- अप्रशिक्षित (Untrained) नेटवर्क: अलग तरह के स्मूथनेस पैटर्न प्रदर्शित किए, जो अक्सर बड़े स्केल पर अपेक्षित स्मूथनेस को कम आंकते हैं।
- ओवरफिटिंग (Overfitting) नेटवर्क: डेटा के DMOC से अधिक होने की प्रवृत्ति रखते हैं, जो दोलनी विचलन (oscillatory deviations) दिखाते हैं।
- अंडरफिटिंग (Underfitting) नेटवर्क: अत्यधिक स्मूथ व्यवहार प्रदर्शित करते हैं जिसमें विभिन्न स्केल्स पर बहुत कम भिन्नता होती है, जो डेटा की जटिलता को पकड़ने में विफल रहते हैं।
ImageNet: मिनिबैच दृष्टिकोण ने AlexNet के लिए DMOC को सफलतापूर्वक कंप्यूट किया, जिससे पता चला कि प्रशिक्षित नेटवर्कों में अप्रशिक्षित नेटवर्कों की तुलना में काफी बड़े DMOC होते हैं, और बैच आकार बढ़ने के साथ रिज़ॉल्यूशन में सुधार होता है।

महत्व और दावे
शोध पत्र का दावा है कि DMOC, लिप्सचिट्ज़ स्थिरांक की तुलना में नेटवर्क की नियमितता का एक समृद्ध, मल्टी-स्केल विवरण प्रदान करता है। मेट्रिक स्पेस में इनपुट-आउटपुट पेयर्स पर निर्भर होकर, यह नेटवर्क की सुदृढ़ता का आकलन करने के लिए एक ब्लैक-बॉक्स, आर्किटेक्चर-अज्ञेय टूल प्रदान करता है। लेखक इस बात पर जोर देते हैं कि DMOC केवल लिप्सचिट्ज़ स्थिरांक का प्रतिस्थापन नहीं है बल्कि एक परिशोधन (refinement) है जो डेटा-अंतर्निहित नियमितता को पकड़ता है।

यह कार्य DMOC को मुख्य रूप से एक पोस्ट-हॉक डायग्नोस्टिक टूल के रूप में स्थापित करता है। यह प्रदर्शित करता है कि DMOC प्रोफाइल स्वचालित रूप से प्रशिक्षण अवस्थाओं (अंडरफिटिंग, ओवरफिटिंग, वेल-फिटिंग) के बीच अंतर कर सकते हैं और सटीक लिप्सचिट्ज़ बाउंड प्रदान कर सकते हैं। लेखक विनम्रतापूर्वक नोट करते हैं कि हालांकि यह ढांचा ट्रांसफॉर्मर्स में लेटेंट रिप्रेजेंटेशन के लिए सैद्धांतिक रूप से लागू है, फिर भी इसका अनुभवजन्य रूप से अन्वेषण नहीं किया गया है। वे वर्तमान सीमा को भी पहचानते हैं कि DMOC का उपयोग केवल निदान के लिए किया जा रहा है, और सुझाव देते हैं कि इसे रेगुलराइजेशन के माध्यम से प्रशिक्षण में शामिल करना भविष्य के कार्य के लिए एक स्वाभाविक दिशा है।