🔢 mathematics

Fast approximation and learning of binary classification tasks in o-minimal structures using ReLU neural networks

यह शोध पत्र यह स्थापित करता है कि ReLU न्यूरल नेटवर्क, बहुपद रूप से सीमित भार (polynomially bounded weights) और गहराई-स्वतंत्र आर्किटेक्चर के साथ, o-minimal संरचनाओं में परिभाषित समुच्चयों (definable sets) के अभिलक्षण फलनों (characteristic functions) का कुशलतापूर्वक सन्निकटन कर सकते हैं, जिससे इन सन्निकटन क्षमताओं पर आधारित बाइनरी क्लासिफिकेशन कार्यों के लिए स्पष्ट सांख्यिकीय शिक्षण दरें (statistical learning rates) प्राप्त होती हैं।

मूल लेखक: Clemens Kinn, Philipp Petersen

प्रकाशित 2026-07-03

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Clemens Kinn, Philipp Petersen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कंप्यूटर को कंचों (marbles) के एक मिश्रित बैग को दो ढेरों में छाँटना सिखाने की कोशिश कर रहे हैं: "लाल" और "नीला"। वास्तविक दुनिया में, लाल कंचों और नीले कंचों को अलग करने वाली रेखा हमेशा एक सीधी रेखा नहीं होती। कभी-कभी यह सीमा टेढ़ी-मेढ़ी, घुमावदार या जटिल आकृतियों से बनी हो सकती है।

यह शोध पत्र इस बारे में है कि एक विशिष्ट प्रकार का कंप्यूटर मस्तिष्क (जिसे ReLU न्यूरल नेटवर्क कहा जाता है) कब तक यह समझने में विफल हो सकता है कि सीमा कितनी "टेढ़ी-मेढ़ी" या "जटिल" है।

यहाँ उनकी खोज का विवरण दिया गया, सरल उपमाओं का उपयोग करते हुए:

1. समस्या: बहुत अधिक आकार?

मशीन लर्निंग में, हम अक्सर यह मान लेते हैं कि दो समूहों के बीच की सीमा चिकनी (जैसे एक मंद पहाड़ी) होती है। लेकिन वास्तव में, सीमाएं ऊबड़-खाबड़, टूटी हुई या जटिल नियमों से परिभाषित हो सकती हैं।

लेखकों ने "o-minimal structures" नामक एक विशेष गणितीय दुनिया का अध्ययन किया। इसे एक "सुव्यवस्थित" (tame) ब्रह्मांड मान लीजिए। इस ब्रह्मांड में, आकार सुव्यवस्थित होते हैं। यहाँ आपको अनंत सर्पिल (spirals), स्पेस-फिलिंग कर्व्स, या ऐसे आकार नहीं मिलेंगे जो अनंत गति से लहराते हों। सब कुछ सरल, चिकने टुकड़ों (जैसे लेगो ब्लॉक्स) की एक सीमित संख्या से बना होता है। इसमें वे आकार भी शामिल हैं जिन्हें आप स्केल और कंपास से बना सकते हैं, साथ ही वे आकार भी जो अधिक जटिल सूत्रों (जैसे एक्सपोनेंशियल या ट्रिगोनोमेट्रिक फंक्शन) द्वारा परिभाषित होते हैं, जब तक कि वे "अजीब" न हो जाएं।

2. समाधान: "ट्रेसेबल" (Traceable) सेट

अपना तर्क सिद्ध करने के लिए, लेखकों ने एक नई अवधारणा "Traceable Sets" का आविष्कार किया।

कल्पना कीजिए कि आप मिट्टी से एक जटिल 3D मूर्ति बना रहे हैं।

मानक दृष्टिकोण: आप पूरी चीज़ को एक साथ ढालने की कोशिश करते हैं।
"ट्रेसेबल" दृष्टिकोण: आप इसे परत-दर-परत बनाते हैं। आप एक सपाट आधार से शुरू करते हैं। फिर, उस आधार के प्रत्येक बिंदु के लिए, आप अगला स्तर बनाने के लिए एक ऊपरी और एक निचला सीमा निर्धारित करते हैं। आप अंतिम आकार तक पहुँचने के लिए इन परतों को तब तक जमाते रहते हैं।

यदि कोई आकार इस तरह से बनाया जा सकता है—जहाँ प्रत्येक परत सरल, अनुमानित नियमों द्वारा परिभाषित है—तो वह "ट्रेसेबल" है। लेखकों ने सिद्ध किया कि ऊपर वर्णित गणितीय दुनिया के लगभग सभी "सुव्यवस्थित" आकारों को इस तरह से बनाया जा सकता है।

3. जादुई उपकरण: ReLU न्यूरल नेटवर्क

यह शोध पत्र ReLU न्यूरल नेटवर्क पर केंद्रित है। ReLU नेटवर्क को सरल स्विचों से बनी एक मशीन के रूप में समझें।

एक स्विच "ON" होता है यदि इनपुट सकारात्मक है और "OFF" होता है यदि यह शून्य या नकारात्मक है।
इन हजारों स्विचों को जोड़कर, नेटवर्क जटिल वक्रों (curves) का अनुमान लगा सकता है।

बड़ा सवाल यह था: एक "ट्रेसेबल" आकार की सटीक नकल करने के लिए हमें कितने स्विच (weights) और कितने परतों (layers) की आवश्यकता है?

4. मुख्य खोज: तेज़ सन्निकटन (Fast Approximation)

लेखकों ने एक "गोल्डिलॉक्स" (Goldilocks) परिणाम सिद्ध किया:

आकार: यदि सीमा "ट्रेसेबल" है (चिकनी है और टुकड़ों की एक सीमित संख्या से बनी है),
उपकरण: एक ReLU न्यूरल नेटवर्क इसकी बहुत अच्छी तरह से नकल कर सकता है।
लागत: उच्च सटीकता की मांग करने पर आवश्यक स्विचों की संख्या एक पूर्वानुमेय, प्रबंधनीय दर पर बढ़ती है।

उपमा:
कल्पना कीजिए कि आप केवल सीधी रेखाओं का उपयोग करके एक वृत्त (circle) बनाने की कोशिश कर रहे हैं।

यदि आप एक मोटा वृत्त चाहते हैं, तो आपको 6 रेखाओं की आवश्यकता होगी।
यदि आप एक सटीक वृत्त चाहते, तो आपको लाखों छोटी रेखाओं की आवश्यकता होगी।
लेखकों ने गणना की कि वृत्त कितना चिकना है, इसके आधार पर आपको वास्तव में कितने रेखाओं की आवश्यकता है। उन्होंने पाया कि इन "सुव्यवस्थित" आकारों के लिए, आवश्यक रेखाओं की संख्या अनियंत्रित रूप से नहीं बढ़ती; यह एक बहुत ही विशिष्ट, कुशल तरीके से बढ़ती है।

उन्होंने यह भी दिखाया कि जैसे-जैसे आप अधिक सटीकता चाहते हैं, नेटवर्क की गहराई (depth) को गहरा करने की आवश्यकता नहीं है। आप नेटवर्क को उथला (shallow) रख सकते हैं और बस अधिक स्विच जोड़ सकते हैं। यह बहुत अच्छा है क्योंकि गहरे नेटवर्क को प्रशिक्षित करना कठिन होता है।

5. सीखने की गति: कंप्यूटर कितनी तेज़ी से सीख सकता है?

एक बार जब आप जान लेते हैं कि नेटवर्क आकार का अनुमान लगा सकता है, तो अगला सवाल यह है: कंप्यूटर को इसे सीखने के लिए कितने उदाहरणों की आवश्यकता है?

लेखकों ने अपने सन्निकटन गणित को सांख्यिकीय सिद्धांत के साथ जोड़ा। उन्होंने पाया कि यदि आप कंप्यूटर को $N$ यादृच्छिक उदाहरण (जैसे उसे 1,000 कंचे दिखाना) देते हैं, तो इसके पूर्वानुमान में त्रुटि एक विशिष्ट गति से गिरती है।

परिणाम: त्रुटि लगभग $1 / N^{\text{power}}$ के रूप में कम होती है।
सावधानी: यह "पावर" इस बात पर निर्भर करती है कि सीमा कितनी चिकनी है और डेटा के कितने आयाम (dimensions) हैं।
निष्कर्ष: क्योंकि आकार "सुव्यवस्थित" (Traceable) हैं, इसलिए कंप्यूटर उन्हें एक अराजक, यादृच्छिक आकार की तुलना में बहुत तेज़ी से सीखता है। यह एक बिल्ली को पहचानने (एक संरचित वस्तु) और एक यादृच्छिक शोर (static noise) के पैटर्न को पहचानने के बीच का अंतर है।

सारांश

यह शोध पत्र एक गणितीय गारंटी प्रदान करता है:

यदि आपके डेटा की सीमा "सुव्यवस्थित" है (तार्किक, गैर-अराजक नियमों द्वारा परिभाषित),
तो एक ReLU न्यूरल नेटवर्क स्विचों की एक उचित संख्या का उपयोग करके उस सीमा की बहुत सटीक नकल कर सकता है,
और कंप्यूटर अपेक्षाकृत कम उदाहरणों से इस सीमा को सीख सकता है।

उन्होंने केवल यह नहीं कहा कि "यह काम करता है"; उन्होंने सटीक सूत्र दिया कि विशिष्ट स्तर की सटीकता प्राप्त करने के लिए कितने संसाधनों (स्विच और डेटा पॉइंट) की आवश्यकता है। यह हमें यह समझने में मदद करता है कि न्यूरल नेटवर्क वास्तविक दुनिया की समस्याओं को हल करने में इतने अच्छे क्यों हैं, जहाँ नियम जटिल लेकिन अराजक नहीं होते हैं।

तकनीकी सारांश: O-minimal संरचनाओं में बाइनरी क्लासिफिकेशन कार्यों का तेज़ सन्निकटन और सीखना (Fast Approximation and Learning of Binary Classification Tasks in O-minimal Structures using ReLU Neural Networks)

समस्या विवरण (Problem Statement)
यह शोध पत्र उन बाइनरी क्लासिफिकेशन समस्याओं की जांच करता है जहाँ निर्णय सेट (decision set) $A \subseteq [-1/2, 1/2]^n$ को वास्तविक क्षेत्र (real field) के एक o-minimal विस्तार (expansion) के भीतर परिभाषित किया गया है। जबकि डीप न्यूरल नेटवर्क ने अनुभवजन्य सफलता (empirical success) प्रदर्शित की है, उनके सन्निकटन की शक्ति (approximation power) और सांख्यिकीय सीखने की क्षमता (statistical learnability) की सैद्धांतिक समझ अक्सर लक्ष्य सेट (target set) के बारे में विशिष्ट संरचनात्मक धारणाओं, जैसे कि सीमा की सुगमता (smoothness of the boundary) या बैरॉन-प्रकार के फंक्शन क्लास (Barron-type function classes) पर निर्भर करती है। लेखक o-minimality द्वारा परिभाषित "टेम" (tame) सेट्स के एक व्यापक वर्ग के लिए मात्रात्मक सन्निकटन और सीखने की दर स्थापित करने का लक्ष्य रखते हैं, जिसमें सेमी-एल्जेब्रिक सेट्स और विभिन्न एनालिटिक स्ट्रक्चर शामिल हैं, बिना वैश्विक सुगमता (global smoothness) की धारणाओं पर निर्भर रहे जो जटिल निर्णय सीमाओं के लिए लागू नहीं हो सकती हैं।

कार्यप्रणाली (Methodology)
लेखक o-minimal संरचनाओं में परिभाषित सेट्स के शास्त्रीय प्रॉक्सी के रूप में ट्रेसिबल सेट्स (traceable sets) नामक एक वर्ग पेश करते हैं। यह अवधारणा o-minimal ज्यामिति में निहित सेल डिकम्पोजिशन थ्योरम्स (cell decomposition theorems) से प्रेरित है।

ट्रेसिबल सेट्स (Traceable Sets): एक सेट $A$ को $m$ -traceable कहा जाता है यदि इसे फाइबर-वाइज (fiber-wise) तरीके से सेट की सीमाओं को परिभाषित करने वाले सीमित $C^m$ मानचित्रों $f_i, g_i$ के माध्यम से निर्माण किया जा सकता है। विशेष रूप से, सेट को "क्षितिज" (horizon) फलनों के एक अनुक्रम के रूप में बनाया जाता है जहाँ प्रत्येक परत चिकनी (smooth) फलनों द्वारा सीमित होती है। लेखक $(m, \ell)$ -traceable सेट्स को ऐसे सेट्स के परिमित विसंयुक्त संघों (finite disjoint unions) के रूप में परिभाषित करते हैं।
विस्तार गुण (Extension Properties): सन्निकटन की सुविधा के लिए, पेपर एक $(m, B)$ -विस्तार गुण लागू करता है, जिसके लिए यह आवश्यक है कि सीमा फलनों $f_i, g_i$ को पूरे डोमेन पर $C^m$ फलनों के रूप में विस्तारित किया जा सके जिनका सोबोलेव नॉर्म्स (Sobolev norms) सीमित हो।
सन्निकटन रणनीति (Approximation Strategy): मुख्य सन्निकटन तकनीक में शामिल है:
- स्मूथ ग्राफ्स द्वारा सीमित क्षेत्रों के "क्षितिज फलनों" (characteristic functions of regions bounded by smooth graphs) को ReLU न्यूरल नेटवर्क का उपयोग करके सन्निकटन करना। यह स्मूथ फलनों और उनके संयोजन (compositions) के सन्निकटन पर मौजूदा परिणामों का लाभ उठाता है।
- ReLU-आधारित मिनिमम (minimum) और मैक्सिमम (maximum) ऑपरेशन्स का उपयोग करके ट्रेसिबल सेट के विशेषता फलन (characteristic function) का निर्माण करना (चूंकि $\chi_{\cap} = \min$ और $\chi_{\cup} = \max$ )।
- इस तथ्य का उपयोग करना कि विस्तार धारणाओं के तहत इन सेट्स की सीमा (frontier/boundary) का लेबेग माप (Lebesgue measure) शून्य है, जिससे यह सुनिश्चित होता है कि सेट के क्लोजर (closure) का सन्निकटन $L^p$ सन्निकटन के लिए पर्याप्त है।
सीखने का ढांचा (Learning Framework): सांख्यिकीय शिक्षण विश्लेषण विशिष्ट न्यूरल नेटवर्क क्लासेज के लिए कवरिंग नंबर्स (entropy estimates) के साथ प्राप्त सन्निकटन दरों को जोड़ता है। लेखक विशिष्ट नेटवर्क क्लासेज पर हिंज लॉस (hinge loss) के साथ एम्पेरिकल रिस्क मिनिमाइजेशन (ERM) को लागू करते हैं ताकि सामान्यीकरण सीमाएं (generalization bounds) प्राप्त की जा सकें।

प्रमुख योगदान और परिणाम (Key Contributions and Results)

मात्रात्मक सन्निकटन दरें (Quantitative Approximation Rates): पेपर यह सिद्ध करता है कि किसी भी $(m, \ell)$ -traceable सेट $\Omega \subseteq [-1/2, 1/2]^n$ के विशेषता फलन $\chi_\Omega$ को $\epsilon$ सटीकता तक एक ReLU न्यूरल नेटवर्क $\Phi_\epsilon$ द्वारा $L^p$ नॉर्म में सन्निकट किया जा सकता है।
- नेटवर्क आकार (Network Size): आवश्यक गैर-शून्य भारों (weights) की संख्या $O(\epsilon^{-p(n-1)/m})$ है।
- गहराई (Depth): नेटवर्क की गहराई $\epsilon$ के संबंध में स्वतंत्र रूप से सीमित है, विशेष रूप से $O(\log(\ell n) + \log(m))$ ।
- भार (Weights): भार $1/\epsilon$ के बहुपद (polynomial) रूप में बढ़ते हैं।
- यह परिणाम परिभाषित मानचित्रों $f: [-1/2, 1/2]^n \to \mathbb{R}$ के एक उपवर्ग तक विस्तार करता है जो ट्रेसिबल डोमेन पर पीसवाइज स्मूथ (piecewise smooth) हैं।
सांख्यिकीय शिक्षण दरें (Statistical Learning Rates): $N$ स्वतंत्र नमूनों (samples) के लिए, जो डोमेन से समान रूप से लिए गए हैं, लेखक निर्मित ReLU नेटवर्क क्लासेज पर एम्पेरिकल रिस्क मिनिमाइजेशन के लिए लर्निंग रेट प्राप्त करते हैं।
- परिणामी क्लासिफायर के लिए अपेक्षित मिसक्लासिफिकेशन एरर $N^\kappa$ के एक अत्यंत छोटे बहुपद लॉस फैक्टर तक $O(N^{-m/(m+pn-p)})$ द्वारा सीमित है।
- यह दर हाइपोथीसिस क्लास की कवरिंग एंट्रॉपी के साथ सन्निकटन त्रुटि सीमाओं को जोड़कर प्राप्त की गई है।
O-minimal संरचनाओं पर अनुप्रयोग (Application to O-minimal Structures): लेखक प्रदर्शित करते हैं कि "m-admissible" डिफिनेबल कलेक्शंस (definable collections) (जो सेल डिकम्पोजिशन पर समान सीमाओं वाले डिफिनेबल सेट्स के फाइबर हैं) ट्रेसिबल सेट गुणों को संतुष्ट करते हैं। फलस्वरूप, प्राप्त सन्निकटन और सीखने की दरें सीधे इन डिफिनेबल कलेक्शंस पर लागू होती हैं, जिससे जटिल निर्णय सीमाओं वाले वर्गीकरण समस्याओं के लिए एक एकीकृत सिद्धांत प्रदान होता है।

महत्व और दावे (Significance and Claims)
पेपर का दावा है कि यह o-minimal संरचनाओं में डिफिनेबिलिटी (definability) में आधारित वर्गीकरण सिद्धांत के लिए एक गणितीय रूप से सुदृढ़ धारणा प्रदान करता है। तेज़ सन्निकटन के लिए आवश्यक विश्लेतिक विशेषताओं (traceability और smooth extensions) को अलग करके, वे दिखाते हैं कि o-minimality कई व्यावहारिक निर्णय सेट्स को कैप्चर करता है और साथ ही मजबूत, मात्रात्मक सन्निकटन और अनुमान दरें सक्षम करता है।

महत्व इस बात में है कि यह मॉडल थ्योरी (o-minimality) को आधुनिक डीप लर्निंग थ्योरी के साथ जोड़ता है। उनका तर्क है कि o-minimal स्ट्रक्चर एक प्राकृतिक एकीकृत ढांचा प्रदान करते हैं जहाँ सन्निकटन सिद्धांत, सांख्यिकीय शिक्षण और अनुकूलन (optimization) का अध्ययन एक साथ किया जा सकता है। बैरॉन-टाइप सेटिंग्स के विपरीत, जो संभवतः फलनों के संयोजन (composition) के साथ संघर्ष कर सकती हैं, o-minimal ढांचा एफाइन मैप्स और नॉन-लीनियर एक्टिवेशन्स के बार-बार होने वाले संयोजन को स्वाभाविक रूप से समायोजित करता है, क्योंकि डिफिनेबल मैप्स का संयोजन भी डिफिनेबल रहता है।

परिणामों से पता चलता है कि "टेम" (तुलनात्मक रूप से सरल) निर्णय सीमाओं (definable in an o-minimal structure) के लिए, ReLU न्यूरल नेटवर्क $m$ और $n$ के आयाम के आधार पर इष्टतम या निकट-इष्टतम दर प्राप्त कर सकते हैं, बिना यह आवश्यकता रखे कि सीमाएँ वैश्विक रूप से स्मूथ हों। पेपर स्पष्ट रूप से नोट करता है कि ये दरें डिफिनेबल सेट्स और मैप्स के विशिष्ट उपवर्गों के लिए प्राप्त की गई हैं, और लर्निंग रेट्स o-minimal संरचनाओं में निहित यूनिफॉर्म फाइनाइटनेस प्रॉपर्टीज (जैसे कनेक्टेड कंपोनेंट्स पर यूनिफॉर्म बाउंड्स और VC डायमेंशन) पर निर्भर हैं।