🤖 machine learning

EML Trees Are Universal Approximators

यह शोध पत्र यह स्थापित करता है कि हाल ही में प्रस्तुत EML (Exp-Minus-Log) फलन के ट्री-स्ट्रक्चर्ड कंपोजिशन, बहुपद निरूपणों (polynomial representations) की नकल करके $W^{k, \infty}$ के फलनों के लिए यूनिवर्सल एप्रोक्सिमेटर्स के रूप में कार्य करते हैं और व्यावहारिक अनुकूलन (practical optimization) के लिए एक संगत लर्निंग एल्गोरिदम की व्यवहार्यता को प्रदर्शित करता है।

मूल लेखक: Joe Germany, Elie Abdo, Joseph Bakarji

प्रकाशित 2026-06-23

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Joe Germany, Elie Abdo, Joseph Bakarji

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक ऐसी मशीन बनाने की कोशिश कर रहे हैं जो किसी भी आकार, वक्र (curve), या पैटर्न की नकल कर सके जिसे आप कागज के एक टुकड़े पर बना सकते हैं। गणित और कंप्यूटर विज्ञान की दुनिया में, इसे "यूनिवर्सल एप्रोक्सिमेशन" (universal approximation) कहा जाता है। अधिकांश आधुनिक AI मॉडल (जैसे न्यूरल नेटवर्क) यह काम साधारण स्विचों को एक के ऊपर एक रखकर करते हैं जो चालू या बंद होते हैं।

यह शोध पत्र एक अलग प्रकार की मशीन पेश करता है जो एक विशेष गणितीय "लेगो ब्रिक" (Lego brick) से बनी है जिसे EML (Exp-Minus-Log) कहा जाता है।

यहाँ लेखकों द्वारा किए गए कार्यों का विवरण दिया गया, सरल उपमाओं (analogies) का उपयोग करते हुए:

1. जादुई ईंट: EML

EML फंक्शन को एक ऐसे सार्वभौमिक उपकरण के रूप में सोचें जो दो शक्तिशाली बलों को जोड़ता है: एक्सपोनेंशियल (exponentials - जो बहुत तेजी से बढ़ते हैं, जैसे ढलान से लुढ़कता हुआ हिमखंड) और लॉगारिदम (logarithms - जो चीजों को छोटा कर देते हैं, जैसे दूरबीन से ज़ूम आउट करना)।

लेखकों ने खोजा कि यदि आप इस विशिष्ट उपकरण को कुछ समायोज्य नॉब्स (adjustable knobs/parameters) के साथ जोड़ते हैं, तो आप किसी भी बुनियादी गणितीय फलन (function) का निर्माण कर सकते हैं—जोड़, गुणा, घात (powers), और यहाँ तक कि साइन वेव (sine waves) जैसे जटिल वक्र भी। यह एक ही प्रकार के लेगो ब्रिक होने जैसा है जिसे आप कार, घर या अंतरिक्ष यान बनाने के लिए आपस में जोड़ सकते हैं, बशर्ते आपको सही निर्देश पता हों।

2. निर्माण: पेड़ों का निर्माण (Building Trees)

इन ईंटों को एक सीधी रेखा में रखने के बजाय (जैसा कि एक मानक न्यूरल नेटवर्क में होता है), लेखक इन्हें एक पेड़ की संरचना (tree structure) में व्यवस्थित करते हैं।

उपमा: एक फैमिली ट्री (वंशवृक्ष) की कल्पना करें। नीचे पत्तियाँ (आपके इनपुट नंबर) होती हैं। जैसे-जैसे आप शाखाओं के ऊपर बढ़ते हैं, EML ईंटें इन नंबरों को मिलाती और बदलती हैं। बिल्कुल शीर्ष पर (तने/trunk पर), आपको अंतिम परिणाम मिलता है।
दावा: यह शोध पत्र गणितीय रूप से सिद्ध करता है कि चाहे वक्र कितना भी टेढ़ा-मेढ़ा या जटिल क्यों न हो, आप इन EML ईंटों का एक पेड़ बना सकते हैं जो उस वक्र से लगभग पूरी तरह मेल खाता है।

3. "चालाकी" वाला हिस्सा: लॉगारिदम का छेद (The Logarithm Hole)

यहाँ एक पेंच है। EML ईंट का लॉगारिदम वाला हिस्सा शून्य (zero) और नकारात्मक संख्याओं (negative numbers) से नफरत करता है। यदि आप इसमें शून्य या नकारात्मक संख्या डालने की कोशिश करते हैं, तो गणित टूट जाता है (यह शून्य से भाग देने की कोशिश करने जैसा है)।

समाधान: लेखकों ने सिद्ध किया कि जब तक आप "सुरक्षित क्षेत्र" (zero से बड़ी संख्याएँ) में रहते हैं, यह पेड़ पूरी तरह से काम करता है।
जुगाड़: सुरक्षित क्षेत्र के किनारे (जैसे कि संख्या 0 स्वयं) को संभालने के लिए, उन्होंने एक चतुर तरीका प्रस्तावित किया: वे पूरी समस्या को थोड़ा सिकोड़ देते हैं ताकि वह सुरक्षित क्षेत्र के भीतर फिट हो जाए, वहां इसे हल करते हैं, और फिर इसे वापस फैला देते हैं। यह सुनिश्चित करता है कि सीमाओं पर भी गणित सही बना रहे।

4. ब्लूप्रिंट बनाम वास्तविकता

यह शोध पत्र मुख्य रूप से दो चीजें करता है:

ब्लूप्रिंट (सिद्धांत): उन्होंने एक कठोर गणितीय प्रमाण लिखा जिससे पता चलता है कि यदि आप उनके विशिष्ट निर्देशों का पालन करते हैं, तो आप किसी भी सुचारू (smooth) फलन का सटीक अनुमान लगाने के लिए एक पेड़ बना सकते हैं। उन्होंने यह भी गणना की कि उस काम को पूरा करने के लिए पेड़ कितना बड़ा और गहरा होना चाहिए।
वास्तविकता की जाँच (प्रयोग): उन्होंने डेटा का उपयोग करके (उदाहरणों से सीखकर, न कि ब्लूप्रिंट का पालन करके) कंप्यूटर को ये पेड़ बनाना सिखाने की कोशिश की।
- परिणाम: कंप्यूटर वक्रों के आकार को सीखने में बहुत अच्छा था। वह लक्षित फलनों (target functions) की उच्च सटीकता के साथ नकल कर सका।
- ट्विस्ट: हालाँकि, कंप्यूटर ने उन साफ-सुथरे, सरल "प्रतीकात्मक" (symbolic) निर्देशों (जैसे $x^2 + 1$ ) को दोबारा नहीं खोज पाया जिनका उपयोग सैद्धांतिक ब्लूप्रिंट में किया गया था। इसके बजाय, उसने नंबरों के अस्त-व्यस्त, जटिल संयोजन खोजे जो उतने ही प्रभावी ढंग से काम करते थे। यह एक ऐसे शेफ की तरह है जो किसी प्रसिद्ध व्यंजन की हूबहू नकल तो कर सकता है, लेकिन वह एक गुप्त, जटिल रेसिपी का उपयोग करता है जो मूल कुकबुक से बिल्कुल अलग दिखती है।

सारांश

यह शोध पत्र स्थापित करता है कि EML पेड़ जटिल गणितीय फलनों का अनुमान लगाने के लिए एक सैद्धांतिक रूप से पूर्ण उपकरण हैं। उन्होंने सिद्ध किया कि यदि सही ढंग से बनाया जाए, तो ये पेड़ किसी भी सुचारू वक्र की नकल कर सकते हैं। हालांकि कंप्यूटर लर्निंग प्रयोगों ने दिखाया कि वे व्यवहार में अच्छी तरह काम करते हैं, लेकिन उनके द्वारा "सीखे गए" संस्करण वर्तमान में उन साफ-सुथरे, पठनीय सूत्रों की तुलना में 'ब्लैक बॉक्स' की तरह अधिक हैं जो उनका सैद्धांतिक ब्लूप्रिंट सुझाता है।

संक्षेप में: उन्होंने सिद्ध किया कि आप इन विशिष्ट ईंटों का उपयोग करके एक आदर्श गणितीय आकार-बदलने वाला (shape-shifter) बना सकते हैं, और उन्होंने यह भी दिखाया कि एक कंप्यूटर इन ईंटों का उपयोग करना सीख सकता है, भले ही कंप्यूटर का संस्करण उनके स्वच्छ सैद्धांतिक डिजाइन की तुलना में थोड़ा अव्यवस्थित हो।

तकनीकी सारांश: EML ट्री सार्वभौमिक सन्निकटकर्ता (Universal Approximators) हैं

समस्या विवरण
यह शोध पत्र इस प्रश्न को संबोधित करता है कि क्या हाल ही में पेश किए गए एक्सपोनेंशियल-माइनस-लॉग (EML) फलन के वृक्ष-संरचित संयोजन (tree-structured compositions) चिकने फलनों (smooth functions) के लिए सार्वभौमिक सन्निकटकर्ता के रूप में कार्य करने के लिए पर्याप्त अभिव्यंजक शक्ति रखते हैं। जबकि पिछले कार्य [22] ने यह प्रदर्शित किया था कि EML संयोजन किसी भी प्रारंभिक फलन (त्रिकोणमितीय और घातांकीय सहित) को स्पष्ट प्रतीकात्मक निर्माण के माध्यम से सटीक रूप से प्रदर्शित कर सकते हैं, यह एक खुला सैद्धांतिक प्रश्न बना हुआ था कि क्या ये संरचनाएं सोबोलेव स्पेस (Sobolev spaces) $W^{k,\infty}$ में यादृच्छिक फलनों का सन्निकटन करने के लिए पर्याप्त क्षमता रखती हैं और क्या उनके त्रुटि अंतराल (error bounds) मापने योग्य हैं। इसके अलावा, यह शोध पत्र जांच करता है कि क्या सामान्यीकृत EML फलन, जो सीखने योग्य मापदंडों (learnable parameters) से सुसज्जित है, एक निरंतर मापदंड स्थान (continuous parameter space) में प्रभावी रूप से अनुकूलित किया जा सकता है, जो पूर्व साहित्य में खोजे गए असतत प्रतीकात्मक पुनर्प्राप्ति (discrete symbolic recovery) से भिन्न है।

कार्यप्रणाली
लेखक स्थानीय बहुपद सन्निकटन (local polynomial approximation) और स्पष्ट बीजगणितीय निरूपण को संयोजित करने वाली एक रचनात्मक प्रमाण रणनीति के माध्यम से EML ट्री के लिए एक कठोर सन्निकटन सिद्धांत विकसित करते हैं।

सामान्यीकृत EML फलन: अध्ययन एक सामान्यीकृत EML परमाणु (atom) पेश करता है, $EML_{\theta_i}(x,y) = a_i e^{b_i x + c_i} + d_i \ln(e_i y + f_i)$ , जिसमें प्रति इकाई छह सीखने योग्य मापदंड शामिल हैं। यह सामान्यीकरण गुणांकों को सीधे एनकोड करने की अनुमति देता है, जिससे अंक 1 से स्थिरांकों को पुनरावर्ती रूप से निर्मित करने की आवश्यकता समाप्त हो जाती है, अन्यथा इससे ट्री के आकार में अत्यधिक वृद्धि होती।
रचनात्मक सन्निकटन ढांचा: सार्वभौमिक सन्निकटन प्रमेय का प्रमाण तीन-चरणीय प्रक्रिया पर आधारित है:
- स्थानीयकरण (Localization): डोमेन $(0,1]^d$ को छोटे क्यूब्स में विभाजित किया गया है। ब्रैम्बल-हिल्बर्ट लेम्मा (Bramble–Hilbert lemma) का उपयोग करके, ओवरलैपिंग क्यूब्स पर लक्षित फलन के लिए स्थानीय बहुपद सन्निकटकों का निर्माण किया गया है।
- स्मूथिंग (Smoothing): इंडिकेटर फंक्शनों के साथ स्थानीय बहुपदों को जोड़ने में निहित विच्छिन्नता (discontinuities) से बचने के लिए, लेखक शिफ्टेड और रीस्केल्ड हाइपरबोलिक टेंगेंट ( $\tanh$ ) फंक्शनों का उपयोग करके एक चिकना "अनुमानित एकता का विभाजन" (approximate partition of unity) निर्मित करते हैं।
- स्पष्ट निर्माण: लेखक यह प्रदर्शित करते हैं कि आवश्यक बीजगणितीय संचालन (जोड़, घटाव, गुणा, भाग, घातांक) और $\tanh$ फलन स्वयं EML ट्री द्वारा सटीक रूप से प्रदर्शित किए जा सकते हैं। इन "ब्लॉक्स" को संयोजित करके, वे एक ऐसा EML ट्री निर्मित करते हैं जो वैश्विक स्मूथड बहुपद सन्निकटन का सटीक प्रतिनिधित्व करता है।
विलक्षणताओं (Singularities) का प्रबंधन: चूंकि प्राकृतिक लघुगणक (natural logarithm) गैर-धनात्मक तर्कों के लिए अपरिभाषित है, इसलिए सैद्धांतिक परिणाम शुरू में अर्ध-खुले डोमेन $(0,1]^d$ पर स्थापित किए गए हैं। लेखक इन परिणामों को बंद डोमेन $[0,1]^d$ तक विस्तारित करते हैं, जिसके लिए एक अफ़ाइन संकुचन मैपिंग (affine contraction mapping) का उपयोग किया जाता है जो डोमेन को आंतरिक भाग में धकेल देती है, जिससे सीमा प्रभावों (boundary effects) को नियंत्रित किया जा सके।
अनुभवजन्य सत्यापन (Empirical Validation): लेखक ग्रेडिएंट-आधारित अनुकूलन (Adam के बाद L-BFGS) का उपयोग करके EML-प्रकार के ट्री के लिए एक लर्निंग एल्गोरिदम लागू करते हैं। वे पांच एक-आयामी बेंचमार्क फलनों पर मॉडल का परीक्षण करते हैं, जिसमें वास्तविक-मान और जटिल-मान पैरामीट्रिकरण (real-valued and complex-valued parameterizations) की तुलना की जाती है।

प्रमुख योगदान

सार्वभौमिक सन्निकटन प्रमेय: यह शोध पत्र सिद्ध करता है कि EML ट्री $W^{k,\infty}((0,1]^d)$ के फलनों के लिए सार्वभौमिक सन्निकटकर्ता हैं। प्रमेय एक विशिष्ट त्रुटि प्राप्त करने के लिए आवश्यक EML ट्री के आकार (परमाणुओं की संख्या) और गहराई पर स्पष्ट ऊपरी सीमा प्रदान करता है, जो त्रुटि के व्युत्क्रम और आयाम के साथ बहुपद रूप से स्केल करता है।
बंद डोमेन के लिए विस्तार: एक उप-प्रमेय (corollary) शून्य पर लघुगणकीय विलक्षणता से बचने के लिए अफ़ाइन संकुचन का उपयोग करके बंद घन $[0,1]^d$ पर सन्निकटन गारंटी को विस्तारित करता है।
सामान्यीकृत पैरामीट्रिकरण: छह-पैरामीटर वाले सामान्यीकृत EML फलन का परिचय ऑपरेटरों के अधिक संक्षिप्त निरूपण की सुविधा प्रदान करता है और प्रत्यक्ष गुणांक एनकोडिंग को सक्षम करता है, जो रचनात्मक प्रमाण और व्यावहारिक अनुकूलन के लिए महत्वपूर्ण है।
ऑपरेटरों का स्पष्ट निर्माण: यह कार्य EML ट्री का उपयोग करके प्रारंभिक ऑपरेशनों (जोड़, गुणा, आदि) और $\tanh$ फलन के निरूपण के लिए विस्तृत निर्माण प्रदान करता है, जो सन्निकटन सिद्धांत के लिए आवश्यक संरचनात्मक निर्माण खंडों (compositional building blocks) को स्थापित करता है।

परिणाम

सैद्धांतिक: शोध पत्र स्थापित करता है कि किसी भी $f \in W^{s,\infty}([0,1]^d)$ के लिए, एक EML ट्री $\tilde{p}_N^\theta$ मौजूद है ताकि $W^{k,\infty}$ नॉर्म में सन्निकटन त्रुटि $O(N^{-(s-k)})$ के रूप में घटती है, जहाँ $N$ डोमेन विभाजन के रिज़ॉल्यूशन से संबंधित है। ट्री का आकार और गहराई आयाम $d$ , स्मूथनेस $s$ , और लक्षित रिज़ॉल्यूशन के कार्यों द्वारा सीमित है।
अनुभवजन्य: एक-आयामी लक्ष्यों (बहुपद, $\tanh$ $tanh$ , $\sin$ $sin$ , गॉसियन, और मॉड्युलेटेड साइन) पर प्रयोगों में, सामान्यीकृत EML ट्री ने एक निश्चित कंप्यूटेशनल बजट के भीतर गहराई 4 पर अधिकांश लक्ष्यों पर एक प्रतिशत से कम सापेक्ष RMSE प्राप्त किया।
- वास्तविक-मान पैरामीट्रिकरण, बहुपद और हाइपरबोलिक टेंगेंट लक्ष्यों के लिए पर्याप्त थे।
- जटिल-मान पैरामीट्रिकरण ने अत्यधिक दोलन वाले लक्ष्यों (जैसे $\sin(3x)e^{-x^2/2}$ ) के लिए एक मापने योग्य लाभ प्रदान किया, जो संभवतः यूलर की पहचान (Euler's identity) के माध्यम से त्रिकोणमितीय फलनों को सटीक रूप से प्रदर्शित करने की क्षमता के कारण है।
- व्याख्यात्मकता सीमा (Interpretability Limitation): एक "ग्रीडी स्नैप" (greedy snap) विश्लेषण ने खुलासा किया कि सीखे गए निरंतर मापदंडों ने उन असतत प्रतीकात्मक विन्यासों (जैसे $\{0, \pm 1\}$ ) में रूपांतरण नहीं किया जो रचनात्मक प्रमाण द्वारा अनुमानित थे। केवल एक छोटा सा हिस्सा ही असतत मानों पर पहुँचा, और कोई भी परमाणु पूरी तरह से असतत नहीं हुआ। यह सुझाव देता है कि जबकि ट्री फलन के मानों का सटीक सन्निकटन करते हैं, वे आवश्यक रूप से सैद्धांतिक प्रमाण से प्राप्त विशिष्ट प्रतीकात्मक संरचना को पुनः प्राप्त नहीं करते हैं।

महत्ता और दावे
शोध पत्र का दावा है कि यह EML ट्री को "फलन सन्निकटन के लिए एक सैद्धांतिक रूप से आधारित ढांचे" के रूप में स्थापित करता है। प्रारंभिक फलन प्रतिनिधित्व की प्रतीकात्मक सटीकता और निरंतर मापदंडों के सांख्यिकीय शिक्षण के बीच की खाई को पाटकर, यह कार्य EML-आधारित आर्किटेक्चर की अभिव्यंजक क्षमता के लिए एक कठोर औचित्य प्रदान करता है।

लेखक अपने अनुभवजन्य परिणामों के व्यावहारिक निहितार्थों के संबंध में विनम्र बने हुए हैं। वे स्पष्ट रूप से कहते हैं कि यह अध्ययन EML ट्री की व्यावहारिक क्षमता के लिए एक "सेंटी चेक" (sanity check) के रूप में कार्य करता है, न कि सन्निकटन प्रमेय की अभिसरण दरों (convergence rates) के पूर्ण सत्यापन के रूप में। वे स्वीकार करते हैं कि सीखे गए मॉडल निरंतर सन्निकटकर्ता के रूप में कार्य करते हैं न कि प्रतीकात्मक पुनर्निर्माण के रूप में, और नोट करते हैं कि विशिष्ट प्रतीकात्मक संरचना को पुनः प्राप्त करने के लिए अतिरिक्त संरचनात्मक नियमितीकरण या प्रेरक पूर्वाग्रहों (inductive biases) की आवश्यकता होगी, जो भविष्य के अनुसंधान के लिए छोड़े गए हैं। यह कार्य EML ट्री को न्यूरल नेटवर्क, फिजिक्स-इन्फॉर्म्ड न्यूरल नेटवर्क और सिम्बोलिक रिग्रेशन के व्यापक साहित्य से जोड़ता है, जिससे उन्हें व्याख्यात्मक और अभिव्यंजक फलन सन्निकटन के लिए एक व्यवहार्य विकल्प के रूप में स्थापित करता है।

1. जादुई ईंट: EML

2. निर्माण: पेड़ों का निर्माण (Building Trees)

3. "चालाकी" वाला हिस्सा: लॉगारिदम का छेद (The Logarithm Hole)

4. ब्लूप्रिंट बनाम वास्तविकता

सारांश

इसी तरह के और पेपर