📊 statistics

VaSST: Variational Inference for Symbolic Regression using Soft Symbolic Trees

यह शोध पत्र VaSST को प्रस्तुत करता है, जो प्रतीकात्मक प्रतिगमन (symbolic regression) के लिए एक स्केलेबल संभाव्य ढांचा है जो संय combinación खोज स्थान (combinatorial search space) को कुशलतापूर्वक खोजने के लिए वेरिएशनल इन्फरेंस और निरंतर "सॉफ्ट सिम्बोलिक ट्रीज़" का उपयोग करता है, जिससे मौजूदा विधियों की तुलना में डेटा से भौतिक नियमों को पुनः प्राप्त करने में सिद्धांतपूर्ण अनिश्चितता मात्रा निर्धारण और बेहतर प्रदर्शन सक्षम होता है।

मूल लेखक: Somjit Roy, Pritam Dey, Bani K. Mallick

प्रकाशित 2026-03-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Somjit Roy, Pritam Dey, Bani K. Mallick

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ VaSST पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ अनुवाद दिया गया है।

बड़ी तस्वीर: अराजकता में "रेसिपी" की खोज करना

कल्पना कीजिए कि आप एक जासूस हैं जो एक स्वादिष्ट केक की गुप्त रेसिपी (विधि) का पता लगाने की कोशिश कर रहे हैं। आपके पास सामग्री की एक सूची है (मैदा, चीनी, अंडे) और केक का अंतिम स्वाद भी है, लेकिन आपको निर्देश (instructions) नहीं पता हैं।

स्टैंडर्ड मशीन लर्निंग (Standard Machine Learning) एक ऐसे शेफ की तरह है जिसने हजारों केक के स्वाद को याद कर लिया है। वे भविष्यवाणी कर सकते हैं कि एक नया केक कैसा लगेगा, लेकिन यदि आप उनसे पूछें, "आपने इसे कैसे बनाया?" तो वे बस कहेंगे, "मैंने एक ब्लैक बॉक्स का उपयोग किया।" वे रेसिपी लिख नहीं सकते।
सिंबोलिक रिग्रेशन (Symbolic Regression) जासूस का लक्ष्य है: उस वास्तविक लिखित रेसिपी (गणितीय समीकरण) को खोजना जो यह समझा सके कि केक का स्वाद क्यों वैसा है।

समस्या यह है कि संभावित रेसिपी का ब्रह्मांड अत्यंत विशाल है। यह एक ऐसी लाइब्रेरी में एक सही वाक्य खोजने जैसा है जिसमें अंग्रेजी भाषा के शब्दों के हर संभावित संयोजन का संग्रह है। वर्तमान के अधिकांश तरीके एक ऐसे व्यक्ति की तरह हैं जो कीबोर्ड पर बेतरतीब ढंग से शब्द टाइप कर रहा है, इस उम्मीद में कि शायद कोई सार्थक वाक्य मिल जाए। इसमें बहुत समय लगता है, और वे अक्सर अर्थहीन शब्द (gibberish) टाइप करते हुए अटक जाते हैं।

VaSST का आगमन: "सॉफ्ट" जासूस

लेखक VaSST (Variational Inference for Symbolic Regression using Soft Symbolic Trees) पेश करते हैं। यह कैसे काम करता है, इसे तीन सरल अवधारणाओं में विभाजित किया गया है:

1. "सॉफ्ट" ट्री (मिट्टी की उपमा)

कल्पना कीजिए कि आप कठोर, सख्त लेगो ब्रिक्स (Lego bricks) से एक पेड़ की संरचना बना रहे हैं।

पुराने तरीके: आपको एक-एक करके ब्रिक्स को आपस में जोड़ना पड़ता है। यदि आप गलत जगह पर "प्लस" का निशान लगा देते हैं, तो आपको पूरी चीज़ को फिर से खोलकर शुरू से शुरू करना पड़ता है। यह धीमा और निराशाजनक है।
VaSST का दृष्टिकोण: कठोर ब्रिक्स के बजाय, VaSST नरम, ढलने योग्य मिट्टी (clay) का उपयोग करता है।
- पेड़ के शीर्ष पर, मिट्टी केवल "प्लस" या "माइनस" नहीं है। यह दोनों का एक मिश्रण है। यह 60% "प्लस" और 40% "माइनस" है।
- यह "नरमपन" कंप्यूटर को ग्रेडिएंट डिसेंट (gradient descent) (एक सुचारू स्लाइडिंग गति) का उपयोग करने की अनुमति देता है ताकि सबसे अच्छा आकार पाया जा सके, न कि बेतरतीब ढंग से कूदने की। यह हथौड़े से तराशने के बजाय हाथों से मूर्ति बनाने जैसा है।

2. "एनीलिंग" प्रक्रिया (ठंडा होता हुआ धातु)

आप कच्चे, तरल घोल के साथ केक नहीं बना सकते। अंततः, आपको इसे ठोस बनाना होगा।

VaSST शुरुआत में "मिट्टी" को बहुत नरम (उच्च तापमान) रखता है, जिससे यह कई अलग-अलग आकारों को आसानी से एक्सप्लोर कर पाता है।
जैसे-जैसे कंप्यूटर सीखता है, यह धीरे-धीरे ठंडा (cooling down) होता जाता है (एक प्रक्रिया जिसे एनीलिंग कहा जाता है)।
नरम मिट्टी धीरे-धीरे विशिष्ट, ठोस लेगो ब्रिक्स में सख्त हो जाती है। अंत तक, 60% प्लस और 40% माइनस का वह "मिश्रण" एक निश्चित "प्लस" चिह्न में जम जाता है क्योंकि वही डेटा के लिए सबसे उपयुक्त था।

3. "अनिश्चितता" की महाशक्ति

अधिकांश जासूसों को विश्वास होता है कि उन्होंने एकमात्र उत्तर खोज लिया है। लेकिन क्या होगा यदि दो ऐसी रेसिपी हैं जिनका स्वाद एक जैसा है?

क्योंकि VaSST संभाव्यता (probability) पर आधारित है, यह आपको केवल एक उत्तर नहीं देता। यह आपको एक कॉन्फिडेंस स्कोर (विश्वास स्कोर) देता है।
यह कह सकता है: "मुझे 90% यकीन है कि रेसिपी $A + B$ है, लेकिन 10% संभावना है कि यह $A \times B$ हो सकती है।"
यह विज्ञान के लिए महत्वपूर्ण है। यदि कोई वैज्ञानिक किसी सूत्र के आधार पर पुल का डिज़ाइन बना रहा है, तो उन्हें यह जानने की आवश्यकता है कि वह सूत्र एक चट्टान जैसा ठोस तथ्य है या एक जोखिम भरा अनुमान। VaSST उन्हें बताता है कि वह अनुमान कितना जोखिम भरा है।

यह एक बड़ी बात क्यों है?

पेपर प्रसिद्ध भौतिकी समीकरणों (जैसे गुरुत्वाकर्षण और बिजली) का उपयोग करके VaSST की तुलना अन्य शीर्ष जासूसों (जैसे जेनेटिक प्रोग्रामिंग और बेयसियन मशीन साइंटिस्ट) से करता है।

गति (Speed): VaSST बहुत तेज़ है। जहाँ अन्य लोग लाइब्रेरी में घंटों तक खोज रहे थे, वहीं VaSST ने मिनटों में रेसिपी खोज ली।
सटीकता (Accuracy): इसने सही "रेसिपी" (समीकरण) खोज ली, भले ही डेटा शोर वाला (noisy) था (जैसे टूटे हुए तराजू के साथ टेस्ट किया गया केक रेसिपी)।
सरलता (Simplicity): यह ओकम्स रेज़र (Occam's Razor) का पालन करता है। यदि एक सरल रेसिपी डेटा की व्याख्या करती है, तो VaSST अनावश्यक सामग्रियों के साथ जटिल रेसिपी नहीं बनाएगा। यह स्वाभाविक रूप से "ओवरफिटिंग" (कानून के बजाय शोर को याद करने) से बचता है।

निष्कर्ष

VaSST प्रकृति के नियमों को डेटा से खोजने का एक नया, सुपर-स्मार्ट तरीका है।

यह एक अव्यवस्थित, असंभव पहेली (भूसे के ढेर में सुई खोजना) को एक सुचारू, स्लाइडिंग पहेली (मिट्टी को आकार देना) में बदल देता है।
यह दुनिया कैसे काम करती है, इसके लिए सबसे सरल, सटीक गणितीय "रेसिपी" खोजता है।
और अन्य तरीकों के विपरीत, यह आपको बताता है कि उसे अपने उत्तर पर कितना भरोसा है।

यह वैज्ञानिकों को एक ऐसा GPS देने जैसा है जो न केवल उन्हें बताता है कि वे कहाँ हैं, बल्कि उनके द्वारा चलाई जा रही जमीन का नक्शा भी बनाता है, जिसमें एक चेतावनी लेबल भी होता है: "इस हिस्से का नक्शा थोड़ा धुंधला है, सावधानी से आगे बढ़ें।"

यहाँ "VaSST: Soft Symbolic Trees का उपयोग करके Symbolic Regression के लिए Variational Inference" शोध पत्र का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

सिंबोलिक रिग्रेशन (Symbolic Regression - SR) का लक्ष्य डेटा से स्पष्ट, क्लोज्ड-फॉर्म गणितीय समीकरणों की खोज करना है जो अंतर्निहित भौतिक नियमों को प्रकट करते हैं। जबकि वैज्ञानिक खोज (SciML) के लिए यह अत्यंत महत्वपूर्ण है, मौजूदा विधियाँ महत्वपूर्ण सीमाओं का सामना करती हैं:

ह्यूरिस्टिक सर्च (Heuristic Search): जेनेटिक प्रोग्रामिंग (GP) और इवोल्यूशनरी एल्गोरिदम अक्सर उच्च कम्प्यूटेशनल जटिलता, इनिशियलाइजेशन के प्रति संवेदनशीलता और अत्यधिक जटिल फॉर्मूलों के निर्माण से ग्रस्त होते हैं।
डेटा-गहन ML (Data-Intensive ML): न्यूरल नेटवर्क-आधारित दृष्टिकोण (जैसे ट्रांसफॉर्मर) अक्सर बड़े डेटासेट की आवश्यकता रखते हैं, कम-शोर (low-noise) वाले परिदृश्यों को मानते हैं, और व्याख्यात्मकता (interpretability) का अभाव होता है।
संभाव्यता संबंधी सीमाएँ (Probabilistic Limitations): पूर्णतः संभाव्य बेयसियन विधियाँ (जैसे MCMC-आधारित) सिंबोलिक अभिव्यक्ति स्थान की अत्यधिक मल्टीमॉडल और कॉम्बिनेटोरियल प्रकृति के साथ संघर्ष करती हैं। वे अक्सर खराब मिक्सिंग, धीमी अभिसरण (convergence) और अक्षम अन्वेषण प्रदर्शित करती हैं, जिससे उप-इष्टतम संरचनात्मक रिकवरी होती है।
अनिश्चितता परिमाणीकरण का अभाव (Lack of Uncertainty Quantification): अधिकांश मौजूदा विधियाँ समीकरण के संरचनात्मक रूप के संबंध में सिद्धांत-आधारित अनिश्चितता परिमाणीकरण के बिना केवल एक एकल "सर्वश्रेष्ठ" अभिव्यक्ति प्रदान करती हैं।

2. कार्यप्रणाली: VaSST ढांचा (Methodology: The VaSST Framework)

लेखक VaSST (Soft Symbolic Trees का उपयोग करके Symbolic Regression के लिए Variational Inference) प्रस्तावित करते हैं, जो एक स्केलेबल संभाव्य ढांचा है जो डिस्क्रीट कॉम्बिनेटोरियल खोज को एक निरंतर अनुकूलन (continuous optimization) समस्या में बदल देता है।

A. सॉफ्ट सिंबोलिक ट्रीज़ (Soft Symbolic Trees - Continuous Relaxation)

मुख्य नवाचार सिंबोलिक ट्रीज़ को Soft Symbolic Trees के रूप में प्रस्तुत करना है। ऑपरेटरों और फीचर्स के लिए डिस्क्रीट विकल्पों के बजाय, VaSвST निरंतर रिलैक्सेशन (continuous relaxations) का उपयोग करता है:

कंकाल संरचना (Skeleton Structure): प्रत्येक सिंबोलिक ट्री को एक निश्चित-गहराई वाले फुल बाइनरी ट्री कंकाल (skeleton) में एम्बेड किया जाता है।
सॉफ्ट वेरिएबल्स (Soft Variables):
- एक्सपेंशन इंडिकेटर ( $e_{j\zeta}$ ): इसे यह निर्धारित करने के लिए कि एक नोड लीफ है या इंटरनल नोड, Binary Concrete रिलैक्सेशन (Bernoulli का एक निरंतर रिलैक्सेशन) के माध्यम से मॉडल किया गया है।
- ऑपरेटर असाइनमेंट ( $o_{j\zeta}$ ): इसे सभी अनुमत यूनरी/बाइनरी ऑपरेटरों के सॉफ्ट मिश्रण को दर्शाने के लिए Gumbel-Softmax रिलैक्सेशन (Categorical का निरंतर रिलैक्सेशन) के माध्यम से मॉडल किया गया है।
- फीचर असाइनमेंट ( $h_{j\zeta}$ ): इनपुट फीचर्स के सॉफ्ट मिश्रण को दर्शाने के लिए Gumbel-Softmax का उपयोग किया गया है।
मूल्यांकन (Evaluation): एक सॉफ्ट ट्री का मूल्यांकन एक रिकर्सिव, डिफरेंशिएबल प्रक्रिया है जहाँ नोड आउटपुट संभावित ऑपरेशन्स और फीचर्स के कॉनवेक्स कॉम्बिनेशन होते हैं, जिन्हें सॉफ्ट प्रोबेबिलिटीज द्वारा भारित (weighted) किया जाता है। यह ऑटोमैटिक डिफरेंशिएशन के माध्यम से ग्रेडिएंट-आधारित अनुकूलन की अनुमति देता है।

B. संभाव्य मॉडलिंग (Probabilistic Modeling)

VaSST, SR को एक बेयसियन इन्फरेंस समस्या के रूप में स्वरूपित करता है:

लाइकलीहुड (Likelihood): एक लीनियर एन्सेम्बल मॉडल जहाँ रिस्पॉन्स $y$ , $K$ सिंबोलिक ट्रीज़ और गॉसियन नॉइज़ का एक लीनियर कॉम्बिनेशन है।
प्रायर्स (Priors):
- रिग्रेशन कोएफिशिएंट्स और नॉइज़: कंजुगेट Normal-Inverse-Gamma (NIG) प्रायर्स।
- ट्री स्ट्रक्चर: कंकाल वेरिएबल्स पर एक पदानुक्रमित (hierarchical) प्रायर। महत्वपूर्ण रूप से, यह गहरे, जटिल ट्रीज़ को दंडित करने के लिए एक डेप्थ-डिपेंडेंट स्प्लिट प्रोबेबिलिटी ( $p_\zeta = \alpha(1+d_\zeta)^{-\delta}$ ) का उपयोग करता है, जो Occam's Razor (संरचनात्मक सरलता) को लागू करता है।
इन्फरेंस (Inference): लेखक Black-Box Variational Inference (BBVI) का उपयोग करते हैं। वे स्टोकैस्टिक ग्रेडिएंट डिसेंट (AdamW) का उपयोग करके Evidence Lower Bound (ELBO) को मैक्सिमाइज करते हैं।
- ELBO में मार्जिनल लाइकलीहुड का मोंटे कार्लो अनुमान (जो रिग्रेशन पैरामीटर्स को इंटीग्रेट करता है) और वेरिएशनल पोस्टीरियर तथा प्रायर के बीच Kullback-Leibler (KL) डाइवर्जेंस शामिल है।
- एनीलिंग (Annealing): एक्सप्लोरेशन और एक्सप्लोइटेशन के बीच संतुलन बनाए रखने के लिए प्रशिक्षण के दौरान रिलैक्सेशन्स में टेम्परेचर पैरामीटर्स को हाई (स्मूथ मिश्रण) से लो (नियर-डिस्क्रीट) तक एनेल किया जाता है।

C. पोस्ट-ऑप्टिमाइज़ेशन और अनिश्चितता परिमाणीकरण (Post-Optimization and Uncertainty Quantification)

ऑप्टिमाइज़ेशन पैरामीटर्स ( $\phi^*$ ) के बाद:

हार्ड ट्री सैंपलिंग (Hard Tree Sampling): $H$ डिस्क्रीट "हार्ड" सिंबोलिक ट्रीज़ उत्पन्न करने के लिए निरंतर सॉफ्ट वेरिएबल्स को सैंपल किया जाता है।
एन्सेम्बल रैंकिंग (Ensemble Ranking): इन $H$ उम्मीदवारों का मूल्यांकन किया जाता है, और शीर्ष संरचनाओं को इन-सैंपल रूट मीन स्क्वेर्ड एरर (RMSE) द्वारा रैंक किया जाता है।
अनिश्चितता (Uncertainty): इन शीर्ष उम्मीदवारों का वितरण संरचनात्मक अनिश्चितता (अर्थात, मॉडल समीकरण के विशिष्ट भागों के बारे में कितना आश्वस्त है) का एक सिद्धांत-आधारित माप प्रदान करता है।

3. मुख्य योगदान (Key Contributions)

स्केलेबल संभाव्य SR: VaSST पहला ढांचा है जो सिंबोलिक रिग्रेशन के लिए निरंतर रिलैक्सेशन के साथ वेरिएशनल इन्फरेंस को लागू करता है, जिससे सिंबोलिक स्पेस पर कुशल ग्रेडिएंट-आधारित अनुकूलन संभव होता है।
सॉफ्ट सिंबोलिक ट्रीज़: डिस्क्रीट स्ट्रक्चरल सर्च और निरंतर अनुकूलन के बीच के अंतर को पाटने वाला एक अभिनव प्रतिनिधित्व पेश करता है, जो डिफरेंशिएबल लर्निंग की अनुमति देते हुए व्याख्यात्मकता को बनाए रखता है।
सिद्धांत-आधारित अनिश्चितता परिमाणीकरण: हेयुरिस्टिक विधियों के विपरीत जो केवल एक समीकरण आउटपुट करती हैं, VaSST सिंबोलिक संरचनाओं पर एक पोस्टीरियर डिस्ट्रीब्यूशन प्रदान करता है, जिससे संरचनात्मक आत्मविश्वास का आकलन किया जा सकता है।
संरचनात्मक सरलता (Structural Parsimony): डेप्थ-डिपेंडेंट प्रायर प्रभावी ढंग से अत्यधिक जटिल अभिव्यक्तियों को दंडित करता है, जिससे ओवरफिटिंग को रोका जा जाता है और सरलता के वैज्ञानिक सिद्धांतों का पालन किया जाता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने सिंथेटिक डेटा और Feynman Symbolic Regression Database (SRBench) पर VaSST का मूल्यांकन किया, और इसकी तुलना अत्याधुनिक विधियों से की: QLattice, gplearn (GP), DEAP (GP), Bayesian Machine Scientist (BMS), और Bayesian Symbolic Regression (BSR)।

संरचनात्मक रिकवरी (Structural Recovery): VaSST ने विभिन्न शोर स्तरों (जिसमें $\sigma^2 = 0.22$ $σ^{2} = 0.22$ भी शामिल है) के लिए दोनों सिंथेटिक फंक्शन और जटिल भौतिक नियमों (जैसे कूलम्ब का नियम, फूरियर का ऊष्मा चालन का नियम) के लिए सटीक ग्राउंड-ट्रुथ सिंबोलिक अभिव्यक्तियों को लगातार रिकवर किया।
- तुलना: प्रतिस्पर्धी बेयसियन विधियाँ (BMS, BSR) अक्सर सही संरचना को रिकवर करने में विफल रहीं या अत्यधिक जटिल फॉर्मूले बनाए। न्यूरल/इवोल्यूशनरी विधियाँ (QLattice, gplem) अक्सर भविष्यवाणी में सफल रहीं लेकिन संरचनात्मक सरलता में विफल रहीं।
भविधिक सटीकता (Predictive Accuracy): VaSST ने सभी बेसलाइन्स की तुलना में प्रतिस्पर्धी या बेहतर आउट-ऑफ-सैंपल RMSE प्राप्त किया, जो अक्सर BMS और QLattice के बराबर था लेकिन काफी सरल अभिव्यक्तियों के साथ।
कम्प्यूटेशनल स्केलेबिलिटी (Computational Scalability): VaSST ने MCMC-आधारित बेयसियन विधियों (BMS, BSR) की तुलना में बेहतर रनटाइम प्रदर्शन प्रदर्शित किया। जैसे-जैसे सैंपल साइज बढ़ा, VaSST सबसे तेज़ बना रहा, जो सैंपलिंग-आधारित विधियों पर वेरिएशनल दृष्टिकोण की दक्षता को उजागर करता है।
मजबूती (Robustness): विधि उच्च शोर स्तरों के तहत स्थिर रही, जबकि अन्य विधियाँ संरचनात्मक रिकवरी में गिरावट या अनियमित, जटिल फॉर्मूले बनाने की प्रवृत्ति रखती थीं।

5. महत्व (Significance)

VaSST, स्टोकेस्टिक सर्च और MCMC सैंपलिंग से हटकर डिफरेंशिएबल संभाव्य मॉडलिंग की ओर बढ़कर सिंबोलिक रिग्रेशन में एक प्रतिमान परिवर्तन (paradigm shift) का प्रतिनिधित्व करता है।

वैज्ञानिक खोज: यह वैज्ञानिकों को न केवल समीकरण खोजने के लिए बल्कि खोजे गए नियमों में अनिश्चितता को मापने के लिए भी एक मजबूत उपकरण प्रदान करता है, जो उच्च-दांव वाले वैज्ञानिक डोमेन के लिए महत्वपूर्ण है।
दक्षता: ऑटोमैटिक डिफरेंशिएशन और वेरिएशनल इन्फरेंस का लाभ उठाकर, यह बेयसियन सिंबोलिक रिग्रेशन को आधुनिक डेटा आकार के लिए स्केलेबल बनाता है, जिससे पिछले संभाव्य दृष्टिकोणों की कम्प्यूटेशनल बाधाओं को दूर किया जा जाता है।
व्याख्यात्मकता: यह सिंबोलिक रिग्रेशन की "व्हाइट-बॉक्स" प्रकृति को बनाए रखता है, जिससे परिणामी मॉडल ब्लैक-बॉक्स न्यूरल नेटवर्क के बजाय मानव-व्याख्या योग्य गणितीय अभिव्यक्तियाँ सुनिश्चित होते हैं।

संक्षेप में, VaSST सफलतापूर्वक सिंबोलिक रिग्रेशन की व्याख्यात्मकता को आधुनिक वेरिएशनल इन्फरेंस की स्केलेबिलिटी के साथ जोड़ता है, जो डेटा-संचालित वैज्ञानिक खोज के लिए एक अत्याधुनिक समाधान पेश करता है।