Learned variable-support priors accelerate symbolic regression of physical laws

तकनीकी सारांश: प्रतीकात्मक प्रतिगमन (Symbolic Regression) के लिए सीखे गए परिवर्तनीय-समर्थन पूर्ववृत्त (Learned Variable-Support Priors)

समस्या विवरण
प्रतीकात्मक प्रतिगमन (Symbolic Regression - SR) का लक्ष्य देखे गए डेटा के अनुकूल एक संक्षिप्त सूत्र खोजने के लिए गणितीय अभिव्यक्तियों के स्थान की खोज करके व्याख्या योग्य भौतिक नियमों की खोज करना है। जबकि SR ब्लैक-बॉक्स भविष्यवक्ताओं की तुलना में कई लाभ प्रदान करता है—जैसे कि आयामी निरंतरता (dimensional consistency) और बाह्योन्मुखीकरण (extrapolation) क्षमता—यह एक मौलिक संयोजन संबंधी बाधा (combinatorial obstacle) का सामना करता है। इनपुट चरों की संख्या और उपलब्ध ऑपरेटरों के साथ उम्मीदवार अभिव्यक्ति वृक्षों (expression trees) की संख्या तेजी से बढ़ती है। भौतिक अनुप्रयोगों में, शासी नियम (governing laws) आमतौर पर केवल मापे गए चरों के एक छोटे उपसमुच्चय और ऑपरेटरों के एक सीमित सेट का उपयोग करते हैं, फिर भी मानक सॉल्वर को एक विशाल खोज स्थान (search space) को खोजना पड़ता है जिसमें कई अप्रासंगिक शाखाएं शामिल होती हैं। यह अक्षमता खराब स्केलिंग की ओर ले जाती है, विशेष रूप से जब डेटासेट में कई "डिस्ट्रैक्टर" कॉलम (अप्रासंगिक चर) होते हैं, जिससे सॉल्वर या तो वास्तविक नियम खोजने में विफल हो जाते हैं या स्पूरियस (spurious), ओवरफिटेड अभिव्यक्तियों पर अभिसरित हो जाते हैं।

कार्यप्रणाली: DenoisedSR
लेखक DenoisedSR का प्रस्ताव करते हैं, जो एक सॉल्वर-अज्ञेय (solver-agnostic), सीखा गया फ्रंट-एंड है जिसे एक "सपोर्ट प्रायर" (support prior)—इनपुट चरों (और वैकल्पिक रूप से ऑपरेटरों) का एक उपसमुच्चय जो शासी नियम में भाग लेने की संभावना रखते हैं—का अनुमान लगाकर SR को त्वरित करने के लिए डिज़ाइन किया गया है। पूर्ण समीकरण को सीधे डिकोड करने का प्रयास करने के बजाय (जो अक्सर संरचनात्मक त्रुटियों की ओर ले जाता है), DenoisedSR बैकएंड सॉल्वर शुरू होने से पहले खोज स्थान को संकुचित कर देता है।

सिस्टम आर्किटेक्चर में निम्नलिखित शामिल हैं:

1. एन्सेम्बल प्रेडिक्टर (Ensemble Predictor): एक ग्राफ-अटेंशन नेटवर्क (GAT) और एक रैंडम फॉरेस्ट (RF) मॉडल का संयोजन।
   • GAT एक ग्राफ पर कार्य करता है जहाँ नोड्स इनपुट कॉलम का प्रतिनिधित्व करते हैं। नोड विशेषताओं में सांख्यिकीय क्षण (statistical moments), लक्ष्य के साथ सहसंबंध, एकतोनता (monotonicity), और आयामी डिस्क्रिप्टर शामिल हैं। किनारे (Edges) भौतिक नियमों के नॉलेज ग्राफ से सीखे गए सह-उपस्थिति पूर्ववृत्त (co-occurrence prior) को एनकोड करते हैं, जिससे मॉडल यह तर्क दे पाता है कि कौन से चर मिलकर एक संभावित नियम का समर्थन करते हैं।
   • RF प्रति-कॉलम सांख्यिकी के आधार पर कॉलम को स्कोर देता है।
   • अंतिम स्कोर एक भारित योग है: $s(col) = RF(col) + \sigma(GAT(col))$।
2. थ्रेशोल्डिंग (Thresholding): चरों को तब तक बनाए रखा जाता है यदि उनका स्कोर एक निम्न थ्रेशोल्ड ($\tau = 0.10$) से अधिक हो, जो उच्च रिकॉल (recall) को प्राथमिकता देता है ताकि यह सुनिश्चित हो सके कि वास्तविक नियम सुलभ बना रहे।
3. ऑपरेटर प्रायर (Operator Prior - वैकल्पिक): एक समान GAT मॉडल भौतिक चर नामों (जैसे, $\theta$ को त्रिकोणमितीय फलनों के साथ जोड़ना) के आधार पर प्रासंगिक ऑपरेटरों के उपसमुच्चय की भविष्यवाणी करता है।
4. एकीकरण (Integration): अनुमानित सपोर्ट सेट को एक पारंपरिक SR बैकएंड (जैसे, PySR, gplearn, या GPU-आधारित गणना) को पास किया जाता है, जो कम किए गए चर और ऑपरेटर सेट पर अंतिम खोज करता है।

प्रमुख योगदान

• सॉल्वर-अज्ञेय त्वरण (Solver-Agnostic Acceleration): यह विधि एक प्री-प्रोसेसिंग लेयर के रूप में कार्य करती है जो सॉल्वर के आंतरिक तर्क को बदले बिना किसी भी ट्री-सर्च या एन्यूमरेशन बैकएंड में सुधार करती है।
• उच्च-रिकॉल फ़िल्टरिंग: मॉडल बाहरी भौतिक बेंचमार्क पर $\ge 0.96$ का रिकॉल प्राप्त करता है, जो प्रभावी रूप से यह सुनिश्चित करता है कि वास्तविक चर शायद ही कभी छोड़े जाते हैं, जबकि यह उम्मीदवार कॉलमों की संख्या को काफी कम कर देता है।
• आयामी कमी से भिन्नता: लेखक प्रदर्शित करते हैं कि प्रदर्शन में सुधार केवल आयामी कमी (dimensionality reduction) से नहीं, बल्कि सीखी गई खोज मार्गदर्शन (learned search guidance) से आता है, जिसे समान आकार के रैंडम सपोर्ट सेट्स का उपयोग करके नियंत्रित किया गया है।

परिणाम
शोध पत्र चार बाहरी बेंचमार्क (AI-Feynman, Strogatz, Nguyen, और SRSD-Feynman) और तीन संरचनात्मक रूप से भिन्न बैकएंड (PySR, gpleam, और PSE) में DenoisedSR का मूल्यांकन करता है।

• वेरिएबल रिकवरी (Variable Recovery): AI-Feynman बेंचमार्क (118 समीकरण) पर, एन्सेम्बल पूर्ण रिकॉल (1.000) प्राप्त करता है, सभी वास्तविक चरों को पुनः प्राप्त करता है। यह पांच शास्त्रीय फीचर चयनकर्ताओं (Pearson/Spearman सहसंबंध, म्यूचुअल इंफॉर्मेशन, रैंडम फॉरेस्ट इम्पॉर्टेंस, लासो) को पछाड़ देता है, जो चर की संख्या के ऑरेकल ज्ञान के बावजूद 30-80% मामलों में वास्तविक चरों को मिस कर देते हैं। मॉडल 30% सापेक्ष गौसियन शोर तक लेबल शोर के प्रति मजबूत रहता है।
• बैकएंड प्रदर्शन (PySR): एक निश्चित 10-सेकंड के बजट के तहत, PySR को वेरिएबल प्रायर प्रदान करने से सटीक-कानून रिकवरी दर $42 \pm 13\%$ से बढ़कर सीड-स्टेबल $60 \pm 0\%$ हो जाती है। औसत होल्ड-आउट $R^2$ 0.906 से बढ़कर 0.980 हो जाता है। उम्मीदवार कॉलम सेट को 85% (~23 से ~3.4 कॉलम तक) कम कर दिया जाता है, और खोज शब्दावली (search vocabulary) आधी हो जाती है।
• डिस्ट्रैक्टर्स के साथ स्केलेबिलिटी: गाइडेड और अनगाइडेड खोज के बीच प्रदर्शन का अंतर डिस्ट्रैक्टर कॉलम की संख्या बढ़ने के साथ (5 से 30 तक) निरंतर बढ़ता जाता है। जबकि पूर्ण PySR रिकवरी अधिक डिस्ट्रैक्टर्स के साथ काफी गिर जाती है, DenoisedSR ~61–62% की स्थिर रिकवरी दर बनाए रखता है।
• समाधान के लिए समय (Time-to-Solution): अप्रासंगिक शाखाओं को छाँटकर, DenoisedSR गैर-तुच्छ सूत्रों (non-trivial formulas) के लिए समाधान के समय को 6 गुना तक तेज कर देता है, जिसका औसत स्पीडअप ~1.5 गुना है। फ्रंट-एंड इन्फरेंस प्रत्येक कार्य के लिए केवल ~40 ms जोड़ता है।
• अन्य बैकएंड्स के लिए सामान्यीकरण:
  • gplearn (शास्त्रीय GP): सटीक रिकवरी 3.3% से बढ़कर 17.8% हो जाती है।
  • PSE (GPU समानांतर गणना): सटीक रिकवरी 0% से बढ़कर 40% हो जाती है, क्योंकि प्रायर यह सुनिश्चित करता है कि सैंपलर चरों के सूचनात्मक उपसमुच्चयों का चयन करे।
• ब्लैक-बॉक्स डेटा: 24 PMLB/SRBench ब्लैक-बॉक्स कार्यों पर, DenoisedSR पूर्ण खोज की तुलना में औसत होल्ड-आउट $R^2$ में महत्वपूर्ण सुधार करता है, जबकि एक रैंडम-सपोर्ट कंट्रोल प्रदर्शन को कम कर देता है, जो अवलोकन-आधारित मार्गदर्शन (observation-conditioned guidance) के मूल्य की पुष्टि करता है।
• विशिष्ट शासन में सीमाएँ: SRSD-Feynman बेंचमार्क पर, जिसमें कम भौतिक रूप से प्रशंसनीय डमी चर हैं, प्रायर काफी हद तक तटस्थ है। यह पुष्टि करता है कि विधि सबसे प्रभावी तब होती है जब डिस्ट्रैक्टर-टू-ट्रू वेरिएबल्स का अनुपात अधिक होता है।

महत्व और दावे
शोध पत्र का दावा है कि सीखे गए सपोर्ट प्रायर प्रतीकात्मक प्रतिगमन के लिए एक "उच्च-लीवरेज, कम-जोखिम वाला हस्तक्षेप" (high-leverage, low-risk intervention) का प्रतिनिधित्व करते हैं। वेरिएबल चयन के कठिन कार्य को समीकरण खोज की प्रक्रिया से अलग करके, DenoisedSR मौजूदा सॉल्वरों को अधिक कुशलता से और विश्वसनीयता से काम करने की अनुमति देता है। लेखक इस बात पर जोर देते हैं कि हालांकि न्यूरल फ्रंट-एंड अभी तक अभिव्यक्ति में विशिष्ट पदों (positions) को विश्वसनीय रूप से असाइन नहीं कर सकता है (जिसे "असाइनमेंट गैप" कहा जाता है), यह सफलतापूर्वक पहचान लेता है कि कौन सी मात्राएँ मायने रखती हैं। यह दृष्टिकोण मौजूदा भौतिक-जागरूक (physics-aware) पूर्ववृत्तों और आयामी विश्लेषण का पूरक है, जो एंड-टू-एंड न्यूरल समीकरण जनरेशन की आवश्यकता के बिना भौतिक नियमों की तेज़ और अधिक मजबूत खोज के लिए एक व्यावहारिक मार्ग प्रदान करता है। इस पद्धति को वर्तमान सॉल्वर्स को बढ़ाने के लिए तुरंत उपयोगी के रूप में प्रस्तुत किया गया है, जिसका विफलता मोड अनुभवजन्य रूप से सुरक्षित है (उच्च रिकॉल यह सुनिश्चित करता है कि वास्तविक कानून बाहर न छूटे)।