तकनीकी सारांश: भौतिकी-सूचित टोकन-नियमित नीति अनुकूलन (PiT-PO) के माध्यम से LLM-आधारित वैज्ञानिक समीकरण खोज
1. समस्या विवरण
प्रतीकात्मक प्रतिगमन (Symbolic Regression - SR) प्रेक्षित डेटा से व्याख्या योग्य गणितीय समीकरणों को निकालने का लक्ष्य रखता है, जो भौतिक नियमों को खोजने के लिए एक आधार स्तंभ के रूप में कार्य करता है। जबकि हालिया दृष्टिकोण पूर्व-प्रशिक्षित वैज्ञानिक पूर्वग्रहों (scientific priors) का लाभ उठाने के लिए समीकरण परिकल्पनाओं को उत्पन्न करने हेतु लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग करते हैं, मौजूदा ढांचे दो महत्वपूर्ण सीमाओं से ग्रस्त हैं:
- स्थिर पीढ़ी (Static Generation): वर्तमान विधियाँ LLMs को स्थिर जनरेटर के रूप में मानती हैं, जो विकासवादी खोज (evolutionary search) को निर्देशित करने के लिए प्रॉम्प्ट-स्तरीय मार्गदर्शन (इन-कॉन्टेक्स्ट लर्निंग) पर निर्भर करती हैं। यह प्रतिमान मॉडल के आंतरिक प्रतिनिधित्व को खोज फीडबैक के आधार पर अपडेट करने में विफल रहता है, जिससे मॉडल मूल्यांकन संकेतों को आत्मसात करने या विशिष्ट समस्या संरचनाओं के अनुसार अपनी पीढ़ी रणनीति को अनुकूलित करने में असमर्थ रहता है।
- भौतिकी-अज्ञेय खोज (Physics-Agnostic Search): मौजूदा ढांचे अक्सर भौतिक वैधता के बजाय केवल वाक्यात्मक शुद्धता को प्राथमिकता देते हैं। कठोर बाधाओं के बिना, LLMs अक्सर ऐसे समीकरण उत्पन्न करते हैं जो संख्यात्मक रूप से डेटा फिट तो करते हैं लेकिन मौलिक भौतिक सिद्धांतों (जैसे, आयामी समरूपता/dimensional homogeneity) का उल्लंघन करते हैं या जिनमें गणितीय रूप से अनावश्यक संरचनाएं होती हैं, जिससे ओवरफिटिंग और व्यावहारिक अनुपयोगिता होती है।
चुनौती LLM को एक स्थिर प्रस्तावक (static proposer) से एक अनुकूलन योग्य जनरेटर (adaptive generator) में बदलने की है जो लक्ष्य प्रणाली की संरचनात्मक और भौतिक विशेषताओं के साथ गतिशील रूप से अपनी जेनेरेटिव डिस्ट्रीब्यूशन को संरेखित कर सके।
2. कार्यप्रणाली: PiT-PO
लेखक PiT-PO (Physics-informed Token-Regularized Policy Optimization) का प्रस्ताव करते हैं, जो एक एकीकृत ढांचा है जो LLM-संचालित विकासवादी अन्वेषण और कठोर सत्यापन के बीच सेतु बनाता है। यह ढांचा दो सहक्रियात्मक तंत्रों द्वारा संचालित एक क्लोज्ड-लूप विकासवादी प्रक्रिया के माध्यम से कार्य करता है:
2.1 इन-सर्च LLM इवोल्यूशन (In-Search LLM Evolution)
LLM को स्थिर रखने वाले मानक दृष्टिकोणों के विपरीत, PiT-PO विकासवादी खोज के दौरान LLM के मापदंडों को अपडेट करने के लिए ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) का उपयोग करता है।
- तंत्र: LLM को एक नीति πθ के रूप में माना जाता है जो टोकन अनुक्रम उत्पन्न करती है। GRPO आउटपुट के एक समूह को सैंपल करता है, उनका मूल्यांकन करता है, और एक सरोगेट लॉस को अधिकतम करने के लिए नीति मापदंडों को अपडेट करता है।
- लाभ: यह "इन-सर्च" फाइन-ट्यूनिंग मॉडल को प्रभावी प्रतीकात्मक पैटर्न को सुदृढ़ करने और बाद के अन्वेषण को अधिक कुशलता से निर्देशित करने की अनुमति देती है, जिससे सामान्य वैज्ञानिक पूर्वग्रहों को ऑन-द-फ्लाई डोमेन-विशिष्ट विशेषज्ञता में बदला जा सकता है।
2.2 दोहरी-बाधा संकेत (Dual-Constraint Learning Signals)
यह सुनिश्चित करने के लिए कि उत्पन्न समीकरण वैज्ञानिक रूप से वैध और संरचनात्मक रूप से संक्षिप्त (parsimonious) हों, PiT-PO एक दोहरी-बाधा प्रणाली पेश करता है जो सूक्ष्म, टोकन-स्तरीय फीडबैक उत्पन्न करता है।
A. पदानुक्रमित भौतिक बाधाएं (Hierarchical Physical Constraints)
एक रिवॉर्ड सिस्टम पदानुक्रमित फिल्टर के माध्यम से वैज्ञानिक वैधता को लागू करता है:
- सामान्य-स्तर की बाधाएं: भौतिक रूप से असंभव संरचनाओं (जैसे, यूनिट मिसमैच) को हटाने के लिए आयामी समरूपता (Pdim) और विभेदन क्षमता (Pdiff) के लिए दंड।
- डोमेन-विशिष्ट बाधाएं: विशेषज्ञ ज्ञान को इंडक्टिव बायस के रूप में इंजेक्ट किया जाता है। टर्बुलेंस मॉडलिंग के लिए, इसमें वास्तविकता (Reynolds stress के धनात्मक आइजन मान), सीमा स्थिति निरंतरता (दीवारों पर स्ट्रेस का क्षय), एसिम्प्टोटिक स्केलिंग (विस्कस सबलेयर्स में क्यूबिक स्केलिंग), और ऊर्जा निरंतरता शामिल हैं।
- गेटेड एक्टिवेशन: भौतिक दंड केवल तभी सक्रिय होते हैं जब एक उम्मीदवार समीकरण एक आधारभूत फिटिंग सटीकता सीमा तक पहुँच जाता है, जिससे सख्त अनुपालन लागू करने से पहले शुरुआती चरणों में "मुक्त" अन्वेषण की अनुमति मिलती है।
B. प्रमेय-निर्देशित गणितीय बाधाएं (Theorem-Guided Mathematical Constraints)
गणितीय अतिरेक (redundancy) को संबोधित करने के लिए, लेखक सपोर्ट एक्सक्लूजन थ्योरम (Support Exclusion Theorem) पेश करते हैं।
- सिद्धांत: यह प्रमेय अन्य बेसिस फंक्शन्स के आंतरिक और बाहरी हस्तक्षेप के सापेक्ष फिट किए गए गुणांकों के परिमाण के आधार पर झूठी खोजों (अनावश्यक पदों) की पहचान करने के लिए एक सैद्धांतिक गारंटी प्रदान करता है।
- टोकन-स्तरीय दंड: यदि एक पद को अनावश्यक (उसका गुणांक परिमाण व्युत्पन्न थ्रेशोल्ड से कम है) के रूप में पहचाना जाता है, तो उस पद को बनाने वाले विशिष्ट टोकन पर एक टोकन-स्तरीय दंड (Ptok) लगाया जाता है। यह दंड लॉगरिदमिक है, जो छोटे गुणांक वाले पदों पर अधिक कड़ा दंड लगाता है।
2.3 टोकन-जागरूक नीति अपडेट (Token-Aware Policy Update)
मानक GRPO एक अनुक्रम के सभी टोकनों को समान एडवांटेज असाइन करता है। PiT-PO वैश्विक रिवॉर्ड को टोकन-स्तरीय दंड के साथ संश्लेषित करके इसे परिष्कृत करता है।
- टोकन-जागरूक एडवांटेज (A^i,k): k-वें टोकन के लिए एडवांटेज वैश्विक रिवॉर्ड को मानकीकृत करके और यदि टोकन एक अनावश्यक पद का हिस्सा है तो स्थानीय टोकन दंड को घटाकर निकाला जाता है।
- प्रभाव: यह एक "दोहरी-दबाव" परिदृश्य बनाता है जहाँ वैश्विक रिवॉर्ड नीति को भौतिक रूप से सुसंगत समीकरणों की ओर निर्देशित करता है, जबकि स्थानीय दंड अनावश्यक पदों को सर्जिकल तरीके से हटा देता है, जिससे यह सुनिश्चित होता है कि नीति स्पष्ट रूप से सैद्धांतिक रूप से अनावश्यक संरचनाओं को दबाना सीखती है।
2.4 प्रशिक्षण पाइपलाइन (Training Pipeline)
ढांचा समयपूर्व अभिसरण (premature convergence) को रोकने के लिए एक मल्टी-आइलैंड टोपोलॉजी का उपयोग करता है:
- आइलैंड-आधारित अन्वेषण: समीकरणों की अलग-अलग वंशावलियों को बनाए रखने के लिए कई अलग-थलग आइलैंड्स विकसित होते हैं।
- इन-सर्च इवोल्यूशन: दक्षता के लिए LoRA (Low-Rank Adaptation) का उपयोग करके नीति अनुकूलन करने के लिए सभी आइलैंड्स के ट्राजेक्टरीज को एकत्रित किया जाता है।
- पदानुक्रमित चयन: शीर्ष-प्रदर्शन करने वाले उम्मीदवारों को बनाए रखने और उच्च-फिटनेस बीजों के साथ कम प्रदर्शन करने वाले आइलैंड्स को रीसेट करने के लिए सर्वाइवल-ऑफ-द-फिटेस्ट तंत्र का उपयोग किया जाता है।
3. मुख्य परिणाम
3.1 बेंचमार्क प्रदर्शन
PiT-PO का मूल्यांकन LLM-SR Suite और LLM-SRBench पर अत्याधुनिक बेसलाइनों (GPlearn, PySR, uDSR, RAG-SR, और LLM-SR सहित) के विरुद्ध किया गया था।
- सटीकता: PiT-PO ने स्टेट-ऑफ-द-आर्ट प्रदर्शन हासिल किया, और सबसे अधिक ग्राउंड-ट्रुथ समीकरणों को रिकवर किया। LLM-SR Suite पर, इसने Oscillation 1 पर 100% सटीकता और Oscillation 2 पर 99.99% सटीकता प्राप्त की (8B बैकबोन का उपयोग करके)। इसने E. coli Growth पर बेसलाइनों को काफी पीछे छोड़ दिया और Stress-Strain पर प्रतिस्पर्धी परिणाम प्राप्त किए, हालांकि यह Stress-Strain पर 4o-mini बेसलाइन से आगे नहीं निकल सका।
- प्रतीकात्मक सटीकता (Symbolic Accuracy): LLM-SRBench (239 कार्यों) पर, PiT-PO ने सभी श्रेणियों (रसायन विज्ञान, जीव विज्ञान, भौतिकी, सामग्री विज्ञान) में उच्चतम सिम्बोलिक सटीकता (SA) प्राप्त की, जो केवल संख्यात्मक रूप से फिट होने के बजाय सही प्रतीकात्मक रूप को रिकवर करने की श्रेष्ठ क्षमता प्रदर्शित करता है।
- दक्षता: PiT-PO ने तेज़ अभिसरण और उन स्टेग्नेशन रेजीम से बाहर निकलने की क्षमता प्रदर्शित की जहाँ बेसलाइन विधियाँ (जैसे LLM-SR) कम-MSE लेकिन गलत संरचनाओं पर रुक जाती थीं।
3.2 छोटे मॉडल्स का सशक्तिकरण
एक महत्वपूर्ण निष्कर्ष यह है कि PiT-PO छोटे पैमाने के, ओपन-सोर्स मॉडल्स को विशिष्ट संदर्भों में बड़े, क्लोज्ड-सोर्स मॉडल्स के बराबर या उनसे बेहतर प्रदर्शन करने में सक्षम बनाता है।
- एक क्वांटाइज्ड Llama-3.2-1B मॉडल का उपयोग करते हुए, PiT-PO ने Oscillation कार्यों और E. coli Growth पर Mixtral 8x7B और 4o-mini का उपयोग करने वाले LLM-SR के प्रतिस्पर्धी या उससे बेहतर प्रदर्शन किया। हालाँकि, Stress-Strain कार्य पर, 1B मॉडल (76.91% सटीकता) 4o-mini बेसलाइन (85.33%) से कम प्रदर्शन करता है, जो इंगित करता है कि जबकि यह ढांचा क्षमता के अंतर को काफी कम करता है, यह हर मीट्रिक पर सभी प्रोप्रायटरी दिग्गजों को सार्वभौमिक रूप से नहीं पछाड़ता है।
- यह सुझाव देता है कि इन-सर्च पॉलिसी ऑप्टिमाइजेशन छोटे मॉडल्स को प्रभावी ढंग से उन्नत करता है, जिससे उपभोक्ता-ग्रेड हार्डवेयर पर उच्च-प्रदर्शन वाले वैज्ञानिक खोज उपकरणों तक पहुंच का लोकतंत्रीकरण होता है, विशेष रूप से उन कार्यों के लिए जहाँ संरचनात्मक खोज सर्वोपरि है।
3.3 वास्तविक दुनिया का अनुप्रयोग: टर्बुलेंस मॉडलिंग
ढांचे का उपयोग Periodic Hills के ऊपर Flow में रेनॉल्ड्स स्ट्रेस अनिसोट्रॉपी (Reynolds stress anisotropy) के लिए गैर-रैखिक कॉन्स्टिट्यूटिव संबंधों की खोज के लिए किया गया।
- प्रदर्शन: खोजे गए मॉडल ने पारंपरिक RANS दृष्टिकोणों (विशेष रूप से k−ω SST मॉडल) में सुधार किया, जिससे DNS संदर्भों के करीब अनिसोट्रोपिक रेनॉल्ड्स स्ट्रेस प्राप्त हुआ।
- भौतिक निष्ठा: सीखा गया मॉडल बेहतर भौतिक निरंतरता दिखाता है, जो गैर-भौतिक चरम सीमाओं को कम करता है और मानक RANS और अन्य SR-आधारित तरीकों की तुलना में फ्लो सेपरेशन बबल्स और स्किन फ्रिक्शन कोएफिशिएंट्स की अधिक सटीक भविष्यवाणी प्रदान करता है।
3.4 एब्लेशन अध्ययन (Ablation Studies)
एब्लेशन अध्ययनों ने दोनों घटकों की आवश्यकता की पुष्टि की:
- भौतिक बाधाओं को हटाने (w/o Phy) से NMSE और सामान्यीकरण (generalization) में भारी गिरावट आई।
- टोकन रेगुलाइजेशन को हटाने (w/o TokenReg) के परिणामस्वरूप अनावश्यक पदों का बने रहना और इन-डिस्ट्रीब्यूशन (ID) एवं आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) डेटा के बीच बड़ा गैप देखा गया।
4. महत्व और दावे
पेपर का दावा है कि PiT-PO वैज्ञानिक खोज में LLMs की भूमिका को स्थिर प्रस्तावक से अनुकूलन योग्य, भौतिकी-जागरूक जनरेटर में मौलिक रूप से बदल देता है।
- वैज्ञानिक निरंतरता: पदानुक्रमित भौतिक बाधाओं और प्रमेय-निर्देशित टोकन रेगुलाइजेशन को एकीकृत करके, PiT-PO जेनरेशन को संख्यात्मक फिटनेस, वैज्ञानिक निरंतरता और संक्षिप्तता के साथ संरेखित करता है।
- लोकतंत्रीकरण: PiT-PO की क्षमता छोटे मॉडल्स (जैसे, 1B पैरामीटर्स) को प्रमुख खोज कार्यों पर क्लोज्ड-सोर्स दिग्गजों के बराबर लाने की क्षमता, स्वचालित वैज्ञानिक खोज के लिए एक व्यावहारिक पद्धति स्थापित करती है जो विशाल कंप्यूट रिसोर्स या प्रोप्रायटरी API पर निर्भर नहीं है, हालांकि प्रदर्शन कार्य की जटिलता के अनुसार भिन्न होता है।
- व्यावहारिक उपयोगिता: टर्बुलेंस मॉडलिंग में सफल अनुप्रयोग यह दर्शाता है कि खोजे गए प्रतीकात्मक सुधारों का वास्तविक इंजीनियरिंग वर्कफ़्लो में मूर्त मूल्य है, जो मानक रैखिक मॉडलों की तुलना में फ्लो-फील्ड भविष्यवाणियों में सुधार करता है।
लेखक निष्कर्ष निकालते हैं कि यह दृष्टिकोण SR बेंचमार्क के लिए एक नया स्टेट-ऑफ-द-आर्ट स्थापित करता है और LLMs के लर्निंग डायनेमिक्स में डोमेन-विशिष्ट भौतिक ज्ञान को एकीकृत करने के लिए एक मजबूत मार्ग प्रदान करता है।