🤖 machine learning

SciML Agents: Write the Solver, Not the Solution

यह शोध पत्र एक नए प्रतिमान (पैराडाइम) को प्रस्तुत करता है जहाँ LLMs सीधे समाधानों की भविष्यवाणी करने के बजाय संख्यात्मक सॉल्वर कोड (numerical solver code) उत्पन्न करने के लिए SciML एजेंट के रूप में कार्य करते हैं, जो दो नए ODE बेंचमार्क द्वारा समर्थित है और यह प्रदर्शित करता है कि गाइडेड प्रॉम्प्टिंग और फाइन-ट्यूनिंग के साथ, मॉडल उपयुक्त सॉल्वर को विश्वसनीय रूप से चुनने और संख्यात्मक रूप से वैध परिणाम उत्पन्न करने में सक्षम हैं।

मूल लेखक: Saarth Gaonkar, Xiang Zheng, Haocheng Xi, Rishabh Tiwari, Kurt Keutzer, Dmitriy Morozov, Michael W. Mahoney, Amir Gholami

प्रकाशित 2026-04-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Saarth Gaonkar, Xiang Zheng, Haocheng Xi, Rishabh Tiwari, Kurt Keutzer, Dmitriy Morozov, Michael W. Mahoney, Amir Gholami

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: आर्किटेक्ट (Architect) बनाम ब्रिकलेयर (Bricklayer)

कल्पना कीजिए कि आपके पास एक बहुत ही कठिन भौतिकी (physics) की समस्या है, जैसे कि यह पता लगाना कि एक रॉकेट वायुमंडल में ठीक से कैसे उड़ेगा या एक शहर में वायरस कैसे फैलता है।

पिछले कुछ वर्षों से, वैज्ञानिक AI (न्यूरल नेटवर्क) को एक ब्रिकलेयर (ईंट जोड़ने वाले) की तरह काम करना सिखाने की कोशिश कर रहे हैं। वे AI को उत्तर याद करने या सीधे समाधान के आकार का "अनुमान" लगाने के लिए प्रशिक्षित करने की कोशिश करते हैं। समस्या क्या है? कभी-कभी AI गलत अनुमान लगा लेता है, या यदि स्थिति थोड़ी भी बदल जाए तो वह भ्रमित हो जाता है। यह बिना किसी ब्लूप्रिंट के यह अनुमान लगाने की कोशिश करने जैसा है कि हर ईंट कहाँ रखी जानी चाहिए।

यह पेपर एक अलग दृष्टिकोण प्रस्तावित करता है। AI को ब्रिकलेयर बनाने के बजाय, वे AI को आर्किटेक्ट (Architect) बनाना सिखा रहे हैं।

लक्ष्य AI को गणित हल करने के लिए नहीं सिखाना है। लक्ष्य यह है कि AI उस कोड को लिखे जो दशकों के मानवीय गणितीय ज्ञान (सिद्ध संख्यात्मक एल्गोरिदम) का उपयोग करके समस्या को सही ढंग से हल कर सके। AI का काम समस्या के विवरण को देखना और कहना है, "ठीक है, यह एक पेचीदा स्थिति है। मुझे विकल्प C के बजाय सेटिंग B के साथ सॉल्वर A का उपयोग करने की आवश्यकता है।"

चुनौती: "पेचीदा" समस्याएँ

शोधकर्ताओं ने महसूस किया कि हालांकि AI ऐसा कोड लिखने में बहुत अच्छा है जो दिखने में सही लगता है (syntax), लेकिन यह अक्सर सही वैज्ञानिक निर्णय लेने में विफल रहता है।

कल्पना कीजिए कि आप एक शेफ (रसोइया) हैं।

पुराना AI: आप उससे सूप बनाने के लिए कहते हैं। वह एक रेसिपी लिखता है जिसमें लिखा है "पानी उबालें, नमक डालें।" रेसिपी व्याकरण की दृष्टि से सही है, लेकिन यदि आप इसे बनाएंगे, तो सूप खाने योग्य नहीं होगा क्योंकि इसमें एक महत्वपूर्ण चरण छूट गया है।
नई समस्या: कुछ भौतिकी की समस्याएँ सतह पर डरावनी दिखती हैं। उनमें बहुत बड़ी संख्याएँ होती हैं जो संकेत देती हैं कि वे "स्टिफ" (stiff) हैं (एक तकनीकी शब्द जिसका अर्थ है कि गणित अस्थिर है और इसके लिए बहुत सावधानीपूर्वक, धीमी प्रक्रिया की आवश्यकता है)।
जाल: एक साधारण AI बड़ी संख्याओं को देखकर घबरा जाता है, यह सोचकर, "यह एक स्टिफ समस्या है! मुझे धीमे, भारी-भरकम सॉल्वर का उपयोग करना चाहिए!" लेकिन यदि आप वास्तव में गणित करेंगे, तो वे बड़ी संख्याएँ एक-दूसरे को काट देंगी, और समस्या वास्तव में सरल और तेज़ होगी। AI इसलिए विफल हुआ क्योंकि वह पैटर्न मैचिंग (बड़ी संख्या = कठिन) कर रहा था, न कि तर्क (reasoning) (बीजगणित करना)।

समाधान: AI के लिए दो नए "टेस्ट"

यह देखने के लिए कि क्या AI वास्तव में एक अच्छा "आर्किटेक्ट" बन सकता है, टीम ने दो नए टेस्ट बनाए:

"गॉटचा" टेस्ट (डायग्नोस्टिक डेटासेट):
उन्होंने ऐसी समस्याएँ बनाईं जो असंभव (stiff) लगती हैं लेकिन यदि गणित को पहले सरल कर दिया जाए तो वे सरल होती हैं। यह एक जादू के खेल जैसा है जहाँ ध्यान से देखने पर एक विशाल हाथी भी गुब्बारे जैसा दिखता है।

परिणाम: पुराने AI मॉडल इस चाल में फंस गए। नए मॉडल (जैसे Qwen3 और GPT-4.1) इस चाल को "सोच" सकते हैं, गणित को सरल बना सकते हैं और सही टूल चुन सकते हैं।

"मैराथन" टेस्ट (ODE-1000 बेंचमार्क):
उन्होंने 1,000 अलग-अलग भौतिकी की समस्याएँ बनाईं, साधारण स्प्रिंग्स से लेकर जटिल तरल गतिकी (fluid dynamics) तक। उन्होंने AI को उन सभी को हल करने के लिए कोड लिखने को कहा।

परिणाम: उन्होंने दो चीजें मापीं: क्या कोड चला? (Syntax) और क्या उत्तर वैज्ञानिक रूप से सही था? (Accuracy)।

निष्कर्ष: AI को कैसे काम करने के लिए प्रेरित करें

पेपर से तीन प्रमुख बातें पता चलीं:

1. "गाइड" मायने रखता है (प्रॉम्प्टिंग)
यदि आप केवल AI से पूछते हैं, "इसे हल करें," तो वह अनुमान लगा सकता है। लेकिन यदि आप उसे एक गाइडेड प्रॉम्प्ट देते हैं—जो अनिवार्य रूप से एक चेकलिस्ट है जो कहती है—"पहले, समीकरण को सरल करें। दूसरा, जाँचें कि क्या संख्याएँ बहुत बड़ी हैं। तीसरा, तय करें कि क्या यह स्टिफ है"—तो AI नाटकीय रूप से बेहतर प्रदर्शन करता है।

उपमा: यह एक छात्र को, "गणित करो," कहने और यह कहने के बीच का अंतर है कि "अपना काम दिखाओ, अपनी यूनिट्स की जाँच करो, और फिर हल करो।" दूसरा निर्देश बेहतर ग्रेड दिलाता है।

2. आकार और आयु मायने रखती है

नए, स्मार्ट मॉडल: नवीनतम AI मॉडल (जैसे Qwen3) निर्देशों का पालन करने में इतने अच्छे हैं कि वे केवल एक अच्छी चेकलिस्ट देकर इन समस्याओं को पूरी तरह से हल कर सकते हैं। उन्हें अतिरिक्त प्रशिक्षण की आवश्यकता नहीं है।
पुराने या छोटे मॉडल: ये मॉडल थोड़े कम समझदार या पुराने होते हैं। वे चेकलिस्ट के साथ संघर्ष करते हैं। हालाँकि, यदि आप उन्हें फाइन-ट्यून (fine-tune) करते हैं (इन समस्याओं के 1,000 उदाहरणों पर विशेष रूप से प्रशिक्षित करते हैं), तो वे विशेषज्ञ बन जाते हैं।
उपमा: एक नया, स्मार्ट इंटर्न (नया मॉडल) एक शानदार काम करने के लिए स्पष्ट निर्देशों की आवश्यकता रखता है। एक पुराना, कम अनुभवी कर्मचारी (पुराना मॉडल) को काम को ठीक से करने के लिए विशेष प्रशिक्षण की आवश्यकता होती है।

3. "सोचने" का मोड (Thinking Mode)
कुछ नए मॉडलों में एक "सोचने का मोड" होता है जहाँ वे उत्तर देने से पहले खुद से बात करते हैं। पेपर ने पाया कि AI को कोड लिखने से पहले "सोचने" (अपने तर्क के चरणों को लिखने) के लिए मजबूर करने से त्रुटियाँ काफी कम हो गईं। इसने AI को अनुमान लगाने से रोका और उसे गणित करने के लिए मजबूर किया।

निचोड़ (The Bottom Line)

यह पेपर दिखाता है कि हमें पहिए का पुनरुद्धार करने की आवश्यकता नहीं है। हमें AI को शुरुआत से भौतिकी सीखने की आवश्यकता नहीं है। इसके बजाय, हमें AI को एक स्मार्ट इंटरफ़ेस के रूप में उपयोग करना चाहिए जो मानवीय भाषा ("यहाँ एक रॉकेट की समस्या है") को सही, सिद्ध गणितीय कोड में अनुवाद करता है।

यदि आपके पास एक स्मार्ट, नया AI है: बस उसे अच्छे निर्देश (प्रॉम्प्ट्स) दें, और वह एकदम सही कोड लिखेगा।
यदि आपके पास छोटा/पुराना AI है: आपको इसे विश्वसनीय बनाने के लिए थोड़ा प्रशिक्षित (fine-tuning) करना होगा।

वैज्ञानिक कंप्यूटिंग का भविष्य AI द्वारा गणित को बदलने में नहीं है; बल्कि AI के एक कंडक्टर (Conductor) बनने में है जो जानता है कि संगीत (समाधान) को सही ढंग से बजाने के लिए कौन सा वाद्य यंत्र (सॉल्वर) बजाना है।

यहाँ शोध पत्र "SciML Agents: Write the Solver, Not the Solution" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वैज्ञानिक मशीन लर्निंग (SciML) पारंपरिक रूप से वैज्ञानिक कार्यों के लिए समाधान मूल्यों (solution values) की सीधे भविष्यवाणी करने के लिए न्यूरल नेटवर्क (जैसे, Physics-Informed Neural Networks, Neural ODEs) को प्रशिक्षित करने पर केंद्रित रही है। हालांकि यह आशाजनक है, लेकिन ये दृष्टिकोण विविध भौतिक व्यवस्थाओं (physical regimes) में उच्च सटीकता और मजबूती प्राप्त करने में संघर्ष करते हैं।

लेखक एक प्रतिमान परिवर्तन (paradigm shift) का प्रस्ताव करते हैं: समाधान फलन (solution function) सीखने के लिए मॉडल को प्रशिक्षित करने के बजाय, बड़े भाषा मॉडलों (LLMs) को दशकों पुराने स्थापित संख्यात्मक एल्गोरिदम (numerical algorithms) का लाभ उठाने के लिए कोड लिखने वाले एजेंटों (agents) के रूप में उपयोग करें। मुख्य चुनौती केवल सिंटैक्टिक कोड जनरेशन नहीं है, बल्कि वैज्ञानिक उपयुक्तता (scientific appropriateness) है। एक LLM को निम्नलिखित कार्य करने चाहिए:

भौतिक प्रणाली (जो साधारण अवकल समीकरणों - ODEs द्वारा नियंत्रित है) के प्राकृतिक भाषा विवरण की सही व्याख्या करना।
ODE के गणितीय गुणों (जैसे, stiffness, stability) का विश्लेषण करना।
उपयुक्त संख्यात्मक सॉल्वर (जैसे, गैर-stiff के लिए explicit Runge-Kutta बनाम stiff के लिए implicit BDF) का चयन करना।
संख्यात्मक वैधता सुनिश्चित करने के लिए सही पैरामीटर (tolerances, time steps) सेट करना।

वर्तमान में, यह मूल्यांकन करने के लिए कोई मानक बेंचमार्क नहीं है कि क्या LLMs इन डोमेन-विशिष्ट संख्यात्मक विकल्पों को विश्वसनीय रूप से चुन सकते हैं।

2. कार्यप्रणाली (Methodology)

A. बेंचमार्क डेटासेट (Benchmark Datasets)

मूल्यांकन मानकों की कमी को दूर करने के लिए, लेखकों ने दो नए डेटासेट पेश किए हैं:

प्रतीकात्मक-तुल्यता नैदानिक डेटासेट (Symbolic-Equivalence Diagnostic Dataset):
- लक्ष्य: यह परीक्षण करना कि क्या मॉडल सतही पैटर्न मिलान (जैसे, "बड़ा गुणांक = stiff") पर निर्भर करते हैं या वास्तविक प्रतीकात्मक तर्क (symbolic reasoning) करते हैं।
- निर्माण: इसमें "भ्रामक" ODEs शामिल हैं जहाँ कच्चा रूप (raw form) stiffness का संकेत देता है (बड़े गुणांकों या जटिल त्रिकोणमितीय/व्युत्क्रम कार्यों के कारण), लेकिन बीजगणितीय सरलीकरण (algebraic simplification) उन्हें non-stiff प्रकट करता है।
- उपसमुच्चय (Subsets):
  - त्रिकोणमितीय (Trigonometric): पहचानों (identities) का उपयोग करता है (जैसे, $\sin(t+\pi/2) + \cos(t) = 0$ )।
  - व्युत्क्रम फलन (Inverse Function): व्युत्क्रम ऑपरेटरों का उपयोग करता है (जैसे, $\arcsin(\sin(t)) = t$ )।
  - बीजगणितीय (Algebraic): बड़े पदों को रद्द करने के लिए विस्तार/गुणनखंड (expansion/factorization) का उपयोग करता है।
- मेट्रिक: explicit solver चुनने में सटीकता (जो सरलीकृत non-stiff रूप के लिए सही विकल्प है)।
ODE-1000 बेंचमार्क:
- लक्ष्य: विविध ODE कार्यों के लिए एंड-टू-एंड कोड जनरेशन का मूल्यांकन करना।
- निर्माण: प्राकृतिक भाषा विवरणों से प्राप्त 1,000 विविध ODE समस्याएँ, जिन्हें scipy.integrate.solve_ivp का उपयोग करते हुए ग्राउंड-ट्रुथ पायथन समाधानों के साथ जोड़ा गया है।
- जनरेशन: विविधता सुनिश्चित करने के लिए GPT-4.1 का उपयोग करके सिंथेसाइज किया गया है (stiffness, order, time intervals, और coefficients में भिन्नता के साथ)।
- सत्यापन: कोड को एक सैंडबॉक्स में निष्पादित किया जाता है; समाधानों की तुलना SymPy के माध्यम से विश्लेषणात्मक समाधानों से Relative $L_2$ त्रुटि का उपयोग करके की जाती है। केवल वे उदाहरण रखे जाते हैं जहाँ त्रुटि $< 0.01$ है।

B. प्रयोगात्मक सेटअप (Experimental Setup)

मॉडल: ओपन-सोर्स (Llama 2/3/3.1/3.3, Qwen 1-3) और क्लोज्ड-सोर्स (GPT-4.1) मॉडलों का मूल्यांकन किया गया, जिनका आकार (0.6B से 405B पैरामीटर्स तक) और रिलीज तिथि (2023–2025) भिन्न है।
प्रॉम्प्टिंग रणनीतियाँ (Prompting Strategies):
- अनिर्देशित (Unguided/Base): न्यूनतम निर्देश।
- निर्देशित (Guided): चरण-दर-चरण तर्क करने, बीजगणितीय अभिव्यक्तियों को सरल बनाने और सॉल्वर चुनने से पहले गुणांकों का विश्लेषण करने के लिए स्पष्ट निर्देश।
फाइन-ट्यूनिंग (Fine-Tuning): छोटे/पुराने मॉडलों के लिए ODE-1000 के 900 उदाहरणों का उपयोग करके सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) लागू की गई।

3. मुख्य योगदान (Key Contributions)

नए बेंचमार्क: नैदानिक डेटासेट (प्रतीकात्मक तर्क बनाम पैटर्न मिलान की जांच करने के लिए) और ODE-1000 (बड़े पैमाने पर वैज्ञानिक कोड जनरेशन बेंचमार्क) का परिचय।
मूल्यांकन ढांचा: एक दोहरा-अक्ष (dual-axis) मूल्यांकन जो दोनों कोड निष्कार्यता (syntax) और संख्यात्मक वैधता (ग्राउंड ट्रुथ के विरुद्ध वैज्ञानिक सटीकता) को मापता है।
प्रॉम्प्टिंग बनाम फाइन-ट्यूनिंग का अनुभवजन्य विश्लेषण:
- प्रदर्शित किया कि निर्देशित प्रॉम्प्टिंग (guided prompting) प्रदर्शन को महत्वपूर्ण रूप से बढ़ाती है, विशेष रूप से नए इंस्ट्रक्शन-फॉलोइंग मॉडलों के लिए।
- दिखाया कि पुराने या छोटे मॉडलों के लिए उच्च विश्वसनीयता प्राप्त करने के लिए फाइन-ट्यूनिंग महत्वपूर्ण है, जबकि बड़े, नए मॉडल (जैसे, Qwen3-8B) केवल प्रॉम्प्टिंग के साथ भी लगभग पूर्ण प्रदर्शन प्राप्त कर लेते हैं।
"सोचने" पर अंतर्दृष्टि: पाया कि नए मॉडलों में "रीजनिंग मोड" (chain-of-thought) को सक्षम करने से प्रतिकूल, भ्रामक समस्याओं को संभालने की उनकी क्षमता में भारी सुधार होता है।

4. मुख्य परिणाम (Key Results)

नैदानिक डेटासेट (प्रतीकात्मक तर्क)

पैटर्न मिलान विफलता: पुराने और छोटे मॉडल अक्सर नैदानिक कार्यों में विफल रहे, जो बड़े गुणांकों के कारण गलत तरीके से implicit (stiff) सॉल्वर चुनते थे, जिससे वे समीकरणों को सरल बनाने में विफल रहे।
तर्क सफलता: नए मॉडल (Qwen3, GPT-4.1) उच्च सटीकता प्राप्त करते हैं (निर्देशित प्रॉम्प्ट के साथ अक्सर >90%)।
मार्गदर्शन का प्रभाव: निर्देशित प्रॉम्प्ट्स ने सटीकता में काफी सुधार किया। उदाहरण के लिए, Qwen3-0.6B ने बेस प्रॉम्प्ट के साथ त्रिकोणमितीय कार्यों पर ~58% से बढ़कर निर्देशित प्रॉम्प्ट और रीजनिंग मोड के साथ 100% तक सुधार किया।
स्केल बनाम आर्किटेक्चर: नए जेनरेशन अक्सर बड़े, पुराने मॉडलों (जैसे, Qwen3-0.6B ने कुछ कार्यों पर Llama3-70B को पछाड़ दिया) से बेहतर प्रदर्शन करते हैं, जो सुझाव देता है कि तर्क के लिए कच्चे पैरामीटर काउंट की तुलना में आर्किटेक्चर और प्रशिक्षण डेटा की गुणवत्ता अधिक मायने रखती है।

ODE-1000 बेंचमार्क (कोड जनरेशन)

निष्कार्यता (Executability): फाइन-ट्यूनिंग ने छोटे मॉडलों के लिए कोड निष्पादन दर में नाटकीय सुधार किया (जैसे, Qwen3-0.6B की निष्पादन दर 27% से बढ़कर 97% हो गई)।
संख्यात्मक सटीकता:
- फाइन-ट्यूनिंग: औसत सापेक्ष $L_2$ त्रुटि को काफी कम कर दिया (जैसे, Qwen3-0.6B की त्रुटि 0.37 से घटकर 0.10 हो गई)।
- प्रॉम्प्टिंग: नए बड़े मॉडल (जैसे, Qwen3-8B, GPT-4.1) ने केवल निर्देशित प्रॉम्प्टिंग का उपयोग करके लगभग 100% सटीकता और कम त्रुटि दर प्राप्त की, बिना फाइन-ट्यूनिंग के।
निष्कर्ष: सरल ODE कार्यों के लिए, एक विशेष SciML एजेंट को या तो छोटे मॉडलों को फाइन-ट्यून करके या बड़े, नए मॉडलों को सावधानीपूर्वक प्रॉम्प्ट करके बनाया जा सकता है।

5. महत्व और भविष्य का कार्य (Significance and Future Work)

प्रतिमान परिवर्तन: यह शोध पत्र इस बात की पुष्टि करता है कि LLMs प्रभावी "SciML Agents" के रूप में कार्य कर सकते हैं जो प्राकृतिक भाषा विवरणों और परिपक्व संख्यात्मक सॉल्वरों के बीच सेतु का काम करते हैं, जो विशिष्ट भौतिक समस्याओं के लिए शून्य से न्यूरल नेटवर्क को प्रशिक्षित करने के मुकाबले एक अधिक मजबूत विकल्प प्रदान करते हैं।
व्यावहारिकता: यह स्थापित करता है कि कई वैज्ञानिक कार्यों के लिए, "लिखें द सॉल्वर" (write the solver) दृष्टिकोण व्यवहार्य है, बशर्ते कि मॉडल को केवल कोड सिंटैक्स उत्पन्न करने के बजाय भौतिक गुणों के बारे में तर्क करने के लिए निर्देशित किया जाए।
भविष्य की दिशाएं:
- आंशिक अवकल समीकरणों (PDEs), बाउंड्री वैल्यू समस्याओं, और अराजक/stiff (chaotic/stiff) व्यवस्थाओं तक बेंचमार्क का विस्तार करना।
- प्रतीकात्मक सरलीकरण और स्थिरता जाँच के लिए टूल का उपयोग करना।
- वैज्ञानिक कोड सत्यापन के लिए गुण-आधारित परीक्षण (property-based testing) और इनवेरियंट्स (invariants) विकसित करना।

ओपन सोर्स: लेखकों ने कोड, डेटासेट और बेंचमार्क को https://github.com/SqueezeAILab/sciml-agent पर जारी किया है।