Evaluating SageMath-Augmented LLM Agents for Computational and Experimental Mathematics
यह शोध पत्र एक ReAct-शैली के एजेंटिक फ्रेमवर्क का प्रस्ताव और मूल्यांकन करता है जो लार्ज लैंग्वेज मॉडल्स को SageMath और अद्यतित दस्तावेज़ीकरण के साथ एकीकृत करता है, यह प्रदर्शित करते हुए कि ऐसे CAS-संवर्धित एजेंट RealMath बेंचमार्क के अनुसंधान-स्तरीय गणितीय समस्याओं पर प्रदर्शन में काफी सुधार करते हैं और ओपन-वेट एवं क्लोज्ड मॉडल्स के बीच के अंतर को कम करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: गणितीय रोबोट को कैलकुलेटर देना
कल्पना कीजिए कि आपके पास एक प्रतिभाशाली लेकिन कभी-कभी भूल जाने वाला छात्र (AI) है जो बहुत कठिन, शोध-स्तर की गणितीय समस्याओं को हल करने की कोशिश कर रहा है। यह छात्र पढ़ने और सोचने में बहुत अच्छा है, लेकिन अक्सर गणना की गलतियाँ करता है या अटक जाता है क्योंकि उसके पास सही उपकरण नहीं होते।
लंबे समय से, शोधकर्ता इन AI छात्रों को औपचारिक प्रमाण (formal proofs) लिखना सिखा रहे हैं (जैसे किसी गणितीय तथ्य के लिए कानूनी अनुबंध लिखना)। लेकिन यह शोध पत्र एक अलग सवाल पूछता है: क्या होगा यदि हम AI को एक शक्तिशाली, वास्तविक दुनिया का कैलकुलेटर (जिसे SageMath कहा जाता है) दें और उसे प्रयोग करने दें?
शोधकर्ताओं ने एक "लैब" तैयार की जहाँ AI यह कर सकता है:
- एक समस्या के बारे में सोचना।
- अपने अनुमान का परीक्षण करने के लिए कंप्यूटर कोड लिखना।
- उस कोड को एक सुरक्षित, अलग वातावरण (sandbox) में चलाना।
- परिणाम देखना, यह महसूस करना कि क्या वह गलत था, और फिर से प्रयास करना।
वे इसे एक "ReAct" लूप (Reason + Act - तर्क + कार्य) कहते हैं। यह एक जासूस की तरह है जो केवल यह अनुमान नहीं लगाता कि अपराधी कौन है, बल्कि वास्तव में बाहर जाकर, सबूतों की जाँच करता है, और साक्ष्यों के साथ वापस आता है।
प्रयोग: 15 छात्र, 133 समस्याएँ
टीम ने 15 अलग-अलग "फ्रंटियर" AI मॉडल (उपलब्ध सबसे स्मार्ट मॉडल) का परीक्षण हाल ही के शोध पत्रों से ली गई 133 वास्तविक गणितीय समस्याओं पर किया। उन्होंने उन्हें दो तरीकों से परखा:
- "केवल मस्तिष्क" मोड (The "Brain Only" Mode): AI को केवल अपने आंतरिक ज्ञान का उपयोग करके समस्या को हल करना था, जैसे कि बिना कैलकुलेटर के परीक्षा देने वाला छात्र।
- "उपकरण-उपयोगकर्ता" मोड (The "Tool-User" Mode): AI SageMath कैलकुलेटर और एक डॉक्यूमेंटेशन हेल्पर (Context7) का उपयोग कर सकता था ताकि कोड चला सके और अपने काम की जाँच कर सके।
परिणाम: उपकरण सभी को बेहतर बनाते हैं (लेकिन कुछ को दूसरों से अधिक)
निष्कर्ष स्पष्ट थे: AI को कैलकुलेटर देने से हर एक मॉडल ने अधिक समस्याओं को हल करने में सफलता पाई। औसतन, सफलता दर में लगभग 10 प्रतिशत अंकों की वृद्धि हुई।
यहाँ मुख्य बातें दी गई हैं, जिन्हें सरल भाषा में समझाया गया है:
1. "अंडरडॉग" प्रभाव (The "Underdog" Effect)
वे AI मॉडल जो गणित में पहले से कमजोर थे ("ओपन-वेट" मॉडल), उनमें सबसे अधिक सुधार हुआ। यह एक ऐसे छात्र को कैलकुलेटर देने जैसा है जिसे अंकगणित में कठिनाई होती है; उनके ग्रेड आसमान छू लेते हैं क्योंकि उपकरण उनकी सबसे बड़ी कमजोरी को ठीक कर देता है।
- उदाहरण: एक मॉडल, Qwen, ने 42% समस्याओं को हल करने से बढ़कर 70% को हल किया—जो कि लगभग 28 अंकों की भारी छलांग है।
- शीर्ष स्तर के मॉडल (जैसे GPT-5.5) पहले से ही अच्छे थे, इसलिए उनमें कम सुधार हुआ (67% से 75%), लेकिन वे कुल मिलाकर सबसे बेहतर बने रहे।
2. दक्षता का विरोधाभास (The Efficiency Paradox)
आप सोच सकते हैं कि कैलकुलेटर का उपयोग करने से आप तेज़ या कम ऊर्जा खर्च करने वाले बनेंगे। यहाँ ऐसा ज़रूरी नहीं है।
- कुछ मॉडलों ने उपकरण का इतना अधिक उपयोग किया कि वे "जाल में फंस गए" (stuck in the weeds), हजारों लाइनों का कोड चलाया और थोड़ा बेहतर उत्तर पाने के लिए भारी मात्रा में कंप्यूटिंग शक्ति (टोकन) का उपयोग किया।
- GPT-5.5 सबसे कुशल "एथलीट" था। इसने सबसे कम कंप्यूटिंग शक्ति का उपयोग करते हुए सबसे अधिक समस्याओं (75.2%) को हल किया। इसे पता था कि कब उपकरण का उपयोग करना है और कब रुकना है।
3. "दो-मोड" व्यवहार (The "Two-Mode" Behavior)
शोधकर्ताओं ने देखा कि AI अपने उपकरण का उपयोग कैसे करता है, इसमें एक दिलचस्प पैटर्न था। AI का व्यवहार बाइमोडल (दो अलग मोड) था:
- मोड A (विशेषज्ञ): मजबूत मॉडल थोड़ा सोचते हैं, अपने उत्तर को सत्यापित करने के लिए कैलकुलेटर का एक या दो बार उपयोग करते हैं, और फिर समाप्त कर देते हैं। वे उपकरण का उपयोग स्पेल-चेकर की तरह करते हैं।
- मोड B (संघर्ष करने वाले): कमजोर मॉडल कैलकुलेटर का बार-बार उपयोग करते हैं, समाधान के लिए ज़बरदस्ती (brute-force) प्रयास करते हैं। वे समय या मेमोरी खत्म होने के कारण विफल हो जाते हैं, क्योंकि वे पहले सोचने के बजाय गणना के माध्यम से उत्तर खोजने की कोशिश कर रहे होते हैं।
4. "भ्रम" का समाधान (The "Hallucination" Fix)
AI मॉडल अक्सर सॉफ़्टवेयर के उपयोग के बारे में तथ्यों को गढ़ लेते हैं (जैसे कि एक ऐसा फंक्शन बनाना जो मौजूद ही नहीं है)। शोधकर्ताओं ने सही निर्देश खोजने में मदद के लिए एक "डॉक्यूमेंटेशन टूल" (Context7) जोड़ा।
- परिणाम: अधिकांश मॉडलों ने वास्तव में इस टूल का अधिक उपयोग नहीं किया। शीर्ष मॉडलों को सॉफ़्टवेयर के बारे में पहले से ही अच्छी जानकारी थी। कमजोर मॉडलों ने इसका उपयोग करने की कोशिश की लेकिन फिर भी गलतियाँ करते रहे।
एक वास्तविक उदाहरण: नॉट डिटेक्टिव (The Knot Detective)
शोध पत्र में एक केस स्टडी शामिल है जहाँ AI को "ट्विस्टेड टॉरस नॉट" (एक जटिल गणितीय आकृति) के बारे में एक समस्या हल करनी थी।
- पुराना तरीका: AI को अपनी याददाश्त के आधार पर फॉर्मूला का अनुमान लगाना होता।
- नया तरीका: AI ने नॉट के छोटे संस्करणों को बनाने, उन्हें मापने और एक पैटर्न खोजने के लिए कैलकुलेटर का उपयोग किया। उसने देखा कि जैसे-जैसे नॉट बड़ी होती है, एक विशिष्ट संख्या एक अनुमानित तरीके से बढ़ती है। उसने इस पैटर्न का उपयोग अंतिम फॉर्मूले का अनुमान लगाने के लिए किया।
- परिणाम: AI ने केवल उत्तर "जान" नहीं लिया; उसने इसे एक मिनी-प्रयोग के माध्यम से "खोजा", ठीक वैसे ही जैसे एक मानव गणितज्ञ करता है।
निचोड़ (The Bottom Line)
यह शोध पत्र सिद्ध करता है कि जटिल गणित के लिए, AI को केवल एक "सोचने वाला" (thinker) नहीं; बल्कि एक "प्रयोग करने वाला" (experimenter) होने की आवश्यकता है।
जब आप AI को एक विश्वसनीय कंप्यूटर अलजेब्रा सिस्टम (SageMath) तक पहुँच प्रदान करते हैं, तो वह अनुमान लगाना बंद कर देता है और सत्यापन करना शुरू कर देता है। यह AI को एक आत्मविश्वासी अनुमान लगाने वाले से बदलकर एक सावधान शोधकर्ता में बदल देता है। जबकि सर्वश्रेष्ठ मॉडल पहले से ही अच्छे थे, यह उपकरण कमजोर मॉडलों को बराबरी करने में मदद करता है, जिससे "सस्ते" ओपन-सोर्स और महंगे क्लोज्ड मॉडलों के बीच का अंतर कम हो जाता है।
लेखक निष्कर्ष निकालते हैं कि यह स्वचालित खोज (automated discovery) की दिशा में एक बड़ा कदम है, जहाँ AI एजेंट न केवल ज्ञात समस्याओं को हल कर सकते हैं, बल्कि अंतहीन, विश्वसनीय प्रयोग चलाकर मनुष्यों को नए गणितीय सत्य खोजने में भी मदद कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।