SPL: Orchestrating Workflows with Declarative Deterministic-Probabilistic Composition
यह शोध पत्र SPL (स्ट्रक्चर्ड प्रॉम्प्ट लैंग्वेज) प्रस्तुत करता है, जो एक डिक्लेरेटिव फ्रेमवर्क है जो मॉडल-अज्ञेय वर्कफ़्लो ऑर्केस्ट्रेशन को सक्षम करने के लिए एक ही स्पेसिफिकेशन के भीतर नियत और संभाव्य गणना को एकीकृत करता है, और व्यापक प्रयोगों के माध्यम से यह प्रदर्शित करता है कि इसका सॉल्वर-आधारित दृष्टिकोण अनवेरिफाइड LLM-ओनली आउटपुट की तुलना में काफी उच्च मशीन-वेरिफाइड शुद्धता प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट असिस्टेंट बनाने की कोशिश कर रहे हैं जो आपके होमवर्क में आपकी मदद कर सके। अभी, इन सहायकों को बनाना ऐसा है जैसे एक ऐसी कार बनाने की कोशिश करना जिसका इंजन, स्टीयरिंग व्हील और जीपीएस अलग-अलग कंपनियों द्वारा बनाया गया हो, अलग-अलग भाषाएं बोलते हों, और उन्हें जोड़ने के लिए टेढ़े-मेढ़े, कस्टम-मेड टेप की जरूरत पड़ती हो। उन्हें एक-दूसरे से बात कराने के लिए आपको एक कोडिंग जादूगर बनना पड़ेगा।
यह पेपर SPL (स्ट्रक्चर्ड प्रॉम्प्ट लैंग्वेज) पेश करता है, जो एक यूनिवर्सल रिमोट कंट्रोल की तरह है जो आखिरकार रोबोट के "रचनात्मक" हिस्से और रोबोट के "गणित" वाले हिस्से को एक ही, साफ-सुथरी निर्देश पुस्तिका में एक साथ काम करने देता है।
दो दिमाग: सपने देखने वाला और कैलकुलेटर
पेपर का तर्क है कि वर्तमान एआई टूल्स एक ही मोड में फंसे हुए हैं। वे या तो सपना देखने वाले (Dreamers) (LLMs) हैं जो कहानियाँ लिखने, उत्तरों का अनुमान लगाने और चैट करने में माहिर हैं, लेकिन कभी-कभी तथ्य बना लेते हैं या गणित में गलती कर देते हैं। या फिर वे कैलकुलेटर (Calculators) (जैसे SymPy या SageMath) हैं जो गणित और तर्क में तो एकदम सटीक हैं लेकिन वे मजाक नहीं समझ सकते या कहानी नहीं लिख सकते।
लेखक कहते हैं, "क्यों न दोनों को साथ लाया जाए?" वे एक ऐसी प्रणाली का प्रस्ताव देते हैं जहाँ सपना देखने वाला (Dreamer/System 1) समस्या को तोड़ता है और उसे समझाता है, जबकि कैलकुलेटर (Calculator/System 2) वास्तविक भारी काम करता है और काम की जाँच करता है।
बड़ा ट्विस्ट: पेपर स्पष्ट रूप से इस विचार के खिलाफ तर्क देता है कि एआई को एक या दूसरे होने के लिए "तेज" या "धीमा" होने की आवश्यकता है। यह गति के बारे में नहीं है; यह इस बारे बारे में है कि वे कैसे सोचते हैं। एक कैलकुलेटर कठिन प्रमाण (proof) हल करते समय धीमा हो सकता है, और एक सपने देखने वाला केवल अनुमान लगाते समय तेज हो सकता है। मुख्य बात यह जानना है कि किस काम के लिए किस दिमाग का उपयोग करना है।
"एक बार डिजाइन करें, कहीं भी तैनात करें" का जादू
सबसे शानदार हिस्सा यहाँ है: SPL के साथ, आप अपनी इंस्ट्रक्शंस को एक विशेष .spl फ़ाइल में एक बार लिखते हैं। यदि आप चाहते हैं कि इसे अपने लैपटॉप, क्लाउड, या एक विशाल सुपरकंप्यूटर ग्रिड पर चलाया जाए, तो आपको कोड को दोबारा लिखने की आवश्यकता नहीं है।
इसे एक रेसिपी (विधि) की तरह सोचें। आप रेसिपी को एक बार लिखते हैं। चाहे आप इसे एक छोटे कैंपिंग स्टोव (आपका लैपटॉप), एक फैंसी किचन (क्लाउड), या एक विशाल औद्योगिक कारखाने (डिस्ट्रीब्यूटेड ग्रिड) में पकाएं, रेसिपी वही रहती है। आप बस शुरू करते समय सिस्टम को बताते हैं कि इसे कहाँ पकाना है। पेपर इसे DODA (डिजाइन वन्स, डिप्लॉय एनीव्हेयर) कहता है।
"वेरिफायर लैडर" (सत्यापन की सीढ़ी)
हमें कैसे पता चलेगा कि गणित सही है? पेपर एक "वेरिफायर लैडर" पेश करता है जिसमें तीन पायदान हैं:
- पायदान 1 (SymPy): बुनियादी बीजगणित (algebra) और कलन (calculus) के लिए अच्छा है। यह तेज़ और आसान है।
- पायदान 2 (SageMath): नंबर थ्योरी और ज्योमेट्री जैसे कठिन विषयों के लिए।
- पायदान 3 (Lean 4): यह अल्टीमेट बॉस लेवल है। यह औपचारिक प्रमाणों (formal proofs) के लिए है जिन्हें कंप्यूटर द्वारा 100% गणितीय रूप से सत्य होने के लिए जांचा जाता है, जैसे गणित के लिए एक कानूनी अनुबंध।
पेपर दिखाता है कि आप एक ऐसा वर्कफ़्लो लिख सकते हैं जो पहले पायदान 1 को आजमाता है। यदि यह विफल हो जाता है, तो सिस्टम स्वचालित रूप से पायदान 2 पर चढ़ जाता है, और यदि वह भी विफल होता है, तो पायदान 3 पर। आपको यह "यदि यह विफल हो जाए, तो वह आजमाओ" वाला कोड लिखने की आवश्यकता नहीं है; भाषा इसे आपके लिए संभाल लेती है।
प्रयोग: वास्तव में क्या हुआ?
लेखकों ने केवल अनुमान नहीं लगाया; उन्होंने एक बड़ा प्रयोग किया। उन्होंने 10 अलग-अलग एआई मॉडल्स का 20 अलग-अलग गणितीय समस्याओं (आसान से लेकर विशेषज्ञ स्तर तक) पर परीक्षण किया और प्रत्येक परीक्षण को 3 बार चलाया। कुल मिलाकर यह 1,200 रन थे।
उन्होंने समस्याओं को हल करने के दो तरीकों की तुलना की:
- "LLM-Only" आर्म: एआई केवल अनुमान लगाता है और उत्तर लिखता है।
- "Solver" आर्म: एआई समस्या को तोड़ता है, गणित को कैलकुलेटर के पास भेजता है, सत्यापित उत्तर प्राप्त करता है, और फिर व्याख्या लिखता है।
परिणाम:
- अच्छी खबर: सोल्वर आर्म अविश्वसनीय रूप से सटीक था। सबसे अच्छे मॉडल्स के लिए, जैसे
gemma4:e2b, कैलकुलेटर द्वारा सत्यापित किए जाने पर उन्होंने 93% उत्तर सही दिए। यहाँ तक किsonnet-4-6ने भी 85% सही उत्तर दिए। - सावधानी: "LLM-Only" आर्म लगभग हमेशा (लगभग 100% समय) एक उत्तर दे सकता था, लेकिन वह सत्यापित नहीं था। सोल्वर आर्म ने साबित कर दिया कि सिर्फ इसलिए कि एक एआई कुछ कहता है, इसका मतलब यह नहीं है कि वह सच है।
- बाधा (Bottleneck): सोल्वर आर्म के विफल होने का मुख्य कारण यह नहीं था कि एआई गणित नहीं कर सकता था (कैलकुलेटर ने वह कर लिया था!)। यह इसलिए विफल हुआ क्योंकि एआई अपने उत्तर को सही ढंग से फॉर्मेट नहीं कर सका। एआई को अपना गणित एक बहुत ही विशिष्ट कोड-जैसे फॉर्मेट (
expr|op) में लिखना था जिसे कैलकुलेटर समझ सके। यदि एआई ने फॉर्मेटिंग में गलती की, तो कैलकुलेटर ने उसे खारिज कर दिया। - आश्चर्य: एक छोटा, ओपन-सोर्स मॉडल जिसे
gemma4:e2bकहा जाता है (जो बड़े, महंगे मॉडल्स की तुलना में बहुत छोटा है) वास्तव में नियमों का पालन करने में कुछ बड़े मॉडल्स से बेहतर प्रदर्शन करता है। यह सुझाव देता है कि इस विशिष्ट कार्य के लिए, एक विशाल, सुपर-स्मार्ट दिमाग होने से ज्यादा महत्वपूर्ण एक अच्छा "फॉर्मेट ट्रांसलेटर" होना है।
पेपर क्या नहीं कहता है
पेपर बहुत स्पष्ट है कि यह क्या नहीं करता है:
- यह यह दावा नहीं करता कि एआई मॉडल्स अब गणित में अपने आप में परफेक्ट हैं। वास्तव में, प्रयोग ने दिखाया कि बिना कैलकुलेटर के, मॉडल्स केवल अनुमान लगा रहे हैं।
- यह यह नहीं कहता कि "थिंकिंग" मॉडल्स (वे मॉडल्स जो उत्तर देने से पहले काफी समय तक "सोचते" हैं) बेहतर हैं। वास्तव में, पेपर ने कुछ "थिंकिंग" मॉडल्स को बाहर कर दिया क्योंकि वे सोचने में बहुत अधिक समय बिताते थे और उस स्पेस से पहले ही खत्म हो जाते थे जिसकी उन्हें कैलकुलेटर के लिए विशिष्ट कोड फॉर्मेट लिखने हेतु आवश्यकता थी।
- यह यह दावा नहीं करता कि यह हर समस्या को हल कर देता है। प्रयोग विशेष रूप से सिम्बोलिक मैथमेटिक्स (प्रतीकात्मक गणित) पर था। लेखक सुझाव देते हैं कि यह कोड की जांच करने या डेटा को वैलिडेट करने जैसी अन्य चीजों के लिए भी काम कर सकता है, लेकिन उन्होंने अभी तक इसे साबित नहीं किया है।
निचोड़ (Bottom Line)
पेपर यह साबित करता है कि एआई के "रचनात्मक" हिस्से को गणित के हिस्से से अलग करके, और कंप्यूटर को गणित की जांच करने देकर, हम बहुत अधिक विश्वसनीय परिणाम प्राप्त कर सकते हैं। सबसे अच्छी बात? आपको इसके लिए कोडिंग जीनियस होने की आवश्यकता नहीं है। आप बस योजना एक बार लिखते हैं, और सिस्टम बाकी सब संभाल लेता है, चाहे आप इसे अपने लैपटॉप पर चला रहे हों या सुपरकंप्यूटर पर।
लेखकों ने इसे 1,200 रन के साथ मापा और पाया कि हालांकि "सोल्वर" आर्म थोड़ा धीमा है (काम की जांच करने के लिए कुछ अतिरिक्त सेकंड लेता है), यह एक "शायद सही" उत्तर को "मशीन-वेरिफाइड" उत्तर में बदल देता है। सबसे अच्छे मॉडल्स के लिए, इस सत्यापन में गति के रूप में लगभग कुछ भी खर्च नहीं होता है, जो यह साबित करता है कि यह दो-मोड दृष्टिकोण स्मार्ट, सुरक्षित एआई असिस्टेंट बनाने का एक व्यावहारिक तरीका है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।