SafeRun: Enabling Determinism in LLM Planning for Running
SafeRun एक ऐसा फ्रेमवर्क है जो एक LLM के लचीले प्राकृतिक-भाषा व्याख्या (natural-language interpretation) को एक नियतात्मक सॉल्वर (deterministic solver) के सख्त बाधा प्रवर्तन (constraint enforcement) से अलग करके, प्रतिस्पर्धी निर्देश-अनुपालन क्षमताओं को बनाए रखते हुए 100% सुरक्षा अनुपालन प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ SafeRun पेपर का सरल, बोलचाल की भाषा में और कुछ रचनात्मक उपमाओं (analogies) के साथ अनुवाद दिया गया है।
समस्या: "रचनात्मक लेकिन लापरवाह" कोच
कल्पना कीजिए कि आप एक बहुत ही स्मार्ट, रचनात्मक AI से आपके दौड़ने (running) का शेड्यूल बनाने के लिए कहते हैं। आप कहते हैं, "मैं हर हफ्ते 50 किलोमीटर दौड़ना चाहता हूँ, जिसमें हर मंगलवार को एक कठिन वर्कआउट हो।"
AI आपकी बातों को समझने में बहुत माहिर है। यह एक प्रतिभाशाली कहानीकार की तरह है जो दौड़ने के बारे में एक सुंदर और रोमांचक कहानी लिख सकता है। हालाँकि, AI संभाव्यता (probabilistic) पर आधारित है—यह सख्त गणित के बजाय पैटर्न के आधार पर अगले शब्द का अनुमान लगाता है।
दौड़ने की दुनिया में, यह खतरनाक है। यदि AI गलती से दो कठिन वर्कआउट एक के बाद एक रख देता है या आपको एक ही दिन में बहुत अधिक दौड़ने के लिए कह देता है, तो आपको चोट लग सकती है। यह एक कहानीकार से पुल (bridge) डिजाइन करने के लिए कहने जैसा है; वे इसे सुंदर बना सकते हैं, लेकिन यदि वे भौतिकी (physics) के नियमों का पालन नहीं करते हैं, तो पुल ढह जाएगा।
पेपर इसे "डिटरमिनिज्म गैप" (determinism gap) कहता है। सुरक्षा-महत्वपूर्ण कार्यों (जैसे रनिंग प्लान) में, आप AI के "सबसे अच्छे अनुमान" पर भरोसा नहीं कर सकते। आपको 100% निश्चितता चाहिए कि नियमों का पालन किया गया है।
समाधान: SafeRun ("रचनात्मक लेखक" + "सख्त इंजीनियर")
लेखक SafeRun का प्रस्ताव देते हैं, जो AI का उपयोग करने का एक नया तरीका है जो "रचनात्मक सोच" को "सुरक्षा जांच" से अलग करता है।
SafeRun को एक प्रोजेक्ट पर काम करने वाली दो-सदस्यीय टीम के रूप में सोचें:
- अनुवादक (The Translator - LLM): यह AI है। इसका एकमात्र काम आपकी उलझी हुई, प्राकृतिक भाषा की मांगों को सुनना और उन्हें स्पष्ट, संरचित निर्देशों की एक सूची में बदलना है। यह खुद प्लान नहीं बना सकता। यह केवल "खरीद सूची" (shopping list) लिखता है।
- इंजीनियर (The Engineer - Deterministic Solver): यह एक कठोर, गणित-आधारित कंप्यूटर प्रोग्राम है। यह अनुवादक से प्राप्त सूची लेता है और वास्तविक प्लान बनाता है। इसके पास अटूट नियम होते हैं (जैसे "दो कठिन रन लगातार नहीं होने चाहिए" या "प्रति सप्ताह अधिकतम 50 किमी")। यदि प्लान इन नियमों के अनुसार बिल्कुल फिट नहीं बैठता है, तो इंजीनियर इसे खारिज कर देता है और अनुवादक को फिर से प्रयास करने के लिए कहता है।
उपमा (Analogy):
कल्पना कीजिए कि आप एक कस्टम केक ऑर्डर कर रहे हैं।
- पुराना तरीका (शुद्ध AI): आप एक बेकर से कहते हैं, "मेरे लिए एक ऐसा केक बनाएं जो खाने के लिए सुरक्षित हो लेकिन उसमें 500 मोमबत्तियां भी हों।" बेकर अनुमान लगाने की कोशिश करता है कि आपका क्या मतलब है। वे शायद एक छोटे से कप केक पर 500 मोमबत्तियां रख दें, जिससे उसमें आग लग सकती है (असुरक्षित)।
- SafeRun का तरीका: आप एक अनुवादक (जो आपकी भाषा बोलता है) को बताते हैं, "मुझे 500 मोमबत्तियों वाला एक केक चाहिए।" अनुवादक एक इंजीनियर (एक रोबोट बेकर) के लिए एक नोट लिखता है। रोबोट बेकर का एक नियम है: "कोई भी केक प्रति इंच 10 मोमबत्तियों से अधिक नहीं हो सकता।" रोबोट सटीक गणना करता है कि 500 मोमबत्तियों को सुरक्षित रूप से रखने के लिए केक को कितना बड़ा होना चाहिए। यदि केक बहुत छोटा है, तो रोबोट कहता है, "नहीं, यह असुरक्षित है," और अनुवादक को ऑर्डर में बदलाव करने के लिए कहता है।
व्यवहार में यह कैसे काम करता है
पेपर ने इस सिस्टम का परीक्षण करने के लिए एक "रनिंग प्लानिंग बेंचमार्क" बनाया। उन्होंने असली धावकों से 100 अलग-अलग अनुरोध और 10 अलग-अलग रनर प्रोफाइल (शुरुआती से लेकर विशेषज्ञों तक) एकत्र किए।
उन्होंने SafeRun का परीक्षण दो अन्य तरीकों के मुकाबले किया:
- प्रॉम्प्ट इंजीनियरिंग (Prompt Engineering): बस AI से नियमों का पालन करने के लिए विनम्रता से कहना।
- कोड-एक्ट (CodeAct): AI को समस्या को हल करने के लिए अपना स्वयं का कोड लिखने देना (लेकिन बिना किसी सख्त सुरक्षा गार्ड के)।
परिणाम: सुरक्षा सर्वोपरि
परिणाम नाटकीय थे:
- सुरक्षा स्कोर (Safety Score):
- पुराने तरीके: AI लगभग 79% बार सही था (प्रॉम्प्ट इंजीनियरिंग) और 97% बार सही था (CodeAct)। इसका मतलब है कि हर 5 में से 1 बार या हर 30 में से 1 बार प्लान असुरक्षित था।
- SafeRun: 100%। हर एक जनरेट किया गया प्लान सुरक्षित था। "इंजीनियर" ने कभी भी किसी खराब प्लान को आगे नहीं बढ़ने दिया।
- निर्देशों का पालन (Instruction Following):
- SafeRun ने न केवल सुरक्षित प्लान बनाए; बल्कि इसने उपयोगकर्ता की बात को भी अच्छी तरह सुना। इसने वास्तव में उपयोगकर्ता द्वारा मांगी गई चीजों को करने (जैसे दौड़ने के सही दिनों की संख्या) में अन्य तरीकों की तुलना में थोड़ा बेहतर स्कोर किया।
यह क्यों महत्वपूर्ण है (पेपर के अनुसार)
पेपर का तर्क है कि उन चीजों के लिए जहाँ गलतियों से शारीरिक नुकसान हो सकता है (जैसे दौड़ना, दवा की खुराक, या ड्राइविंग), हम AI पर सही उत्तर का "अनुमान" लगाने के लिए भरोसा नहीं कर सकते।
SafeRun साबित करता है कि आप मानवीय भाषा की लचीलापन (एक कोच की तरह AI से बात करना) को रखते हुए भी गणितीय सूत्र की कठोर सुरक्षा बनाए रख सकते हैं। AI संभालता है कि "आप क्या चाहते हैं?" और कंप्यूटर संभालता है कि "क्या यह सुरक्षित है?"
सीमाएं (Limitations)
लेखक इस बारे में ईमानदार हैं कि SafeRun अभी क्या नहीं कर सकता:
- यह अभी केवल दौड़ने (running) के लिए काम करता है। "इंजीनियर" को विशेष रूप से दौड़ने के नियमों के लिए बनाया गया था।
- यह केवल उन अनुरोधों का परीक्षण करता है जिन्हें हल किया जा सकता है। यदि आप एक असंभव योजना मांगते हैं (जैसे, "हफ्ते में 1,000 किमी दौड़ें"), तो सिस्टम व्यवहार्य अनुरोधों को संभालने के लिए डिज़ाइन किया गया है, न कि अनिवार्य रूप से असंभव अनुरोधों पर बातचीत करने के लिए (हालांकि यह उपयोगकर्ताओं को चेतावनी देता है)।
सारांश
SafeRun एक रचनात्मक अनुवादक को एक सख्त सुरक्षा निरीक्षक से बात करने के लिए नियुक्त करने जैसा है। अनुवादक आपके सपनों को समझता है, और निरीक्षक यह सुनिश्चित करता है कि आपके सपने भौतिकी के नियमों को न तोड़ें। परिणाम एक ऐसा रनिंग प्लान है जो व्यक्तिगत भी है और 100% सुरक्षित भी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।