Compile, Then Page: Executable SOP Programs and a Capability-Gated Runtime for Procedural LLM Agents
यह शोध पत्र एक क्षमता-गेटेड (capability-gated) रनटाइम सिस्टम प्रस्तुत करता है जो मानक संचालन प्रक्रियाओं को निष्पादन योग्य सूडो-कोड (pseudo-code) में संकलित करता है और प्रोग्राम-निर्देशित पेजिंग (program-guided paging) का उपयोग करता है ताकि प्रक्रियात्मक एलएलएम (LLM) एजेंटों की सुरक्षा और प्रदर्शन को महत्वपूर्ण रूप से बढ़ाया जा सके, विशेष रूप से उन मॉडलों के लिए जिनमें मजबूत स्टेट डिसिप्लिन (state discipline) होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट लेकिन थोड़े बिखराव वाले रोबोट को बैंक चलाने के लिए सिखाने की कोशिश कर रहे हैं। आपके पास एक विशाल, 10,000-कैरेक्टर का नियम पुस्तिका (स्टैंडर्ड ऑपरेटिंग प्रोसीजर, या SOP) है जो रोबोट को ठीक-ठीक बताती है कि उसे क्या करना है, क्या जांचना है, और कब कहना है "नहीं, बिल्कुल नहीं।"
पुराना तरीका यह था कि हर बार जब रोबोट कोई सवाल पूछने की कोशिश करता, तो उस पूरे 10,000-कैरेक्टर के नियम पुस्तिका को उसके दिमाग में ठूँस दिया जाता था। रोबोट इससे अभिभूत हो जाता, कोई महत्वपूर्ण कदम भूल जाता, या गलती से ऐसा लोन मंजूर कर देता जिसे उसे नहीं करना चाहिए था। यह वैसा ही है जैसे किसी को सवाल पूछते समय पूरी विश्वकोश (encyclopedia) पढ़ने के लिए कहना; आप शायद कोई पन्ना छोड़ दें।
यह पेपर एक स्मार्ट तरीके का सुझाव देता है: कंपाइल करें, फिर पेजिंग करें (Compile, Then Page)।
"रेसिपी बुक" बनाम "शेफ का स्टेशन"
लेखकों ने महसूस किया कि रोबोट को पूरा उलझा हुआ टेक्स्ट देने के बजाय, वे पहले नियम पुस्तिका को एक साफ, निष्पादन योग्य (executable) प्रोग्राम में कंपाइल कर सकते हैं। इसे ऐसे समझें जैसे लंबे, भ्रमित करने वाले निर्देशों के पैराग्राफ को एक सटीक, चरण-दर-चरण रेसिपी कार्ड में बदलना।
लेकिन यहाँ एक जादु적인 ट्रिक है: वे रोबोट को एक साथ पूरी रेसिपी नहीं दिखाते हैं। वे पेजिंग (paging) नामक एक सिस्टम का उपयोग करते हैं। कल्पना कीजिए कि एक शेफ रेसिपी का केवल वर्तमान चरण काउंटर पर रखता है (जिसे "एक्टिव फ्रेम" कहा जाता है), जबकि बाकी किताब सुरक्षित रूप से शेल्फ पर रहती है। रोबलेट केवल वही 570 कैरेक्टर देखता है जिसकी उसे अगले कदम के लिए आवश्यकता है, न कि पूरा 10,000-कैरेक्टर का ढेर। यह रोबोट को केंद्रित रखता है और विवरणों में खो जाने से बचाता है।
"गेटेड" सरप्राइज: यह रोबोट पर निर्भर करता है
यहीं पर चीजें वास्तव में दिलचस्प हो जाती हैं। पेपर में छह अलग-अलग AI मॉडल पर इसका परीक्षण किया गया, जो "सुपर-स्मार्ट" से लेकर "संघर्ष करने वाले" तक थे।
- स्मार्ट रोबोट्स के लिए: नया तरीका एक बड़ी जीत थी। बैंकिंग कार्य पर, सबसे अच्छे मॉडल का प्रदर्शन 70.4% सही उत्तरों से बढ़कर 92.8% हो गया। इससे भी बेहतर, इसे "अस्वीकृति" (refusal) वाले कार्यों में 100% सफलता मिली (यानी इसने सही ढंग से "ना" कहा जब इसे कुछ करने से मना किया गया था)। स्मार्ट रोबोट्स को रेसिपी कार्ड और केंद्रित काउंटर मिलना बहुत पसंद आया।
- संघर्ष करने वाले रोबोट्स के लिए: परिणाम इसके विपरीत थे। कमजोर मॉडल्स के प्रदर्शन में वास्तव में गिरावट आई। एक मॉडल सही उत्तरों के मामले में 60.8% से गिरकर 48.8% पर आ गया।
क्यों? पेपर का तर्क है कि यह इसलिए नहीं है कि कमजोर रोबोट रेसिपी को "पढ़" नहीं सकते। जब शोधकर्ताओं ने यह परीक्षण किया कि क्या रोबोट प्रोग्राम की स्थिति (state) को पुनर्गठित कर सकते हैं, तो वे कर सकते थे! समस्या अनुशासन की है। स्मार्ट रोबोट स्वाभाविक रूप से काउंटर पर दिए गए चरणों का पालन करते हैं और काम पूरा होने पर रुक जाते हैं। हालांकि, कमजोर रोबोट काम खत्म होने के बाद भी चीजें चेक करते रहते हैं, या वे संरचना से भ्रमित हो जाते हैं। "गेट" बुद्धिमत्ता के बारे में नहीं है; यह आत्म-नियंत्रण के बारे में है।
यह क्या खारिज करता है
लेखक इस बात को साबित करने के लिए बहुत सावधान थे कि क्या काम नहीं किया:
- यह केवल फॉर्मेट के बारे में नहीं है: उन्होंने स्मार्ट रोबोट्स को समान जानकारी "कोड" फॉर्मेट में बनाम "गद्य" (prose) फॉर्मेट में देकर परीक्षण किया। कोड फॉर्मेट ने स्मार्ट रोबोट्स की मदद की, लेकिन इसने कमजोर रोबोट्स को वास्तव में नुकसान पहुँचाया। इसलिए, केवल कोड में बदलना सभी के लिए जादुई समाधान नहीं है।
- यह जानकारी छिपाने के बारे में नहीं है: उन्होंने परीक्षण किया कि क्या रोबोट इसलिए विफल हुए क्योंकि वे पूरा प्रोग्राम नहीं देख पा रहे थे। उन्होंने पाया कि भले ही उन्होंने स्मार्ट रोबोट्स को पूरा प्रोग्राम दिखाया, फिर भी "पेजिंग" (केवल सक्रिय चरण दिखाना) मददगार रहा। हालांकि, कमजोर रोबोट्स को पूरा प्रोग्राम दिखाने से भी ठीक नहीं किया जा सका; वे अभी भी चरणों का पालन करने के अनुशासन में संघर्ष कर रहे थे।
- यह एक "हार्ड" ब्लॉक नहीं है: यह सिस्टम भौतिक रूप से रोबोट को गलती करने से नहीं रोकता है। यह केवल सही रास्ते को उजागर करता है। यदि रोबोट रास्ते को अनदेखा करने का निर्णय लेता है, तो वह अभी भी ऐसा कर सकता है, लेकिन सिस्टम एक "ऑडिट ट्रेल" में उसकी गलती को रिकॉर्ड करेगा। इसका मतलब है कि यह सिस्टम इस बात पर निर्भर करता है कि रोबोट अच्छा बनने का चुनाव करे, यही कारण है कि यह अनुशासनहीन रोबोट्स के साथ विफल हो जाता है।
निचोड़ (The Bottom Line)
पेपर उन सभी लोगों के लिए एक सरल नियम के साथ समाप्त होता है जो इन एजेंट्स को बना रहे हैं: पहले कंपाइल करें, फिर पेजिंग करें।
- कंपाइल करें: अपनी अव्यवस्थित नियम पुस्तिका को एक साफ, निष्पादन योग्य प्रोग्राम में बदलें। यह लगभग सभी की मदद करता है, भले ही यह कमजोर रोबोट्स को बहुत अधिक न बदले।
- मॉडल की जाँच करें: "पेजिंग" फीचर (केवल वर्तमान चरण दिखाना) चालू करने से पहले, आपको यह जाँच लेना चाहिए कि क्या आपके रोबोट में इसका पालन करने का अनुशासन है।
- तैयार होने पर ही पेजिंग करें: यदि आपका रोबोट स्मार्ट और अनुशासित है, तो पेजिंग उसके प्रदर्शन को काफी बढ़ा देगी। यदि आपका रोबोट कमजोर या अनुशासनहीन है, तो पेजिंग वास्तव में उसे और अधिक गलतियाँ करने पर मजबूर कर सकती है।
संक्षेप में, रोबोट को कार्य का केंद्रित दृश्य देना एक शक्तिशाली उपकरण है, लेकिन यह तभी काम करता है जब रोबोट में सही समय पर सही चीज़ देखने का आत्म-नियंत्रण हो। स्मार्ट रोबोट्स के लिए, यह एक सुपरपावर है; दूसरों के लिए, यह एक जाल है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।