Causal Past Logic for Runtime Verification of Distributed LLM Agent Workflows
यह शोध पत्र कॉज़ल पास्ट लॉजिक (CPL) को प्रस्तुत करता है, जो ज़िपरजेन (ZipperGen) फ्रेमवर्क में एकीकृत एक स्रोत-स्तरीय टेम्पोरल लॉजिक है, जो वितरित LLM एजेंटों को अनुक्रमिक लॉग के बजाय कारण-संबंधी रूप से दृश्यमान घटनाओं के आधार पर कंट्रोल फ्लो के ऑनलाइन रनटाइम सत्यापन को सक्षम बनाता है, जिसमें सिमेंटिक शुद्धता सुनिश्चित करने के लिए एक वेक्टर-क्लॉक मॉनिटर का उपयोग किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक बड़े प्रोजेक्ट पर काम करने के लिए विशेषज्ञ AI एजेंटों की एक टीम काम कर रही है, जैसे कि किसी सॉफ़्टवेयर सिस्टम में कोड मर्ज होने से पहले उसकी समीक्षा करना। पुराने सोचने के तरीके में, हम इन एजेंटों को एक ही, आदर्श सीधी बातचीत में एक साथ काम करते हुए देख सकते थे, जैसे कि एक फ़ोन कॉल का ट्रांसक्रिप्ट जहाँ हर कोई बिल्कुल उसी क्रम में सब कुछ सुनता है।
लेकिन वास्तव में, ये एजेंट अलग-अलग टाइम ज़ोन में काम करने वाले लोगों की तरह हैं जो एसिंक्रोनस (asynchronous) रूप से काम करते हैं। वे संदेश भेजते हैं, अपना काम करते हैं, और अलग-अलग गति से निर्णय लेते हैं। कभी-कभी, एजेंट A एक संदेश प्राप्त होने पर निर्णय लेता है, यह जाने बिना कि एजेंट B ने पहले ही एक गंभीर त्रुटि (error) ढूंढ ली है और एक नया संदेश भेज दिया है जो अभी तक एजेंट A की मेज तक नहीं पहुँचा है।
यह पेपर इन निर्णयों को संभालने का एक नया तरीका पेश करता है ताकि टीम अधूरी या पुरानी जानकारी के आधार पर गलतियाँ न करे। यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है:
समस्या: "आउट-ऑफ़-ऑर्डर" मेलबॉक्स
कल्पना कीजिए कि आप एक मैनेजर ( "Committer") हैं जो दो निरीक्षकों से रिपोर्ट का इंतज़ार कर रहे हैं: एक "Test Runner" और एक "Security Guard"।
- जाल (The Trap): आप एक रिपोर्ट प्राप्त करते हैं जिसमें लिखा है "Tests Passed"। आप प्रोजेक्ट को अप्रूव करने ही वाले हैं।
- वास्तविकता: सिक्योरिटी गार्ड ने टेस्ट पास होने के बाद एक बड़ा बग ढूँढ लिया था, लेकिन उनकी नई रिपोर्ट अभी भी डाक (mail) में फंसी हुई है।
- गलती: यदि आप केवल आए हुए संदेशों की एक साधारण सूची देखते हैं, तो आपको लग सकता है कि सब कुछ ठीक है। लेकिन यदि आप कॉज़ल (causal) वास्तविकता को देखते हैं (कि इस सटीक क्षण पर आप वास्तव में क्या जानते हैं), तो आप उस बग के बारे में नहीं जानते हैं।
यह पेपर तर्क देता है कि हमें टीम के निर्णयों को सब कुछ घटित होने के एक "परफेक्ट, ग्लोबल लॉग" के आधार पर नहीं आंकना चाहिए। इसके बजाय, हमें उन्हें इस आधार पर आंकना चाहिए कि इस समय निर्णय लेने वाले व्यक्ति के लिए क्या कॉज़ली दृश्यमान (causally visible) है।
समाधान: "कॉज़ल पास्ट लॉजिक" (CPL)
लेखकों ने एजेंटों के उपयोग के लिए एक नई "भाषा" बनाई है। इसे एक स्मार्ट चेकलिस्ट के रूप में सोचें जिसे एक एजेंट "Approve" पर क्लिक करने से पहले पढ़ सकता है।
केवल यह पूछने के बजाय कि, "क्या मुझे 'Pass' का संदेश मिला?", एजेंट पूछता है:
"क्या Test Runner ने कॉज़ली देखा है कि टेस्ट पास हो गए हैं, और क्या मैंने तब से कोई ऐसा संदेश कॉज़ली देखा है जिसमें वे फेल हुए हों?"
यह लॉजिक एजेंट को यह कहने की अनुमति देता है: "मैं 'Pass' संदेश देख रहा हूँ, और मैंने अभी तक कोई 'Fail' संदेश नहीं देखा है, इसलिए मैं आगे बढ़ सकता हूँ।" यह विशिष्ट विवरणों की जाँच करने की अनुमति भी देता है, जैसे: "क्या यह 'Pass' संदेश उसी कोड के वर्शन के बारे में है जिसे मैं अभी देख रहा हूँ?"
यह कैसे काम करता है: "वेक्टर क्लॉक" बैकपैक
बिना किसी केंद्रीय बॉस के निगरानी के इसे काम करने के लिए, हर एजेंट एक बैकपैक (जिसे "Vector Clock" कहा जाता है) लेकर चलता है।
- हर बार जब कोई एजेंट कुछ करता है या कोई संदेश प्राप्त करता है, तो वे अपने बैकपैक को अपडेट करते हैं।
- जब वे किसी मित्र को संदेश भेजते हैं, तो वे अपने बैकपैक को लिफाफे के अंदर ज़िप कर देते हैं।
- जब मित्र को लिफाफा मिलता है, तो वे अपने बैकपैक को अनज़िप करते हैं और भेजने वाले के बैकपैक को अपने स्वयं के बैकपैक के साथ मर्ज (merge) कर देते हैं।
यह बैकपैक एजेंट को बताता है कि: "मैं जानता हूँ कि Test Runner ने 3 चीज़ें की हैं, और Security Guard ने 2 चीज़ें की हैं।" इससे कोई फर्क नहीं पड़ता कि संदेश देर से आए; बैकपैक यह सुनिश्चित करता है कि एजेंट को पता हो कि इस विशिष्ट क्षण पर उसके पास कौन सी जानकारी उपलब्ध है।
"गार्ड" मैकेनिज्म
इस प्रणाली में, "Guard" वह सुरक्षा गार्ड नहीं है जो बाद में लॉगबुक की जाँच करने के लिए बाहर खड़ा होता है। गार्ड वर्कफ़्लो में सीधे लिखा गया एक नियम है।
- पुराना तरीका: वर्कफ़्लो चलता है, समाप्त होता है, और फिर एक मॉनिटर जाँचता है, "हे, आपने एक संदेश मिस कर दिया क्योंकि आपने उसे नहीं देखा!" (सुधारने के लिए बहुत देर हो चुकी है)।
- नया तरीका (CPL): वर्कफ़्लो निर्णय बिंदु पर रुक जाता है। एजेंट अपने "Causal Past Logic" नियम की जाँच करता है। यदि नियम कहता है, "मैंने नवीनतम विफलता (failure) नहीं देखी है," तो वर्कफ़्लो स्वचालित रूप से रुक जाता है और दोबारा जाँच के लिए पूछता है। यह गलती होने से पहले ही उसे रोकता है।
वास्तविक दुनिया का उदाहरण: कोड रिव्यू
यह पेपर यह सिद्ध करने के लिए कि यह काम करता है, एक कोड रिव्यू परिदृश्य का उपयोग करता है:
- सेटअप: एक "Committer" एक "Test Runner" और एक "Security Agent" का इंतज़ार करता है।
- परिदृश्य: Test Runner कहता है "Pass"। Committer मर्ज करने के लिए तैयार है।
- ट्विस्ट: Test Runner बाद में एक विफलता (failure) पाता है, लेकिन वह संदेश अभी तक Committer तक नहीं पहुँचा है।
- परिणाम: क्योंकि Committer CPL का उपयोग करता है, वे अपने "कॉज़ल पास्ट" को देखते हैं। वे "Pass" देखते हैं और वे "Fail" को नहीं देखते (क्योंकि वह अभी तक आया नहीं है)। इसलिए, वे आगे बढ़ते हैं।
- क्या यह खतरनाक नहीं है? पेपर कहता है: नहीं। पॉलिसी यह है कि "मर्ज करें यदि आपने विफलता नहीं देखी है।" यदि विफलता आ गई होती, तो गार्ड मर्ज को रोक देता। यदि विफलता बाद में आती है, तो सिस्टम को इसे संभालने के लिए डिज़ाइन किया गया है (शायद बाद में पुन: जाँच करके), लेकिन Committer को भविष्य न जानने के लिए दोषी नहीं ठहराया जाना चाहिए।
सारांश
यह पेपर वितरित (distributed) AI एजेंटों को यह निर्णय लेने का एक तरीका देता है कि वे अभी वे वास्तव में क्या जानते हैं इसके आधार पर स्मार्ट और सुरक्षित निर्णय ले सकें, न कि उस आधार पर जो एक परफेक्ट ऑब्जर्वर बाद में जान पाएगा। यह सूचना प्रवाह को ट्रैक करने के लिए एक "बैकपैक" सिस्टम का उपयोग करता है और एक विशेष "लॉजिक भाषा" का उपयोग करता है ताकि यह सुनिश्चित हो सके कि एजेंट तभी आगे बढ़ें जब कॉज़ल साक्ष्य उनका समर्थन करें। यह रनटाइम मॉनिटरिंग को "पोस्ट-मॉर्टम" (अपराध के बाद शव की जाँच करना) से बदलकर "ट्रैफिक लाइट" (दुर्घटना होने से पहले कार को रोकना) में बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।