The Honest Quorum Problem: Epistemic Byzantine Fault Tolerance for Agentic Infrastructure
यह शोध पत्र एपिस्टेमिक बायज़ेंटाइन फॉल्ट टॉलरेंस (EBFT) प्रस्तुत करता है, जो एजेंटिक इंफ्रास्ट्रक्चर के लिए एक नया कंसेंसस फ्रेमवर्क है जो प्रोटोकॉल-अनुपालन एजेंटों के बीच सह-संबंधित तर्क त्रुटियों (correlated reasoning errors) को ध्यान में रखने के लिए पारंपरिक फॉल्ट टॉलरेंस का विस्तार करके "ऑनेस्ट कोरम प्रॉब्लम" को संबोधित करता है, जिससे अमान्य एंडोर्समेंट और अनुपयोगी सपोर्ट पर कॉन्फिडेंस-इंडेक्स्ड बाउंड्स के माध्यम से सिमेंटिक वैधता और लाइवनेस सुनिश्चित की जाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ कंप्यूटर केवल कैलकुलेटर की तरह कठोर, पूर्व-लिखित निर्देशों का पालन नहीं करते, बल्कि छोटे, तर्क करने वाले कर्मचारियों की तरह कार्य करते हैं। ये "एजेंटिक" (agentic) कंप्यूटर एक अस्त-व्यस्त स्थिति को देख सकते हैं, एक नीति पढ़ सकते हैं, और तय कर सकते हैं कि आगे क्या करना है। लेकिन यहाँ एक पेंच है: क्योंकि वे संभाव्यता आधारित तर्क (probabilistic reasoning) का उपयोग करते हैं (जैसे खेल में सबसे अच्छी चाल का अनुमान लगाना), वे कभी-कभी एक "स्मार्ट" गलती कर सकते हैं। वे सभी नियमों का पूरी तरह से पालन कर सकते हैं, सही फॉर्म भर सकते हैं, और समय पर जवाब दे सकते हैं, फिर भी कुछ खतरनाक करने का निर्णय ले सकते हैं।
इन डिजिटल कर्मचारियों को नियंत्रण में रखने के लिए, हम बाइजेंटाइन फॉल्ट टॉलरेंस (Byzantine Fault Tolerance) नामक प्रणाली का उपयोग करते हैं। इसे एक अत्यंत सख्त वोटिंग क्लब के रूप में सोचें। क्लब का नियम सरल है: जब तक सदस्य एक निश्चित संख्या में "हाँ" वोट देते हैं, निर्णय अंतिम है। पारंपरिक रूप से, हमने माना था कि यदि कोई सदस्य "बुरा आदमी" (सिस्टम को तोड़ने वाला गद्दार) नहीं है, तो वह हमेशा सही चीज़ पर वोट देगा। लेकिन क्या होगा यदि "अच्छे लोग" एक ही पाठ्यपुस्तक, एक ही शिक्षक और एक ही अध्ययन मार्गदर्शिका का उपयोग कर रहे हैं? वे गलत उत्तर पर सहमत हो सकते हैं, इसलिए नहीं कि वे गद्दार हैं, बल्कि इसलिए क्योंकि उन्होंने एक ही गलती सीखी है। यह वह डरावनी नई समस्या है जिसे यह शोध पत्र संबोधित करता है: ईमानदार, नियम का पालन करने वाले कंप्यूटरों का एक समूह एक आपदा पर सहमत होता है।
द ऑनेस्ट कोरम प्रॉब्लम: जब अच्छे लोग गलत चीज़ पर सहमत होते हैं
यह शोध पत्र, जिसका शीर्षक द ऑनेस्ट कोरम प्रॉब्लम (The Honest Quorum Problem) है, भविष्य के एआई (AI) और कंप्यूटर नेटवर्क के लिए एक बहुत ही विशिष्ट सिरदर्द में गहराई से उतरता है। यह पूछता है: क्या होता है जब ईमानदार, नियम का पालन करने वाले एआई एजेंट सभी एक ऐसी चीज़ करने के लिए सहमत हो जाते हैं जो वास्तव में एक बहुत बुरा विचार है?
पुराने दिनों में, कंप्यूटर विज्ञान में हमारे पास एक सुरक्षा जाल था जिसे बाइजेंटाइन फॉल्ट टॉलरेंस (BFT) कहा जाता था। कल्पना कीजिए कि जनरलों का एक समूह यह तय करने की कोशिश कर रहा है कि किले पर हमला करना है या नहीं। कुछ जनरल गद्दार (बाइजेंटाइन दोष) हो सकते हैं जो दूसरों को धोखा देने की कोशिश करते हैं। BFT नियम कहता है: "जब तक हमारे पास पर्याप्त ईमानदार जनरल हैं, हम गद्दारों को अनदेखा कर सकते हैं और एक सुरक्षित निर्णय ले सकते हैं।" मुख्य धारणा यह थी कि "ईमानदार" जनरल हमेशा सही उत्तर जानते होंगे।
लेकिन इस शोध पत्र के लेखक बताते हैं कि एआई के युग में यह धारणा टूट गई है। वे एक नया शब्द पेश करते हैं जिसे एपिस्टेमिक फॉल्ट (Epistemic Fault) कहा जाता है। "एपिस्टेमिक" का अर्थ है "ज्ञान से संबंधित"। एक एपिस्टेमिक फॉल्ट तब होता है जब एक एआई एजेंट पूरी तरह से ईमानदार होता है—वह प्रोटोकॉल का पालन करता है, डिजिटल हस्ताक्षर करता है, और झूठ नहीं बोलता—लेकिन उसका तर्क गलत होता है।
"ऑनेस्ट कोरम" (Honest Quorum) परिदृश्य
कल्पना कीजिए कि क्लाउड सर्वर में बदलाव को मंजूरी देने के लिए सात एआई एजेंटों (वैलिडेटर्स) की एक समिति है।
- सेटअप: एक एजेंट सुझाव देता है, "आइए इस उपयोगकर्ता को हमारा सारा डेटा डिलीट करने की क्षमता दें।"
- जाल: सातों एजेंट "ईमानदार" हैं। वे गद्दार नहीं हैं। वे सभी नियमों का पालन कर रहे हैं। लेकिन, वे सभी एक ही डेटासेट पर प्रशिक्षित हैं, एक ही सर्च टूल्स का उपयोग करते हैं, और उनकी एक जैसी "कमियां" (blind spots) हैं।
- परिणाम: सातों एजेंट "हाँ" वोट देते हैं। वे एक पूर्ण कोरम (Quorum) बनाते हैं (एक बहुमत)। सिस्टम कहता है, "बहुत बढ़िया! हमारे पास एक प्रमाण पत्र है! इसे कर दो!"
- आपदा: सिस्टम सारा डेटा डिलीट कर देता है। प्रोटोकॉल पूरी तरह से काम कर रहा था, लेकिन निर्णय का अर्थ गलत था।
यह शोध पत्र इसे ऑनेस्ट कोरम प्रॉब्लम कहता है। यह एक ऐसी विफलता है जहाँ सिस्टम तकनीकी रूप रूप से "सही" है (सभी सहमत हैं, हस्ताक्षर वैध हैं) लेकिन अर्थपूर्ण रूप से "टूटा हुआ" है (कार्रवाई खतरनाक है)।
नया समाधान: EBFT
लेखक एक नया सुरक्षा मॉडल प्रस्तावित करते हैं जिसे एपिस्टेमिक बाइजेंटाइन फॉल्ट टॉलरेंस (EBFT) कहा जाता है। केवल सिर गिनने के बजाय, EBFT यह मापने की कोशिश करता है कि यह कितनी संभावना है कि ईमानदार एजेंट एक ही गलती करेंगे।
वे इस जोखिम को प्रबंधित करने के लिए दो नए "बजट" पेश करते हैं:
सेफ्टी बजट (): यह इस सीमा पर है कि कितने ईमानदार एजेंट एक बुरे विचार पर गलत तरीके से सहमत हो सकते हैं।
- उपमा: कल्पना कीजिए कि आप एक पेंटिंग का न्याय करने के लिए कला समीक्षकों की एक टीम को काम पर रख रहे हैं। आप जानते हैं कि कभी-कभी, अच्छे समीक्षक भी एक नकली पेंटिंग से मूर्ख बन सकते हैं। सेफ्टी बजट पूछता है: "अधिकतम कितने समीक्षक एक ही समय में एक ही नकली पेंटिंग से मूर्ख बन सकते हैं?" यदि आपकी टीम बहुत छोटी है, या यदि वे सभी एक ही आर्ट स्कूल में गए थे, तो वह संख्या बहुत अधिक हो सकती है, और आप उनके वोट पर भरोसा नहीं कर सकते।
लाइवनेस बजट (): यह इस सीमा पर है कि कितने ईमानदार एजेंट वोट देने में विफल हो सकते हैं (भ्रमित होकर, टाइम आउट होकर, या उत्तर देने से इनकार करके)।
- उपमा: यदि बहुत से समीक्षक बहुत व्यस्त हैं, भ्रमित हैं, या वोट देने से डर रहे हैं, तो आप निर्णय नहीं ले पाएंगे। यह बजट मापता है कि सिस्टम के रुक जाने से पहले आप कितने "अनुपस्थित" या "मुझे नहीं पता" को सहन कर सकते हैं।
व्यवहार में यह कैसे काम करता है
शोध पत्र चीजों को सुरक्षित रखने के लिए एक दो-चरणीय प्रक्रिया का सुझाव देता है:
चरण 1: कैलिब्रेशन (द "टेस्ट ड्राइव")
इससे पहले कि आप अपनी एआई समिति को वास्तविक निर्णय लेने दें, आपको उनका परीक्षण करना होगा। आप उन्हें अभ्यास के लिए कुछ समस्याएं देते हैं जहाँ आप जानते हैं कि सही उत्तर क्या है।
- आप जाँचते हैं: "वे कितनी बार गलत उत्तर पर सहमत हुए?" (यह आपको सेफ्टी बजट देता है)।
- आप जाँचते हैं: "वे कितनी बार अटक गए या उत्तर देने से इनकार कर दिया?" (यह आपको लाइवनेस बजट देता है)।
- महत्वपूर्ण रूप से, आप जाँचते हैं कि क्या वे वास्तव में विविध (diverse) हैं। यदि आपके पास सात एजेंट हैं, लेकिन वे सभी एक ही "मस्तिष्क" (मॉडल) और एक ही "लाइब्रेरी" (रिट्रीवल सोर्स) का उपयोग करते हैं, तो वे संभवतः एक साथ विफल होंगे। शोध पत्र का तर्क है कि केवल सात अलग-अलग नाम होना पर्याप्त नहीं है; आपको यह साबित करने की आवश्यकता है कि उनमें एक जैसी छिपी हुई कमजोरियां नहीं हैं।
चरण 2: रनटाइम (द "रियल डील")
जब कोई वास्तविक अनुरोध आता है, तो सिस्टम पहले परीक्षण परिणामों की जाँच करता है।
- यदि अनुरोध ऐसा दिखता है जिस पर समिति का परीक्षण नहीं किया गया है, या यदि परीक्षण परिणाम दिखाते हैं कि समिति बहुत जोखिम भरी है, तो सिस्टम कहता है, "नहीं, मैं इस पर वोट नहीं करूँगा।" यह शायद किसी इंसान को हस्तक्षेप करने के लिए कह सकता है।
- यदि अनुरोध सुरक्षित है और समिति तैयार है, तो यह वोटों की गिनती करता है। लेकिन अब, "पासिंग स्कोर" (थ्रेशोल्ड) उन टेस्ट बजटों के आधार पर गणना किया जाता है, न कि केवल एक साधारण गणितीय सूत्र जैसे "आधे से अधिक" के आधार पर।
शोध पत्र क्या कहता है (और क्या नहीं कहता)
लेखक अपने दावों के बारे में बहुत सावधान हैं। वे सिद्ध करते हैं कि:
- केवल सहमति होना (सभी का एक ही तरह से वोट देना) यह गारंटी नहीं देता कि निर्णय सुरक्षित है।
- आप इस समस्या को ठीक करने के लिए सरल गणित (जैसे पुराना "3f + 1" नियम) पर भरोसा नहीं कर सकते। आपको एआई के तर्क के जोखिम को मापने की आवश्यकता है।
- आपको यह मापने के लिए एक विशिष्ट "कैलिब्रेशन" प्रक्रिया की आवश्यकता है कि एआई एजेंट कितनी बार सह-संबंधित (correlated) गलतियाँ करते हैं।
वे यह दावा नहीं करते कि उनके पास कोई जादुई समाधान है जो एआई को पूरी तरह से सुरक्षित बना देता है। वे स्वीकार करते हैं कि:
- यदि एआई एजेंटों के बीच छिपे हुए संबंध हैं (जैसे कि एक ही प्रशिक्षण डेटा या एक ही क्लाउड प्रदाता), तो वे अभी भी उन तरीकों से एक साथ विफल हो सकते हैं जिनकी हम भविष्यवाणी नहीं कर सकते।
- यह प्रणाली अतिरिक्त कदम और समय (लेटेंसी) जोड़ती है क्योंकि आपको कार्य करने से पहले परीक्षण और सत्यापन करना होता है।
- "बजट" परीक्षण के आधार पर अनुमान हैं। यदि एआई अपडेट होता है या दुनिया बदलती है, तो आपको सब कुछ फिर से टेस्ट करना होगा।
मुख्य निष्कर्ष
शोध पत्र का मुख्य संदेश एक चेतावनी और एक मार्गदर्शिका है। यह हमें चेतावनी देता है कि बुद्धिमान, तर्क करने वाले एआई के युग में, केवल "ईमानदार" होना पर्याप्त नहीं है। ईमानदार एजेंटों का एक समूह एक आपदा के लिए वोट दे सकता है यदि वे सभी एक जैसा सोचते हैं।
इसे ठीक करने के लिए, हम केवल वोटों को नहीं गिन सकते। हमें सहमति की गुणवत्ता को मापना होगा। हमें जानना होगा: "क्या ये एजेंट वास्तव में स्वतंत्र हैं, या वे केवल एक ही गलती के सात क्लोन हैं?" इन नए "बजटों" का उपयोग करके और एजेंटों को वोट देने से पहले कड़ाई से परीक्षण करके, हम सुरक्षित सिस्टम बना सकते हैं भले ही एजेंट अपूर्ण हों। यह इस विश्वास से हटकर है कि "अच्छे लोग" हमेशा सही होंगे, बल्कि यह सिद्ध करने की ओर है कि "अच्छे लोग" एक ही समय में गलत नहीं होंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।