⚡ electrical engineering

Resilient Consensus in Agentic AI

यह शोध पत्र प्रदर्शित करता है कि जबकि प्रॉम्प्टेड (prompted) LLM एजेंट अक्सर उन प्रतिकूल मल्टी-एजेंट परिवेशों में लचीला सर्वसम्मति (resilient consensus) प्राप्त करने में विफल रहते हैं जहाँ शास्त्रीय सिद्धांत सफलता की गारंटी देते हैं, उन्हें शास्त्रीय लचीले सर्वसम्मति फिल्टरों के साथ लपेटने से सहमति को प्रभावी ढंग से बहाल किया जा सकता है, विशेष रूप से उन टोपोलॉजी में जिनमें अंतर्निहित मजबूती सीमित होती है।

मूल लेखक: Sribalaji C. Anand, George J. Pappas

प्रकाशित 2026-06-16

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sribalaji C. Anand, George J. Pappas

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि स्मार्ट, स्वायत्त रोबोटों (LLMs द्वारा संचालित) का एक समूह मिलकर एक निर्णय लेने की कोशिश कर रहा है, जैसे कि 0 से 50 के बीच एक संख्या पर सहमत होना। यह AI टीमों के लिए एक सामान्य कार्य है। हालाँकि, इनमें से कुछ रोबोट "बुरे तत्व" (Byzantine agents) हो सकते हैं जो समूह को भ्रमित करने और उन्हें सहमत होने से रोकने की कोशिश कर रहे हैं।

यह शोध पत्र एक सरल प्रश्न पूछता है: क्या रोबोटों को सहमत होने के लिए पुराने, सिद्ध नियमों को तब भी काम करना चाहिए जब रोबोट उन्नत AI का उपयोग कर रहे हों जो अप्रत्याशित हो सकता है?

यहाँ शोधकर्ताओं ने जो पाया है उसका विवरण दिया गया, जिसे रोजमर्रा के उदाहरणों का उपयोग करके समझाया गया है:

1. "पुराने नियम" बनाम "AI वास्तविकता"

पारंपरिक कंप्यूटर विज्ञान की दुनिया में, इस बात के सख्त गणितीय नियम हैं कि कब एक समूह सहमत हो सकता है।

नियम: यदि आपके पास $N$ रोबोटों का समूह है और उनमें से $B$ तक बुरे हैं, तो समूह हमेशा सहमत हो सकता है यदि कुल रोबोटों की संख्या कम से कम बुरे तत्वों के 3 गुना प्लस 1 ( $N \ge 3B + 1$ ) हो। इसे एक वोटिंग सिस्टम की तरह समझें: यदि अच्छे मतदाता पर्याप्त बहुमत में हैं, तो वे तोड़फोड़ करने वालों को हरा सकते हैं।
AI समस्या: शोधकर्ताओं ने इसे AI एजेंटों के साथ परखा। भले ही उनके पास पुराने गणितीय नियमों को संतुष्ट करने के लिए पर्याप्त अच्छे एजेंट थे (सुरक्षित क्षेत्र), फिर भी AI एजेंट सहमत होने में विफल रहे।
उदाहरण: एक 10 लोगों के जूरी की कल्पना करें जहाँ गणित कहता है कि 4 बुरे तत्व निर्णय को रोक नहीं पाएंगे। एक सामान्य अदालत में, वे नहीं रोक पाते। लेकिन इन AI जूनोरों के साथ, केवल 2 बुरे तत्वों के होने पर भी, अच्छे जूनोर भ्रमित हो गए, आपस में बहस करने लगे और एक संख्या पर सहमत होने में विफल रहे। AI का "मस्तिष्क" (प्रॉम्ट) निष्कर्ष तक पहुँचने के लिए आवश्यक तार्किक चरणों का पालन नहीं कर रहा था, भले ही संख्याएँ बताती थीं कि यह संभव होना चाहिए।

2. "फ़िल्टर" समाधान

चूँकि AI एजेंट अपने आप विफल हो रहे थे, इसलिए शोधकर्ताओं ने उन्हें एक "सुरक्षा फ़िल्टर" में लपेटने की कोशिश की। यह फ़िल्टर कंप्यूटर विज्ञान का एक क्लासिक उपकरण है जिसे MSR फ़िल्टर कहा जाता है।

यह कैसे काम करता है: कल्पना कीजिए कि लोगों का एक समूह संख्याएँ चिल्ला रहा है। इससे पहले कि कोई अंतिम निर्णय ले, एक मॉडरेटर (फ़िल्टर) सभी संख्याओं को देखता है, उच्चतम कुछ और निम्नतम कुछ संख्याओं को हटा देता है (जो संभवतः बुरे तत्व हैं जो समूह को चरम सीमाओं की ओर धकेलने की कोशिश कर रहे हैं), और फिर शेष "मध्यम" संख्याओं का औसत निकालता है।
परिणाम: जब उन्होंने यह फ़िल्टर जोड़ा, तो AI एजेंट अचानक पूरी तरह से सहमत होने लगे, यहाँ तक कि उन स्थितियों में भी जहाँ वे पहले विफल रहे थे।
बारीकी: फ़िल्टर तब सबसे अच्छा काम करता है जब समूह पहले से ही कुछ हद तक जुड़ा हुआ और मजबूत हो।
- एक पूर्ण रूप से जुड़े समूह में (जहाँ हर कोई एक-दूसरे से बात करता है): फ़िल्टर एक सुपरहीरो की तरह था, जिसने लगभग हर विफलता को ठीक कर दिया।
- एक अव्यवस्थित समूह में (कुछ लोग कुछ लोगों से बात करते हैं, लेकिन सभी से नहीं): फ़िल्टर ने मदद की, लेकिन उतना नाटकीय रूप से नहीं। क्यों? क्योंकि एक अव्यवस्थित समूह में, बुरे तत्वों के लिए नेटवर्क की प्रकृति के कारण ही अराजकता फैलाना पहले से ही कठिन होता है। फ़िल्टर अतिरिक्त सुरक्षा जोड़ता है, लेकिन नेटवर्क संरचना पहले से ही कुछ भारी काम कर रही थी।

3. सीमाओं का परीक्षण

शोधकर्ताओं ने कई परीक्षण किए ताकि यह सुनिश्चित हो सके कि यह केवल एक इत्तेफाक नहीं है:

अलग-अलग "तापमान" (Temperatures): उन्होंने यह बदला कि AI को कितना "रैंडम" या "रचनात्मक" होने की अनुमति दी गई। विफलता सभी स्तरों की रैंडमनेस पर हुई, और फ़िल्टर ने इसे सभी स्तरों पर ठीक कर दिया।
अलग-अलग समय सीमा: उन्होंने AI को बात करने के लिए अधिक या कम समय दिया। अधिक समय देने से अनफ़िल्टर्ड AI को सहमत होने में मदद नहीं मिली; वे बस अधिक देर तक बहस करते रहे। हालाँकि, फ़िल्टर ने उन्हें जल्दी सहमत होने में मदद की।
दुश्मन का अनुमान लगाना: वास्तविक दुनिया में, आपको पता नहीं होगा कि कमरे में कितने बुरे तत्व हैं। शोधकर्ताओं ने एक ऐसा फ़िल्टर टेस्ट किया जो यह अनुमान लगाता है कि "कम से कम 6 बुरे लोग हैं" भले ही केवल 2 या 4 ही हों। यह अभी भी पूरी तरह से काम कर गया, जिससे साबित हुआ कि फ़िल्टर सुरक्षित है भले ही आप खतरे का अतिरंजित अनुमान लगाएं।

मुख्य निष्कर्ष

शोध पत्र निष्कर्ष निकालता है कि AI के लिए सुरक्षा के शास्त्रीय गणितीय नियम अभी भी उपयोगी हैं, लेकिन आप केवल इस बात पर भरोसा नहीं कर सकते कि AI स्वाभाविक रूप से उनका पालन करेगा।

अंतराल (The Gap): एक AI क्या कर सकता है (गणितीय रूप से संभव) और एक मानक AI प्रॉम्ट वास्तव में क्या करता है (अक्सर विफल होता है) के बीच एक अंतर है।
समाधान: एक सरल, शास्त्रीय "फ़िल्टर" जोड़कर जो चरम आउटलेर्स (outliers) को अनदेखा करता है, हम AI एजेंटों को उन विश्वसनीय रोबोटों की तरह व्यवहार करने के लिए मजबूर कर सकते जैसा कि गणित भविष्यवाणी करता है।

संक्षेप में, AI एजेंट स्मार्ट हैं, लेकिन जब सहमत होने की कोशिश की जाती है तो वे "खेल के नियमों" का पालन करने में खराब होते हैं। यदि आप शोर को साफ करने के लिए एक सख्त रेफरी (फ़िल्टर) को प्रभारी बना दें, तो वे अंततः आम सहमति बना सकते हैं।

तकनीकी सारांश: एजेंटिक AI में लचीला सर्वसम्मति (Resilient Consensus)

समस्या विवरण
लार्ज लैंग्वेज मॉडल (LLM) एजेंटों को तेजी से उन मल्टी-एजेंट सिस्टम में तैनात किया जा रहा है जिनमें समन्वय और साझा निर्णय लेने की आवश्यकता होती है। एक महत्वपूर्ण चुनौती तब उत्पन्न होती है जब इन एजेंटों को प्रतिकूल या दोषपूर्ण अभिनेताओं (बाइज़ेंटाइन एजेंटों) की उपस्थिति में सर्वसम्मति (consensus) बनानी होती है। जबकि शास्त्रीय वितरित प्रणाली सिद्धांत (classical distributed systems theory) नियतात्मक एजेंटों के बीच सर्वसम्मति के लिए कठोर गारंटी प्रदान करता है, यह स्पष्ट नहीं है कि क्या ये सैद्धांतिक सीमाएँ और एल्गोरिदम LLM एजेंटों पर लागू होती हैं, जो नियतात्मक अपडेट नियमों के बजाय संभाव्यता-आधारित प्रॉम्प्टिंग (probabilistic prompting) के माध्यम से कार्य करते हैं। यह शोध जांचता है कि क्या प्रॉम्प्टेड LLM नीतियां उस समझौते को प्राप्त कर सकती हैं जो शास्त्रीय लचीले सर्वसम्मति नियमों द्वारा गारंटीकृत है, और क्या शास्त्री적인 फ़िल्टरिंग तंत्र एजेंटिक AI में विफलताओं को कम कर सकते हैं।

कार्यप्रणाली (Methodology)
लेखक LLM एजेंटों के बीच समझौते की समस्या को एक 'बाइज़ेंटाइन सर्वसम्मति खेल' (Byzantine consensus game) के रूप में फ्रेम करते हैं। प्रयोगात्मक सेटअप $N$ एजेंटों का एक सिंक्रोनस नेटवर्क है, जिसमें $H$ ईमानदार एजेंट और $B$ बाइज़ेंटाइन एजेंट शामिल हैं, जो पूर्ण (complete) और सामान्य निर्देशित ग्राफों (general directed graphs) पर संचार करते हैं।

एजेंट: ईमानदार एजेंटों को meta-Llama-3.2-3B-Instruct LLM का उपयोग करके मॉडल किया गया है, जिन्हें 0 और 50 के बीच एक पूर्णांक (integer) पर सहमत होने का कार्य दिया गया है। उन्हें पड़ोसियों से प्रस्ताव प्राप्त होते हैं और वे प्रॉम्प्ट इंजीनियरिंग के माध्यम से नए प्रस्ताव उत्पन्न करते हैं।
विरोधी (Adversaries): बाइज़ेंटाइन एजेंट भी LLMs हैं, जिन्हें रणनीतिक रूप से मान (values) प्रस्तावित करने के लिए प्रॉम्प्ट किया गया है (या तो उच्च या निम्न) ताकि ईमानदार एजेंटों को अभिसरण (convergence) करने से रोका जा सके।
प्रोटोकॉल: सिस्टम एक निश्चित होराइजन ( $T_{max}$ ) के लिए चलता है। प्रत्येक दौर में, एजेंट प्रस्ताव प्रसारित करते हैं, और ईमानदार एजेंट प्राप्त मूल्यों के आधार पर अपनी स्थिति (state) को अपडेट करते हैं।
हस्तक्षेप (Intervention): अध्ययन LLM नीतियों को शास्त्रीय लचीले सर्वसम्मति फिल्टर के साथ लपेटने की प्रभावकारिता का मूल्यांकन करता है, विशेष रूप से ग्लोबल MSR-टाइप फिल्टर (पूर्ण ग्राफों के लिए) और लोकल MSR-टाइप फिल्टर (सामान्य ग्राफों के लिए)। ये फिल्टर प्राप्त सेट से $f$ सबसे छोटे और $f$ सबसे बड़े मानों को हटाने का कार्य करते हैं, इससे पहले कि एक एजेंट अपना अगला प्रस्ताव कंप्यूट करे।

प्रमुख योगदान

LLM सर्वसम्मति विफलता का औपचारिकीकरण: लेखक LLM के लिए बाइजेंटाइन सर्वसम्मति खेल को औपचारिक रूप देते हैं और प्रदर्शित करते हैं कि प्रॉम्प्टेड LLM नीतियां समझौता प्राप्त करने में विफल रहती हैं, भले ही वे ऐसे परिदृश्यों में हों जहाँ शास्त्रीय सिद्धांत एक अभिसरण एल्गोरिदम की गारंटी देता है (विशेष रूप से जब $N \ge 3B + 1$ हो)। यह विफलता विभिन्न तापमानों (temperatures) और समय सीमाओं (time horizons) में बनी रहती है, जो किसी मनमाने प्रॉम्प्टेड नीति और सैद्धांतिक गारंटी के लिए आवश्यक लचीले अपडेट नियमों के बीच के अंतर को दर्शाती है।
शास्त्रीय फिल्टरों के माध्यम से बहाली: अध्ययन दिखाता है कि LLM एजेंटों को शास्त्रीय लचीले सर्वसम्मति फिल्टर के साथ लपेटने से प्राप्त समझौता पुनः प्राप्त किया जा सकता है।
- पूर्ण ग्राफों पर, ग्लोबल MSR-टाइप फिल्टर सर्वसम्मति की संभावना को लगभग 100% तक बहाल कर देता है, यहाँ तक कि उन परिदृश्यों में भी जहाँ बेसलाइन विफल हो जाती है।
- विशिष्ट टोपोलॉजिकल स्थितियों को पूरा करने वाले सामान्य ग्राफों पर, लोकल MSR-टाइप फिल्टर समझौते में सुधार करता है, हालांकि सुधार की मात्रा नेटवर्क टोपोलॉजी की अंतर्निहित मजबूती पर निर्भर करती है।
मजबूती विश्लेषण (Robustness Analysis): एब्लेशन अध्ययनों के माध्यम से, लेखक पुष्टि करते हैं कि ये प्रभाव विभिन्न सैंपलिंग तापमानों और सर्वसम्मति होराइजनों में सुदृढ़ हैं। वे आगे यह भी प्रदर्शित करते हैं कि फिल्टर तब भी प्रभावी रहते हैं जब बाइज़ेंटाइन एजेंटों ( $B$ ) की संख्या गलत तरीके से निर्दिष्ट (over-estimated) की गई हो, बशर्ते कि फिल्टर पैरामीटर $f$ को एक ऊपरी सीमा के रूप में सेट किया गया हो।

प्रयोगात्मक परिणाम

बेसलाइन प्रदर्शन: पूर्ण ग्राफों में, जैसे-जैसे $B$ बढ़ता है, सर्वसम्मति की संभावना काफी कम हो जाती है, और सैद्धांतिक सीमा $N < 3B + 1$ से बहुत पहले ही विफल हो जाती है। उदाहरण के लिए, $H=15$ और $B=4$ के साथ, तापमान 0.5 पर बेसलाइन सर्वसम्मति की संभावना केवल 30% थी, जबकि सिद्धांत सुझाव देता है कि समझौता संभव होना चाहिए।
फिल्टर प्रभावकारिता: पूर्ण ग्राफों पर ग्लोबल MSR-टाइप फिल्टर ( $f=B$ ) लागू करने से परीक्षण किए गए सभी $B$ और तापमानों के लिए लगभग पूर्ण सर्वसम्मति (≈100%) प्राप्त हुई।
सामान्य ग्राफ: एक विशिष्ट सामान्य ग्राफ टोपोलॉजी पर, बेसलाइन ने गारंटीकृत शासन ( $B \le 4$ ) के भीतर उच्च सर्वसम्मति प्राप्त की लेकिन इसके परे गिरावट आई। लोकल MSR-टाइप फिल्टर ने गारंटीकृत शासन में बेसलाइन के समान या उससे बेहतर प्रदर्शन किया, जिससे पता चलता है कि घने जुड़े हुए ग्राफों में, टोपोलॉजी स्वयं पर्याप्त मजबूती प्रदान करती है।
गलत विनिर्देश (Misspecification): जब फिल्टर पैरामीटर को $f=6$ पर स्थिर किया गया जबकि वास्तविक $B$ 0, 2, या 4 था, तो फिल्टर्ड प्रोटोकॉल ने 100% सर्वसम्मति बनाए रखी, जो विरोधियों की अनुपस्थिति में भी बेसलाइन से बेहतर प्रदर्शन किया।

महत्व और दावे
यह शोध यह तर्क देता है कि शास्त्रीय लचीला सर्वसम्मति सिद्धांत एजेंटिक AI की सुरक्षा के लिए एक उपयोगी लेंस के रूप में कार्य करता है। प्राथमिक निष्कर्ष शास्त्रीय सिद्धांत का खंडन नहीं है, बल्कि यह प्रदर्शन करता है कि मानक प्रॉम्प्टिंग के माध्यम से LLM एजेंटों का कार्यान्वयन स्वाभाविक रूप से उन शर्तों को पूरा नहीं करता है जो सर्वसम्मति के लिए आवश्यक हैं। अंतर एक प्रॉम्प्टेड नीति के व्यवहार और गणितीय रूप से लचीले अपडेट नियम के बीच है।

लेखक दावा करते हैं कि शास्त्रीय नियंत्रण-सैद्धांतिक उपकरणों (classical control-theoretic tools), जैसे कि लचीले सर्वसम्म सहमति फिल्टर को एकीकृत करना, एक सुरक्षा परत के रूप में कार्य करता है जो सामूहिक व्यवहार की गारंटी दे सकता है, भले ही व्यक्तिगत LLM एजेंट अविश्वसनीय या प्रतिकूल हों। वे निष्कर्ष निकालते हैं कि जबकि वर्तमान कार्य स्केलर समझौते (scalar agreement) पर केंद्रित है, भविष्य के कार्यों की स्वाभाविक दिशा इन लचीलेपन के विचारों को अधिक जटिल एजेंटिक कार्यों, जैसे कि योजनाओं, उत्तरों या संरचित निर्णयों पर सहमति बनाने तक विस्तारित करना है।

1. "पुराने नियम" बनाम "AI वास्तविकता"

2. "फ़िल्टर" समाधान

3. सीमाओं का परीक्षण

मुख्य निष्कर्ष

इसी तरह के और पेपर