🤖 AI

Robust Multi-Agent LLMs under Byzantine Faults

यह शोध पत्र सेल्फ-एंकोर्ड कंसेंसस (SAC) को प्रस्तुत करता है, जो एक पूर्णतः विकेंद्रीकृत इटरेटिव फ़िल्टर-एंड-रिफ़ाइन प्रोटोकॉल है जो लार्ज लैंग्वेज मॉडल मल्टी-एजेंट सिस्टम को असुरक्षित लीडर-आधारित समन्वय या स्व-रिपोर्टेड कॉन्फिडेंस पर निर्भर रहे बिना, विविध संचार टोपोलॉजी में बायज़ेंटाइन दोषों का मजबूती से प्रतिरोध करने और विश्वसनीय प्रदर्शन बनाए रखने में सक्षम बनाता है।

मूल लेखक: Haejoon Lee, Vincent-Daniel Yun, Hyeonho Oh, Dimitra Panagou, Sai Praneeth Karimireddy

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC0 1.0

मूल लेखक: Haejoon Lee, Vincent-Daniel Yun, Hyeonho Oh, Dimitra Panagou, Sai Praneeth Karimireddy

मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि दोस्तों का एक समूह मिलकर एक कठिन पहेली को सुलझाने की कोशिश कर रहा है। वे सभी बुद्धिमान हैं, लेकिन कुछ थके हुए हैं, कुछ भ्रमित हैं, और दुर्भाग्य से, एक या दो "शरारती तत्व" जानबूझकर समूह को गलत उत्तर की ओर ले जाने की कोशिश कर रहे हैं। यह वही समस्या है जिसे यह शोध पत्र (paper) हल करता है: AI एजेंटों (डिजिटल "दोस्तों") की एक टीम कैसे मिलकर सही उत्तर खोज सकती है जब उनमें से कुछ अविश्वसनीय या दुर्भावनापूर्ण हों?

यहाँ रोजमर्रा के उदाहरणों का उपयोग करके इस शोध पत्र की कहानी का एक सरल विवरण दिया गया है।

समस्या: "आत्मविश्वास" का जाल (The "Confidence" Trap)

अतीत में, शोधकर्ताओं ने हर AI एजेंट से यह पूछकर इसे हल करने की कोशिश की थी कि, "मैं अपने उत्तर के बारे में कितना आश्वस्त हूँ?"

दोष: कल्पना कीजिए कि आपके मित्र समूह में एक शरारती व्यक्ति है जो पहेली के बारे में गलत है, लेकिन वह जोर से चिल्लाता है, "मुझे अपने उत्तर पर 100% भरोसा है!" अन्य मित्र, उस ऊंचे आत्मविश्वास पर भरोसा करते हुए, अपना मन बदल सकते हैं और गलत रास्ते पर चल सकते हैं।
शोध पत्र का निष्कर्ष: लेखक दिखाते हैं कि एजेंट द्वारा स्वयं रिपोर्ट किए गए आत्मविश्वास पर भरोसा करना एक बहुत बड़ी सुरक्षा खामी है। एक दुर्भावनापूर्ण एजेंट पूरे समूह को धोखा देने के लिए अपने आत्मविश्वास के बारे में आसानी से झूठ बोल सकता है।

समाधान: "सेल्फ-एंकोर्ड कंसेंसस" (SAC)

लेखक एक नया तरीका प्रस्तावित करते हैं जिसे सेल्फ-एंकोर्ड कंसेंसस (SAC) कहा जाता है। "तुम कितने आश्वस्त हो?" पूछने के बजाय, सिस्टम पूछता है, "मैं इस बात को लेकर कितना आश्वस्त हूँ कि तुम्हारा उत्तर सही है?"

इसे एक पीयर रिव्यू पार्टी (Peer Review Party) की तरह समझें:

प्रसार (The Broadcast): हर कोई पहेली का अपना उत्तर लिखता है और उसे अपने पड़ोसियों के साथ साझा करता है।
स्थानीय न्यायाधीश (The Local Judge): लेखक के आत्मविश्वास पर भरोसा करने के बजाय, प्रत्येक एजेंट अपने पड़ोसियों के लिए एक न्यायाधीश के रूप में कार्य करता है। वह पड़ोसी के उत्तर को देखता है और अपने आंतरिक तर्क से पूछता है: "क्या यह समझ में आता है? क्या यह सही है?" वह अपने स्वयं के निर्णय के आधार पर पड़ोसी को एक स्कोर देता है।
फ़िल्टर (The "Bottom F" Rule): यह सबसे महत्वपूर्ण हिस्सा है। यदि किसी एजेंट के पास 5 पड़ोसी हैं, और वह जानता है कि वहां अधिकतम 3 शरारती तत्व हो सकते हैं (एक अवधारणा जिसे "बाइजेंटाइन" सीमा कहा जाता है), तो वह बस 3 सबसे कम स्कोर वाले उत्तरों को अनदेखा कर देता है। इससे कोई फर्क नहीं पड़ता कि शरारती तत्व ने चिल्लाकर कहा था "मैं 100% सुनिश्चित हूँ!"—यदि स्थानीय न्यायाधीश को लगता है कि उत्तर खराब है, तो उसे बाहर कर दिया जाता है।
परिष्करण (The Refine): एजेंट फिर अपने स्वयं के उत्तर और अपने पड़ोसियों के शेष "अच्छे" उत्तरों को लेकर एक नया, बेहतर उत्तर बनाता है।

सुरक्षा जाल: "रोबस्ट" नेटवर्क (The "Robust" Network)

इस सिस्टम के काम करने के लिए, दोस्तों को एक विशिष्ट तरीके से जुड़ा होना चाहिए। यह पेपर $(F+1)$ -robustness की एक गणितीय अवधारणा का उपयोग करता है।

उपमा: कल्पना कीजिए कि आप लोगों के एक समूह के साथ एक कमरे में हैं। यदि आप यह सुनिश्चित करना चाहते हैं कि आप झूठ बोलने वालों से घिरे नहीं हैं, तो आपको यह सुनिश्चित करने की आवश्यकता है कि भले ही आप सबसे खराब 3 लोगों के साथ अपने संबंध काट दें, फिर भी आपके पास बात करने के लिए कम से कम एक ईमानदार व्यक्ति बचा रहे।
यह पेपर सिद्ध करता है कि यदि नेटवर्क को इस विशिष्ट "सुरक्षा मार्जिन" के साथ डिज़ाइन किया गया है, तो ईमानदार एजेंट हमेशा कम से कम एक अच्छा उत्तर खोजने में सक्षम होंगे जिसे वे पकड़ सकें, जिससे शरारती तत्वों को पूरे समूह को नीचे गिराने से रोका जा सके।

प्रयोगों में क्या हुआ?

शोधकर्ताओं ने दो प्रकार की पहेलियों पर इसका परीक्षण किया: गणित की समस्याएं (जैसे समीकरणों को हल करना) और सामान्य ज्ञान के प्रश्न (जैसे "टमाटर एक फल है या सब्जी?")।

पुराना तरीका (CP-WBFT): जब एक शरारती तत्व ने अपने आत्मविश्वास के बारे में झूठ बोला, तो पूरा समूह ढह गया। बुद्धिमान एजेंट भ्रमित हो गए और गलत उत्तर देने लगे। समूह का प्रदर्शन वास्तव में अकेले काम करने की तुलना में बदतर हो गया।
नया तरीका (SAC): शरारती तत्वों को सफलतापूर्वक फ़िल्टर कर दिया गया।
- मजबूत एजेंट: सबसे बुद्धिमान एजेंट बुद्धिमान बने रहे। उन्हें शोर से प्रभावित नहीं किया गया।
- कमजोर एजेंट: कम आश्वस्त एजेंट वास्तव में बेहतर हुए क्योंकि उन्होंने अपने पड़ोसियों के फ़िल्टर किए गए, उच्च-गुणवत्ता वाले उत्तरों से सीखा।
- परिणाम: समूह ने सही उत्तर बहुत अधिक बार प्राप्त किया, भले ही शरारती तत्व मौजूद थे।

मुख्य निष्कर्ष (The Bottom Line)

यह शोध पत्र एक ऐसा तरीका पेश करता है जहाँ AI एजेंट एक-दूसरे की "डींग मारने" (स्व-रिपोर्ट किए गए आत्मविश्वास) पर भरोसा नहीं करते हैं। इसके बजाय, वे अपने पड़ोसियों के काम का न्याय करने की अपनी क्षमता पर भरोसा करते हैं। सबसे खराब उत्तरों को फ़िल्टर करके और नेटवर्क को एक विशिष्ट, मजबूत तरीके से जोड़कर, समूह सही राह पर रह सकता है और समस्याओं को सही ढंग से हल कर सकता है, भले ही कुछ सदस्य उन्हें बाधित करने की कोशिश कर रहे हों।

संक्षेप में: इस पर ध्यान न दें कि कौन सबसे ज़ोर से चिल्ला रहा है; बल्कि इस पर ध्यान दें कि किसके पास सबसे अच्छा प्रमाण है, और सुनिश्चित करें कि आपके पास बुरे लोगों को अनदेखा करने के लिए पर्याप्त अच्छे दोस्त हैं।

तकनीकी सारांश: बाइजेंटाइन दोषों के तहत सुदृढ़ मल्टी-एजेंट LLMs

समस्या विवरण
लार्ज लैंग्वेज मॉडल (LLM) एजेंटों को कार्यों को हल करने के लिए सहयोगात्मक सर्वसम्मति (collaborative consensus) के माध्यम से पीयर-टू-पीयर मल्टी-एजेंट सिस्टम (LLM-MAS) में तेजी से तैनात किया जा रहा है। हालांकि, ये सिस्टम एक महत्वपूर्ण भेद्यता का सामना करते हैं: अविश्वसनीय या बाइजेंटाइन एजेंट (वे जो मतिभ्रम/hallucinations के कारण दोषपूर्ण हैं या जानबूझकर हेरफेर करने वाले प्रतिकूल/adversarial हैं) ईमानदार एजेंटों को गलत निष्कर्षों की ओर मोड़ सकते हैं। मौजूदा दृष्टिकोण, जैसे कि CP-WBFT, एजेंटों द्वारा पड़ोसी प्रतिक्रियाओं को भार देने के लिए स्वयं रिपोर्ट किए गए आत्मविश्वास स्कोर (confidence scores) पर निर्भर करते हैं। यह दृष्टिकोण मौलिक रूप से त्रुटिपूर्ण है क्योंकि बाइजेंटाइन एजेंट एकत्रीकरण प्रक्रिया पर प्रभुत्व जमाने के लिए अपने आत्मविश्वास स्कोर को गलत तरीके से प्रस्तुत कर सकते हैं। इसके अलावा, पूर्व विधियों में अक्सर सिद्धांतों पर आधारित संचार टोपोलॉजी (communication topologies) का अभाव होता है, जिससे प्रदर्शन में गिरावट आती है जो सहयोग के बिना काम करने की तुलना में भी खराब हो सकती है। मुख्य चुनौती एक विकेंद्रीकृत प्रोटोकॉल डिजाइन करना है जहाँ ईमानदार एजेंट बाइजजेंट एजेंटों की उपस्थिति के बावजूद—जो मनमाना या भ्रामक जानकारी इंजेक्ट कर सकते हैं—अपनी प्रतिक्रियाओं को पुनरावृत्ति (iteratively) से परिष्कृत कर सकें और सही सर्वसम्मति तक पहुँच सकें।

कार्यप्रणाली: सेल्फ-एंकर्ड कंसेंसस (SAC)
लेखक सेल्फ-एंकर्ड कंसेंसस (SAC) का प्रस्ताव करते हैं, जो एक पूर्णतः विकेंद्रीकृत, पुनरावृत्त फ़िल्टर-एंड-रिफाइन (filter-and-refine) प्रोटोकॉल है। पिछले तरीकों के विपरीत, जो प्रेषक-रिपोर्ट किए गए आत्मविश्वास पर भरोसा करते हैं, SAC मूल्यांकन के बोझ को प्राप्तकर्ता (receiver) की ओर स्थानांतरित करता है। प्रोटोकॉल प्रत्येक दौर में चार चरणों में कार्य करता है:

ब्रॉडकास्ट (Broadcast): प्रत्येक एजेंट अपने वर्तमान उत्तर को अपने पड़ोसियों को प्रसारित करता है।
क. रिसीवर-साइड स्कोरिंग (Receiver-Side Scoring): पड़ोसी प्रतिक्रियाओं को प्राप्त करने पर, प्रत्येक एजेंट $i$ अपने स्वयं के LLM का उपयोग करके प्रत्येक पड़ोसी $j$ के लिए एक मूल्यांकन स्कोर $s_{i \to j}$ स्वतंत्र रूप से गणना करता है। यह स्कोर एक सत्यापन प्रॉम्प्ट (verification prompt) से प्राप्त होता है जो क्वेरी के सापेक्ष पड़ोसी की प्रतिक्रिया की शुद्धता का आकलन करता है, जो प्रेषक द्वारा स्वयं-रिपोर्ट किए गए आत्मविश्वास से स्कोर को पूरी तरह से अलग करता है।
फ़िल्टरिंग (Filtering): एजेंट $i$ उन पड़ोसियों की पहचान करता है जिनके स्कोर उसके अपने स्वयं के स्कोर से स्पष्ट रूप से कम हैं। फिर वह इस सेट से $F$ सबसे कम स्कोर वाले पड़ोसियों को हटा देता है (जहाँ $F$ बाइजेंटाइन पड़ोसियों की सीमा है)। यह चरण सुनिश्चित करता है कि संभावित रूप से दुर्भावनापूर्ण या निम्न-गुणवत्ता वाले इनपुट को परिशोधन (refinement) से पहले हटा दिया जाए।
परिशोधन (Refinement): एजेंट $i$ मूल क्वेरी, अपनी वर्तमान प्रतिक्रिया और रिटेन किए गए (retained) पड़ोसी प्रतिक्रियाओं के सेट के साथ अपने LLM को पुनः प्रॉम्प्ट करके अपनी प्रतिक्रिया को परिष्कृत करता है, जिन्हें उनके रिसीवर-साइड स्कोर द्वारा भारित (weighted) किया जाता है।

सैद्धांतिक ढांचा और टोपोलॉजिकल स्थितियां
यह गारंटी देने के लिए कि ईमानदार एजेंट विश्वसनीय जानकारी को सुरक्षित रखें, लेखक शास्त्रीय बाइजेंटाइन-रेज़िलिएंट कंसेंसस थ्योरी, विशेष रूप से मीन-सबसीक्वेंस-रिड्यूस्ड (MSR) परिवार के एल्गोरिदम और $r$ -robustness का लाभ उठाते हैं।

$(F+1)$ -Robustness: लेखक स्थापित करते हैं कि यदि संचार ग्राफ $G$ $G$ $(F+1)$ $(F + 1)$ -रोबस्ट है, तो फ़िल्टरिंग तंत्र दो महत्वपूर्ण गुणों को सुनिश्चित करता है:
1. स्थानीय लचीलापन (Local Resilience): फ़िल्टरिंग के बाद, प्रत्येक ईमानदार एजेंट के पास कम से कम एक ऐसा पड़ोसी रहता है जिसकी प्रतिक्रिया सभी विश्वसनीय एजेंटों के न्यूनतम स्कोर के कम से कम बराबर विश्वसनीय होती है। यह बाइजेंटाइन एजेंटों को परिशोधन प्रक्रिया को भ्रष्ट करने से रोकता है।
2. वैश्विक कनेक्टिविटी (Global Connectivity): ईमानदार एजेंटों द्वारा प्रेरित सबग्राफ (subgraph) फ़िल्टरिंग के बाद भी जुड़ा रहता है (विशेष रूप से, इसमें एक रूटेड आउट-ब्रांचिंग होता है), जिससे यह सुनिश्चित होता है कि सूचना नेटवर्क में बिना विखंडन के सही ढंग से प्रसारित हो।
पेपर यह सिद्ध करता है कि इस सेटिंग में $F$ स्थानीय बाइजेंटाइन एजेंटों के प्रभाव को नियंत्रित करने के लिए $(F+1)$ -robustness एक आवश्यक स्थिति है, जो एक गणितीय आधार प्रदान करती है।

प्रमुख योगदान

सेल्फ-एंकर्ड कंसेंसस (SAC): एक पूर्णतः विकेंद्रीकृत एल्गोरिदम का परिचय जो असुरक्षित प्रेषक-रिपोर्ट किए गए आत्मविश्वास को रिसीवर-साइड मूल्यांकन और प्राकृतिक भाषा इंटरैक्शन के लिए अनुकूलित MSR-प्रेरित फ़िल्टरिंग तंत्र से बदल देता है।
ग्राफ-थ्योरेटिक गारंटी: बाइजेंटाइन प्रभाव को नियंत्रित करने और सही उत्तरों पर अभिसरण (converge) करने के लिए $(F+1)$ -robustness स्थितियों को सैद्धांतिक आधार के रूप में स्थापित करना।
अनुभवजन्य सत्यापन (Empirical Validation): विभिन्न संचार टोपोलॉजी (MERG, Complete, Erdős–Rényi) और रीजनिंग बेंचमार्क पर SAC की प्रभावशीलता का प्रदर्शन, जबकि पूर्व विधियाँ प्रतिकूल परिस्थितियों में विफल हो जाती हैं।

प्रायोगिक परिणाम
लेखकों ने दो चुनौतीपूर्ण बेंचमार्क पर SAC का मूल्यांकन किया: MATH500 (लेवल 4 सिम्बोलिक रीजनिंग) और Commonsense170k (विषम कॉमनसेंस रीजनिंग)। सेटअप में $n=7$ एजेंट शामिल थे (4 मजबूत ईमानदार, 2 कमजोर ईमानदार/दोषपूर्ण, 1 प्रतिकूल बाइजेंटाइन) जिसमें $F=3$ था।

बेसलाइन का प्रदर्शन ह्रास: बेसलाइन विधि, CP-WBFT, बाइजेंटाइन प्रभाव के तहत विनाशकारी विफलता का शिकार हुई। MATH500 पर, इसने नकारात्मक बाइजेंटाइन फॉल्ट टॉलरेंस इम्प्रूवमेंट (BFTI) दिखाया जो $-10.4\%$ से $-24.8\%$ के बीच था, जिसका अर्थ है कि सहयोग ने प्रदर्शन को एजेंटों की स्टैंडअलोन क्षमताओं से भी नीचे गिरा दिया। मजबूत एजेंटों को काफी हद तक नीचे खींचा गया (उदाहरण के लिए, सटीकता $84\%$ से गिरकर $49\%$ हो गई)।
SAC की प्रभावशीलता: इसके विपरीत, SAC ने सभी टोपोलॉजी में सकारात्मक BFTI ( $+3.8\%$ से $+7.6\%$ MATH500 पर) प्राप्त किया। इसने मजबूत एजेंटों के प्रदर्शन को बनाए रखते हुए कमजोर एजेंटों के प्रदर्शन को ऊपर उठाने में सफलता प्राप्त की।
मजबूती मेट्रिक्स (Robustness Metrics): SAC ने उच्च "ईमानदार बहुमत" (वह हिस्सा जहाँ ईमानदार एजेंटों का बहुमत ग्राउंड ट्रुथ के साथ सहमत होता है) बनाए रखा, जो MATH500 पर $83.3\%$ से $96.7\%$ तक पहुँचा, जबकि CP-WBFT के लिए यह $36.7\%$ से $46.7\%$ था।
स्थिरता: प्रति-राउंड विश्लेषण ने दिखाया कि CP-WBFT का संदूषण (contamination) पहले दौर में ही हो गया और बना रहा, जबकि SAC ने बिना किसी प्रगतिशील गिरावट के पुनरावृत्तियों (iterations) के साथ स्थिर या सुधरते हुए सटीकता को दिखाया।

महत्व और दावे
पेपर का दावा है कि वर्तमान विकेंद्रीकृत LLM सहयोग में प्राथमिक भेद्यता प्रेषक-रिपोर्ट किए गए आत्मविश्वास पर निर्भरता है, जो प्रतिकूल हेरफेर के लिए एक अटैक सरफेस बनाती है। रिसीवर-साइड मूल्यांकन की ओर शिफ्ट होकर, SAC बाइजेंटाइन एजेंटों की विश्वास संकेतों (trust signals) को मैनिपुलेट करने की क्षमता को समाप्त कर देता है। इसके अलावा, यह कार्य रेखांकित करता है कि टोपोलॉजी डिज़ाइन केवल एक ह्यूरिस्टिक नहीं बल्कि एक गणितीय आवश्यकता है; बाइजेंटाइन प्रभाव को नियंत्रित करने के लिए $(F+1)$ -robustness को संतुष्ट करना आवश्यक है। लेखक निष्कर्ष निकालते हैं कि विकेंद्रीकृत LLM सहयोग के विश्वसनीय होने के लिए, सिस्टम को रिसीवर-साइड ट्रस्ट इवैल्यूएशन के साथ मजबूती-जागरूक (robustness-aware) नेटवर्क टोपोलॉजी को एकीकृत करना चाहिए। पेपर सीमाओं को स्वीकार करता है, जिसमें उल्लेख है कि वर्तमान मूल्यांकन छोटे आकार ( $n=7, 9$ ) के स्थिर नेटवर्क और सिंगल-टर्न प्रतिक्रियाओं तक सीमित है, और मजबूती रिसीवर के स्कोरिंग फंक्शन की गुणवत्ता पर निर्भर करती है।