Combating Knowledge Corruption in Agent Systems: A Byzantine-Tolerant Secure Collaborative RAG Framework
यह शोध पत्र SecureCollaRAG को प्रस्तुत करता है, जो एक बाइजेंटाइन-सहनशील (Byzantine-tolerant) सहयोगात्मक RAG फ्रेमवर्क है जो गैर-IID डेटा वितरण के तहत डोमेन ज्ञान अखंडता को बनाए रखते हुए दस्तावेज़ उत्पत्ति को सुरक्षित रूप से सत्यापित करने और ज्ञान भ्रष्टाचार हमलों को रोकने के लिए बहु-स्रोत ज्ञान सत्यापन और गतिशील GNN-आधारित विश्वसनीयता स्कोरिंग का उपयोग करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक अत्यंत बुद्धिमान रोबोट लाइब्रेरियन से सच पूछ रहे हैं। यह रोबोट, जिसे 'लार्ज लैंग्वेज मॉडल' (LLM) के रूप में जाना जाता है, लगभग वह सब कुछ पढ़ चुका है जो कभी लिखा गया है, लेकिन कभी-कभी यह मनगढ़ंत बातें बना लेता है या हाल की घटनाओं को भूल जाता है। इसे ठीक करने के लिए, हमने RAG (रिट्रीवल-ऑगमेंटेड जनरेशन) नामक एक प्रणाली बनाई है। RAG को एक लाइब्रेरी से ताजी, प्रासंगिक किताबें सीधे आपके प्रश्न का उत्तर देने से ठीक पहले रोबोट को देने के रूप में समझें, ताकि वह अनुमान लगाने के बजाय तथ्यों को उद्धृत कर सके। लेकिन यहाँ एक पेंच है, क्या होगा यदि कोई चालाक खलनायक लाइब्रेरी में घुसकर उन किताबों के कुछ पन्नों को झूठ से बदल दे? यदि रोबोट उन नकली पन्नों पर भरोसा करता है, तो वह आपसे कहेगा कि चंद्रमा पनीर से बना है या कोई खतरनाक दवा सुरक्षित है। इसे "नॉलेज करप्शन" (ज्ञान भ्रष्टाचार) हमला कहा जाता है। आप जो शोध पत्र अब पढ़ने जा रहे हैं, वह इस डरावनी समस्या से निपटने के लिए यह सवाल उठाता है: हम रोबट को झूठ बोलने वालों पर विश्वास करने से कैसे रोक सकते हैं, जब वह कई अलग-अलग, कभी-कभी संदिग्ध पुस्तकालयों से किताबें प्राप्त कर रहा हो?
इस शोध पत्र के लेखक, झाओकी वांग और उनकी टीम, एक चतुर नया कवच प्रस्तावित करते हैं जिसे SecureCollaRAG कहा जाता है। उन्होंने महसूस किया कि यदि आप एक ही तथ्य के लिए पांच अलग-अलग पुस्तकालयों से पूछते हैं, और उनमें से चार कहते हैं "आकाश नीला है" जबकि एक कहता है "आकाश हरा है," तो आपको शायद बहुमत पर भरोसा करना चाहिए। हालाँकि, यह हमेशा इतना सरल नहीं होता है। कभी-कभी, झूठा व्यक्ति छिपने में बहुत माहिर होता है, जिससे उसके नकली पन्ने लगभग असली पन्नों जैसे ही दिखते हैं, या वे केवल एक बहुत ही सूक्ष्म, बारीक विवरण के बारे में झूठ बोल सकते हैं।
इसे हल करने के लिए, टीम ने एक ऐसी प्रणाली बनाई है जो एक अत्यंत संगठित जासूसी दस्ते की तरह कार्य करती है। केवल किताबों को पढ़ने के बजाय, उनकी प्रणाली इस बात को देखती है कि किताबें एक-दूसरे से कैसे संबंधित हैं। कल्पना कीजिए कि दस्तावेज़ एक पार्टी में मौजूद लोगों की तरह हैं। प्रणाली उन लोगों के बीच अदृश्य रेखाएं खींचती है जो समान विषयों पर बात कर रहे हैं। यदि झूठ बोलने वालों का एक समूह एक झूठी कहानी फैलाने की कोशिश कर रहा है, तो वे सभी एक-दूसरे को एक ही बकवास फुसफुसाते रहेंगे, जिससे एक अजीब, घनिष्ठ समूह बन जाएगा जो बाकी पार्टी के साथ पूरी तरह फिट नहीं बैठता। प्रणाली एक विशेष प्रकार के गणित का उपयोग करती है जिसे "ग्राफ न्यूरल नेटवर्क" (एक सुपर-स्मार्ट पैटर्न पहचानकर्ता के रूप में सोचें) कहा जाता है ताकि इन संदिग्ध समूहों का पता लगाया जा सके। यह प्रत्येक दस्तावेज़ को एक "विश्वसनीयता स्कोर" देता है, जो एक प्रकार की ट्रस्ट रेटिंग है। यदि किसी दस्तावेज़ की रेटिंग बहुत कम है, तो उसे रोबोट लाइब्रेरियन के देखने से पहले ही बाहर निकाल दिया जाता है।
शोधकर्ताओं ने केवल इसे बनाया ही नहीं; उन्होंने इसे कुछ बहुत ही चालाक खलनायकों के विरुद्ध परखा भी है। उन्होंने वास्तव में एक नया प्रकार का हमला भी आविष्कार किया जिसे "एडेप्टिव टैम्परिंग अटैक" (ATA) कहा जाता है। यह एक ऐसे खलनायक की तरह है जो केवल एक नकली पन्ना नहीं चिपकाता; बल्कि वह झूठ लिखने में मदद करने के लिए रोबोट के अपने मस्तिष्क का उपयोग करता है ताकि वह झूठ बिल्कुल स्वाभाविक लगे और हर बार थोड़ा बदल जाए, जिससे उसे पकड़ना कठिन हो जाता है। इन चालाक तरकीबों के बावजूद, SecureCollaRAG ने दिखा दिया कि यह नकली चीज़ों को पहचान सकता है। अपने परीक्षणों में, जबकि पुराने तरीके खलनायकों को लगभग 80% बार सफल होने देते थे, नए सिस्टम ने हमलावरों की सफलता दर को एकल अंकों (जैसे 5% या उससे कम) तक नीचे रखा।
यह शोध पत्र सुझाव देता है कि इस "बायज़ेंटाइन-टॉलरेंट" दृष्टिकोण (एक फैंसी शब्द जिसका अर्थ है "हम इसे संभाल सकते हैं भले ही हमारे कुछ सहायक धोखेबाज हों") का उपयोग करके, हम AI सिस्टम को सुरक्षित रख सकते हैं, भले ही वे कई अलग-अलग, अविश्वसनीय स्रोतों से जानकारी प्राप्त कर रहे हों। यह एक सुरक्षा गार्ड रखने जैसा है जो केवल आईडी की जाँच नहीं करता, बल्कि लोगों के बीच होने वाली बातचीत पर भी नज़र रखता है, यह सुनिश्चित करता है कि भले ही कमरे में कुछ जासूस मौजूद हों, सच्चाई की ही जीत हो। लेखकों ने गणितीय रूप से सिद्ध किया कि जब तक बुरे लोग कुल स्रोतों के आधे से कम हैं, उनकी प्रणाली झूठ को छानकर रोबोट को ईमानदार बनाए रख सकती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।