Byzantine-Robust Decentralized GRPO: Defending Against Domain Poisoning and Reasoning-Inflation Attacks
यह शोधपत्र Dec-GRPO को प्रस्तुत करता है, जो एक बायज़ेंटाइन-रोबस्ट (Byzantine-robust) विकेंद्रीकृत ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन फ्रेमवर्क है, जो रेफरेंस-लॉगिट फ़िल्टरिंग, प्रतिष्ठा-भारित चयन (reputation-weighted selection), मल्टी-क्रम (Multi-Krum) एग्रीगेशन और एडेप्टिव लेंथ-पेनलाइज्ड एडवांटेज को एकीकृत करके डोमेन पॉइज़निंग और रीजनिंग-इन्फ्लेशन हमलों से बचाव करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से विकसित होती दुनिया में, कंप्यूटर मॉडलों को बेहतर ढंग से तर्क करना सिखाने के लिए एक नई विधि उभरी है। यह तकनीक, जिसे ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (group relative policy optimization) के रूप में जाना जाता है, इस सिद्धांत पर काम करती है कि मॉडल एक ही प्रश्न के कई अलग-अलग उत्तर एक साथ उत्पन्न करता है। प्रत्येक उत्तर को स्कोर करने के लिए किसी अलग निर्णायक (judge) पर निर्भर रहने के बजाय, सिस्टम उस विशिष्ट समूह के भीतर ही उत्तरों की आपस में तुलना करता है। यदि एक उत्तर उसी बैच के अन्य उत्तरों की तुलना में स्पष्ट रूप से बेहतर है, तो उसे उच्च स्कोर मिलता है, और मॉडल उस तरह की सोचने की शैली को प्राथमिकता देना सीखता है। यह दृष्टिकोण कुशल है क्योंकि यह एक जटिल बाहरी निर्णायक की आवश्यकता को समाप्त कर देता है, जिससे महत्वपूर्ण कंप्यूटिंग शक्ति की बचत होती है। इसकी अत्यधिक दक्षता के कारण, शोधकर्ता इन प्रशिक्षण सत्रों को कई अलग-अलग कंप्यूटरों के मिलकर काम करने वाले सेटअप में चलाने के लिए उत्सुक हैं, जिसे विकेंद्रीकृत प्रशिक्षण (decentralized training) कहा जाता है। इस व्यवस्था में, कई स्वतंत्र कंप्यूटर एक स्मार्ट मॉडल बनाने के लिए अपने उत्पन्न किए गए उत्तर साझा करते हैं, बिना बड़ी मात्रा में डेटा को आगे-पीछे भेजे।
हालाँकि, यह खुला और सहयोगात्मक दृष्टिकोण एक नई भेद्यता (vulnerability) पैदा करता है। जब कई कंप्यूटर मिलकर काम करते हैं, तो यह संभव है कि कुछ बुरे तत्व नेटवर्क में शामिल हो जाएं और ईमानदार प्रतिभागी होने का ढोंग करें। इन घुसपैठियों को, सुरक्षा विशेषज्ञों द्वारा 'बायज़ेंटाइन एडवर्सरीज' (Byzantine adversaries) के रूप में जाना जाता है, जो दूषित डेटा फीड करके सीखने की प्रक्रिया को बाधित कर सकते हैं। शोधकर्ता उदय येरुवा और गैडे विक्टोरिया का एक हालिया अध्ययन ठीक इसी बात की जांच करता है कि यह समूह-आधारित प्रशिक्षण पद्धति के लिए कितना खतरनाक है। उन्होंने पाया कि हमलावरों को नुकसान पहुँचाने के लिए बहुत परिष्कृत होने की आवश्यकता नहीं है; वे बस सिस्टम में दो विशिष्ट प्रकार के खराब डेटा को भर सकते हैं। एक प्रकार में ऐसे उत्तरों को डालना शामिल है जो तथ्यात्मक रूप से गलत या विषाक्त (toxic) हैं, जो मॉडल को भ्रमित कर देते हैं कि सही उत्तर कैसा दिखता है। दूसरा प्रकार अधिक सूक्ष्म है: हमलावर पूरी तरह से सही उत्तर प्रदान करते हैं, लेकिन उन्हें बेहद लंबे और विस्तारपूर्वक (verbose) तरीके से लिखा जाता है। चूंकि प्रशिक्षण प्रणाली उन उत्तरों को पुरस्कृत करती है जो एक समूह के भीतर अलग दिखते हैं, इसलिए ये अत्यधिक लंबे, सही उत्तर सीखने की प्रक्रिया पर कब्जा कर सकते हैं, जिससे मॉडल अनावश्यक रूप से बातूनी और अक्षम बन जाता है।
इसे हल करने के लिए, शोधकर्ताओं ने 'डेक-जीआरपीओ' (Dec-GRPO) नामक एक नया रक्षा तंत्र विकसित किया है। यह प्रणाली एक बहु-स्तरीय फिल्टर की तरह कार्य करती है जो डेटा साझा करने वाले कंप्यूटरों और केंद्रीय शिक्षण प्रक्रिया के बीच स्थित होती है। पहला स्तर उत्तरों के आंतरिक आत्मविश्वास की जांच करता है, और संदिग्ध रूप से अनिश्चित या निरर्थक दिखने वाले उत्तरों को खारिज कर देता है। दूसरा स्तर नेटवर्क में प्रत्येक कंप्यूटर के लिए एक चल रहा प्रतिष्ठा स्कोर (reputation score) रखता है; यदि किसी कंप्यूटर का इतिहास खराब डेटा भेजने का रहा है, तो उसे अनदेखा कर दिया जाता है। तीसरा स्तर उत्तरों के सबसे सुसंगत समूह को खोजने के लिए एक सांख्यिकीय पद्धति का उपयोग करता है, जो प्रभावी रूप से उन आउटलेर्स (outliers) को बाहर कर देता है जो ईमानदार कंप्यूटरों के पैटर्न में फिट नहीं बैठते। अंत में, सिस्टम में लंबाई के लिए एक स्मार्ट दंड (penalty) शामिल है। यदि एक समूह में उत्तरों का आकार बहुत अधिक भिन्न होने लगता है, तो सिस्टम स्वचालित रूप से लंबे उत्तरों के लिए दंड बढ़ा देता है, जिससे हमलावरों को स्कोर हासिल करने के लिए विस्तार (verbosity) का उपयोग करने से रोका जा सके।
शोधकर्ताओं ने दस अलग-अलग नोड्स, या कंप्यूटरों के एक नियंत्रित कंप्यूटर सिमुलेशन में इस रक्षा प्रणाली का परीक्षण किया, जो मिलकर काम कर रहे थे। उन्होंने एक ऐसी स्थिति पेश की जहाँ तीस प्रतिशत कंप्यूटर बुरे तत्व थे, जो गलत उत्तर भेजने वालों और अत्यधिक लंबे उत्तर भेजने वालों के बीच विभाजित थे। बिना किसी बचाव के, सिस्टम का प्रदर्शन काफी गिर गया, और उत्तरों की औसत लंबाई दोगुनी से अधिक हो गई, जो बाईस शब्दों से बढ़कर तिरपन से अधिक हो गई। जब पूर्ण रक्षा प्रणाली सक्रिय थी, तो मॉडल ने अपना अधिकांश खोया हुआ प्रदर्शन वापस पा लिया और उत्तरों की लंबाई को सामान्य के काफी करीब रखा। अध्ययन में पाया गया कि सांख्यिकक मतदान (statistical voting) पद्धति हमला रोकने के लिए सबसे मजबूत एकल उपकरण थी, लेकिन सभी चार परतों का संयोजन समग्र सुरक्षा के लिए सबसे अच्छा था, विशेष रूपकर उन हमलावरों के खिलाफ जो अपनी चालों को छिपाने की कोशिश करते हैं।
टीम ने गणित की समस्या के डेटासेट का उपयोग करके एक वास्तविक, ओपन-सोर्स भाषा मॉडल पर भी इन हमलों का परीक्षण किया। उन्होंने पुष्टि की कि हमले सिमुलेशन की तरह ही वास्तविक मॉडलों पर भी उतने ही प्रभावी हैं। जब हमलावरों ने विस्तार (verbosity) वाली चाल का उपयोग किया, तो मॉडल के उत्तर ढाई गुना लंबे हो गए। जब उन्होंने विषाक्तता (poisoning) वाली चाल का उपयोग किया, तो सही उत्तर देने की मॉडल की क्षमता लगभग बत्तीस प्रतिशत गिर गई। हालाँकि, शोधकर्ताओं ने एक महत्वपूर्ण सीमा नोट की: सिमुलेशन के लिए ट्यून किए गए विशिष्ट फिल्टर वास्तविक मॉडल पर बिना समायोजन के सीधे लागू होने पर पूरी तरह से काम नहीं करते थे। वास्तविक दुनिया के परीक्षण में बुरे तत्वों का पता लगाने की दर शून्य हो गई, जो यह सुझाव देती है कि जबकि खतरा बहुत वास्तविक है, रक्षा के लिए सटीक सेटिंग्स को विभिन्न प्रकार के मॉडलों के लिए पुन: कैलिब्रेट करने की आवश्यकता है।
अंततः, यह कार्य इस बात पर प्रकाश डालता है कि जैसे-जैसे आर्टिफिशियल इंटेलिजेंस सहयोगात्मक, विकेंद्रीकृत प्रशिक्षण की ओर बढ़ रहा है, इसे हेरफेर के विरुद्ध मजबूत सुरक्षा भी बनानी चाहिए। अध्ययन दिखाता है कि जबकि बुरे तत्व गलत उत्तरों के साथ मॉडल को भ्रमित करके या लंबे उत्तरों के साथ उसे अभिभूत करके सीखने की प्रक्रिया को आसानी से बाधित कर सकते हैं, प्रतिष्ठा ट्रैकिंग, सांख्यिकीय मतदान और अनुकूलित दंड का संयोजन नुकसान को काफी कम कर सकता है। शोधकर्ता निष्कर्ष निकालते हैं कि उनकी प्रणाली यह सुनिश्चित करती है कि प्रशिक्षण 'ग्रेसफुल डिग्रेडेशन' (graceful degradation) प्रदर्शित करे, जिसका अर्थ है कि भले ही नेटवर्क पर हमला हो रहा हो, यह पूरी तरह से ध्वस्त नहीं होता है बल्कि प्रदर्शन का एक ऐसा स्तर बनाए रखता है जो असुरक्षित प्रणाली की तुलना में बहुत बेहतर है। यह एक मजबूत, सहयोगात्मक एआई सिस्टम बनाने के लिए एक मार्ग प्रदान करता है जो आसानी से हाईजैक किए बिना एक साथ सीख सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।