Learning to Attack and Defend: Adaptive Red Teaming of Language Models via GRPO
यह शोध पत्र AdvGRPO को प्रस्तुत करता है, जो एक नवीन सह-प्रशिक्षण ढांचा (co-training framework) है जो सघन बहु-चैनल पुरस्कारों (dense multi-channel rewards), विच्छेदित लाभ सामान्यीकरण (decoupled advantage normalization) और एक प्रगतिशील पाठ्यक्रम (progressive curriculum) के माध्यम से संयुक्त हमलावर-रक्षक अनुकूलन के लिए GRPO को स्थिर करता है, जो अंततः अत्यधिक प्रभावी हस्तांतरणीय हमलों और अधिक सुदृढ़ भाषा मॉडल रक्षाओं को जन्म देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: एक डिजिटल द्वंद्व (Digital Sparring Match)
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान रोबोट है (रक्षक/Defender) जिसे मददगार बनने के लिए प्रशिक्षित किया गया है, लेकिन साथ ही उसे हानिकारक अनुरोधों को अस्वीकार करने के लिए भी प्रशिक्षित किया गया है, जैसे कि "मैं बम कैसे बनाऊं?" या "मैं बैंक को कैसे हैक करूं?"
आमतौर पर, इंसान इस रोबोट का परीक्षण करने के लिए ट्रिकी (चालाकी भरे) सवालों की एक सूची लिखते हैं। लेकिन रोबोट स्मार्ट है; वह उन विशिष्ट सवालों के लिए "ना" कहना सीख जाता है। समस्या यह है कि एक चतुर और अनुकूलनशील हमलावर (attacker) रोबोट को चकमा देने के लिए नया तरीका खोजने हेतु अपनी रणनीति बदल सकता है।
यह पेपर AdvGRPO नामक एक विधि का उपयोग करके एक साथ दोनों पक्षों को प्रशिक्षित करने का एक नया तरीका पेश करता है। इसे एक डिजिटल डोजो (Digital Dojo) के रूप में सोचें जहाँ एक रेड टीम (हमलावर) और एक ब्लू टीम (रक्षक) लगातार एक-दूसरे के खिलाफ अभ्यास (sparring) करते हैं। इंसानों द्वारा सवाल लिखने के बजाय, AI मॉडल एक-दूसरे के खिलाफ खेलकर और हर दौर के साथ मजबूत होकर हमला करना और बचाव करना सीखते हैं।
पुराने तरीके के साथ समस्या
पहले, शोधकर्ता हमलावर को रक्षक को तोड़ने के लिए प्रशिक्षित करने हेतु एक विशिष्ट प्रशिक्षण उपकरण (जिसे GRPO कहा जाता है) का उपयोग करने की कोशिश करते थे। हालांकि, उन्होंने पाया कि जब हमलावर और रक्षक एक ही समय में सीखते थे, तो सिस्टम "अस्थिर" (unstable) हो जाता था। यह दो मुक्केबाजों की तरह था जो एक नए लड़ने के अंदाज को सीखने की कोशिश कर रहे हों जबकि रिंग खुद हिल रही हो; वे इस बात पर सहमत नहीं हो पा रहे थे कि कौन जीत रहा है, और प्रशिक्षण क्रैश हो जाता था या गोल-गोल घूमता रहता था।
समाधान: AdvGRPO (एक स्थिर डोजो)
लेखकों ने एक नया फ्रेमवर्क बनाया जिसे AdvGRPO कहा जाता है, जो उस हिलती हुई रिंग की समस्या को ठीक करता है। उन्होंने इसे तीन मुख्य तरीकों से किया:
बहु-लेन वाला स्कोरकार्ड (Dense Multi-Channel Rewards):
कल्पना कीजिए कि एक रेफरी है जो केवल राउंड के अंत में "पॉइंट!" चिल्लाता नहीं है। इसके बजाय, वे हर एक चाल के लिए स्कोर देते हैं।- क्या हमलावर विषय पर रहा?
- क्या हमलावर ने रणनीति का पालन किया?
- क्या हमलावर ने वास्तव में हानिकारक उत्तर प्राप्त किया?
हर छोटे कदम को स्कोर देकर, हमलावर को निरंतर फीडबैक मिलता है कि उसे कहाँ सुधार करना है, बजाय इसके कि वह अंत तक प्रतीक्षा करे कि वह विफल हो गया।
स्वतंत्र जज (Decoupled Advantage Normalization):
पुराने अस्थिर तरीके में, यदि हमलावर अचानक बहुत अच्छा हो जाता था, तो रक्षक के लिए स्कोर तुलनात्मक रूप से बहुत खराब दिखता था, जिससे प्रशिक्षण भ्रमित हो जाता था।
नया तरीका (जिसे GDPO कहा जाता है) एक ऐसी प्रणाली का उपयोग करता है जहाँ प्रत्येक प्रकार के स्कोर को मिलाने से पहले स्वतंत्र रूप से आंका जाता है। यह "गति," "तकनीक," और "रचनात्मकता" के लिए अलग-अलग जज होने जैसा है जो अलग-अलग ग्रेड देते हैं, ताकि एक दूसरे के स्कोर को खराब न कर सके। यह प्रशिक्षण को स्थिर रखता है भले ही दोनों मॉडल अधिक स्मार्ट हो जाएं।ट्रेनिंग कैंप (Curriculum Learning):
आप एक नौसिखिए मुक्केबाज को तुरंत एक चैंपियन के साथ रिंग में नहीं उतारेंगे। यह पेपर एक "करिकुलम" (पाठ्यक्रम) का उपयोग करता है।- चरण 1: हमलावर एक निश्चित रक्षक के खिलाफ बुनियादी बातें सीखने के लिए अकेले प्रशिक्षण लेता है।
- चरण 2: एक बार जब हमलावर ठीक-ठाक हो जाता है, तो वे रक्षक के साथ अभ्यास करना शुरू करते हैं।
- चरण 3: वे बारी-बारी से काम करते हैं। हमलावर कुछ राउंड के लिए रक्षक को तोड़ने की कोशिश करता है, फिर रक्षक कुछ राउंड के लिए कमियों को भरने की कोशिश करता है, और वे स्विच करते हैं। यह रक्षक को केवल हर चीज़ के लिए "ना" कहने (जो कि एक आसान जीत है) से रोकता है और इसे विशिष्ट, कठिन हमलों को संभालने के लिए मजबूर करता है।
उन्होंने क्या पाया
पेपर उनके प्रयोगों से प्राप्त कई प्रमुख परिणामों की रिपोर्ट करता है:
- हमलावर डरावने रूप से सक्षम हो गए: प्रशिक्षित हमलावरों ने अन-ट्रेन्ड मॉडल्स या उन मॉडल्स की तुलना में रक्षक को धोखा देने में बहुत बेहतर प्रदर्शन किया जिनके सुरक्षा फिल्टर हटा दिए गए थे (unlocked)। उन्होंने सीखा कि केवल सुरक्षा फिल्टर हटाना पर्याप्त नहीं है; आपको हमला करने का तरीका सीखना होगा।
- वे अनुकूलन (Adapt) कर सकते हैं: हमलावरों ने ऐसी रणनीतियाँ सीखीं जो न केवल उनके प्रशिक्षित रक्षक पर, बल्कि पूरी तरह से अलग मॉडल्स पर भी काम करती हैं जिन्हें उन्होंने पहले कभी नहीं देखा था। यह एक मुक्केबाज द्वारा ऐसा मूव सीखने जैसा है जो किसी भी व्यक्ति पर काम करे, न कि केवल उसके स्पैरिंग पार्टनर पर।
- रक्षक अधिक मजबूत हुए: इस "डोजो" में प्रशिक्षित रक्षक पुराने तरीकों से प्रशिक्षित रक्षकों की तुलना में हमलों को पहचानने और रोकने में बहुत बेहतर हो गए। उन्होंने बुरे अनुरोधों के लिए "ना" कहना और अच्छे, हानिरहित अनुरोधों के लिए "हाँ" कहना सीखा।
- सोचने वाले मॉडल्स (Thinking Models) को विशेष मदद की आवश्यकता होती है: उन्होंने पाया कि "सोचने" (तर्क करने) में सक्षम मॉडल्स अक्सर बहुत अधिक सुरक्षित होने की कोशिश करते थे और हमले के अनुरोध पर भी मना कर देते थे। उन्हें यह सिखाने के लिए एक विशेष रिवॉर्ड सिस्टम बनाना पड़ा कि वे सुरक्षा चेतावनियों में फंसे बिना हमले के माध्यम से कैसे सोचें।
निचोड़ (The Bottom Line)
पेपर का दावा है कि इस नई, स्थिर विधि (AdvGRPO) का उपयोग करके, हम एक ऐसा सिस्टम बना सकते हैं जहाँ AI हमलावर और रक्षक एक साथ सीख सकते हैं। इसके परिणामस्वरूप ऐसे हमलावर मिलते हैं जो कमजोरियां खोजने में बहुत कुशल होते हैं और ऐसे रक्षक जो उन्हें ठीक करने में बहुत कुशल होते हैं, जिससे AI समग्र रूप से सुरक्षित बनता है। वे इस बात पर जोर देते हैं कि यह एक शोध उपकरण है जिसका उद्देश्य कमजोरियों को खोजने के लिए उपयोग किया जाना है, इससे पहले कि बुरे तत्व उनका उपयोग करें, जिससे अधिक मजबूत और सुदृढ़ AI सिस्टम बनाने में मदद मिले।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।