ARES: Adaptive Red-Teaming and End-to-End Repair of Policy-Reward System

यहाँ शोध पत्र "ARES: Adaptive Red-Teaming and End-to-End Repair of Policy-Reward System" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

मानवीय फीडबैक से सुदृढीकरण सीखना (RLHF), बड़े भाषा मॉडलों (LLMs) को सुरक्षा सिद्धांतों के साथ संरेखित करने के लिए एक मानक है। हालाँकि, वर्तमान सुरक्षा संरेखण पाइपलाइन एक गंभीर भेद्यता से ग्रस्त हैं: प्रणालीगत कमजोरियाँ (Systemic Weaknesses)।

• दोष: मौजूदा दृष्टिकोण आमतौर पर कोर LLM (पॉलिसी) और रिवॉर्ड मॉडल (RM) को अलग-अलग संस्थाओं के रूप में देखते हैं। वे या तो यह मानते हुए LLM की रेड-टीमिंग करते हैं कि RM पूर्ण है, या RM को अलग से सुदृढ़ करते हैं।
• वास्तविकता: एक अपूर्ण RM एकल विफलता बिंदु (single point of failure) बन सकता है। यदि RM असुरक्षित व्यवहारों को दंडित करने में विफल रहता है (पूर्वाग्रहों, अंध बिंदुओं या प्रतिकूल शोषण के कारण), तो कोर LLM ऐसी हानिकारक सामग्री उत्पन्न करना सीख जाता है जिसे RM गलत तरीके से पुरस्कृत करता है।
• अंतराल (Gap): ऐसे ढांचों की कमी है जो उन जुड़े हुए विफलताओं (coupled failures) को एक साथ खोज सकें और सुधार सकें जहाँ कोर LLM और RM दोनों एक साथ विफल होते हैं, जिससे सुरक्षा पाइपलाइन में एक "ब्लाइंड स्पॉट" (अंध बिंदु) बन जाता है।

2. कार्यप्रणाली: ARES फ्रेमवर्क (Methodology: The ARES Framework)

ARES (Adaptive Red-Teaming and End-to-End System Repair) एक दो-चरणीय ढांचा है जिसे इन दोहरी कमजोरियों को खोजने और कम करने के लिए डिज़ाइन किया गया है।

चरण 1: अनुकूलन योग्य भेद्यता खोज (Adaptive Vulnerability Discovery)

यह चरण प्रतिकूल प्रॉम्प्ट (adversarial prompts) उत्पन्न करने और विफलता मोड को वर्गीकृत करने के लिए एक नवीन "सेफ्टी मेंटर" (Safety Mentor) का उपयोग करता है।

• संयोजन संबंधी हमला निर्माण (Compositional Attack Generation):
  • सेफ्टी मेंटर चार संरचित घटकों को जोड़कर अर्थपूर्ण, सुसंगत और भ्रामक प्रॉम्प्ट बनाता है: विषय (Topic) (हानिकारक डोमेन), पर्सोना (Persona) (विश्वसनीय पहचान), लक्ष्य (Goal) (ठोस कार्य), और रणनीति (Tactic) (तर्कसंगत कार्यप्रणाली)।
  • प्रत्येक प्रॉम्प्ट के लिए, मेंटर एक ट्रिपलेट बनाता है: प्रॉम्प्ट, एक सिंथेटिक हानिकारक प्रतिक्रिया ($y_{synth}$), और एक पसंदीदा सुरक्षित प्रतिक्रिया ($y_{chosen}$)।
• दो-घटक भेद्यता वर्गीकरण (Dual-Component Vulnerability Classification):
  सिस्टम कोर LLM और RM के बीच की अंतःक्रिया का मूल्यांकन करने के लिए विफलताओं को तीन प्रकारों में वर्गीकृत करता है:
  1. टाइप A (केवल RM-मिसअलाइनमेंट): RM हानिकारक सामग्री को उच्च स्कोर देता है (RM को मूर्ख बनाना), लेकिन कोर LLM इसे उत्पन्न नहीं करेगा। कार्रवाई: RM को फाइन-ट्यून करें।
  2. टाइप B (कोर LLM की कमजोरियां): कोर LLM हानिकारक सामग्री उत्पन्न करता है, लेकिन RM इसे सही ढंग से असुरक्षित पहचानता है (कम स्कोर)। कार्रवाई: कोर LLM को अनुकूलित करें।
  3. टाइप C (प्रणालीगत कमजोरियां): महत्वपूर्ण विफलता। कोर LLM हानिकारक सामग्री उत्पन्न करता है और RM इसे उच्च रिवॉर्ड देता है। कार्रवाई: दोनों घटकों का संयुक्त सुधार।
• श्रेणीबद्ध अनुकूलन योग्य नमूनाकरण (Hierarchical Adaptive Sampling):
  • ARES एक भारित नमूनाकरण तंत्र (weighted sampling mechanism) का उपयोग करता है जो सफल हमलों से सीखता है।
  • यदि कोई हमला सफल होता है (भेद्यता उजागर करता है), तो विशिष्ट घटक इंस्टेंस (Component Instance) और उसके पैरेंट घटक श्रेणी (Component Category) के भार को गुणात्मक रूप से बढ़ाया जाता है।
  • यह सिस्टम को यूनिफॉर्म रैंडम सैंपलिंग के बजाय उच्च-उपज वाले भेद्यता क्षेत्रों (जैसे, विशिष्ट धोखेबाजी की रणनीतियों) पर गतिशील रूप से ध्यान केंद्रित करने की अनुमति देता है।

चरण 2: एंड-टू-एंड सिस्टम रिपेयर (End-to-End System Repair)

एक बार कमजोरियां खोज ली जाने के बाद, ARES मजबूत संरेखण सुनिश्चित करने के लिए एक क्रमिक मरम्मत प्रक्रिया निष्पादित करता है।

1. रिवॉर्ड मॉडल रिपेयर (चरण 1):
   • RM को टाइप A और टाइप C विफलताओं (जहाँ RM को मूर्ख बनाया गया था) से निर्मित प्राथमिकता डेटासेट का उपयोग करके फाइन-ट्यून किया जाता है।
   • इस डेटासेट को क्षमता ह्रास (capability degradation) को रोकने के लिए सामान्य संरेखण डेटा (जैसे, HelpSteer2) और ओवर-रिफ्यूज़ल को कम करने के लिए 'फॉल्स-रिजेक्ट' (FalseReject) डेटा के साथ बढ़ाया जाता है।
   • तर्क: अगले चरण के लिए एक विश्वसनीय रिवॉर्ड सिग्नल के रूप में कार्य करने के लिए RM को पहले ठीक किया जाना चाहिए।
2. कोर LLM अनुकूलन (चरण 2):
   • कोर LLM को RL (विशेष रूप से Dr. GRPO) के माध्यम से मरम्मत किए गए RM को रिवॉर्ड सिग्नल के रूप में उपयोग करके अनुकूलित किया जाता है।
   • प्रशिक्षण डेटा में टाइप B और टाइप C विफलताएं शामिल हैं (जहाँ LLM ने हानि उत्पन्न की)।
   • तर्क: एक त्रुटिपूर्ण RM के विरुद्ध LLM को अनुकूलित करना प्रणालीगत कमजोरियों को कायम रखता है; एक मरम्मत किया गया RM यह सुनिश्चित करता है कि पॉलिसी सही सुरक्षा सीमाओं को सीखे।

3. मुख्य योगदान (Key Contributions)

• प्रणालीगत कमजोरियों की पहचान: यह पेपर "टाइप C" विफलताओं को औपचारिक रूप से परिभाषित और वर्गीकृत करता है, जो मौजूदा रेड-टीमिंग विधियों द्वारा छोड़ी गई युग्मित LLM-RM विफलताओं के खतरे को उजागर करता है।
• सेफ्टी मेंटर और संयोजन जनरेशन: विषयों, पर्सोना, लक्ष्यों और रणनीतियों के वर्गीकरण का उपयोग करके भ्रामक, सुसंगत प्रतिकूल प्रॉम्प्ट उत्पन्न करने का एक संरचित दृष्टिकोण।
• अनुकूलन योग्य शिक्षण तंत्र: एक श्रेणीबद्ध सुदृढीकरण रणनीति जो सबसे प्रभावी हमले के वेक्टर्स की ओर गतिशील रूप से ध्यान केंद्रित करती है, जिससे डेटा दक्षता में सुधार होता है।
• क्लोज्ड-लूप डुअल रिपेयर: एक दो-चरणीय मरम्मत पाइपलाइन जो क्रमवार रूप से पहले RM को और फिर LLM को ठीक करती है, जिससे यह सुनिश्चित होता है कि पॉलिसी एक मजबूत सुरक्षा मूल्यांकनकर्ता के विरुद्ध अनुकूलित हो।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग Qwen3-1.7B (कोर LLM) और Skywork-RM-Qwen3-4B (RM) का उपयोग करके किए गए, जिसमें Qwen3-8B ने सेफ्टी मेंटर के रूप में कार्य किया।

• सुरक्षा प्रदर्शन (Safety Performance):
  • ARES ने प्रतिकूल बेंचमार्क पर लगभग पूर्ण सुरक्षा दर प्राप्त की: StrongReject (0.97) और HarmBench (0.95)।
  • इसने मानक RLHF बेसलाइनों और सामान्य सुरक्षा संरेखण विधियों (जैसे, General Safe-RLHF ने StrongReject पर 0.94 प्राप्त किया) को काफी पीछे छोड़ दिया।
• क्षमता संरक्षण (Capability Preservation):
  • आक्रामक सुरक्षा ट्यूनिंग के बावजूद, ARES ने क्षमता बेंचमार्क (MMLU, GSM8K, TruthfulQA) पर मजबूत प्रदर्शन बनाए रखा, जिससे कोई विनाशकारी विस्मृति (catastrophic forgetting) नहीं देखी गई।
  • इसने एक कम गलत इनकार दर (incorrect refusal rate) (XSTest पर 0.10) भी बनाए रखी, जिससे "ओवर-रिफ्यूज़ल" से बचा जा सका जो सुरक्षा-ट्यून किए गए मॉडलों में आम है।
• दक्षता (Efficiency):
  • डेटा दक्षता: ARES ने केवल 4k अनुकूलित रूप से उत्पन्न नमूनों का उपयोग करके 10.8k सामान्य सुरक्षा नमूनों पर प्रशिक्षित मॉडलों के बराबर सुरक्षा स्तर प्राप्त किया।
  • कंप्यूटेशनल दक्षता: पूर्ण पाइपलाइन में लगभग 13 घंटे लगे, जो APRT जैसे बेसलाइनों (अनुमानित 28 घंटे) की तुलना में काफी तेज़ है।
• एब्लेशन अध्ययन (Ablation Studies):
  • अनुकूलित नमूनाकरण तंत्र को हटाने से सुरक्षा स्कोर कम हो गया (StrongReject पर 0.91 बनाम 0.97), जो सीखने के तंत्र के मूल्य को सिद्ध करता है।
  • सामान्य डेटा या ओवर-रिफ्यूज़ल शमन डेटा को हटाने से क्षमता में गिरावट या अधिक गलत इनकार आए, जो डेटा मिश्रण रणनीति की वैधता को प्रमाणित करते हैं।

5. महत्व और प्रभाव (Significance and Impact)

• प्रतिमान परिवर्तन (Paradigm Shift): ARES क्षेत्र को अलग-थलग "पॉलिसी-ओनली" या "रिवॉर्ड-ओनली" सुधारों से हटाकर एक समग्र सिस्टम संरेखण (holistic system alignment) दृष्टिकोण की ओर ले जाता है। यह स्वीकार करता है कि सुरक्षा पूरे RLHF पाइपलाइन का एक गुण है, न कि केवल अंतिम मॉडल का।
• व्यावहारिकता: यह प्रदर्शित करके कि बड़े स्थिर डेटासेट की तुलना में लक्षित, अनुकूलित रेड-टीमिंग अधिक कुशल है, ARES उत्पादन LLMs के लिए निरंतर सुरक्षा सुधार का एक स्केलेबल मार्ग प्रदान करता है।
• मजबूती (Robustness): यह ढांचा प्रभावी रूप से खोज योग्य कमजोरियों में से अधिकांश को समाप्त कर देता (दूसरे दौर के परीक्षण में हमला सफलता दर को 63.5% से घटाकर 4.3% कर दिया), जो मजबूत सुरक्षा संरेखण के लिए एक नया मानक स्थापित करता है।

संक्षेप में, ARES एक व्यापक, स्वचालित ढांचा प्रदान करता है जो न केवल यह खोजता है कि सुरक्षा प्रणालियाँ कहाँ टूटती हैं, बल्कि भविष्य की विफलताओं को रोकने के लिए अंतर्निहित रिवॉर्ड और पॉलिसी तंत्रों को व्यवस्थित रूप से भी ठीक करता है।