तकनीकी सारांश: सुरक्षा संरेखण (Safety Alignment) के लिए सरल भूमिका असाइनमेंट असाधारण रूप से प्रभावी है

समस्या विवरण

यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (LLMs) में वैल्यू एलाइनमेंट (मूल्य संरेखण) की समस्या को संबोधित करता है, विशेष रूप से मॉडल्स को मानवीय प्राथमिकताओं के अनुसार व्यवहार करने के लिए कुशल और स्केलेबल निर्णय संकेतों (judgment signals) के निर्माण की चुनौती को। वर्तमान प्रमुख दृष्टिकोण सिद्धांत-आधारित संरेखण (principle-based alignment) पर निर्भर करते हैं, जहाँ मॉडल्स को स्पष्ट मानदण्डों की सूचियों (जैसे, "उत्पीड़न न करें") द्वारा निर्देशित किया जाता है। लेखक तर्क देते हैं कि ये सिद्धांत-आधारित विधियाँ दो संरचनात्मक सीमाओं से ग्रस्त हैं:

1. अपूर्णता (Incompleteness): सिद्धांतों की निश्चित सूची हर संभावित परिदृश्य का पूर्वानुमान नहीं लगा सकती।
2. संदर्भ संवेदनशीलता का अभाव (Lack of Context Sensitivity): सिद्धांत इस बात पर बहुत कम मार्गदर्शन प्रदान करते हैं कि किसी विशिष्ट संदर्भ में किसी मूल्य को कब और कैसे लागू किया जाए, क्योंकि उनमें स्थिति की व्याख्या करने के लिए आवश्यक "विश्वास/संज्ञान" (belief/cognition) घटक की कमी होती है।

जबकि ट्रेनिंग-टाइम विधियाँ (जैसे RLHF) और टेस्ट-टाइम विधियाँ (जैसे Chain-of-Thought या self-consistency) मौजूद हैं, वे अक्सर मूल्यांकन मानदंडों के स्रोत को स्थिर मानती हैं या केवल फीडबैक तंत्र पर ध्यान केंद्रित करती हैं, न कि अंतर्निहित 'वैल्यू रिप्रेजेंटेशन' पर।

कार्यप्रणाली (Methodology)

थ्योरी ऑफ माइंड (ToM) से प्रेरित होकर, लेखक सिद्धांत सूचियों के एक संक्षिप्त विकल्प के रूप में रोल कंडीशनिंग (Role Conditioning) का प्रस्ताव करते हैं। मुख्य परिकल्पना यह है कि सामाजिक भूमिकाएँ (जैसे, "माता", "न्यायाधीश", "प्रिंसिपल") अंतर्निहित रूप से प्रासंगिक मूल्यों (जैसे, देखभाल, निष्पक्षता) और उन्हें संदर्भ में लागू करने के लिए आवश्यक संज्ञानात्मक स्कीमा (cognitive schemas) को समाहित करती हैं।

सैद्धांतिक सूत्रीकरण (Theoretical Formulation)

लेखक संदर्भ $x$ में एक संरेखित प्रतिक्रिया $y^*$ को मूल्यों ($v^*$) और प्रासंगिक संज्ञान ($c^*$) के फलन (function) के रूप में औपचारिक रूप देते हैं।

• सिद्धांत-आधारित विधियों को $P(y|x, v_p)$ के रूप रूप में मॉडल किया गया है, जहाँ $v_p$ सिद्धांतों का एक निश्चित सेट है। इनमें संज्ञान घटक ($c_{dummy}$) का अभाव है।
• भूमिका-आधारित विधियों को $P(y|x, r) = P(y|x, v^r_i, c^r_i)$ के रूप में मॉडल किया गया है, जहाँ भूमिका $r$ मूल्यों और संदर्भ-संवेदनशील संज्ञान दोनों को प्रेरित करती है।
  शोध पत्र एक औपचारिक प्रमाण प्रदान करता है कि, आदर्श स्थिति में, रोल कंडीशनिंग सिद्धांतों की निश्चित सूचियों पर पूर्णतः हावी (strictly dominate) है क्योंकि यह मूल्यों और संज्ञान दोनों के गुप्त चरों (latent variables) को एक साथ कैप्चर करती है।

पाइपलाइन आर्किटेक्चर

लेखक एक ट्रेनिंग-फ्री पाइपलाइन पेश करते हैं जिसमें दो मुख्य घटक शामिल हैं, जिन्हें सिस्टम प्रॉम्प्ट्स के माध्यम से कार्यान्वित किया गया है:

1. रोल-कंडीशन्ड जनरेटर (Role-Conditioned Generator): एक हल्का स्पेसिफिकेशन भूमिकाएँ (जैसे, "आप एक सहायक सहायक हैं, लेकिन साथ ही एक माँ और एक प्रिंसिपल भी हैं") निर्दिष्ट करता है ताकि प्रारंभिक पीढ़ी को निर्देशित किया जा सके।
2. पुनरावृत्ति आधारित भूमिका-आधारित आलोचक (Iterative Role-Based Critics): आलोचकों का एक छोटा समूह, जिनमें से प्रत्येक एक विशिष्ट भूमिका अपनाता है, जनरेटर के आउटपुट का मूल्यांकन करता है।
   • यदि कोई आलोचक आउटपुट को अस्वीकार करता है, तो वह रचनात्मक फीडबैक प्रदान करता है।
   • जनरेटर इस फीडबैक के आधार पर प्रतिक्रिया को बार-बार परिष्कृत (refine) करता है।
   • यह प्रक्रिया तब तक चलती है जब तक कि सभी आलोचक आउटपुट को मंजूरी नहीं दे देते या अधिकतम पुनरावृत्ति सीमा तक नहीं पहुँच जाते।

सिस्टम जानबूझकर न्यूनतम प्रॉम्प्ट्स (केवल भूमिका के नाम) का उपयोग करता है ताकि रोल असाइनमेंट के प्रभाव को अलग किया जा सके, जिससे जटिल प्रॉम्प्ट इंजीनियरिंग से बचा जा सके।

मुख्य योगदान

1. सूत्रीकरण (Formulation): थ्योरी ऑफ माइंड पर आधारित एक भूमिका-आधारित संरेखण दृष्टिकोण, जिसमें एक औपचारिक प्रमाण शामिल है कि रोल कंडीशनिंग सिद्धांतों की स्थिर सूचियों पर हावी है क्योंकि यह मूल्यों और संदर्भ-संवेदनशील संज्ञान को संयुक्त रूप से प्रेरित करती है।
2. विधि (Method): एक सरल, व्याख्या योग्य और ट्रेनिंग-फ्री पाइपलाइन जो रोल-कंडीशन्ड जनरेशन को पुनरावृत्ति आधारित भूमिका-आधारित आलोचकों के साथ जोड़ती है।
3. साक्ष्य (Evidence): कई मॉडल परिवारों और सुरक्षा बेंचमार्क पर स्टेट-ऑफ-द-आर्ट परिणाम प्रदर्शित करने वाले व्यापक प्रयोग, जो भूमिका चयन, पुनरावृत्ति गणना और अन्य विधियों के साथ तालमेल पर एब्लेशन अध्ययन द्वारा समर्थित हैं।

प्रयोगात्मक परिणाम

इस दृष्टिकोण का मूल्यांकन पाँच मॉडल परिवारों (Qwen3-8B, Gemma3-12B-IT, DeepSeek-V3, Gemini-2.5-Flash, Qwen3-235B) और कई बेंचमार्क (WildJailbreak, SaladBench, SafeEdit, GMSDanger, HarmfulQA) में किया गया।

• प्रदर्शन: रोल-कंडीशन्ड दृष्टिकोण जिसमें पुनरावृत्ति आधारित आलोचक शामिल थे, ने लगातार सिद्धांत-आधारित, Chain-of-Thought (CoT), और हाइब्रिड बेसलाइन्स को पछाड़ दिया।
  • DeepSeek-V3: WildJailbreak बेंचमार्क पर असुरक्षित आउटपुट को 81.4% से घटाकर 3.6% कर दिया।
  • Gemma3-12B-IT: असुरक्षित जनरेशन को 78.4% से घटाकर 11% कर दिया।
  • Qwen3-8B: SafeEdit पर महत्वपूर्ण सुधार प्राप्त किए, जिसमें सर्वश्रेष्ठ भूमिका संयोजन ("mother" + "principal") ने उच्च सुरक्षा स्कोर प्राप्त किया।
• एब्लेशन अध्ययन (Ablation Studies):
  • भूमिका विशिष्टता (Role Specificity): मूर्त संरक्षक भूमिकाओं (जैसे, "mother") ने अमूर्त भूमिकाओं (जैसे, "parent") की तुलना में बेहतर प्रदर्शन किया।
  • पुनरावृत्ति (Iterations): सबसे महत्वपूर्ण प्रदर्शन लाभ पहले रिफाइनमेंट राउंड में हुए, तीसरे इटरेशन के बाद प्रतिफल (returns) कम होने लगे।
  • भूमिका संख्या (Role Count): भूमिकाओं की संख्या बढ़ाने से प्रदर्शन निरंतर बढ़ा, लेकिन दो भूमिकाओं के बाद इसमें मामूली वृद्धि देखी गई।
• सामान्यीकरण (Generalizability):
  • एजेंटिक सुरक्षा (Agentic Safety): रोल कंडीशनिंग का उपयोग करके एजेंट परिदृश्यों में AI ब्लैकमेल दरों को कम किया गया (पारलौकिक संबंध परिदृश्य में 65% से 11% और रिश्वतखोरी परिदृश्य में 36% से 8%)।
  • तालमेल (Synergy): रोल-आधारित विधि को मौजूदा बेसलाइन्स (Principle, CoT, URIAL) के साथ मिलाने से और अधिक सुधार हुआ, जो अक्सर व्यक्तिगत बेसलाइन या रोल विधि के प्रदर्शन से भी बेहतर था।
• डायनेमिक रीराइटिंग (Dynamic Rewriting): एक खोजपूर्ण प्रयोग ने दिखाया कि प्रति क्वेरी भूमिका विवरण को गतिशील रूप से फिर से लिखने से प्रदर्शन में और सुधार हुआ (जैसे, Qwen3-8B पर +3.5%)।

महत्व और दावे

शोध पत्र का दावा है कि सरल भूमिका असाइनमेंट AI संरेखण और LLM-as-a-Judge निर्माण के लिए एक अत्यंत प्रभावी प्रतिमान (paradigm) है। सामाजिक भूमिकाओं के अंतर्निहित संज्ञानात्मक स्कीमा का लाभ उठाकर, यह विधि प्राप्त करती है:

• संदर्भ संवेदनशीलता (Context Sensitivity): यह स्पष्ट गणना के बिना विशिष्ट परिदृश्यों के अनुकूल मूल्यों को अनुकूलित करती है।
• व्याख्यात्मकता (Interpretability): तंत्र पारदर्शी है, जो अस्पष्ट रिवॉर्ड मॉडल्स के बजाय पहचानने योग्य सामाजिक भूमिकाओं पर निर्भर करता है।
• दक्षता (Efficiency): इसके लिए किसी अतिरिक्त ट्रेनिंग की आवश्यकता नहीं है, यह पूरी तरह से टेस्ट-टाइम पर संचालित होता है।

लेखक इस कार्य को एक आधारभूत कदम के रूप में देखते हैं, यह सुझाव देते हुए कि भूमिका-आधारित संरेखण पारंपरिक सिद्धांत-आधारित विधियों के लिए एक अधिक मजबूत और स्केलेबल विकल्प प्रदान करता है, विशेष रूप से जटिल सुरक्षा कार्यों के लिए जहाँ संदर्भ व्याख्या महत्वपूर्ण है।

सीमाएँ

लेखक स्वीकार करते हैं कि एक प्रॉम्प्ट-आधारित दृष्टिकोण के रूप में, यह विधि अंतर्निहित बेस मॉडल की तर्क क्षमताओं और प्रॉम्प्ट इंजीनियरिंग की बारीकियों से सीमित है। कमजोर मॉडल्स के साथ प्रदर्शन घट जाता है। इसके अतिरिक्त, वर्तमान LLM सीमाओं के कारण लंबे-संदर्भ (long-context) इंटरैक्शन में भूमिका-आधारित संरेखण की प्रभावशीलता एक खुला प्रश्न बना हुआ है। यह कार्य पूर्ण अनुकूलन के बजाय इस प्रतिमान की प्रभावकारिता स्थापित करने पर केंद्रित है, जिससे भूमिका उम्मीदवार जनरेशन और चयन जैसे मॉड्यूल भविष्य के सुधार के लिए खुले रहते हैं।