तकनीकी सारांश: BSO: सुरक्षा संरेखण घनत्व अनुपात मिलान (Density Ratio Matching) है

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) का संरेखण (alignment) उपयोगिता (निर्देशों का पालन करना) और सुरक्षा (हानिकारक सामग्री से बचना) के बीच एक मौलिक तनाव का सामना करता है। इस तनाव को हल करने वाले मौजूदा दृष्टिकोण आम तौर पर दो श्रेणियों में आते हैं, जिनमें से दोनों के महत्वपूर्ण दोष हैं:

1. प्रतिबंधित अनुकूलन (जैसे, Safe RLHF): ये विधियाँ सुरक्षा को लैग्रेंजियन फ्रेमवर्क (Lagrangian framework) में एक बाधा के रूप में तैयार करती हैं, जिसके लिए अलग रिवॉर्ड और कॉस्ट मॉडल, ऑनलाइन सुदृढीकरण शिक्षण (Reinforcement Learning - RL), और प्राइमल-डुअल अपडेट की आवश्यकता होती है। हालांकि यह सिद्धांततः सही है, लेकिन यह पाइपलाइन जटिल, गणनात्मक रूप से महंगी है, और कई प्रशिक्षण चरणों में अस्थिरता पैदा करती है।
2. डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन (DPO) विस्तार: SACPO, CDPO और SafeDPO जैसी विधियाँ ऑनलाइन RL को हटाकर प्रशिक्षण को सरल बनाने का प्रयास करती हैं। हालाँकि, वे अक्सर सुरक्षा को शामिल करने के लिए तदर्थ संशोधनों (ad-hoc modifications) पर निर्भर करती हैं, जैसे कि बहु-चरणीय अनुक्रमिक प्रशिक्षण, सहायक मॉडल, या लॉस फंक्शन में बिना किसी एकीकृत सैद्धांतिक व्युत्पत्ति के हेयुरिस्टिक मार्जिन टर्म जोड़ना।

क्षेत्र में एक ऐसे सैद्धांतिक ढांचे का अभाव है जो प्रथम सिद्धांतों (first principles) से सुरक्षा-जागरूक प्रेफरेंस ऑप्टिमाइजेशन को व्यवस्थित रूप से व्युत्पन्न कर सके, यह समझा सके कि मौजूदा हेयुरिस्टिक्स क्यों काम करते हैं और सिद्धांततः बेहतर विकल्पों का सुझाव दे सके।

कार्यप्रणाली: ब्रेगमैन सेफ्टी ऑप्टिमाइजेशन (BSO)

लेखक ब्रेगमैन सेफ्टी ऑप्टिमाइजेशन (BSO) प्रस्तावित करते हैं, जो एक एकीकृत ढांचा है जो सुरक्षा संरेखण को घनत्व अनुपात मिलान (density ratio matching) समस्या के रूप में पुनर्गठित करता है।

1. सैद्धांतिक आधार

मुख्य अंतर्दृष्टि इष्टतम सुरक्षित नीति ($\pi^*_{safe}$) के लाइकलीहुड अनुपात का संरचनात्मक अपघटन (structural decomposition) है। लेखक एक क्लोज्ड-फॉर्म संबंध (प्रपोजिशन 1) व्युत्पन्न करते हैं जो यह दर्शाता है कि एक पसंदीदा प्रतिक्रिया ($y_w$) बनाम एक नापसंद प्रतिक्रिया ($y_l$) के लिए इष्टतम सुरक्षित नीति का अनुपात तीन कारकों द्वारा निर्धारित होता है:

• संदर्भ मॉडल अनुपात ($\pi_{ref}$)।
• उपयोगिता प्राथमिकता अनुपात (Bradley-Terry मॉडल से व्युत्पन्न)।
• बाइनरी सुरक्षा लेबल ($s_w, s_l$) और दंड स्थिरांक $C$ पर आधारित एक सुरक्षा सुधार शब्द (safety correction term)।

विशेष रूप से, इष्टतम अनुपात है:
$$\frac{\pi^*_{safe}(y_w | x)}{\pi^*_{safe}(y_l | x)} = \frac{\pi_{ref}(y_w | x)}{\pi_{ref}(y_l | x)} \cdot \left( \frac{p_{help}(y_w \succ y_l | x)}{p_{help}(y_w \prec y_l | x)} \right)^{1/\beta} \cdot e^{-C(s_w - s_l)/\beta}$$

यह अपघटन बताता है कि सुरक्षा संरेखण इन घटकों से प्राप्त 'टारगेट डेटा अनुपात' के साथ मॉडल के लाइकलीहुड अनुपात को मिलाकर प्राप्त किया जा सकता है।

2. BSO फ्रेमवर्क

BSO टारगेट डेटा अनुपात ($R_{data}$) और मॉडल अनुपात ($R_\theta$) के बीच ब्रेगमैन डायवर्जेंस (Bregman divergence) को कम करता है।

• लॉस फंक्शन: ब्रेगमैन डायवर्जेंस $D_h(R_{data} \| R_\theta)$ को कम करके, लेखक एक सुलभ एकल-चरण लॉस फंक्शन $L^{BSO}_h$ व्युत्पन्न करते हैं।
• सामान्यता (Generality): यह ढांचा एक स्ट्रिक्टली कॉनवेक्स जनरेटर फंक्शन $h$ द्वारा पैरामीटराइज्ड है। विभिन्न $h$ के चयन से अलग-अलग प्रशिक्षण एल्गोरिदम प्राप्त होते हैं, जो पर्याप्त मॉडल क्षमता के तहत इष्टतम सुरक्षित नीति की ओर प्रमाणित रूप से अभिसरित (converge) होते हैं।
• SafeDPO की रिकवरी: लेखक प्रदर्शित करते हैं कि SafeDPO, BSO का एक विशेष मामला है जहाँ जनरेटर लॉजिस्टिक रिग्रेशन के अनुरूप है। महत्वपूर्ण रूप से, यह व्युत्पत्ति दिखाती है कि SafeDPO का "सेफ्टी मार्जिन" एक हेयुरिस्टिक जोड़ नहीं है, बल्कि सुरक्षा-दंडित रिवॉर्ड संरचना से स्वाभाविक रूप से उत्पन्न होता है।

3. व्यावहारिक प्रशिक्षण रणनीतियाँ

बड़े सुरक्षा दंडों ($C$) के कारण होने वाली संख्यात्मक अस्थिरता (numerical instability) को संबोधित करने के लिए, लेखक एक डेटा ट्रांसफॉर्मेशन रणनीति प्रस्तावित करते हैं:

• स्वैप (Swap): यदि पसंदीदा प्रतिक्रिया असुरक्षित है और नापसंद प्रतिक्रिया सुरक्षित है, तो लेबल बदल दें।
• ड्रॉप (Drop): यदि दोनों प्रतिक्रियाएं असुरक्षित हैं, तो जोड़ी को हटा दें।
  यह रूपांतरण प्रभावी रूप से उस प्राथमिकता उलटाव (preference reversal) को लागू करता है जो एक बड़े $C$ के लिए आवश्यक है, बिना लॉस फंक्शन में अस्थिर घातीय (exponential) पदों को पेश किए, जिससे एक मध्यम, संख्यात्मक रूप से स्थिर $C$ के साथ प्रशिक्षण संभव होता है।

4. जनरेटर डिज़ाइन (SBA)

लेखक विभिन्न जनरेटरों के ग्रेडिएंट वेटिंग व्यवहार का विश्लेषण करते हैं। वे पहचानते हैं कि एक आदर्श सुरक्षा-जागरूक जनरेटर को चाहिए:

1. सुसंगत जोड़ों (concordant pairs - जहाँ सुरक्षा लेबल मेल खाते हैं) के लिए स्थिर भार बनाए रखना।
2. सुरक्षित-विजेता जोड़ों (safe-winner pairs - जहाँ सुरक्षित प्रतिक्रिया पसंदीदा है) के लिए भार को बढ़ाना।

वे डिफॉल्ट विकल्प के रूप में स्केल्ड बसुज़ पावर डायवर्जेंस (SBA) जनरेटर प्रस्तावित करते हैं। अन्य जनरेटरों (जैसे लॉजिस्टिक या KLIEP) के विपरीत, SBA बेसलाइन वेट को एम्प्लीफिकेशन रेट से अलग करता है, जिससे मॉडल को बेसलाइन उपयोगिता सिग्नल को विकृत किए बिना सुरक्षा-विरोधी जोड़ों पर जोर देने की अनुमति मिलती है।

मुख्य योगदान

1. एकीकृत ढांचा: BSO ब्रेगमैन डायवर्जेंस के तहत घनत्व अनुपात मिलान पर आधारित सुरक्षा-जागरूक प्रेफरेंस ऑप्टिमाइजेशन के लिए पहला एकीकृत, सिद्धांततः आधारित ढांचा प्रदान करता है।
2. सैद्धांतिक गारंटी: ढांचा सिद्ध करता है कि व्युत्पन्न अनुपातों के बीच ब्रेगमैन डायवर्जेंस को कम करने से इष्टतम सुरक्षित नीति प्राप्त होती है।
3. सरलता और दक्षता: BSO के लिए कोई सहायक रिवॉर्ड या कॉस्ट मॉडल की आवश्यकता नहीं है और यह एक एकल प्रशिक्षण चरण में संचालित होता है। यह मानक DPO के अलावा केवल एक हाइपरपैरामीटर (जनरेटर का चुनाव या उसका स्केलिंग पैरामीटर) पेश करता है।
4. मौजूदा विधियों का एकीकरण: यह ढांचा मौजूदा विधियों जैसे SafeDPO को विशेष मामलों के रूप में सिद्धांततः रिकवर करता है, और अनुपात मिलान के लेंस के माध्यम से उनके तंत्र को समझाता है।
5. अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोग दिखाते हैं कि BSO, विशेष रूप से SBA जनरेटर के साथ, विभिन्न मॉडल बैकबोन (Qwen 2.5 0.5B और Llama 3.2 3B) पर बेसलाइन्स (SafeRLHF, SACPO, SafeDPO) की तुलना में उपयोगिता और सुरक्षा के बीच एक बेहतर पारेटो ट्रेड-ऑफ (Pareto trade-off) प्राप्त करता है।

प्रयोगात्मक परिणाम

• सुरक्षा-उपयोगिता ट्रेड-ऑफ: PKU-SafeRLHF-30K बेंचमार्क पर, BSO लगातार सुरक्षा-उपयोगिता फ्रंटियर को बाहर की ओर धकेलता है। यह उपयोगिता का त्याग किए बिना सुरक्षा मेट्रिक्स (हारmlessness ratio) में सुधार करता है, और कई मामलों में, दोनों को एक साथ बेहतर बनाता है।
• एब्लेशन अध्ययन (Ablation Studies):
  • सुरक्षा दंड ($C$): लेखक $C$ के लिए एक "मध्यम शासन" (moderate regime) पाते हैं। यदि $C$ बहुत छोटा है, तो सुरक्षा अपर्याप्त है; यदि बहुत बड़ा है, तो यह उपयोगिता सिग्नल को दबा देता है, जिससे प्रदर्शन खराब हो जाता है।
  • एम्प्लीफिकेशन पैरामीटर ($\lambda$): SBA जनरेटर के लिए, हल्का एम्प्लीफिकेशन ($\lambda \approx 0.2$) सर्वोत्तम संयुक्त प्रदर्शन देता है। आक्रामक एम्प्लीफिकेशन ($\lambda \ge 0.6$) अनुकूलन को अस्थिर कर देता है, जो सुझाव देता है कि हालांकि सुरक्षा-विरोधी जोड़ों पर जोर देने की आवश्यकता है, फिर भी उपयोगिता को स्थिर करने के लिए सुसंगत जोड़े महत्वपूर्ण बने रहते हैं।
• मॉडल मूल्यांकन: परिणाम दोनों मॉडल-आधारित मूल्यांकनों (Beaver-7B रिवॉर्ड/कॉस्ट मॉडल का उपयोग करके) और LLM-आधारित मूल्यांकनों (जज के रूप में DeepSeek-V4 का उपयोग करके) में मान्य हैं।

महत्व और दावे

यह शोध पत्र दावा करता है कि सुरक्षा संरेखण को हेयुरिस्टिक मार्जिन या जटिल बहु-चरणीय प्रक्रियाओं के संग्रह के बजाय एक सिद्धांततः आधारित अनुपात-मिलान समस्या के रूप में माना जाना चाहिए। इष्टतम नीति के संरचनात्मक गुणों से सुरक्षा-जागरूक उद्देश्यों को व्युत्पन्न करके, BSO वर्तमान अत्याधुनिक विधियों के लिए एक सरल, अधिक मजबूत और सिद्धांततः ठोस विकल्प प्रदान करता है। लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण इंजीनियरिंग ओवरहेड को कम करता है (कॉस्ट मॉडल और ऑनलाइन RL की आवश्यकता को हटाकर) और परिणामी नीति के लिए मजबूत सैद्धांतिक गारंटी प्रदान करता है।

लेखक सीमाओं को स्वीकार करते हुए विनम्रतापूर्वक नोट करते हैं कि वर्तमान विश्लेषण बाइनरी सुरक्षा लेबल और पेयरवाइज प्रेफरेंस डेटा तक सीमित है, और विधि का प्रदर्शन अंतर्निहित सुरक्षा संकेतों की गुणवत्ता पर निर्भर करता है।