तकनीकी सारांश: REFLECTOR

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) ने तर्क (reasoning) और कोडिंग में महत्वपूर्ण सफलताएँ हासिल की हैं, लेकिन वे परिष्कृत परोक्ष जेलब्रेक हमलों (indirect jailbreak attacks) के प्रति संवेदनशील बने हुए हैं। प्रत्यक्ष हमलों के विपरीत, जो तत्काल असुरक्षित आउटपुट को ट्रिगर करते हैं, परोक्ष हमले (जैसे, DRA, PAP, DrAttack) हानिकारक इरादों को प्रतीत होने वाले हानिरहित, बहु-चरणीय तर्क कार्यों के भीतर समाहित कर देते हैं। जैसा कि पेपर में दर्शाया गया है, ये हमले "गुप्त विलंबता" (stealthy latency) प्रदर्शित करते हैं, जहाँ हानिकारक सामग्री 20+ टोकन के बाद उभरती है, जिससे पारंपरिक सतही सुरक्षा संरेखण (safety alignment) बच निकलती है जो आमतौर पर शुरुआती रिस्पॉन्स प्रीफिक्स में हानिकारक इरादे का पता लगाने पर निर्भर करता है।

वर्तमान संरेखण रणनीतियाँ, जैसे कि ह्यूमन फीडबैक से सुदृढीकरण सीखना (RLHF) और डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन (DPO), अक्सर "द्वारपाल" (gatekeepers) के रूप में कार्य करती हैं जो जनरेशन की शुरुआत में ही हानिकारक इनपुट को अस्वीकार कर देती हैं। हालाँकि, वे तर्क पथ (reasoning trajectory) स्वयं को सुरक्षित करने में विफल रहती हैं। जब हमलावर तर्क प्रक्रिया की संरचना को नियंत्रित करता है, तो मॉडल को स्वायत्त रूप से हानिकारक सामग्री उत्पन्न करने के लिए मजबूर किया जा सकता है, जिससे उसका अपना विचार-विमर्श (deliberation) ही हथियार बन जाता है। मौजूदा विधियाँ जैसे कि शैलो एलाइनमेंट (Shallow Alignment) या STAIR (जो चेन-ऑफ-थॉट के माध्यम से सुरक्षित तर्क लागू करता है) अपर्याप्त हैं क्योंकि वे मॉडल के भीतर जनरेशन के दौरान गतिशील रूप से असुरक्षित तर्क अवस्थाओं का पता लगाने और उन्हें सुधारने के तंत्र को आंतरिक रूप से स्थापित नहीं करती हैं।

2. कार्यप्रणाली: REFLECTOR फ्रेमवर्क (Methodology: The REFLECTOR Framework)

लेखक REFLECTOR का प्रस्ताव करते हैं, जो एक सिद्धांत आधारित दो-चरणीय फ्रेमवर्क है जिसे मॉडल की जनरेशन पॉलिसी में चरण-वार आत्म-चिंतन (step-wise self-reflection) को सीधे आंतरिक बनाने के लिए डिज़ाइन किया गया है। मुख्य उद्देश्य सुरक्षा संरेखण को एक स्थिर प्रीफिक्स बाधा से बदलकर एक गतिशील, प्रक्षेपवक्र-स्तरीय (trajectory-level) गुण बनाना है जहाँ मॉडल निरंतर अपने स्वयं के तर्क चरणों की निगरानी करता है।

चरण I: सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) के माध्यम से प्रतिबिंब क्षमता का इंजेक्शन (Reflection Capability Injection via SFT)

लेखक "कोल्ड-स्टार्ट" समस्या को संबोधित करते हैं, जहाँ प्री-ट्रेन्ड मॉडल्स में आत्म-चिंतन करने के लिए अंतर्निहित इंडक्टिव बायस (inductive bias) की कमी होती है।

• शिक्षक-निर्देशित डेटा संश्लेषण (Teacher-Guided Data Synthesis): एक उच्च-क्षमता वाले शिक्षक मॉडल (GPT-5) का उपयोग उच्च-गुणवत्ता वाले रिफ्लेक्शन प्रक्षेपवक्र उत्पन्न करने के लिए किया जाता है। एक दिए गए परोक्ष जेलब्रेक क्वेरी के लिए, शिक्षक एक "खोज-और-रिकवरी" (search-and-recovery) प्रक्रिया का अनुकरण करता है:
  1. ट्रंकेशन (Truncation): एक सुरक्षित प्रीफिक्स बनाया जाता है और फिर उसे एक यादृच्छिक चरण पर काट दिया जाता है।
  2. संरचित प्रतिबिंब (Structured Reflection): शिक्षक एक रिफ्लेक्शन सेगमेंट ($z$) उत्पन्न करता है जिसमें नैतिक उल्लंघन की पहचान करने वाला स्पष्ट आत्म-आलोचना (<|reflect|>) और एक सुरक्षित वैकल्पिक पथ प्रस्तावित करने वाला अन्वेषण सेगमेंट (<|explore|>) शामिल होता है।
  3. सुरक्षित निरंतरता (Safe Continuation): शिक्षक प्रतिबिंब के आधार पर एक सुरक्षित निरंतरता ($y_{after}$) उत्पन्न करता है।
• डेटासेट निर्माण: ये सिंथेसाइज्ड प्रक्षेपवक्य डेटासेट $D_R$ बनाते हैं, जिसका उपयोग लक्षित पॉलिसी ($\pi_\theta$) को सुपरवाइज्ड फाइन-ट्यून (SFT) करने के लिए किया जाता है। यह चरण संरचनात्मक इंडक्टिव बायस स्थापित करता है, जो मॉडल को प्रभावी आत्म-चिंतन के प्रारूप और समय को सिखाता है।

चरण II: Reinforcement Learning (RL) के माध्यम से द्वैत-पुरस्कार वृद्धि (Dual-Reward Enhancement via RL)

इस चरण में, मॉडल यह सीखने के लिए स्वायत्त रूप से निर्धारित करता है कि बिना किसी स्पष्ट शिक्षक मार्गदर्शन के कब और कैसे प्रतिबिंबित करना है, जिससे सुरक्षा और तर्क की गुणवत्ता दोनों के लिए अनुकूलन (optimize) किया जा सके।

• एल्गोरिदम: फ्रेमवर्क GDPO (Group reward-Decoupled Normalization Policy Optimization) का उपयोग करता है, जो मल्टी-रिवॉर्ड सेटिंग्स के लिए डिज़ाइन किया गया GRPO का एक संस्करण है।
• द्वैत-पुरस्कार तंत्र (Dual-Reward Mechanism): एक प्रक्षेपवक्य के लिए कुल पुरस्कार $r(\tau)$ को दो घटकों में विभाजित किया गया है:
  1. सुरक्षा पुरस्कार ($r_{safety}$): एक बाइनरी सिग्नल (0 या 1) जो एक हाइब्रिड कंसेंसस मैकेनिज्म ($HarmCLS$) द्वारा निर्धारित होता है, जिसमें एक डिस्क्रिमिनेटिव क्लासिफायर (HarmBench) और एक जेनेरेटिव सेफ्टी डिटेक्टर (GPT-OSS-120B) का संयोजन होता है। यह अंतिम आउटपुट के कठोर मूल्यांकन को सुनिश्चित करता है।
  2. प्रतिबिंब पुरस्कार ($r_{reflect}$): एक सूक्ष्म (fine-grained) बोनस/पेनल्टी सिस्टम। यदि मॉडल प्रतिबिंब में संलग्न होता है और एक हानिरहित आउटपुट उत्पन्न करता है, तो उसे सकारात्मक पुरस्कार ($+\lambda$) मिलता है। यदि वह प्रतिबिंब करता है लेकिन फिर भी हानिकारक सामग्री आउटपुट करता है, तो उसे नकारात्मक पुरस्कार ($-\lambda$) मिलता है, और यदि कोई प्रतिबिंब नहीं होता है तो शून्य मिलता है।
• अनुकूलन (Optimization): ग्रुप-रिलेटिव एडवांटेज को अधिकतम करके, मॉडल को "खोज-और-रिकवरी" तंत्र को आंतरिक करने के लिए प्रोत्साहित किया जाता है, जिससे वह किसी भी चरण $y_t$ पर गुप्त जोखिमों को रोकने और एक सुरक्षित रिफ्यूज़ल स्टेट में संक्रमण करने के लिए सीखता है।

3. प्रमुख योगदान (Key Contributions)

1. प्रक्षेपवक्र-स्तरीय सुरक्षा सूत्रीकरण (Trajectory-Level Safety Formulation): यह पेपर सुरक्षा संरेखण को एक स्थिर प्रीफिक्स बाधा के बजाय जनरेशन प्रक्षेपवक्य के एक चरण-वार गुण के रूप में पुनर्व्याख्या करता है, जो परोक्ष जेलब्रेक की विशिष्ट भेद्यता को संबोधित करता है।
2. दो-चरणीय प्रशिक्षण प्रतिमान (Two-Stage Training Paradigm): REFLECTOR एक नवीन पाइपलाइन पेश करता है जो प्रतिबिंब क्षमताओं को बूटस्ट्रैप करने के लिए शिक्षक-निर्देशित SFT को स्वायत्त आत्म-सुधार को आंतरिक करने के लिए RL के साथ जोड़ता है।
3. द्वैत-पुरस्कार तंत्र (Dual-Reward Mechanism): एक रिवॉर्ड फंक्शन का डिज़ाइन जो स्पष्ट रूप से अंतिम आउटपुट सुरक्षा और प्रतिबिंब की प्रक्रिया को अलग करता है और अनुकूलित करता है, यह सुनिश्चित करता है कि मॉडल केवल मना करना ही नहीं, बल्कि सुरक्षित रूप से तर्क करना भी सीखे।
4. एलाइनमेंट टैक्स को तोड़ना (Breaking the Alignment Tax): फ्रेमवर्क यह प्रदर्शित करता है कि सुरक्षा तर्क को शामिल करने से सामान्य कार्य प्रदर्शन को कम करने के बजाय बढ़ाया जा सकता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने LLaMA-3.1-8B-Instruct और Qwen-2.5-7B-Instruct को विभिन्न बेंचमार्क पर व्यापक सूट के विरुद्ध मूल्यांकित किया।

• डिफेंस सक्सेस रेट (DSR): REFLECTOR ने विविध परोक्ष हमलों (DRA, PAP, ReNeLLM, DrAttack) के खिलाफ 90% से अधिक DSR प्राप्त किया, जो SFT, DPO और STAIR जैसे बेसलाइन्स से काफी बेहतर है। उदाहरण के लिए, DRA बेंचमार्क पर, LLaMA-3.1-8B पर रक्षा दर ~10% (Original) से बढ़कर 92.31% (REFLECTOR + GDPO) हो गई।
• सामान्य उपयोगिता (General Utility): विशिष्ट "एलाइनमेंट टैक्स" के विपरीत, REFLECTOR ने सामान्य तर्क क्षमताओं में सुधार किया। इसने GSM8K गणितीय तर्क बेंचमार्क पर 5.85% की वृद्धि दी और MMLU-Pro (45.20%) और AdvGLUE (68.29%) पर नए प्रदर्शन शिखर स्थापित किए।
• मजबूती (Robustness): मॉडल ने स्पष्ट रूप से हानिकारक प्रश्नों (StrongREJECT, XSTest) के लिए उच्च प्रदर्शन बनाए रखा और प्रत्यक्ष जेलब्रेक (AutoDAN, GCG) के खिलाफ लचीलापन दिखाया।
• दक्षता (Efficiency): हालांकि SFT चरण ने स्पष्ट प्रतिबिंब के कारण शुरू में टोकन जनरेशन को बढ़ा दिया, RL चरण ने प्रक्रिया को सफलतापूर्वक आंतरिक कर लिया, जिससे इन्फरेंस ओवरहेड को बेसलाइन स्तरों के करीब लाया गया (जैसे, StrongREJECT पर मूल मॉडल के 7.28 के मुकाबले 8.03 चरण)।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि REFLECTOR सतही-स्तर के संरेखण से आगे बढ़कर सुरक्षित और सक्षम LLMs विकसित करने के लिए एक स्केलेबल और कुशल समाधान प्रदान करता है। इसका प्राथमिक महत्व निम्नलिखित में निहित है:

• सुरक्षा को आंतरिक बनाना (Internalizing Safety): यह रक्षा प्रतिमान को बाहरी गार्डरेल्स से बदलकर आंतरिक, प्रक्षेपवक्र-स्तरीय आत्म-चिंतन में बदल देता है, जिससे उस अंतर को प्रभावी ढंग से भरा जाता है जहाँ परोक्ष हमले मॉडल की तर्क प्रक्रिया का फायदा उठाते हैं।
• बुद्धिमत्ता और सुरक्षा का तालमेल (Synergy of Safety and Intelligence): इसके परिणाम इस धारणा को चुनौती देते हैं कि सुरक्षा और उपयोगिता परस्पर अनन्य (mutually exclusive) हैं, यह सुझाव देते हैं कि मजबूत आत्म-चिंतन तंत्र एक सामान्य तर्क संवर्धक (reasoning enhancer) के रूप में कार्य कर सकते हैं।
• स्केलेबिलिटी (Scalability): विशाल मानव-क्यूरेटेड डेटासेट के बजाय स्वचालित शिक्षक मार्गदर्शन और रिवॉर्ड मॉडल्स पर भरोसा करके, फ्रेमवर्क को अगली पीढ़ी के संरेखित मॉडल्स के लिए एक व्यवहार्य मार्ग के रूप में प्रस्तुत किया गया है।

लेखक निष्कर्ष निकालते हैं कि न्यूनतम कंप्यूटेशनल ओवरहेड के साथ एक "ऑलवेज-ऑन" (always-on) रक्षा को सक्षम करके, REFLECTOR बड़े भाषा मॉडलों में भ्रामक और गुप्त जोखिमों को कम करने के लिए एक सिद्धांत आधारित ढांचा प्रदान करता है।