🤖 AI

Toward Stable Value Alignment: Introducing Independent Modules for Consistent Value Guidance

यह शोध पत्र स्टेबल वैल्यू गाइडेंस ट्रांसफॉर्मर (SVGT) को प्रस्तुत करता है, जो एक नवीन आर्किटेक्चर है जो बैकबोन के आंतरिक निरूपणों (internal representations) को बाधित किए बिना बड़े भाषा मॉडलों को सुसंगत मानवीय मूल्यों के अनुरूप निर्देशित करने के लिए एक स्वतंत्र वैल्यू मॉड्यूल और डायनेमिक ब्रिज टोकन का उपयोग करता है, जिससे प्रवाह को बनाए रखते हुए हानिकारक आउटपुट में 70% से अधिक की कमी आती है।

मूल लेखक: Wenhao Chen, Sirui Sun, Shengyuan Bai, Guojie Song

प्रकाशित 2026-05-13

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Wenhao Chen, Sirui Sun, Shengyuan Bai, Guojie Song

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही प्रतिभाशाली, तेज़ बोलने वाला रोबोट है (एक लार्ज लैंग्वेज मॉडल) जिसने इंटरनेट पर लगभग सब कुछ पढ़ लिया है। यह कहानियाँ लिखने, गणित की समस्याओं को हल करने और बातचीत करने में बहुत माहिर है। लेकिन, क्योंकि इसने पूरे इंटरनेट से सीखा है, इसलिए यह कभी-कभी गलती से बुरी, खतरनाक या पक्षपाती बातें कह देता है।

आप जिस शोध पत्र के बारे में पूछ रहे हैं, जिसका शीर्षक "Toward Stable Value Alignment" है, वह इस रोबोट के व्यवहार को ठीक करने का एक नया तरीका प्रस्तावित करता है, बिना इसके पूरे मस्तिष्क को फिर से लिखे।

यहाँ रोज़मर्रा के उपमाओं (analogies) का उपयोग करके इसका सरल विवरण दिया गया है:

समस्या: एक "चंचल" मस्तिष्क

लेखक तर्क देते हैं कि रोबोट का मस्तिष्क (विशेष रूप से इसका "रेसिड्यूअल स्ट्रीम", जो इसकी आंतरिक कार्यशील स्मृति की तरह है) अत्यधिक गतिशील (dynamic) है।

उपमा: कल्पना कीजिए कि रोबोट का मस्तिष्क एक भीड़भाड़ वाली, शोर-शराबे वाली पार्टी की तरह है। "मूल्य" (जैसे सुरक्षा और दयालुता) एक शांत, नाजुक फुसफुसाहट की तरह हैं जो बातचीत के तेज़ संगीत के ऊपर सुनाई देने की कोशिश कर रहे हैं।
मुद्दा: जब रोबोट को कोई पेचीदा या प्रतिकूल प्रश्न (जैसे कि "जेलब्रेक" करने की कोशिश) मिलता है, तो तेज़ संगीत उस फुसफुसाहट को दबा देता है। रोबोट अपने सुरक्षा नियमों को भूल जाता है और हानिकारक सामग्री बनाने लगता है। मौजूदा तरीके सुरक्षा नियमों को ज़ोर से चिल्लाकर बताने की कोशिश करते हैं, लेकिन वे अक्सर शोर में खो जाते हैं या रोबोट को रोबोटिक और अप्राकृतिक बना देते हैं।

समाधान: एक "स्वतंत्र सुरक्षा कोच"

रोबोट के मस्तिष्क को सीधे ठीक करने के बजाय, लेखकों ने एक अलग, स्वतंत्र मॉड्यूल बनाया है जिसे SVGT (Stable Value Guidance Transformer) कहा जाता है। इसे एक समर्पित सुरक्षा कोच (Safety Coach) के रूप में समझें जो रोबोट के काम करते समय उसके ठीक बगल में खड़ा रहता है।

इस कोच के दो विशेष काम हैं:

1. "शांत कमरा" (स्वतंत्र मूल्य मॉडलिंग)

यह कैसे काम करता है: कोच शोर भरी पार्टी को नहीं सुनता है। इसके बजाय, वे एक शांत, समर्पित कमरे (एक अलग "वैल्यू स्पेस") में बैठते हैं जहाँ वे सुरक्षा नियमों को स्पष्ट रूप से सुन सकते हैं। वे लगातार रोबोट के विचारों की निगरानी करते हैं।
लाभ: क्योंकि यह कमरा बातचीत के शोर से अलग है, कोच कभी भी यह नहीं भूलता कि क्या सुरक्षित है और क्या नहीं, भले ही रोबोट दबाव में हो।

2. "हाथ के संकेत" (ब्रिज टोकन)

कैसे काम करता है: जब कोच देखता है कि रोबोट किसी खतरनाक विचार की ओर बढ़ रहा है, तो वे चिल्लाते नहीं हैं या रोबोट के मस्तिष्क को सीधे रोकने की कोशिश नहीं करते। इसके बजाय, वे रोबोट को एक विशेष, अदृश्य हाथ का संकेत (जिसे "ब्रिज टोकन" कहा जाता है) भेजते हैं।
जादू: ये संकेत एक कोमल धक्के या स्टीयरिंग व्हील की तरह काम करते हैं। वे रोबोट को बताते हैं, "हे, चलो इस बातचीत को वापस एक सुरक्षित रास्ते पर ले चलते हैं।"
यह बेहतर क्यों है: क्योंकि यह संकेत एक स्पष्ट, केंद्रित निर्देश है (जैसे ड्राइवर को रास्ता दिखाने वाला GPS) न कि एक अराजक शोर, इसलिए रोबोट सुरक्षा नियमों का पालन करते हुए भी स्वाभाविक और प्रवाहपूर्ण लग सकता है। यह रोबोट के प्रवाह को नहीं तोड़ता है।

उन्होंने कोच को कैसे प्रशिक्षित किया

लेखकों ने केवल कोच को चालू नहीं किया; उन्होंने उन्हें तीन चरणों में प्रशिक्षित किया:

बुनियादी प्रशिक्षण: कोच को अकेले में बुरे शब्दों को पहचानना सिखाना (जैसे बोतल पर "ज़हर" का लेबल पहचानना)।
संदर्भ प्रशिक्षण: कोच को यह समझने के लिए प्रशिक्षित करना कि स्थिति के आधार पर एक ही शब्द सुरक्षित या खतरनाक हो सकता है (उदाहरण के लिए, "मैं किसी चीज़ को उड़ाना चाहता हूँ" बुरा है, लेकिन "मैं एक गुब्बारा उड़ाना चाहता हूँ" ठीक है)।
मार्गदर्शन प्रशिक्षण: कोच को यह सिखाना कि उन "बुरे" अहसासों को उन विशिष्ट "हाथ के संकेतों" (ब्रिज टोकन) में कैसे अनुवादित किया जाए जिन्हें रोबोट समझता है।

परिणाम

इस शोध पत्र ने कई अलग-अलग रोबोट मॉडलों (छोटे से लेकर बड़े तक) पर इस प्रणाली का परीक्षण किया और पाया:

सुरक्षा: इसने हानिकारक आउटपुट को 70% से अधिक कम कर दिया। रोबोट खतरनाक अनुरोधों को अस्वीकार करने में बहुत बेहतर हो गया।
प्रवाह (Fluency): अन्य तरीकों के विपरीत, जो रोबोट को हकलाने वाला या भ्रमित बना देते थे, इस पद्धति ने रोबोट को सुचारू रूप से बात करने में सक्षम रखा।
स्थिरता: यहाँ तक कि जब रोबोट को पेचीदा सवालों से चकमा दिया गया, तब भी "सुरक्षा कोच" ने वास्तविक समय में उसे सुरक्षित रास्ते पर बनाए रखा।

मुख्य निष्कर्ष

यह शोध पत्र दावा करता है कि एक अलग, स्वतंत्र मॉड्यूल जोड़कर जो एक स्थिर मार्गदर्शक के रूप में कार्य करता है (बजाय रोबोट के आंतरिक मस्तिष्क को फिर से लिखने के), हम AI को उसकी सहायक और स्वाभाविक होने की क्षमता को तोड़े बिना बहुत सुरक्षित बना सकते है। यह एक अराजक ड्राइवर को उसके तंत्रिका तंत्र को फिर से जोड़ने के बजाय, एक विश्वसनीय GPS और एक शांत सह-पायलट देने जैसा है।

तकनीकी सारांश: स्वतंत्र मॉड्यूल के माध्यम से स्थिर मूल्य संरेखण की ओर

1. समस्या विवरण

यह शोध पत्र मानव मूल्यों के साथ लार्ज लैंग्वेज मॉडल्स (LLMs) को संरेखित करने में एक महत्वपूर्ण संरचनात्मक अंतराल की पहचान करता है: स्थिर मूल्य प्रतिनिधित्व (stable value representations) की आवश्यकता और रेसिडुअल स्ट्रीम (residual stream) की अत्यधिक गतिशील प्रकृति के बीच का बेमेल।

गतिशील रेसिडुअल स्ट्रीम: मानक ट्रांसफॉर्मर आर्किटेक्चर में, रेसिडुअल स्ट्रीम उच्च-स्तरीय अवधारणाओं के लिए वितरित प्रतिनिधित्व संरचनाएं बनाता है। हालांकि, ये प्रतिनिधित्व फीचर इंटरैक्शन और नॉनलीनियर ट्रांसफॉर्मेशन द्वारा निरंतर पुनर्गठित होते रहते हैं।
मूल्य संकेतों की नाजुकता: मूल्य-संबंधी प्रतिनिधित्व (जैसे, सुरक्षा, नैतिकता) इस गतिशील स्ट्रीम के भीतर नाजुक, निम्न-आयामी गुण होते हैं। वे निरंतर अभिव्यक्ति के लिए आवश्यक स्थिरता के साथ स्वाभाविक रूप से असंगत हैं।
परिणाम: जब मॉडल नवीन या प्रतिकूल (adversarial) इनपुट का सामना करता है, तो "टास्क नॉइज़" या प्रभावी प्रासंगिक संकेतों के कारण मूल्य-संबंधी प्रतिनिधित्व अप्रत्याशित रूप से बदल सकते हैं। इससे संरेखण विफलताएं होती हैं जहाँ मॉडल हानिकारक या पक्षपाती आउटपुट उत्पन्न करता है, भले ही उसे सुरक्षा डेटा पर प्रशिक्षित किया गया हो। मौजूदा विधियाँ जो सीधे पैरामीटर्स (RLHF, DPO) या हिडन स्टेट्स (इन्फरेंस-टाइम स्टीयरिंग) को संशोधित करती हैं, अक्सर मूल्य प्राथमिकताओं को मॉडल की आंतरिक गतिशीलता से बांध देती हैं, जिससे उनकी मजबूती और सामान्यीकरण सीमित हो जाता है।

2. कार्यप्रणाली: स्टेबल वैल्यू गाइडेंस ट्रांसफॉर्मर (SVGT)

लेखक SVGT का प्रस्ताव करते हैं, जो एक प्लग-एंड-प्ले आर्किटेक्चर है जो बैकबोन LLM की कार्य-संचालित गतिशीलता से मूल्य प्रसंस्करण को अलग करके मॉड्यूलर संरेखण (modular alignment) प्राप्त करता है। बैकबोन के पैरामीटर्स या रेसिडुअल स्ट्रीम को सीधे संशोधित करने के बजाय, SVGT एक स्वतंत्र मॉड्यूल के रूप में कार्य करता है जो "लेटेंट वैल्यू ब्रिज" के माध्यम से जनरेशन को निर्देशित करता है।

मुख्य आर्किटेक्चर

इस प्रणाली में एक फ्रोजन बैकबोन ( $\theta_{LLM}$ ) और एक स्वतंत्र वैल्यू पॉलिसी ( $\pi_\phi$ ) शामिल है जो हिडन स्टेट्स $h$ पर कार्य करती है। जनरेशन की संभावना एक स्पष्ट लेटेंट वैल्यू कॉन्टेक्स्ट $c_v$ पर आधारित होती है:
$P(y_t|y_{<t}, x, c_v)$
जहाँ $c_v$ को ब्रिज टोकन्स (Bridge Tokens) के एक अनुक्रम के रूप में स्थापित किया जाता है।

SVGT मॉड्यूल दो-चरणीय रूपांतरण करता है:

वैल्यू स्पेस कंस्ट्रक्शन (स्वतंत्र मूल्य मॉडलिंग):
- दोहरा एन्कोडिंग (Dual Encoding): मॉड्यूल एक निर्दिष्ट लेयर $l^*$ $l^{*}$ से हिडन स्टेट्स निकालता है और उन्हें दो पथों के माध्यम से संसाधित करता है:
  - अनकंडीशनल पाथवे (Unconditional Pathway): संदर्भ-अपरिवर्तनीय पैटर्न (जैसे, सार्वभौमिक विषाक्तता) की पहचान करता है।
  - कंडीशनल पाथवे (Conditional Pathway): विशिष्ट इनपुट के सापेक्ष मूल्यों की व्याख्या करने के लिए क्रॉस-अटेंशन के माध्यम से प्रॉम्प्ट कॉन्टेक्स्ट को एकीकृत करता है।
- वैल्यू स्टेट ( $z$ ): इन पथों को एक समर्पित वैल्यू स्पेस में एक स्थिर वैल्यू स्टेट $z$ बनाने के लिए एकत्रित किया जाता है जो बैकबोन से अलग है।
- डायरेक्शनल करेक्शन ( $\Delta z$ ): एक डिस्क्रिमिनेटर $D$ , $z$ को एक स्केलर स्कोर असाइन करता है। करेक्शन सिग्नल इस स्कोर के ग्रेडिएंट ( $\Delta z = \nabla_z D(z)$ ) के रूप में प्राप्त किया जाता है, जो टास्क-संचालित ज्यामितीय विकृतियों से अलग, संरेखण के लिए एक स्थिर, मानकीकृत दिशा प्रदान करता है।
लेटेंट वैल्यू ब्रिज (LVB) (स्पष्ट व्यवहारिक मार्गदर्शन):
- ब्रिज टोकन्स ( $B$ ): अमूर्त सुधार $\Delta z$ को $K$ सीखने योग्य ब्रिज टोकन्स में रूपांतरित किया जाता है। ये टोकन्स फ्रोजन बैकबोन के लिए स्पष्ट अटेंशन लक्ष्य के रूप में कार्य करते हैं।
- लेट-बाइंडिंग मैकेनिज्म (Late-Binding Mechanism): टोकन्स को क्रॉस-अटेंशन के माध्यम से कॉन्टेक्स्ट-वैल्यू मैनिफोल्ड (प्रॉम्प्ट के टर्मिनल स्टेट और प्रोजेक्टेड वैल्यू करेक्शन को मिलाकर) से जानकारी प्राप्त करके संश्लेषित किया जाता है।
- डायनेमिक अपडेट्स: जनरेशन के दौरान, ब्रिज टोकन्स को मोमेंटम $\beta$ के साथ एक्सपोनेंशियल मूविंग एवरेज (EMA) का उपयोग करके आवधिक रूप रूप से (प्रत्येक $R$ स्टेप्स पर) अपडेट किया जाता है। यह मार्गदर्शन को विकसित होते सेमेंटिक कॉन्टेक्स्ट के अनुकूल होने और वास्तविक समय में "वैल्यू इनर्शिया" को ठीक करने की अनुमति देता है बिना जेनेरेटिव मैनिफोल्ड को बाधित किए।

प्रशिक्षण पाठ्यक्रम (Training Curriculum)

SVGT एक तीन-चरणीय प्रगतिशील पाठ्यक्रम का पालन करता है:

अनकंडीशनल डिस्क्रिमिनेशन: एक मजबूत, कॉन्टेक्स्ट-मुक्त वैल्यू प्रायर (सार्वभौमिक नुकसान के संकेतों का पता लगाने के लिए) बनाने के लिए स्टैंडअलोन टेक्स्ट पर अनकंडीशनल एनकोडर और डिस्क्रिमिनेटर को प्रशिक्षित करना।
कंडीशनल डिस्क्रिमिनेशन: कॉन्टेक्स्ट-निर्भर संरेखण निर्णयों को संभालने के लिए प्रॉम्प्ट-रिस्पॉन्स पेयर्स पर कंडीशनल पाथवे को प्रशिक्षित करना, जिसमें प्रायर को सुरक्षित रखने के लिए एसिमेट्रिक लर्निंग रेट का उपयोग किया जाता है।
वैल्यू-गाइडेड जनरेशन: लेटेंट वैल्यू ब्रिज (LVB) को अमूर्त सुधारों को क्रियाशील भाषाई मार्गदर्शन में अनुवादित करने के लिए प्रशिक्षित करना। यह चरण क्रॉस-एंट्रॉपी (फ्लुएंसी), सेफ्टी लॉस (सघन टोकन-लेवल सुपरविजन), और मैनिफोल्ड रेगुलराइजेशन (स्थिरता सुनिश्चित करने के लिए) को संयोजित करने वाले मल्टी-ऑब्जेक्टिव लॉस ( $L_{total}$ ) का उपयोग करता है।

3. प्रमुख योगदान

मॉड्यूलर संरेखण: यह शोध पत्र संरेखण को एक जनरेशन-टाइम ऑप्टिमाइजेशन के रूप में संचालित करता है जहाँ एक स्वतंत्र मॉड्यूल सक्रिय रूप से धारणा बनाता है, निर्णय लेता है और जनरेशन को निर्देशित करता है, न कि मूल्यों को अरबों पैरामीटर्स में अंतर्निहित करता है।
SVGT आर्किटेक्चर: एक नवीन आर्किटेक्चर जो ब्रिज टोकन्स के माध्यम से वास्तविक समय में संरेखण संकेतों को लागू करता है। यह डिज़ाइन सुनिश्चित करता है कि वैल्यू सिग्नल मजबूत, व्याख्या योग्य और बैकबोन की आंतरिक गतिशीलता से संरचनात्मक रूप से अलग रहें।
अनुभवजन्य सत्यापन: व्यापक प्रयोग जो प्रदर्शित करते हैं कि SVGT जेनेरेटिव फ्लुएंसी को बनाए रखते हुए हानिकारक स्कोर को काफी कम कर देता है, जो आर्किटेक्चरल रूप से ग्राउंडेड वैल्यू मॉडलिंग की प्रभावकारिता को प्रमाणित करता है।

4. प्रयोगात्मक परिणाम

प्रयोग चार बैकबोन मॉडल्स (GPT-2, Qwen2-1.5B, Llama-3.2-3B, Mistral-7B) और कई सुरक्षा बेंचमार्क (WildGuard, BeaverTails, HarmBench) पर किए गए।

सुरक्षा प्रदर्शन: SVGT आम तौर पर हानिकारक स्कोर को 70% से अधिक कम कर देता है (उदाहरण के लिए, GPT-2 के लिए WildGuardMix पर 89.1% की कमी) और सभी मॉडल स्केल्स पर HarmBench पर अटैक सक्सेस रेट (ASR) को 72–80% तक कम कर देता है।
क्षमता संरक्षण: इन्फरेंस-टाइम स्टीयरिंग विधियों (जैसे, ITI, RE-Control) के विपरीत जो विघटनकारी हिडन-स्टेट हस्तक्षेप के कारण अक्सर पर्प्लेक्सिटी (PPL) बढ़ा देते हैं, SVGT PPL को बेसलाइन के करीब रखता है (और कभी-कभी इसमें सुधार भी करता है)। इसका श्रेय ब्रिज टोकन्स को दखल देने वाले इंजेक्शन के बजाय सेमेंटिक रूप से सुसंगत अटेंशन टारगेट के रूप में कार्य करने को दिया जाता है।
वास्तविक समय सुधार: जनरेशन के दौरान लेटेंट हानिकारक स्कोर के विश्लेषण से पता चलता है कि SVGT प्रक्षेपवक्र (trajectory) को वास्तविक समय में उच्च-जोखिम वाले क्षेत्रों से दूर ले जाता है, जिससे प्रतिकूल प्रॉम्प्ट के कारण होने वाले मिसअलाइनमेंट को ठीक किया जाता है।
दक्षता: यह विधि मध्यम विलंबता ओवरहेड (+52–65%) और नगण्य मेमोरी ओवरहेड (+3%) पेश करती है, जो इसे बैकबोन के माध्यम से पूर्ण बैकप्रोपैगेशन की आवश्यकता वाली विधियों (जैसे, PPLM) की तुलना में अधिक कुशल बनाती है।

5. महत्व और दावे

शोध पत्र का दावा है कि SVGT निरंतर मूल्य मार्गदर्शन के लिए एक मजबूत, आर्किटेक्चरल रूप से ग्राउंडेड दृष्टिकोण प्रदान करता है। इसका महत्व गतिशील रेसिडुअल स्ट्रीम में मूल्य प्रतिनिधित्व की मौलिक अस्थिरता को संबोधित करने में निहित है।

इनर्शिया पर स्थिरता: मूल्य मॉडलिंग को एक स्वतंत्र मॉड्यूल में अलग करके, SVGT मूल्य संकेतों को कार्य-संचालित गतिशीलता द्वारा विकृत होने से रोकता है, जिससे यह सुनिश्चित होता है कि सुरक्षा मानदंड विविध संदर्भों में स्थिर रहें।
गैर-आक्रामक मार्गदर्शन: अटेंशन टारगेट के रूप में ब्रिज टोकन्स का उपयोग मॉडल को आंतरिक भाषाई प्रतिनिधित्व को बाधित किए बिना या पैरामीटर अपडेट की आवश्यकता के बिना मूल्य बाधाओं का पालन करने की अनुमति देता है, जिससे इसकी जेनेरेटिव फ्लुएंसी और रीजनिंग क्षमताओं को संरक्षित किया जाता है।
सामान्यीकरण: दृष्टिकोण विभिन्न मॉडल आर्किटेक्चर और स्केल्स में सुसंगत सुरक्षा सुधार प्रदर्शित करता है, जो यह सुझाव देता है कि मॉड्यूलर संरेखण, संरेखण समस्या के लिए एक स्केलेबल समाधान है।

लेखक निष्कर्ष निकालते हैं कि जबकि SVGT एक नियंत्रित थ्रूपुट ट्रेड-ऑफ पेश करता है, स्पष्ट व्यवहारिक अनुकूलन के माध्यम से 'वैल्यू इनर्शिया' को ठीक करने की इसकी क्षमता इसे उथले आउटपुट पैटर्न या नाजुक आंतरिक अवस्था हेरफेर पर निर्भर करने वाली विधियों का एक बेहतर विकल्प बनाती है।