💬 NLP

We Think, Therefore We Align LLMs to Helpful, Harmless and Honest Before They Go Wrong

यह शोध पत्र एडेप्टिव मल्टी-ब्रांच स्टीयरिंग (AMBS) प्रस्तुत करता है, जो एक दो-चरणीय 1-to-N ट्रांसफॉर्मर फ्रेमवर्क है, जो एक साझा प्रतिनिधित्व के सापेक्ष उद्देश्य-विशिष्ट रूपांतरणों को पैरामीटराइज़ करके लार्ज लैंग्वेज मॉडल्स को हेल्पफुलनेस (helpfulness), हार्मलेसनेस (harmlessness) और ऑनेस्टी (honesty) उद्देश्यों के साथ एक साथ संरेखित करता है, जिससे पूर्ववर्ती विधियों की हस्तक्षेप और असंगतता संबंधी समस्याओं को दूर करते हुए इन्फरेंस दक्षता को बनाए रखा जा सकता है।

मूल लेखक: Gautam Siddharth Kashyap, Mark Dras, Usman Naseem

प्रकाशित 2026-05-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Gautam Siddharth Kashyap, Mark Dras, Usman Naseem

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक प्रतिभाशाली लेकिन थोड़ा अस्त-व्यस्त शेफ (AI) है जो आपके लिए भोजन बनाने की कोशिश कर रहा है। आप चाहते हैं कि वह भोजन Helpful (स्वादिष्ट और पेट भरने वाला), Harmless (बिना किसी ज़हर या खतरनाक सामग्री के), और Honest (बर्तन में जो है उसके बारे में झूठ न बोले) हो।

अतीत में, इस शेफ को एक साथ ये तीनों काम करने के लिए कहना ऐसा था जैसे उनके कान में एक साथ तीन अलग-अलग, विरोधाभासी निर्देश चिल्लाना: "इसे तीखा बनाओ!" "नमक मत डालना!" "यह मीठा होना चाहिए!" शेफ भ्रमित हो जाता था, अक्सर एक निर्देश पर ध्यान केंद्रित करने के लिए दूसरे को अनदेखा कर देता था, या इससे भी बुरा, वह आपको एक ऐसा व्यंजन परोस देता था जो सुरक्षित तो था लेकिन खाने लायक नहीं था, या स्वादिष्ट तो था लेकिन ज़हरीला था।

यह पेपर इस शेफ को निर्देशित करने का एक नया तरीका पेश करता है जिसे AMBS (Adaptive Multi-Branch Steering) कहा जाता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

समस्या: "सोलो शेफ" बनाम "भ्रमित टीम"

पिछले तरीकों ने शेफ को दो तरीकों से ठीक करने की कोशिश की, जिनमें दोनों की खामियां थीं:

द सोलो शेफ (The Solo Chef): उन्होंने शेफ को एक समय में निर्देशों का एक सेट दिया। यदि वे चाहते थे कि भोजन सुरक्षित हो, तो उन्होंने शेफ को स्वाद को अनदेखा करने के लिए कहा। यदि वे चाहते थे कि वह स्वादिष्ट हो, तो उन्होंने सुरक्षा को अनदेखा कर दिया। शेफ दोनों के बीच संतुलन नहीं बना सका।
द कन्फ्यूज्ड टीम (The Confused Team): नए तरीकों ने शेफ को तीन अलग-अलग क्लोन (एक सुरक्षा के लिए, एक स्वाद के लिए, एक सच्चाई के लिए) में विभाजित करने की कोशिश की जो समानांतर में काम करते हैं। लेकिन क्योंकि इन क्लोनों के बीच आपस में बातचीत नहीं होती थी या वे एक "बेस मेमोरी" साझा नहीं करते थे, इसलिए वे अक्सर आपको तीन पूरी तरह से अलग, विरोधाभासी उत्तर दे देते थे। एक क्लोन कह सकता था "इसे खाओ," जबकि दूसरा कह सकता था "इसे मत खाओ।"

समाधान: "साझा ब्लूप्रिंट" के साथ विशिष्ट समायोजन

लेखक एक 1-to-N Transformer सेटअप का उपयोग करके रसोई चलाने का एक स्मार्ट तरीका प्रस्तावित करते हैं। इसे इस प्रकार समझें:

चरण 1: साझा ब्लूप्रिंट (The Shared Blueprint - "आधार"):
शुरुआत से शुरू करने के बजाय, शेफ पहले आपके ऑर्डर के आधार पर व्यंजन का एक एकल, सटीक ब्लूप्रिंट बनाता है। यह "Shared Representation" है। यह वह सामान्य आधार है जहाँ शेफ सामग्री और बुनियादी रेसिपी को समझता है।
चरण 2: विशिष्ट समायोजन (The Specialized Adjustments - "शाखाएं"):
अब, तीन पूरी तरह से अलग व्यंजन बनाने के बजाय, शेफ उस एक ब्लूप्रिंट को लेता है और उसकी तीन प्रतियां बनाता है।

प्रति A (Helpfulness): शेफ इस प्रति में थोड़ा "मसाला" जोड़ता है ताकि यह अधिक उपयोगी बन सके।
प्रति B (Harmlessness): शेफ इसमें एक छोटा "सेफ्टी फ़िल्टर" जोड़ता है ताकि विषाक्त पदार्थों को हटाया जा सके।
प्रति C (Honesty): शेफ इसमें एक "ट्रुथ चेक" जोड़ता है ताकि तथ्य सही रहें।

जादुई ट्रिक: शेफ प्रत्येक प्रति के लिए पूरी रेसिपी को फिर से नहीं लिखता है। वे केवल साझा ब्लूप्रिंट में छोटे, विशिष्ट बदलाव (deviations) जोड़ते हैं। यह सुनिश्चित करता है कि तीनों प्रतियां अभी भी एक ही व्यंजन की तरह दिखें, बस उनके स्वाद अलग हों। वे इसलिए जुड़े रहते हैं क्योंकि वे सभी एक ही आधार से शुरू हुए थे।

अंतिम प्लेट (Decoding):
अंत में, शेफ आपको तीन अलग-अलग प्लेटें नहीं परोसता है। वह इन तीनों संशोधित संस्करणों को देखता है और उन्हें एक एकल, पूर्ण व्यंजन में मिला देता है जो एक साथ स्वादिष्ट, सुरक्षित और ईमानदार है।

यह बेहतर क्यों काम करता है

कोई भ्रम नहीं: क्योंकि सभी "क्लोन" एक ही ब्लूप्रिंट से शुरू होते हैं, वे एक-दूसरे से अलग नहीं होते। वे तालमेल में रहते हैं।
कोई ओवरराइटिंग नहीं: पुराने तरीकों में, भोजन को सुरक्षित बनाने से अनजाने में स्वाद मिट जाता था। इस नए तरीके में, "सेफ्टी टवीक" को "फ्लेवर टवीक" के ऊपर जोड़ा जाता है, इसलिए आपको दोनों मिलते हैं।
दक्षता (Efficiency): शेफ को केवल एक बार मूल रेसिपी बनानी पड़ती है। बाकी सब बस त्वरित, छोटे समायोजन हैं। इसका मतलब है कि रसोई तेज़ी से चलती है और अतिरिक्त ऊर्जा का उपयोग नहीं करती है।

परिणाम

लेखकों ने इस "AMBS" पद्धति का परीक्षण कई अलग-अलग AI मॉडल (जैसे LLaMA, Mistral, और Gemma) पर किया। उन्होंने पाया कि:

AI एक साथ Helpful, Harmless, और Honest होने में बहुत बेहतर हो गया।
यह भ्रमित नहीं हुआ या "कोलैप्स" (जहाँ वह सुरक्षित होने के लिए ईमानदार होना छोड़ देता है) नहीं हुआ।
यह तेज़ था और इसे चलाने के लिए महंगे कंप्यूटर पावर की आवश्यकता नहीं थी।

संक्षेप में, यह पेपर दिखाता है कि यदि आप एक AI को एक साझा आधार देते हैं और फिर उसे विभिन्न लक्ष्यों के लिए छोटे, विशिष्ट समायोजन करने देते हैं, तो वह बिना भ्रमित हुए या किसी भी चीज़ को छोड़े बिना आपकी सभी आवश्यकताओं को पूरा कर सकता है।

तकनीकी सारांश: मल्टी-ऑब्जेक्टिव LLM अलाइनमेंट के लिए एडेप्टिव मल्टी-ब्रांच स्टीयरिंग (AMBS)

समस्या विवरण
लार्ज लैंग्वेज मॉडल्स (LLMs) को मानवीय इरादों के साथ संरेखित (align) करने की आवश्यकता होती है, जिसे आमतौर पर तीन प्रतिस्पर्धी उद्देश्यों: हेल्पफुलनेस (Helpfulness), हार्मलेसनेस (Harmlessness), और ऑनेस्टी (Honesty) (HHH) के माध्यम से संचालित किया जाता है। हालांकि पूर्ववर्ती कार्यों ने सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) या रीइन्फोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक (RLHF) के माध्यम से अलाइनमेंट प्राप्त किया है, लेकिन ये विधियाँ इन्फरेंस (inference) के दौरान, विशेष रूप से जटिल सेटिंग्स में, HHH उद्देश्यों को संयुक्त रूप से संतुष्ट करने में संघर्ष करती हैं।

मौजूदा इन्फरेंस-टाइम अलाइनमेंट दृष्टिकोण, जैसे कि स्टीयरिंग वेक्टर्स (steering vectors), उद्देश्यों को अलग-थलग मानते हैं। जब एक साझा प्रतिनिधित्व (shared representation) को एक उद्देश्य की ओर स्टीयर किया जाता है, तो यह अन्य उद्देश्यों को ओवरराइट या बाधित कर सकता है। "1-to-N" ट्रांसफॉर्मर सेटिंग (एक साझा प्रतिनिधित्व को कई पथों में पुन: उत्पन्न करना) के हालिया विस्तार स्वतंत्र रूपांतरणों को लागू करके इस समस्या को कम करने का प्रयास करते हैं। हालाँकि, इन स्वतंत्र अपडेट्स में पथों के बीच संबंधों पर कोई नियंत्रण नहीं होता है, जिससे असंगत प्रतिक्रियाएँ और उद्देश्यों के बीच विचलन (divergence) होता है। इसके अलावा, ट्रेनिंग-आधारित ट्रेड-ऑफ विधियाँ (जैसे, सेफ RLHF, मिक्स्चर-ऑफ-एक्सपर्ट्स) इन्फरेंस के दौरान साझा प्रतिनिधित्व के भीतर ऑब्जेक्टिव-विशिष्ट रूपांतरणों को बाधित नहीं करती हैं, जिसके परिणामस्वरूप "एक्सिस कोलैप्स" (axis collapse) या विलगित प्रतिनिधित्व (disjoint representations) होते हैं जहाँ परस्पर विरोधी उद्देश्यों को एक साथ संतुष्ट नहीं किया जा सकता है।

कार्यप्रणाली: एडेप्टिव मल्टी-ब्रांच स्टीयरिंग (AMBS)
लेखक AMBS का प्रस्ताव करते हैं, जो एक 1-to-N ट्रांसफॉर्मर सेटिंग के लिए डिज़ाइन किया गया एक दो-चरणीय ढांचा (framework) है जो एक साझा प्रतिनिधित्व के सापेक्ष ऑब्जेक्टिव-विशिष्ट रूपांतरणों को पैरामीटराइज़ करता है। मुख्य नवाचार एक सामान्य संदर्भ से विचलन (deviation) के रूप में अपडेट को परिभाषित करना है, न कि स्वतंत्र संशोधनों के रूप में।

चरण I: साझा प्रतिनिधित्व गणना (Shared Representation Computation)
ट्रांसफॉर्मर एक दिए गए इनपुट के लिए लेयर $\ell$ (आमतौर पर अंतिम लेयर $L$ ) पर एक साझा हिडन प्रतिनिधित्व $h^{(0)}_\ell$ की गणना करता है। यह प्रतिनिधित्व एक सामान्य आधार के रूप में कार्य करता है और सभी उद्देश्यों के लिए पुन: उपयोग किया जाता है।
चरण II: रेफरेंस-गाइडेड रूपांतरण (Reference-Guided Transformations)
साझा प्रतिनिधित्व को $N$ पथों ( $h^{(i)}_\ell = h^{(0)}_\ell$ ) में विभाजित किया जाता है। प्रत्येक उद्देश्य $i$ के लिए, साझा संदर्भ $h^{ref}_\ell = h^{(0)}_\ell$ के सापेक्ष एक रूपांतरण $\Delta h^{(i)}_\ell$ लागू किया जाता है।

विचलन-आधारित अपडेट (Deviation-Based Update): स्वतंत्र अपडेट के बजाय, रूपांतरण संदर्भ से विचलन के फलन के रूप में परिभाषित है: $\Delta h^{(i)}_\ell = f_i(\tilde{h}^{(i)}_\ell - h^{ref}_\ell; \phi_i)$ ।
लो-रैंक पैरामीटराइजेशन (Low-Rank Parameterization): नीति $f_i$ को एक एडिटिव बायस के साथ लो-रैंक प्रोजेक्शन के रूप में लागू किया जाता है: $\Delta h^{(i)}_\ell = ((\tilde{h}^{(i,0)}_\ell - h^{ref}_\ell)A_i)B_i + b_i$ । महत्वपूर्ण रूप से, बायस $b_i$ एक गैर-शून्य प्रारंभिक विचलन सुनिश्चित करता है, जो एकल फॉरवर्ड पास के भीतर ही लो-रैंक अपडेट को सक्रिय करता है, जिससे इटरेटिव फिक्स्ड-पॉइंट गणना की आवश्यकता नहीं रहती।
आउटपुट जनरेशन: प्रत्येक पथ एक ऑब्जेक्टिव-विशिष्ट आउटपुट डिस्ट्रीब्यूशन $p^{(i)}_\theta$ उत्पन्न करता है। इन्हें डिकोडिंग के दौरान एक भारित ज्यामितीय माध्य (weighted geometric mean) का उपयोग करके एक एकल संयुक्त वितरण $p^{joint}_\theta$ में संयोजित किया जाता है।

ऑप्टिमाइज़ेशन ऑब्जेक्टिव (Optimization Objective)
ढांचा एक कंपोजिट लॉस फंक्शन को मिनिमाइज़ करता है:
$\min \sum_{i=1}^N L^{(i)}_{obj} + \lambda L_{cons}$

$L^{(i)}_{obj}$ : पथ $i$ के लिए ऑब्जेक्टिव-विशिष्ट लॉस (जैसे, क्रॉस-एन्ट्रॉपी)।
$L_{cons}$ : पथों के बीच रूपांतरित प्रतिनिधित्वों के बीच स्क्वेर्ड यूक्लिडियन डिस्टेंस को मापने वाला एक कंसिस्टेंसी टर्म। यह टर्म अत्यधिक विचलन को दंडित करता है जबकि आवश्यक ऑब्जेक्टिव-विशिष्ट विविधताओं की अनुमति देता है, जिससे अन्य संयुक्त विधियों में देखे जाने वाले "कोलैप्स" को रोका जा सके।

प्रमुख योगदान

फ्रेमवर्क डिज़ाइन: AMBS का परिचय, जो 1-to-N ट्रांसफॉर्मर सेटिंग का विस्तार करता है और रूपांतरणों को एक साझा संदर्भ से विचलन के रूप में पैरामीटराइज़ करता है, जिससे हस्तक्षेप (interference) को नियंत्रित करते हुए पथों की विशिष्टता बनी रहती है।
सैद्धांतिक सूत्रीकरण (Theoretical Formulation): एक गणितीय सूत्रीकरण जहाँ पथ अंतर केवल विचलन पदों ( $\Delta h^{(i)}_\ell - \Delta h^{(j)}_\ell$ ) पर निर्भर करते हैं, जो नॉन-डेजेनरेट इनिशियलाइजेशन और लो-रैंक पैरामीटर्स के तत्काल सक्रियण को सिद्ध करने वाले लेम्मा द्वारा समर्थित है।
अनुभवजन्य प्रदर्शन (Empirical Performance): यह प्रदर्शन करना कि AMBS चार अलग-अलग बैकबोन मॉडल्स (LLaMA-2-7B, Mistral-7B, Gemma-7B, DeepSeek-7B) में कम्प्यूटेशनल दक्षता बनाए रखते हुए उच्चतम औसत HHH प्रदर्शन प्राप्त करता है।

परिणाम
प्रयोग मानक बेंचमार्क पर किए गए: Alpaca (Helpfulness), BeaverTails (Harmlessness), और TruthfulQA (Honesty)।

प्रदर्शन लाभ: AMBS ने बैकबोन केAcross उच्चतम औसत स्कोर (Avg) प्राप्त किया। LLaMA-2-7B के लिए, AMBS ने 56.5% का Avg प्राप्त किया, जो पिछले SOTA (TrinityX) के 55.1% और AlignX के 51.3% से बेहतर है।
ऑब्जेक्टिव-विशिष्ट सुधार:
- हेल्पफुलनेस: विन रेट (WR) को बढ़ाकर 53.0% किया (RAHF के 48.7% के मुकाबले)।
- हारमलेसनेस: सेफ्टी स्कोर (SS, जहाँ कम होना बेहतर है) को घटाकर 5.3% किया (Aligner के 7.2% के मुकाबले)।
- ऑनेस्टी: ट्रुथफुलनेस-इन्फॉर्मेटिवनेस (TI) को बढ़ाकर 37.9% किया (DExperts के 31.7% के मुकाबले)।
इंटरफेरेंस विश्लेषण: एकल-उद्देश्य वाली विधियों के विपरीत, जो लक्ष्यों के बदलने पर बड़े प्रदर्शन गिरावट दिखाती हैं, या संयुक्त विधियों के विपरीत, जो "कोलैप्स" (सभी उद्देश्यों के लिए समान स्कोर) प्रदर्शित करती हैं, AMBS ने उच्च लेकिन गैर-समान प्रदर्शन (जैसे, 37.0% / 25.8% / 14.3%) बनाए रखा, जो बिना कोलैप्स के कम हस्तक्षेप को दर्शाता है।
दक्षता: विधि बेस मॉडल को फ्रीज़ करके और केवल लो-रैंक पैरामीटर्स को ऑप्टिमाइज़ करके उच्च थ्रूपुट (जैसे, 189 टोकन/सेकंड) और कम ट्रेनिंग लागत (9 GPU-घंटे) बनाए रखती है।

महत्व और दावे
पेपर का दावा है कि AMBS इन्फरेंस के समय मल्टी-ऑब्जेक्टिव अलाइनमेंट के एक महत्वपूर्ण अंतराल को संबोधित करता है। एक साझा प्रतिनिधित्व के भीतर ऑब्जेक्टिव-विशिष्ट रूपांतरणों को सीमित करके, यह ढांचा विशिष्ट उद्देश्यों (हेल्पफुलनेस, हार्मलेसनेस, ऑनेस्टी) को संतुष्ट करने और उनके बीच निरंतरता बनाए रखने के बीच के ट्रेड-ऑफ को सफलतापूर्वक संतुलित करता है। लेखक दावा करते हैं कि यह दृष्टिकोण "एक्सिस कोलैप्स" और अस्थिरता को रोकता है जो पूर्ववर्ती संयुक्त अलाइनमेंट विधियों में देखी गई थी, जो बिना किसी महंगी रिट्रेनिंग या जटिल मॉड्यूलर आर्किटेक्चर के विश्वसनीय LLMs को तैनात करने के लिए एक मजबूत समाधान प्रदान करता है। परिणाम बताते हैं कि अलाइनमेंट प्रभावी रूप से रिप्रेजेंटेशन स्तर पर कैप्चर किया गया है, जहाँ डिकोडिंग मुख्य लाभ का स्रोत होने के बजाय एक समेकन (consolidation) चरण के रूप में कार्य करती है।

सीमाएँ
लेखक मूल्यांकन के पैमाने, व्यापक मानव मूल्यांकन के बजाय प्रॉक्सी जजों (LLMs) पर निर्भरता, और वर्तमान में केवल डिकोडर-ओनली मॉडल्स पर ध्यान केंद्रित करने सहित सीमाओं को स्वीकार करते हैं। भविष्य के कार्य में बड़े मानव अध्ययन, व्यापक सुरक्षा सेटिंग्स और मल्टीमॉडल मॉडल्स तक विस्तार का सुझाव दिया गया है।

समस्या: "सोलो शेफ" बनाम "भ्रमित टीम"

समाधान: "साझा ब्लूप्रिंट" के साथ विशिष्ट समायोजन

यह बेहतर क्यों काम करता है

परिणाम

इसी तरह के और पेपर