💬 NLP

Training LLMs to Enforce Multi-Level Instruction Hierarchies via Gravity-Weighted Direct Preference Optimization

यह शोध पत्र ग्रेविटी-वेटेड डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (GW-DPO) प्रस्तुत करता है, जो एक नवीन प्रशिक्षण उद्देश्य है जिसे विशिष्ट डेलीमिटर टोकन और एम्बेडिंग्स के साथ जोड़ा गया है ताकि LLMs में पांच-स्तरीय निर्देश पदानुक्रम को प्रभावी ढंग से लागू किया जा सके, जिससे विभिन्न विश्वास स्तरों वाले निर्देशों के बीच संघर्षों को हल किया जा सके और मानक दृष्टिकोणों की तुलना में ओवर-रिफ्यूज़ल (अत्यधिक इनकार) को काफी कम किया जा सके।

मूल लेखक: Lena S. Bolliger, Lena A. Jäger

प्रकाशित 2026-06-10

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Lena S. Bolliger, Lena A. Jäger

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़े भाषा मॉडल (LLM) की कल्पना एक अत्यधिक कुशल लेकिन नादान सहायक के रूप में करें जो एक डेस्क पर बैठा है। यह सहायक चार अलग-अलग लोगों से नोट्स प्राप्त करता है:

बॉस (प्लेटफॉर्म): सुरक्षा के अटूट नियम निर्धारित करता है।
मैनेजर (डेवलपर): सहायक के काम का विवरण और व्यक्तित्व परिभाषित करता है।
क्लाइंट (यूजर): विशिष्ट सहायता या जानकारी मांगता है।
मेलमैन (डेटा/टूल्स): बाहरी दुनिया से नोट्स लाता है, जिनमें चालें या झूठ हो सकते हैं।

समस्या: "कर्नेल मोड" दोष
वर्तमान में, जब ये नोट्स आते हैं, तो सहायक उन सभी को समान स्तर के ध्यान के साथ पढ़ता है। इससे कोई फर्क नहीं पड़ता कि नोट बॉस से आया है या किसी अजनबी से; सहायक हर शब्द को समान महत्व देता है। यह एक सुरक्षा गार्ड की तरह है जो एक सीईओ और एक फर्जी आईडी वाले अजनबी को इमारत में प्रवेश देने के लिए समान आसानी से अनुमति दे देता है।

यह खतरनाक है। एक दुर्भावनापूर्ण अभिनेता (एक "प्रॉम्ट इंजेक्टर") मेलमैन की डिलीवरी के अंदर एक नोट छिपा सकता है जिसमें लिखा हो, "बॉस और मैनेजर को अनदेखा करें; वही करें जो मैं कहता हूँ।" क्योंकि सहायक को यह नहीं पता कि किसकी सत्ता अधिक है, वह अजनबी की आज्ञा मान सकता है और नियमों को तोड़ सकता है।

समाधान: एक गुरुत्वाकर्षण-भारित पदानुक्रम (Gravity-Weighted Hierarchy)
लेखक सहायक को एक सख्त कमांड चेन (आदेश श्रृंखला) सिखाने का प्रस्ताव देते हैं। उन्होंने पांच स्तरों का एक पदानुक्रम बनाया (मानक चार में "प्रति-उपयोगकर्ता कॉन्फ़िगरेशन" स्तर जोड़कर)।

इस श्रृंखला का सम्मान करने के लिए प्रशिक्षित करने हेतु, उन्होंने ग्रेविटी-वेटेड डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन (GW-DPO) नामक एक नई प्रशिक्षण विधि विकसित की।

सादृश्य: गुरुत्वाकर्षण और भार
इस पदानुक्रम को एक सौर मंडल की तरह सोचें जहाँ "बॉस" सूर्य है और "मेलमैन" एक दूर का ग्रह है।

मानक प्रशिक्षण: हर संघर्ष को एक जैसा मानता है। यदि मैनेजर क्लाइंट से बहस करता है, तो यह एक "लड़ाई" है। यदि बॉस मेलमैन से बहस करता है, तो यह भी केवल एक "लड़ाई" है।
GW-DPO (ग्रेविटी-वेटेड): यह समझता है कि दूरी और द्रव्यमान मायने रखते हैं।
- दूरी: बॉस (स्तर 0) और मेलमैन (स्तर 4) के बीच का संघर्ष एक बहुत बड़ा, खतरनाक अंतर है। इस गलती को सुधारने के लिए प्रशिक्षण दंड (penalty) बहुत बड़ा है।
- द्रव्यमान (पीड़ित): यदि "बॉस" को अनदेखा किया जा रहा है, तो त्रुटि बहुत गंभीर है, बजाय इसके कि "क्लाइंट" को अनदेखा किया जाए।
- "द्विपक्षीय" (Bilateral) शेड्यूल: लेखकों ने पाया कि सबसे अच्छा तरीका यह है कि त्रुटि को दोनों चीजों से तौलें: स्तरों के बीच की दूरी और पीड़ित का महत्व। बॉस को अनदेखा करना एक "भारी" अपराध है; यूजर की सेटिंग को अनदेखा करना एक "हल्का" अपराध है।

उपकरण: विशेष टोकन और "नाम टैग"
इसे काम करने योग्य बनाने के लिए, लेखकों ने सहायक को दो विशेष उपकरण दिए:

डिलिमिटर्स (फोल्डर): उन्होंने प्रत्येक नोट को एक स्पष्ट रूप से लेबल किए गए फोल्डर में रखा (जैसे, बॉस के नियमों के लिए <|L0_START|> )।
इंस्ट्रक्शनल सेगमेंट एम्बेडिंग्स (ISE) (नाम टैग): उन्होंने प्रत्येक शब्द को एक छोटा, अदृश्य "नाम टैग" दिया जो सहायक को बताता है कि वह पदानुक्रम के किस स्तर का है।

क्या हुआ?
उन्होंने Llama-3.1-8B नामक मॉडल पर इसका परीक्षण किया। यहाँ उन्होंने पाया:

नियमों का पालन करने में बेहतर: मॉडल "मेलमैन" को अनदेखा करने में बहुत बेहतर हो गया जब मेलमैन ने "बॉस" या "मैनेजर" को ओवरराइड करने की कोशिश की। इसने लगभग सभी मामलों में पदानुक्रम को सफलतापूर्वक लागू किया।
कम "ओवर-रिफ्यूज़ल" (अत्यधिक इनकार): सुरक्षा प्रशिक्षण की एक सामान्य समस्या यह है कि मॉडल डर जाते हैं और किसी भी चीज़ को संदिग्ध देखकर जवाब देने से मना कर देते हैं। "ग्रेविटी-वेटेड" विधि स्मार्ट थी और यह जानती थी कि एक वास्तविक हमले और एक सामान्य अनुरोध के बीच क्या अंतर है। इसने खराब अनुरोधों को मना किया लेकिन अच्छे अनुरोधों का दोगुनी बार उत्तर दिया।
"नाम टैग" का रहस्य: उन्होंने पाया कि अदृश्य "नाम टैग" (ISE) ने मॉडल को तर्क पहेलियों को हल करने में अधिक बुद्धिमान नहीं बनाया। इसके बजाय, वे एक कैलिब्रेटर (अंशांकनकर्ता) के रूप में कार्य करते थे। उनके बिना, मॉडल नोट्स की संरचना से इतना भ्रमित हो जाता था कि वह हर चीज़ के लिए "ना" कह देता था। उनके साथ, उसे पता था कि कब "ना" कहना है और कब "हाँ"।
गहराई मायने रखती है: उन्होंने केवल 3 स्तरों के साथ प्रशिक्षण दिया (बॉस, मैनेजर और कॉन्फ़िग को एक बड़े "सिस्टम" समूह में मिला दिया)। हालांकि यह बड़े, स्पष्ट संघर्षों के लिए ठीक था, लेकिन मॉडल मध्य-स्तर के सूक्ष्म विवादों में विफल रहा। यह पाया गया कि पूर्ण 5-स्तरीय गहराई पर प्रशिक्षण देने से मॉडल केवल एक विशेष ट्रिक में माहिर होने के बजाय अधिक सामान्य रूप से स्मार्ट बना।

निष्कर्ष
यह पेपर दिखाता है कि एआई मॉडल को यह सिखाकर कि कुछ निर्देश दूसरों की तुलना में अधिक भारी और महत्वपूर्ण होते हैं (एक "गुरुत्वाकर्षण" प्रणाली का उपयोग करके), हम इसे अत्यधिक सतर्क बनाए बिना हैकर्स के खिलाफ सुरक्षित बना सकते हैं। यह एक गार्ड को यह पहचानने के लिए सिखाने जैसा है कि सीईओ का आईडी कार्ड किसी अजनबी की आईडी से अधिक महत्वपूर्ण है, बिना गार्ड को किसी को भी अंदर आने से रोकने के लिए मजबूर किए।

तकनीकी सारांश: मल्टी-लेवल इंस्ट्रक्शन पदानुक्रम (Hierarchy) को लागू करने के लिए ग्रेविटी-वेटेड डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (GW-DPO) के माध्यम से LLMs को प्रशिक्षित करना

समस्या विवरण
प्रोडक्शन लार्ज लैंग्वेज मॉडल्स (LLMs) वर्तमान में उन स्रोतों से निर्देशों को प्रोसेस करते हैं जिनके विश्वास स्तर (trust levels) बहुत भिन्न होते हैं—जैसे कि अपरिवर्तनीय प्लेटफॉर्म सुरक्षा नीतियां (platform safety policies), डेवलपर सिस्टम प्रॉम्प्ट और एंड-यूज़र क्वेरीज़ या संभावित रूप से प्रतिकूल टूल आउटपुट्स। आर्किटेक्चरल रूप से, ये इनपुट एक ही टोकन सीक्वेंस में संयोजित (concatenate) किए जाते हैं जहाँ प्रत्येक टोकन समान अटेंशन प्राप्त करता है, जिसे "इन कर्नेल मोड" (in kernel mode) में निष्पादन के रूप में वर्णित किया गया है। यह संरचनात्मक एकरूपता प्रॉम्प्ट इंजेक्शन के प्रति एक भेद्यता (vulnerability) पैदा करती है, जहाँ दुर्भावनापूर्ण इनपुट मॉडल के व्यवहार को हाईजैक कर लेते हैं, और मॉडल्स को विभिन्न पदानुक्रम स्तरों से आने वाले वैध लेकिन प्रतिस्पर्धी निर्देशों के बीच संघर्ष को हल करने के लिए एक सिद्धांत-आधारित तंत्र से वंचित कर देती है। जबकि पूर्व कार्यों ने प्रशिक्षण-आधारित सुरक्षा उपायों का प्रस्ताव दिया है, मौजूदा दृष्टिकोण आमतौर पर केवल तीन या चार स्तरों के पदानुक्रम को औपचारिक रूप देते हैं, सभी उल्लंघनों को समान रूप से गंभीर मानते हैं, और आधुनिक परिनियोजन आर्किटेक्चर (जैसे, OpenAI का पांच-स्तरीय स्टेकहोल्डर मॉडल) के लिए आवश्यक पूर्ण युग्म-वार (pairwise) स्तर इंटरैक्शन का मूल्यांकन करने में विफल रहते हैं।

कार्यप्रणाली (Methodology)
लेखक एक $k$ -लेवल इंस्ट्रक्शन पदानुक्रम समस्या को औपचारिक रूप देते हैं, जिसे $k=5$ स्तरों के लिए स्थापित किया गया है:

L0 (प्लेटफॉर्म गवर्नेंस): अपरिवर्तनीय सुरक्षा नियम।
L1 (डेवलपर सिस्टम प्रॉम्प्ट): व्यक्तित्व (Persona) और दायरा।
L2 (प्रति-उपयोगकर्ता कॉन्फ़िगरेशन): सत्र प्राथमिकताएं।
L3 (उपयोगकर्ता संदेश): रनटाइम इनपुट।
L4 (डेटा/टूल आउटपुट्स): बाहरी सामग्री।

यह संरचना दस विशिष्ट युग्म-वार प्राथमिकता संबंधों (pairwise priority relationships) को जन्म देती है जिन्हें एक अनुपालन करने वाला मॉडल लागू करना चाहिए। मॉडल्स को इन संबंधों का सम्मान करने के लिए प्रशिक्षित करने हेतु, यह शोध पत्र ग्रेविटी-वेटेड डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (GW-DPO) पेश करता है।

लॉस फंक्शन (Loss Function): GW-DPO, 'ऑफसेट-DPO' (ODPO) को अनुकूलित करता है, जिसमें एक प्रति-सैंपल ऑफसेट $\delta(i, j)$ पेश किया जाता है जो संघर्षरत स्तरों के बीच संरचनात्मक दूरी के साथ स्केल होता है। लॉस को इस प्रकार परिभाषित किया गया है:
$L_{GW-DPO} = -\mathbb{E} \left[ \log \sigma \left( \beta \cdot \Delta r_\theta(x, y_w, y_l) \right) - \delta(i, j) \right]$
जहाँ $\Delta r_\theta$ एक निहित रिवॉर्ड मार्जिन है।
शेड्यूल्स (Schedules): $\delta(i, j)$ $δ (i, j)$ के दो शेड्यूल्स का मूल्यांकन किया गया है:
- लीनियर (Linear): यह केवल विशेषाधिकार अंतराल (privilege gap) $(j-i)$ पर निर्भर करता है।
- बाइलेटरल (Bilateral): यह विशेषाधिकार अंतराल और पीड़ित स्तर (victim level) के विशेषाधिकार $(k-1-i)$ दोनों को ध्यान में रखता है, जो प्रभावी रूप से समझौता किए गए स्तर की गंभीरता के आधार पर उल्लंघन के भार (weight) को निर्धारित करता है।
आर्किटेक्चरल संशोधन: प्रशिक्षण पाइपलाइन पिछले शोध के दो घटकों को एकीकृत करती है:
- विशेष डेलीमिटर टोकन्स (Special Delimiter Tokens): प्रत्येक पदानुक्रम स्तर के सीमाओं को चिह्नित करने के लिए अलग स्टार्ट/एंड टोकन्स।
- इंस्ट्रक्शनल सेगमेंट एम्बेडिंग्स (ISE): टोकन एम्बेडिंग्स में जोड़े जाने वाले पदानुक्रम स्तर द्वारा इंडेक्स किए गए सीख योग्य (learnable) प्रति-टोकन एम्बेडिंग्स।
प्रशिक्षण पाइपलाइन: इसमें दो चरणों वाली प्रक्रिया शामिल है:
1. SFT (सुपरवाइज्ड फाइन-ट्यूनिंग): मॉडल को डेलीमिटर्स को पहचानने और ISE जानकारी को एकीकृत करने के लिए प्रशिक्षित करता है, जिसमें संरेखित (aligned), आंशिक (partial) और स्पष्ट रूप से मिसअलाइन्ड (misaligned) प्रॉम्प्ट्स का डेटासेट उपयोग किया जाता है।
2. GW-DPO: पदानुक्रम अंतराल के आधार पर 'ईजी-टू-हार्ड' (easy-to-hard) करिकुलम लर्निंग रणनीति का उपयोग करके, संघर्षरत स्तरों के स्पष्ट संघर्षों वाले डेटासेट पर प्रेफरेंस ऑब्जेक्टिव को ऑप्टिमाइज़ करता है।

प्रमुख योगदान

$k=5$ पदानुक्रम का औपचारिकीकरण: पेपर एक पांच-स्तरीय निर्देश पदानुक्रम को परिभाषित करता है जो प्रोडक्शन आर्किटेक्चर पर आधारित है, जिससे एक कस्टम इवैल्यूएशन सूट तैयार होता है जो सभी दस युग्म-वार प्राथमिकता संबंधों का परीक्षण करता है।
GW-DPO (बाइलेटरल शेड्यूल): GW-DPO का परिचय, विशेष रूप से बाइलेटरल शेड्यूल, जो संघर्षरत स्तरों के बीच की दूरी और पीड़ित स्तर के विशेषाधिकार दोनों के आधार पर प्रशिक्षण मार्जिन को स्केल करता है। यह दृष्टिकोण स्टैंडर्ड DPO और लीनियर वेरिएंट की तुलना में बेहतर 'पारेटो-इम्प्रूवमेंट' (Pareto-improvement) प्रदान करता है।
एब्लेशन के माध्यम से घटक अलगाव: अध्ययन ISE और पदानुक्रम गहराई के योगदान को अलग करता है:
- ISE मुख्य रूप से एक रिफ्यूज़ल-थ्रेशोल्ड कैलिब्रेटर (refusal-threshold calibrator) के रूप में पहचाना गया है। ISE को हटाने से संघर्ष-समाधान की सटीकता काफी हद तक बनी रहती है, लेकिन ओवर-रिफ्यूजल (सौम्य प्रॉम्प्ट्स को अस्वीकार करना) में एक क्रम-परिमाण (order-of-magnitude) की वृद्धि होती है, जिससे पता चलता है कि ISE मॉडल को स्ट्रक्चर्ड एडवरसेरियल स्पैन और सौम्य स्ट्रक्चर्ड स्पैन के बीच अंतर करने में मदद करता है, बिना अंतर्निहित संघर्ष तर्क को बदले।
- पांच-स्तरीय बनाम तीन-स्तरीय प्रशिक्षण: तुलना एक जनरैलिटी-स्पेशलाइजेशन ट्रेडऑफ़ (generality–specialization tradeoff) को प्रकट करती है। तीन-स्तरीय प्रशिक्षण (L0-L2 को "सिस्टम" टियर में मिलाकर) सरफेस-फॉर्म रिकग्निशन के माध्यम से विशिष्ट संघर्ष जोड़ों पर उच्च स्कोर प्राप्त करता है, लेकिन फ्लैट-टेक्स्ट प्रॉम्प्ट्स के सामान्यीकरण (generalization) में पिछड़ जाता है और उन इंट्रा-सिस्टम संघर्षों (जैसे, L1 बनाम L2) को हल करने में विफल रहता है जिनमें सरफेस क्यूज़ (surface cues) की कमी होती है।

परिणाम
Llama-3.1-8B-Instruct पर मूल्यांकन करने पर, GW-DPO (बाइलेटरल) कॉन्फ़िगरेशन ने निम्नलिखित प्राप्त किया:

संघर्ष समाधान (Conflict Resolution): इसने उच्चतम मैक्रो पेयरवाइज प्रायोरिटी एडहेरेंस ( $P_{PPA_{macro}} = 0.838$ ) और वेटेड पदानुक्रम स्कोर ($WHS = 0.885$) प्राप्त किया, जो स्टैंडर्ड DPO और लीनियर वेरिएंट से बेहतर है।
ओवर-रिफ्यूज़ल (Over-Refusal): इसने 0.057 का ओवर-रिफ्यूज़ल रेट (ORR) बनाए रखा, जो स्टैंडर्ड DPO (0.120) की तुलना में लगभग आधा है और No-ISE कॉन्फ़िगरेशन (0.576) से काफी कम है।
सामान्यीकरण (Generalization): फ्लैट-टेक्स्ट रेफरेंस स्प्लिट्स (डेलीमिटर्स हटाकर) पर, GW-DPO (बाइलेटरल) ने मजबूत प्रदर्शन ( $PPA_{ref} = 0.793$ ) बनाए रखा, हालांकि यह लीनियर वेरिएंट की तुलना में थोड़ा कम था, जो पदानुक्रम अर्थों के मजबूत आंतरिककरण (internalization) को दर्शाता है।
बाहरी बेंचमार्क:
- XSTest: स्टैंडर्ड DPO की तुलना में सुरक्षित प्रॉम्प्ट्स पर बेहतर कैलिब्रेशन दिखाया, हालांकि "सुरक्षित-लेकिन-असामान्य" प्रॉम्प्ट्स को संभालने में एक ट्रेड-ऑफ देखा गया।
- SEP (इंस्ट्रक्शन-डेटा सेपरेशन): इसने 0.118 की प्रोब-एग्जीक्यूशन दर प्राप्त की, जो बेस मॉडल की तुलना में ~5 गुना सुधार है, जो निर्देशों और डेटा के बीच प्रभावी अलगाव को प्रदर्शित करता है।
- TensorTrust: 0.818 की रोबस्टनेस दर प्राप्त की, जो बेस मॉडल (0.212) से काफी बेहतर है, हालांकि स्टैंडर्ड DPO (0.906) से थोड़ा कम है, जो कैलिब्रेशन ट्रेड-ऑफ को दर्शाता है।
- MT-Bench: जनरल चैट-असिस्टेंट उपयोगिता को संरक्षित किया, जहाँ GW-DPO (बाइलेटरल) का स्कोर 7.425 रहा, जो ऑफ-द-शेल्फ एंकर के बराबर या उससे अधिक है।

महत्व और दावे
पेपर का दावा है कि स्ट्रक्चरल मार्जिन, विशेष रूप से GW-DPO में बाइलेटरल शेड्यूल, पदानुक्रम अनुपालन के लिए एक उपयोगी और पूरक लीवर के रूप में कार्य करते हैं। लेखक दावा करते हैं कि उनका रेसिपी उच्च $k$ तक स्केल करने के लिए तैयार है जैसे-जैसे परिनियोजन आर्किटेक्चर अधिक स्तरित (layered) होते जाएंगे।

महत्वपूर्ण रूप से, पेपर तीन-स्तरीय बनाम पांच-स्तरीय प्रशिक्षण के चुनाव को केवल एक क्रम (ordering) के प्रश्न के रूप में नहीं, बल्कि एक जनरैलिटी-स्पेशलाइजेशन ट्रेडऑफ़ के रूप में फ्रेम करता है। पांच-स्तरीय प्रशिक्षण प्लेन-टेक्स्ट रीराइट्स पर रिज़ॉल्यूशन क्षमता को बनाए रखता है और ओवर-रिफ्यूज़ल को कैलिब्रेटेड रखता है, जबकि तीन-स्तरीय प्रशिक्षण सरफेस कोरिलेशन के माध्यम से विशिष्ट उपसमुच्चयों (subsets) पर संकीर्ण महारत प्रदान करता है। लेखक इस बात पर जोर देते हैं कि बाइलेटरल शेड्यूल ही एकमात्र कॉन्फ़िगरेशन है जो लीनियर शेड्यूल की तुलना में संघर्ष समाधान और ओवर-रिफ्यूज़ल दोनों को एक साथ सुधारता है, जो शास्त्रीय सुरक्षा मॉडलों (Biba, 1977) के "नो राइट अप" (no write up) प्रतिबंधों के अनुरूप है।

यह कार्य निष्कर्ष निकालता है कि जबकि रेसिपी प्रभावी रूप से प्रॉम्प्ट इंजेक्शन से बचाव करती है और पदानुक्रम को लागू करती है, यह प्रेरित हमलावरों (motivated attackers) के खिलाफ एक पूर्ण एडवरसेरियल डिफेंस नहीं है और इसके लिए संगठनात्मक प्राथमिकताओं के पक्ष में उपयोगकर्ता की चिंताओं को दबाने के संबंध में सावधानीपूर्वक नीतिगत विचार की आवश्यकता है।

इसी तरह के और पेपर