No More, No Less: Least-Privilege Language Models

यहाँ शोध पत्र "No More, No Less: Least-Privilege Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वर्तमान लार्ज लैंग्वेज मॉडल्स (LLMs) एक "पूर्ण-क्षमता" (full-capability) परिनियोजन प्रतिमान (deployment paradigm) के तहत कार्य करते हैं: प्रत्येक उपयोगकर्ता एक ही बेस मॉडल वेट्स (weights) के साथ इंटरैक्ट करता है, जो मॉडल की संपूर्ण आंतरिक जानकारी और कम्प्यूटेशनल क्षमता तक पहुँच प्रदान करता है। यह महत्वपूर्ण सुरक्षा और सुरक्षा जोखिम पैदा करता है, विशेष रूप से जब मॉडल अनजाने में खतरनाक जानकारी (जैसे, जैविक हथियारों के निर्देश) प्रकट कर देता है या जब दुर्भावनापूर्ण अभिनेता मॉडल की पूर्ण क्षमताओं का लाभ उठाते हैं।

मौजूदा शमन रणनीतियाँ (mitigation strategies) तीन श्रेणियों में आती हैं, जिन्हें लेखक अपर्याप्त मानते हैं:

1. ट्रेनिंग-टाइम अलाइनमेंट (Training-time alignment): (जैसे, RLHF, सुरक्षा फाइन-ट्यूनिंग) हानिकारक आउटपुट को हतोत्साहित करने के लिए वेट्स को संशोधित करता है, लेकिन वेट्स में अंतर्निहित क्षमता को बरकरार रखता है।
2. आउटपुट-लेवल कंट्रोल्स (Output-level controls): (जैसे, प्रॉम्प्ट इंजीनियरिंग, फिल्टर्स, रिफ्यूजल लॉजिक) विशिष्ट आउटपुट को ब्लॉक करते हैं लेकिन वर्जित जानकारी के आंतरिक संचलन (computation) को नहीं रोकते हैं। एक हमलावर अक्सर बार-बार सैंपलिंग या जेलब्रेकिंग के माध्यम से इसे बायपास कर सकता है।
3. एक्टिवेशन स्टीयरिंग (Activation steering): निश्चित विक्षोभों (perturbations) के माध्यम से आंतरिक अवस्थाओं को संशोधित करता है, लेकिन सुलभ फंक्शन क्लास (reachable function class) को संरचनात्मक रूप से प्रतिबंधित नहीं करता है।

मुख्य अंतराल (The Core Gap): मॉडल को पुन: प्रशिक्षित किए बिना या कई अलग-अलग मॉडल तैनात किए बिना, विशिष्ट अनुरोध या उपयोगकर्ता के आधार पर इन्फरेंस के समय मॉडल की आंतरिक कम्प्यूटेशनल क्षमता को गतिशील रूप से प्रतिबंधित करने का कोई तंत्र नहीं है। यह शोध पत्र LLM परिनियोजन को एक न्यूनतम-विशेषाधिकार (Least-Privilege) समस्या के रूप में पुनर्गठित करने का प्रस्ताव देता है: उपयोगकर्ता को उनके विशिष्ट कार्य को प्राप्त करने के लिए आवश्यक न्यूनतम आंतरिक गणना प्रदान करना।

2. कार्यप्रणाली (Methodology)

लेखक लीस्ट-प्रिविलेज लैंग्वेज मॉडल्स (LPLMs) नामक मॉडल्स का एक नया वर्ग और नेस्टेड लीस्ट-प्रिविलेज नेटवर्क्स (NLPNs) नामक एक विशिष्ट प्रवर्तन तंत्र (enforcement mechanism) प्रस्तावित करते हैं।

A. वैचारिक ढांचा: मॉनिटर–एलोकेटर–एनफोर्सर (Monitor–Allocator–Enforcer)

लेखक परिनियोजन नियंत्रण को तीन-स्तरीय स्टैक के रूप में औपचारिक रूप देते हैं:

1. मॉनिटर (Monitor): अनुरोध-समय संकेत $s(x)$ उत्पन्न करता है (जैसे, प्रॉम्प्ट सामग्री, जोखिम मेटाडेटा, अनिश्चितता)।
2. एलोकेटर (Allocator): एक निर्णय नियम $\phi$ जो संकेतों को एक विशेषाधिकार सेटिंग (privilege setting) $g$ में मैप करता है। यह उस विशिष्ट अनुरोध के लिए अनुमत आंतरिक क्षमता के स्तर को निर्धारित करता है।
3. एनफोर्सर (Enforcer): एक इन्फरेंस-टाइम ऑपरेटर $T_g$ जो फॉरवर्ड पास के भीतर लागू होता है, जो बेस वेट्स $\theta$ को बदले बिना, $g$ के आधार पर मॉडल के सुलभ गणनाओं को प्रतिबंधित करता है।

विशेषाधिकार की परिभाषा (Definition of Privilege): विशेषाधिकार को सुलभ आंतरिक गणना (reachable internal computation) के रूप में परिभाषित किया गया है। विशेषाधिकार को कम करने का अर्थ है वास्तव में मॉडल के सुलभ फंक्शन क्लास (उन कार्यों का सेट जिन्हें मॉडल कंप्यूट कर सकता है) को छोटा करना, न कि केवल आउटपुट को फ़िल्टर करना।

B. तकनीकी कार्यान्वयन: नेस्टेड लीस्ट-प्रिविलेज नेटवर्क्स (NLPNs)

विशेषाधिकार को लागू करने के लिए, लेखक NLPNs का प्रस्ताव करते हैं, जो एक शेप-प्रिजर्विंग (shape-preserving), रैंक-इंडेक्स्ड हस्तक्षेप है:

• पुनः पैरामीट्राइजेशन (Re-parameterization): ट्रांसफार्मर में लीनियर लेयर्स $W$ को दो लो-रैंक मैट्रिसेस के उत्पाद $W \approx BA$ द्वारा प्रतिस्थापित किया जाता है, जहाँ $A \in \mathbb{R}^{r_{max} \times d_{in}}$ और $B \in \mathbb{R}^{d_{out} \times r_{max}}$ है।
• नेस्टेड सबस्पेस (Nested Subspaces): एक विशेषाधिकार स्तर $g \in \{0, \dots, r_{max}\}$ के लिए, प्रभावी वेट मैट्रिक्स को $W(g) = B_{(:,1:g)} A_{(1:g,:)}$ के रूप में परिभाषित किया गया है।
  • यह वेट्स का एक मोनोटोन परिवार (monotone family) बनाता है: $Im(W(g)) \subseteq Im(W(g+1))$।
  • $g$ को बढ़ाने से सुलभ सबस्पेस का विस्तार होता है; $g$ को कम करने से वह प्रतिबंधित हो जाता है।
• शेप प्रिजर्वेशन (Shape Preservation): मॉडल के टेंसर शेप मूल बेसलाइन के समान रहते हैं, जिससे NLPNs को बिना किसी आर्किटेक्चरल बदलाव के प्री-ट्रेंड मॉडल्स पर लागू किया जा सकता है।

C. प्रशिक्षण रणनीति (Training Strategy)

यह सुनिश्चित करने के लिए कि मॉडल कम विशेषाधिकार स्तरों पर स्थिर व्यवहार करे, लेखक एक पोस्ट-हॉक प्रशिक्षण (post-hoc training) प्रक्रिया का प्रस्ताव करते हैं:

• मल्टी-प्रिविलेज ऑप्टिमाइजेशन (Multi-Privilege Optimization): प्रशिक्षण के दौरान, मॉडल को एंकर स्तर $r_{max}$ के साथ-साथ एक सैंपल किए गए विशेधिकार स्तर $g$ (0 से $r_{max}-1$ के बीच समान रूप से) के संपर्क में लाया जाता है।
• लॉस फंक्शन (Loss Function): उच्च-विशेषाधिकार और निम्न-विशेषाधिकार दोनों नीतियों को एक साथ अनुकूलित करने के लिए एक अनसर्टेन्टी-वेटेड सरोगेट लॉस का उपयोग किया जाता है, जो "प्रिविलेज कोलैप्स" (जहाँ लो-रैंक ट्रंकेशन से विनाशकारी विफलता होती है) को रोकता है।

3. प्रमुख योगदान (Key Contributions)

1. प्रतिमान परिवर्तन (Paradigm Shift): एक नया परिनियोजन प्रतिमान प्रस्तावित करता है जहाँ आंतरिक क्षमता एक नियंत्रणीय चर (controllable variable) है, जो आउटपुट फ़िल्टरिंग से आगे बढ़कर संरचनात्मक क्षमता प्रतिबंध तक जाती है।
2. औपचारिकीकरण (Formalization): लीस्ट-प्रिविलेज इन्फरेंस ऑब्जेक्टिव को परिभाषित करता है: एक लक्षित उपयोगिता बाधा $u_0$ के अधीन औसत विशेषाधिकार सेटिंग $g$ को कम करना।
3. NLPN तंत्र: रैंक-इंडेक्स्ड हस्तक्षेप के माध्यम से LLMs के फंक्शन क्लास को प्रतिबंधित करने के लिए एक ठोस, प्रतिवर्ती (reversible) और शेप-प्रिजर्विंग विधि पेश करता है।
4. नीति मूल्यांकन (Policy Evaluation): यह प्रदर्शित करता है कि डायनेमिक एलोकेशन नीतियां (जैसे, अनिश्चित या कठिन अनुरोधों के लिए विशेषाधिकार बढ़ाना) उपयोगिता, विशेषाधिकार लागत और इन्फरेंस ओवरहेड के बीच पारेटो-ऑप्टिमल (Pareto-optimal) ट्रेड-ऑफ प्राप्त कर सकती हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने एल्गोरिद्मिक कार्यों और MMLU बेंचमार्क पर कई मॉडल्स (Pythia-1B, Qwen2.5-0.5B, Llama-3.2-1B) पर NLPNs का मूल्यांकन किया।

• मोनोटोनिक डिग्रेडेशन (RQ1): विशेधिकार (रैंक) को कम करने से उपयोगिता में एक सहज, मोनोटोनिक गिरावट आती है। आसान कार्य कम रैंक पर भी हल करने योग्य रहते हैं, जबकि कठिन कार्य तेजी से खराब होते हैं। यह विभेदक संवेदनशीलता (differential sensitivity) सशर्त विशेधिकार आवंटन को सक्षम बनाती है।
• नीति दक्षता (RQ2 और RQ3):
  • स्टैटिक नीतियां (Static policies): (निश्चित रैंक) या तो आसान कार्यों पर विशेधिकार बर्बाद करती हैं या कठिन कार्यों में विफल हो जाती हैं।
  • प्रोग्रेसिव नीतियां (Progressive policies): (अनिश्चितता के आधार पर रैंक बढ़ाना) पूर्ण-विशेषाधिकार बेसलाइन की तुलना में काफी कम औसत विशेधिकार (रैंक) के साथ लक्षित सटीकता (जैसे, 90-95%) प्राप्त करती है।
  • एक स्पष्ट ट्रेड-ऑफ है: डायनेमिक नीतियां विशेधिकार को कम करती हैं लेकिन स्टेटिक सिंगल-पास नीतियों की तुलना में अधिक इन्फरेंस ओवरहेड (कई पास) का भार डालती हैं।
• ग्रैनुलर कंट्रोल (RQ4): लेखकों ने पाया कि विशिष्ट ट्रांसफार्मर ब्लॉक्स (जैसे, विशिष्ट MLP प्रोजेक्शन) में रैंक रिडक्शन विशिष्ट डोमेन (जैसे, केमिस्ट्री) में ज्ञान को दबा सकता है जबकि अन्य (जैसे, मैथ) में प्रदर्शन को बनाए रख सकता है। यह चयनात्मक क्षमता दमन (selective capability suppression) की अनुमति देता है।
• वास्तविक क्षमता दमन (RQ3 और F): महत्वपूर्ण रूप से, शोध पत्र यह प्रदर्शित करता है कि NLPN रैंक रिडक्शन वास्तविक क्षमता दमन (true capacity suppression) को प्रेरित करता है, न कि केवल व्यवहार संबंधी मास्किंग को।
  • साक्ष्य: जब मॉडल को व्यवहारिक रूप से उत्तर देने से मना करने के लिए मजबूर किया जाता है (एक "अनुपयोगी" प्रॉम्प्ट के माध्यम से), तो एक फुल-रैंक मॉडल के आंतरिक एक्टिवेशन से एक लीनियर प्रोब अभी भी सही उत्तर निकाल सकता है। हालांकि, कम रैंक पर, प्रोब जानकारी को रिकवर करने में विफल हो जाता है। यह सिद्ध करता है कि आंतरिक कम्प्यूटेशनल क्षमता स्वयं हटा दी गई है, जिससे प्रतिकूल प्रॉम्प्टिंग के माध्यम से दमित क्षमताओं को पुनः प्राप्त करना कठिन हो जाता है।

5. महत्व और निहितार्थ (Significance and Implications)

• सुरक्षा और सुरक्षा (Security & Safety): LPLMs खतरनाक जानकारी के रिसाव के खिलाफ एक मजबूत रक्षा प्रदान करते हैं। अनधिकृत उपयोगकर्ताओं के लिए कुछ विशिष्ट सूचनाओं को कंप्यूट करने की मॉडल की क्षमता को संरचनात्मक रूप से प्रतिबंधित करके, बार-बार सैंपलिंग या प्रॉम्प्ट इंजीनियरिंग के माध्यम से "जेलब्रेकिंग" का जोखिम काफी कम हो जाता है।
• शासन (Governance): यह दृष्टिकोण ऑडिट योग्य एक्सेस कंट्रोल (auditable access control) को सक्षम बनाता है। तैनात करने वाले स्पष्ट रूप से परिभाषित और लागू कर सकते हैं कि विभिन्न उपयोगकर्ता स्तरों या जोखिम प्रोफाइल के लिए कौन सी आंतरिक गणनाएँ सुलभ हैं।
• दक्षता (Efficiency): सुरक्षा के अलावा, यह तंत्र कम्प्यूट ऑप्टिमाइजेशन की अनुमति देता है, सरल कार्यों को कम-रैंक (सस्ते) आंतरिक पथों पर चलाने की अनुमति देता है जबकि जटिल प्रश्नों के लिए पूर्ण क्षमता सुरक्षित रखता है।
• भावी अनुसंधान (Future Research): यह शोध पत्र "लीस्ट-प्रिविलेज लर्निंग" के एक नए क्षेत्र की नींव रखता है, जो इस धारणा को चुनौती देता है कि LLMs को हमेशा हर उपयोगकर्ता को अपने पूरे वेट्स दिखाने चाहिए। यह सुझाव देता है कि भविष्य के मॉडल्स को क्षमता प्रबंधन के लिए अंतर्निहित, प्रतिवर्ती नियंत्रण सतहों (control surfaces) के साथ डिज़ाइन किया जाना चाहिए।

संक्षेप में, यह शोध पत्र तर्क देता है कि LLM परिनियोजन के लिए "No More, No Less" (न अधिक, न कम) ही मार्गदर्शक सिद्धांत होना चाहिए: उपयोगकर्ताओं को ठीक उतनी ही कम्प्यूटेशनल पहुँच प्रदान करना जितनी उन्हें आवश्यकता है, और उससे अधिक नहीं, जो एक नवीन, गणितीय रूप से आधारित प्रवर्तन तंत्र के माध्यम से संभव है।