Distilling Safe LLM Systems via Soft Prompts for On Device Settings
यह शोध पत्र ऑन-डिवाइस लार्ज लैंग्वेज मॉडल्स के लिए एक पैरामीटर-कुशल सुरक्षा संरेखण विधि प्रस्तावित करता है जो टोटल वेरिएशन और KL डाइवर्जेंस के माध्यम से गार्ड मॉडल्स से डिस्टिल्ड सॉफ्ट प्रॉम्प्ट्स का उपयोग करता है, जो LoRA और स्टीयरिंग वेक्टर्स जैसी मौजूदा तकनीकों की तुलना में बेहतर सुरक्षा-उपयोगिता ट्रेड-ऑफ और न्यूनतम संसाधन ओवरहेड प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ इस शोध पत्र का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।
बड़ी समस्या: "दोहरी जाँच" की बाधा (The "Double-Check" Bottleneck)
कल्पना कीजिए कि आपके पास एक बहुत ही प्रतिभाशाली लेकिन कभी-कभी लापरवाह कलाकार (Large Language Model या LLM) है जो कहानियाँ लिख सकता है, सवालों के जवाब दे सकता है और समस्याओं को हल कर सकता है। हालाँकि, यह कलाकार कभी-कभी बहक जाता है और कुछ अनुचित या खतरनाक बना देता है।
चीजों को सुरक्षित रखने के लिए, आप कलाकार के बगल में खड़े होने के लिए एक सख्त सुरक्षा गार्ड (Guard Model) को काम पर रखते हैं। हर बार जब कलाकार एक वाक्य पूरा करता है, तो गार्ड उसकी जाँच करता है।
- यदि वह सुरक्षित है, तो गार्ड कहता है, "आगे बढ़ो, इसे उपयोगकर्ता को दिखाओ।"
- यदि वह असुरक्षित है, तो गार्ड कहता है, "रुको! इसके बजाय एक विनम्र इनकार वाला संदेश यहाँ है।"
चुनौती: यह "दोहरी जाँच" प्रणाली सुरक्षा के लिए तो बेहतरीन है, लेकिन यह अविश्वसनीय रूप से धीमी और महंगी है। यह ऐसा है जैसे कलाकार को एक चित्र बनाने के लिए कहना, और फिर अगले ब्रशस्ट्रोक पर आगे बढ़ने से पहले हर एक स्ट्रोक के निरीक्षण के लिए रुककर इंतज़ार करना। एक शक्तिशाली कंप्यूटर पर, यह ठीक है। लेकिन एक स्मार्टफोन पर (जिसमें सीमित बैटरी और मेमोरी होती है), यह "दोहरी जाँच" बहुत भारी पड़ती है। यह बैटरी खत्म करती है, बहुत अधिक मेमोरी का उपयोग करती है, और फोन को धीमा महसूस कराती है।
समाधान: कलाकार को खुद अपना गार्ड बनना सिखाना
शोधकर्ताओं ने एक सरल प्रश्न पूछा: क्या हम कलाकार को खुद सुरक्षित रहना सिखा सकते हैं, ताकि हमें उनके बगल में अलग से सुरक्षा गार्ड खड़ा करने की आवश्यकता न पड़े?
वे पूरे कलाकार को फिर से प्रशिक्षित (retrain) नहीं करना चाहते थे (जो कि कलाकार को वर्षों तक आर्ट स्कूल वापस भेजने जैसा है)। इसके बजाय, उन्होंने Distillation via Soft Prompts नामक तकनीक का उपयोग किया।
उपमा: "जादुई हेडबैंड" (The "Magic Headband")
Soft Prompt को कलाकार द्वारा पहने जाने वाले एक विशेष, अदृश्य हेडबैंड के रूप में सोचें।
- यह हेडबैंड भारी धातु का नहीं बना है (जैसे कलाकार के पूरे मस्तिष्क को बदलना)।
- यह एक छोटा, हल्का सा सामान (केवल कुछ हज़ार पैरामीटर्स) है जो कलाकार की विचार प्रक्रिया के बिल्कुल शुरुआत में स्थित होता है।
- जब कलाकार यह हेडबैंड पहनता है, तो यह सूक्ष्म रूप से उसकी मानसिकता को बदल देता है। यह लिखने शुरू करने से पहले ही फुसफुसाता है, "याद रखो, कुछ भी बुरा मत बनाना।"
शोधकर्ताओं ने इस हेडबैंड को हजारों उदाहरण दिखाकर "प्रशिक्षित" किया कि सुरक्षा गार्ड क्या करता। हेडबैंड ने गार्ड के व्यवहार की इतनी सटीक नकल करना सीख लिया कि अब कलाकार बिना किसी गार्ड की जाँच के, स्वचालित रूप से हानिकारक अनुरोधों को अस्वीकार कर देता है।
उन्होंने यह कैसे किया: "टोटल वेरिएशन" रेसिपी
पेपर इस "जादुई हेडबैंड" को प्रशिक्षित करने के विभिन्न तरीकों की तुलना करता है। उन्होंने कई रेसिपी आजमाईं:
- सिर्फ यह अनुमान लगाना कि अगला शब्द क्या होना चाहिए (Perplexity): इससे कलाकार बेहतर लिखता तो था, लेकिन इसने उन्हें वास्तव में बुरी चीजें बनाने से नहीं रोका।
- रीइन्फोर्समेंट लर्निंग (REINFORCE): यह कलाकार को सुरक्षित रहने पर इनाम देने जैसा था। यह ठीक-ठाक काम करता था, लेकिन पेचीदा नए सवालों के सामने कलाकार कभी-कभी नियम भूल जाता था।
- विजेता (TV-DiSP): शोधकर्ताओं ने Total Variation Distillation नामक एक विशिष्ट गणितीय रेसिपी विकसित की।
- कल्पना कीजिए कि यह एक सख्त शिक्षक है जो कहता है: "तुम्हारा आउटपुट गार्ड के निर्णय से बिल्ly मेल खाना चाहिए।"
- यदि गार्ड कहता है "सुरक्षित," तो कलाकार को बिल्कुल वही कहना होगा।
- यदि गार्ड कहता है "असुरक्षित," तो कलाकार को तुरंत इनकार वाले संदेश पर स्विच करना होगा।
- यह विधि (TV-DiSP) कलाकार की मददगार होने की क्षमता को बिगाड़े बिना, गार्ड के व्यवहार की नकल करने में सबसे प्रभावी थी।
परिणाम: तेज़, हल्का और सुरक्षित
शोधकर्ताओं ने वास्तविक स्मार्टफोन (Qualcomm चिप्स का उपयोग करके) पर इसका परीक्षण किया और इसकी तुलना पुराने "दोहरी जाँच" सिस्टम से की।
- सुरक्षा: "जादुई हेडबैंड" (TV-DiSP) लगभग उतना ही सुरक्षित था जितना कि वहां पूर्ण सुरक्षा गार्ड का होना। इसने जेलब्रेक और विषाक्त प्रॉम्प्ट्स (toxic prompts) से संबंधित परीक्षणों में हानिकारक सामग्री को सफलतापूर्वक रोका।
- गति और मेमोरी: यह सबसे बड़ी जीत है।
- पुराने सिस्टम (कलाकार + गार्ड) को प्रत्येक शब्द के लिए दो भारी गणनाओं की आवश्यकता थी।
- नए सिस्टम (कलाकार + हेडबैंड) को केवल एक गणना की आवश्यकता है।
- मेमोरी: हेडबैंड फोन की मेमोरी उपयोग में 1% से भी कम जोड़ता है। पुराना सिस्टम लगभग 30-30% से 100% तक जोड़ देता था।
- बैटरी/कंप्यूट: नया सिस्टम मूल कलाकार की तुलना में 10% से कम अतिरिक्त कंप्यूटिंग शक्ति का उपयोग करता है, जबकि पुराना सिस्टम कार्यभार को दोगुना कर देता था।
यह आपके फोन के लिए क्यों मायने रखता है
पेपर निष्कर्ष निकालता है कि आपके फोन पर सुरक्षित AI चलाने के लिए, आपको एक भारी, दोहरे मॉडल वाले सिस्टम की आवश्यकता नहीं है। आपको बस मुख्य मॉडल को इस छोटे, सीखे हुए "हेडबैंड" (सॉफ्ट प्रॉम्प्ट) से लैस करने की आवश्यकता है।
यह कार के सुरक्षा फीचर्स को अपग्रेड करने जैसा है। सड़क पर नज़र रखने के लिए कार में दूसरा भारी ड्राइवर जोड़ने के बजाय (जो कार को धीमा और भारी बनाता है), आप डैशबोर्ड में एक स्मार्ट, हल्का सेंसर स्थापित करते हैं जो कार को खतरे से दूर ले जाता है। कार उतनी ही तेज़ चलती है, कम पेट्रोल खर्च करती है, लेकिन उतनी ही सुरक्षित रहती है।
संक्षेप में: यह पेपर सिद्ध करता है कि एक छोटे "सॉफ्ट प्रॉम्प्ट" को सुरक्षा गार्ड की नकल करने के लिए सिखाने के लिए एक विशिष्ट प्रशिक्षण पद्धति (Total Variation Distillation) का उपयोग करके, हम AI को स्मार्टफोन के लिए इतना सुरक्षित बना सकते हैं कि वह उन्हें धीमा न करे या उनकी बैटरी न सुखाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।