Enforcing LLM Safety through DMD-based Classification of Prompt-Response Embedding Dynamics
यह शोध पत्र लार्ज लैंग्वेज मॉडल्स के लिए एक ब्लैक-बॉक्स सुरक्षा वर्गीकरण ढांचे का प्रस्ताव करता है जो प्रॉम्प्ट-रिस्पॉन्स एम्बेडिंग डायनेमिक्स का विश्लेषण करने के लिए कूपमैन-आधारित डायनेमिकल सिस्टम का लाभ उठाता है, यह प्रदर्शित करते हुए कि प्रॉम्प्ट जानकारी को शामिल करना इंटरैक्शन-डिपेंडेंट हानिकारक आउटपुट का पता लगाने में महत्वपूर्ण सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
लार्ज लैंग्वेज मॉडल्स (LLMs) कृत्रिम बुद्धिमत्ता की एक नई पीढ़ी के पीछे के इंजन हैं, जो कहानियाँ लिखने, समस्याओं को हल करने और ऐसी बातचीत करने में सक्षम हैं जो उल्लेखनीय रूप से मानवीय महसूस होती है। फिर भी, उनकी सुचारू सतह के नीचे एक निरंतर भेद्यता छिपी है: ये सिस्टम कभी-कभी हानिकारक, भ्रामक या खतरनाक सामग्री उत्पन्न कर सकते हैं, भले ही उन्हें सहायक होने के लिए प्रशिक्षित किया गया हो। यह जोखिम केवल एक सैद्धांतिक त्रुटि नहीं है; यह स्वास्थ्य सेवा, कानूनी सलाह या ग्राहक सेवा जैसी उच्च-जोखिम वाली स्थितियों में इन उपकरणों का उपयोग करने के लिए एक व्यावहारिक बाधा है। वर्षों से, इन त्रुटियों को पकड़ने का मानक तरीका मॉडल के कोड के भीतर देखना या मॉडल को कई अलग-अलग उत्तर उत्पन्न करने के लिए कहना और उनकी तुलना करना रहा है। लेकिन वास्तविक दुनिया में, कई शक्तिशाली मॉडल "ब्लैक बॉक्स" होते हैं, जहाँ उनके आंतरिक कामकाज छिपे होते हैं, और कई उत्तरों के लिए पूछना बहुत धीमा या महंगा होता है। यह एक महत्वपूर्ण अंतर छोड़ देता है: हम मॉडल के मस्तिष्क को देखे बिना या उसे दोबारा सोचने के लिए प्रतीक्षा किए बिना खतरनाक आउटपुट को तेज़ी से और विश्वसनीय रूप से कैसे पहचानें?
टेनेसी विश्वविद्यालय और ओक रिज नेशनल लेबोरेटरी के शोधकर्ताओं की एक टीम ने इस समस्या को देखने का एक अलग तरीका प्रस्तावित किया है। भाषा मॉडल को तथ्यों के एक स्थिर डेटाबेस या एक साधारण टेक्स्ट जनरेटर के रूप में मानने के बजाय, उन्होंने इसे एक गतिशील प्रणाली (dynamic system) के रूप में माना, ठीक वैसे ही जैसे एक भौतिक विज्ञानी पानी के प्रवाह या ग्रहों की गति का अध्ययन करता है। इस दृष्टिकोण में, मॉडल द्वारा उत्पन्न किया गया प्रत्येक शब्द केवल टेक्स्ट का एक स्वतंत्र टुकड़ा नहीं है, बल्कि एक निरंतर, विकसित होती यात्रा (trajectory) का एक चरण है। शोधकर्ताओं ने परिकल्पना की कि सुरक्षित बातचीत और असुरक्षित बातचीत, जैसे-जैसे वे विकसित होती हैं, अलग-अलग पैटर्न का पालन करती हैं, ठीक वैसे ही जैसे एक स्वस्थ हृदय गति एक अनियमित लय से भिन्न होती है। शब्दों की यात्रा को एक उच्च-आयामी स्थान (high-dimensional space) में मैप करके और उस यात्रा के आकार का विश्लेषण करके, उन्होंने बिना मॉडल को खोले ही सुरक्षित और असुरक्षित अंतःक्रियाओं के बीच अंतर करने की एक विधि विकसित की।
उनके दृष्टिकोण का मूल मॉडल द्वारा एक शब्द से दूसरे शब्द तक जाने के तरीके को देखना है। जब कोई उपयोगकर्ता प्रश्न पूछता है, तो मॉडल केवल उत्तर नहीं उगल देता; वह एक टोकन, या शब्द-खंड (word-piece), एक समय में अपना उत्तर बनाता है। शोधकर्ताओं ने शब्दों के इन अनुक्रमों को लिया और उन्हें एक विशाल, बहु-आयामी स्थान में गणितीय बिंदुओं में परिवर्तित किया। फिर उन्होंने इन बिंदुओं पर एक भविष्य कहनेवाला मॉडल (predictive model) फिट करने के लिए 'डायनेमिक मोड डिकंपोजिशन' नामक तकनीक का उपयोग किया। इसे बिंदुओं की एक श्रृंखला के माध्यम से एक रेखा खींचने जैसा समझें ताकि यह देखा जा सके कि अगला बिंदु कहाँ गिरने की संभावना है। उन्होंने इन भविष्य कहने वाले मॉडलों के दो अलग-अलग सेट बनाए: एक सुरक्षित बातचीत के उदाहरणों पर प्रशिक्षित किया गया और दूसरा असुरक्षित बातचीत के उदाहरणों पर। जब कोई नई बातचीत होती है, तो सिस्टम शब्दों के अनुक्रम को दोनों सेटों के माध्यम से चलाता है। यदि अनुक्रम सुरक्षित मॉडल द्वारा अनुमानित पथ का अनुसरण करता है, तो यह संभवतः सुरक्षित है। यदि यह सुरक्षित पथ से तेजी से विचलित होता है और असुरक्षित पथ के अधिक करीब आता है, तो सिस्टम इसे खतरनाक के रूप में चिह्नित करता है।
इस अध्ययन को जो बात विशेष रूप से महत्वपूर्ण बनाती है, वह यह है कि यह उत्तर को अलग-थलग होकर नहीं देखता है। शोधकर्ताओं ने महसूस किया कि प्रतिक्रिया की सुरक्षा पूरी तरह से उस प्रश्न पर निर्भर करती है जिसने उसे प्रेरित किया है। एक वाक्य जैसे "मैं आपको रिफंड दूँगा" ग्राहक सेवा के संदर्भ में पूरी तरह से सुरक्षित हो सकता है, लेकिन यदि उपयोगकर्ता उस पैकेज के बारे में पूछ रहा है जो कभी भेजा ही नहीं गया था, तो यह एक खतरनाक भ्रम (hallucination) हो सकता है। इस बारीकी को पकड़ने के लिए, टीम ने अपने सिस्टम को उपयोगकर्ता के प्रॉम्प्ट और मॉडल की प्रतिक्रिया दोनों की गतिशीलता (dynamics) को ट्रैक करने के लिए डिज़ाइन किया। उन्होंने पाया कि केवल अंतिम आउटपुट के बजाय दोनों के बीच की अंतःक्रिया को देखकर, सिस्टम उन सूक्ष्म खतरों को पकड़ सकता है जिन्हें अन्य विधियाँ छोड़ देती हैं। यह विशेष रूप से उन मॉडलों के लिए सच है जो एक विशिष्ट, कारण-आधारित (causal) क्रम में टेक्स्ट उत्पन्न करते हैं, जहाँ प्रश्न और उत्तर के बीच का संबंध मजबूती से बुना हुआ होता है।
टीम ने सामान्य सुरक्षा बेंचमार्क से लेकर हानिकारक सलाह और विषाक्त भाषण को पकड़ने के लिए डिज़ाइन किए गए विशिष्ट डेटासेट तक, डेटा के तीन अलग-अलग संग्रहों पर अपने तरीके का परीक्षण किया। उन्होंने यह देखने के लिए तीन अलग-अलग प्रकार के एम्बेडिंग मॉडल—वे उपकरण जो शब्दों को उन गणितीय बिंदुओं में अनुवादित करते हैं—का उपयोग किया कि कौन सा सबसे अच्छा काम करता है। परिणामों ने दिखाया कि उनका तरीका अत्यधिक प्रभावी था, विशेष रूप से जब इसने प्रतिक्रिया के साथ प्रॉम्प्ट पर विचार किया। 12,000 से अधिक उदाहरणों वाले एक प्रमुख परीक्षण में, सिस्टम ने 0.8 से अधिक का AUC प्राप्त किया, जिसने उस विशिष्ट डेटा पर किसी विशेष प्रशिक्षण की आवश्यकता के बिना असुरक्षित सामग्री की सही पहचान की। यह एक "ब्लैक-बॉक्स" पद्धति के लिए एक मजबूत प्रदर्शन है जिसके लिए मॉडल के आंतरिक कोड तक पहुँच की आवश्यकता नहीं है।
अध्ययन ने यह भी खुलासा किया कि विभिन्न प्रकार के एआई मॉडल कैसे व्यवहार करते हैं। शोधकर्ताओं ने पाया कि सबसे अच्छा उपकरण खतरे की प्रकृति पर निर्भर करता है। उन अंतःक्रियाओं के लिए जहाँ जोखिम एक प्रश्न और एक उत्तर के बीच के विशिष्ट संबंध से आता है, एक 'कॉज़ल आर्किटेक्चर' वाला मॉडल—जो एक सख्त फॉरवर्ड सीक्वेंस में पढ़ता और लिखता है—सबसे अच्छा प्रदर्शन करता है। हालाँकि, उन खतरों के लिए जो प्रश्न की परवाह किए बिना, उत्तर की सामग्री में स्पष्ट रूप से दिखाई देते हैं, एक अलग प्रकार का मॉडल जो सघन अर्थपूर्ण (semantic) अर्थ पर ध्यान केंद्रित करता है, बेहतर काम करता है। यह सुझाव देता है कि एआई सुरक्षा की निगरानी के लिए कोई एक एकल "सर्वश्रेष्ठ" तरीका नहीं है; सही उपकरण प्रबंधित किए जाने वाले जोखिम के विशिष्ट प्रकार पर निर्भर करता है।
शायद सबसे आश्चर्यजनक खोज यह थी कि सिस्टम मॉडल द्वारा एक शब्द भी उत्पन्न करने से पहले, केवल उपयोगकर्ता के प्रॉम्प्ट को देखकर भी खतरे का पता लगा सकता था। मानव-लिखित प्रॉम्प्ट के डेटासेट का उपयोग करने वाले परीक्षणों में, सिस्टम केवल प्रश्न में शब्दों के प्रक्षेपवक्र (trajectory) के आधार पर सुरक्षित और असुरक्षित प्रश्नों के बीच अंतर कर सका। यह दर्शाता है कि खतरनाक अनुरोधों को लिखने का तरीका एक विशिष्ट गणितीय हस्ताक्षर छोड़ता है जिसे जल्दी पहचाना जा सकता है। हालाँकि सिस्टम पूर्ण नहीं था और लंबे टेक्स्ट अनुक्रमों के साथ थोड़ा संघर्ष करता था, लेकिन परिणाम प्रदर्शित करते हैं कि भाषा निर्माण को एक गतिशील प्रक्रिया के रूप में देखना सुरक्षा के लिए एक शक्तिशाली नया दृष्टिकोण प्रदान करता है।
यह कार्य इस बात का प्रतिनिधित्व करता है कि हम कृत्रिम बुद्धिमत्ता के शासन (governance) के प्रति अपने दृष्टिकोण को कैसे बदल सकते हैं। केवल मॉडलों को बेहतर बनाने के लिए प्रशिक्षित करने या बुरे शब्दों को रोकने के लिए जटिल फिल्टर बनाने के बजाय, यह दृष्टिकोण भाषा निर्माण की प्रक्रिया को स्वयं एक सिग्नल के रूप में देखता है जिसे मॉनिटर किया जाना चाहिए। शब्द निर्माण के जटिल, गैर-रैखिक नृत्य पर सरल, रैखिक मॉडल फिट करके, शोधकर्ताओं ने दिखाया कि एक ऐसा सुरक्षा जाल बनाना संभव है जो कुशल और प्रभावी दोनों है। इस पद्धति के लिए विशाल मॉडलों को पुन: प्रशिक्षित करने की भारी कम्प्यूटेशनल लागत या आंतरिक डेटा को उजागर करने के गोपनीयता जोखिमों की आवश्यकता नहीं है। यह केवल बातचीत के प्रवाह को देखता है, और उस क्षण को ढूंढता है जब पथ सुरक्षा से विचलित होता है। जैसे-जैसे ये उपकरण दैनिक जीवन में एकीकृत होते जा रहे हैं, ऐसे तरीके यह सुनिश्चित करने के लिए एक आशाजनक तरीका प्रदान करते हैं कि बातचीत सहायक, ईमानदार और हानिरहित बनी रहे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।