PL-Guard: Probabilistic Logic Reasoning for LLM Guardrails
PL-Guard एक न्यूरोसिम्बोलिक गार्डरेल आर्किटेक्चर है जो एक स्थानीय LLM का उपयोग करके प्रेडिकेट संभाव्यताएं (predicate probabilities) निकालने और स्पष्ट संभाव्यता अनुमान (probabilistic inference) के लिए ProbLog का उपयोग करके सिमेंटिक ग्राउंडिंग को पॉलिसी रीजनिंग से अलग करता है, जो XSTest बेंचमार्क पर असुरक्षित अनुपालन (unsafe compliance) को काफी कम करता है जबकि ओवर-रिफ्यूज़ल दरों (over-refusal rates) को बढ़ाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए एक ऐसी दुनिया की जहाँ आर्टिफिशियल इंटेलिजेंस एक सहायक साथी के रूप में कार्य करता है, जो प्रश्न पूछने, कहानियाँ सुनाने और समस्याओं को हल करने के लिए तैयार है। लेकिन किसी भी शक्तिशाली उपकरण की तरह, इसमें जोखिम भी शामिल हैं। यदि इन्हें अनियंत्रित छोड़ दिया गया, तो ये सिस्टम अनजाने में खतरनाक निर्देश दे सकते हैं या इसके विपरीत, इतने सतर्क हो सकते हैं कि वे हानिरहित प्रश्नों का उत्तर देने से भी इनकार कर दें। डेवलपर्स के लिए चुनौती एक सुरक्षा तंत्र—एक गार्डरेल (guardrail)—बनाने की है, जो हानिकारक अनुरोध और एक हानिरहित शैक्षिक प्रश्न के बीच अंतर कर सके। यह एक सरल कार्य नहीं है क्योंकि भाषा छल-कपट से भरी होती है। एक वाक्य खतरनाक लग सकता है क्योंकि इसमें "विस्फोट" (explode) या "चोरी" (steal) जैसे शब्दों का उपयोग किया गया है, फिर भी सही संदर्भ में, जैसे कि एक इतिहास के पाठ या एक काल्पनिक कहानी में, वह पूरी तरह से सुरक्षित होता है। इसके विपरीत, नुकसान पहुँचाने वाले अनुरोध को विनम्र और अप्रत्यक्ष तरीके से भी कहा जा सकता है, जिससे उसका वास्तविक इरादा छिप जाता है। वर्तमान पद्धतियाँ अक्सर इस सूक्ष्मता को समझने में संघर्ष करती हैं, जिससे कभी-कभी वे वास्तविक खतरों को रोकने में विफल रहती हैं या अनावश्यक रूप से सहायक बातचीत को रोक देती हैं।
एम्सटर्डम विश्वविद्यालय और यूट्रेक्ट विश्वविद्यालय के शोधकर्ताओं की एक टीम ने इस समस्या को संभालने का एक नया तरीका प्रस्तावित किया है, जिसे "PL-Guard" नामक शोध पत्र में वर्णित किया गया है। एक ही आर्टिफिशियल इंटेलिजेंस मॉडल से सब कुछ एक साथ करने के बजाय—शब्दों को समझने, इरादे को परखने और परिणाम तय करने का काम—उन्होंने इस कार्य को दो अलग-अलग भागों में विभाजित कर दिया है। वे इसे एक "न्यूरोसिम्बोलिक" (neurosymbolic) दृष्टिकोण कहते हैं, जिसका अर्थ है एक न्यूरल नेटवर्क की लचीली, सहज समझ को एक सिम्बोलिक सिस्टम के सख्त, तार्किक नियमों के साथ जोड़ना। शोधकर्ताओं ने पाया कि इन भूमिकाओं को अलग करके, वे अपने सुरक्षा तंत्र को बहुत अधिक पारदर्शी और हानिकारक व्यवहार को रोकने में अधिक प्रभावी बना सकते हैं, भले ही इसका अर्थ हानिरहित अनुरोधों के साथ थोड़ा अधिक सतर्क रहना हो।
उनके नए सिस्टम में, प्रक्रिया तब शुरू होती है जब एक उपयोगकर्ता एक प्रॉम्प्ट भेजता है और एआई एक प्रतिक्रिया उत्पन्न करता है। एक पहला एआई मॉडल, जो एक न्यायाधीश की भूमिका निभाता है, कोई लंबा स्पष्टीकरण या निर्णय नहीं देता है। इसके बजाय, वह बातचीत के विशिष्ट, पूर्व-निर्धारित प्रश्नों को देखता है, जैसे कि "क्या उपयोगकर्ता कुछ हानिकारक मांग रहा है?" या "क्या इस बातचीत का संदर्भ निर्दोष है?" प्रत्येक प्रश्न के लिए, मॉडल एक संभाव्यता स्कोर (probability score) की गणना करता है, जो मूल रूप से इस बात का प्रतिशत है कि वह कथन सत्य है। ये स्कोर फिर एक दूसरे, पूरी तरह से अलग सिस्टम को भेजे जाते हैं जो एक तार्किक नियम पुस्तिका की तरह कार्य करता है। यह नियम पुस्तिका, जिसे प्रोबएलॉग (ProbLog) नामक भाषा में लिखा गया है, उन संभावनाओं को संयोजित करने के लिए स्पष्ट निर्देश रखती है। उदाहरण के लिए, नियम यह हो सकते हैं कि यदि हानिकारक अनुरोध की संभावना अधिक है और हानिकारक प्रतिक्रिया की संभावना भी अधिक है, तो सिस्टम उत्तर को ब्लॉक कर दे। हालांकि, यदि अनुरोध के हानिरहित होने की संभावना है लेकिन एआई ने उत्तर देने से मना कर दिया है, तो सिस्टम उत्तर को आगे जाने देने का निर्णय ले सकता है। यह दूसरा चरण पूरी तरह से तार्किक है; यह पहले एआई के अनिश्चित अनुमानों को लेता है और उन पर सख्त नीतिगत नियम लागू करता है, जिससे यह अंतिम सिफारिश मिलती है कि उत्तर को रखना है, बदलना है, या पूरी तरह से रोकना है।
शोधकर्ताओं ने मौजूदा सुरक्षा प्रणालियों के विरुद्ध इस नई पद्धति का परीक्षण करने के लिए सुरक्षा फिल्टर को चकमा देने के लिए डिज़ाइन किए गए 450 उदाहरणों के एक मानक सेट का उपयोग किया। इन उदाहरणों में वे सुरक्षित प्रॉम्प्ट भी शामिल थे जिन्हें गलती से ब्लॉक कर दिया जाता है और वे असुरक्षित प्रॉम्प्ट भी जिनमें अक्सर सुरक्षा प्रणालियाँ चूक जाती हैं। उन्होंने अपने नए सिस्टम की तुलना एक बुनियादी एआई (जिसमें कोई गार्डरेल नहीं है), एक ऐसे सिस्टम से की जो सादे अंग्रेजी में नियमों के एक सेट को पढ़ता है, और एक ऐसे सिस्टम से की जहाँ एक एआई दूसरे एआई के काम की समीक्षा करने के लिए न्यायाधीश के रूप में कार्य करता है। परिणामों ने एक स्पष्ट समझौता (trade-off) दिखाया। नया सिस्टम हानिकारक व्यवहार को रोकने में असाधारण रूप से अच्छा था, जिसने बुनियादी मॉडल में असुरक्षित अनुपालन की दर को 22 प्रतिशत से घटाकर केवल 0.5 प्रतिशत कर दिया। यह न्यायाधीश-आधारित प्रणाली से बेहतर था, जिसमें अभी भी 6 प्रतिशत असुरक्षित प्रतिक्रियाएँ निकल जाती थीं। हालांकि, इस अतिरिक्त सावधानी की एक कीमत भी थी: नया सिस्टम न्यायाधीश-आधारित प्रणाली की तुलना में हानिरहित प्रश्नों को अधिक बार देने से मना करता था, जिसमें ओवर-रिफ्यूजल (over-refusal) की दर 5.2 प्रतिशत के मुकाबले 14.4 प्रतिशत थी।
शोधकर्ताओं का तर्क है कि यह समझौता स्वीकार्य है क्योंकि दोनों प्रकार की त्रुटियों के परिणाम समान नहीं हैं। एक हानिकारक प्रतिक्रिया को अनुमति देना वास्तविक दुनिया में नुकसान पहुंचा सकता है, जबकि एक हानिरहित अनुरोध को अस्वीकार करना केवल उपयोगकर्ता को परेशान करता है। निर्णय लेने की प्रक्रिया को दृश्यमान बनाकर, नया सिस्टम डेवलपर्स को यह देखने की अनुमति देता है कि कोई विकल्प क्यों चुना गया। वे संभाव्यता स्कोर और तार्किक नियमों को देख सकते हैं ताकि यह समझ सकें कि सिस्टम बहुत सख्त था या इसने किसी सूक्ष्म खतरे को मिस कर दिया। यह पारदर्शिता वर्तमान पद्धतियों के मुकाबले एक प्रमुख लाभ है, जहाँ तर्क अक्सर एक एकल, जटिल मॉडल के भीतर छिपा होता है जिसे निरीक्षण या ठीक करना कठिन होता है। अध्ययन सुझाव देता है कि जबकि कोई भी सिस्टम पूर्ण नहीं है, भाषा को समझने और नियमों को लागू करने के कार्य को अलग करने से एक ऐसा सुरक्षा जाल बनता है जो अधिक विश्वसनीय और ऑडिट करने में आसान है। शोधकर्ताओं ने पाया कि नियमों को अधिक विस्तृत बनाने से सिस्टम के प्रदर्शन में एक सीमा तक सुधार हुआ, लेकिन बहुत अधिक विवरण जोड़ने से अंततः मदद मिलना बंद हो गया, जो यह दर्शाता है कि इन सुरक्षा नियमों की जटिलता के लिए एक 'स्वीट स्पॉट' (उपयुक्त बिंदु) होता है।
अंततः, यह कार्य प्रदर्शित करता है कि हमें एआई को सुरक्षित रखने के लिए एक एकल, अपारदर्शी बुद्धिमत्ता पर निर्भर रहने की आवश्यकता नहीं है। समस्या को छोटे, प्रबंधनीय चरणों में तोड़कर—पहले तथ्यों का अनुमान लगाना, फिर उन तथ्यों पर तार्किक नियम लागू करना—डेवलपर्स ऐसे गार्डरेल्स बना सकते हैं जो प्रभावी और समझने योग्य दोनों हों। यह सिस्टम सुरक्षा और उपयोगिता के बीच के कठिन विकल्पों को समाप्त नहीं करता है, बल्कि यह उन विकल्पों को प्रकाश में लाता है, जिससे मनुष्यों को हर निर्णय के पीछे के तर्क को देखने और आवश्यकतानुसार नियमों को समायोजित करने की अनुमति मिलती है। यह दृष्टिकोण न केवल सुरक्षित, बल्कि भरोसेमंद एआई सिस्टम बनाने के लिए एक आशाजनक मार्ग प्रदान करता है, क्योंकि उनका तर्क उन लोगों द्वारा जांचा और समझा जा सकता है जो उनका उपयोग करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।