PromptSentinel: When Safe Isn't Safe, Distribution Mismatch in Prompt Safety Classification
यह शोध पत्र यह प्रदर्शित करता है कि सिंथेटिक बेंचमार्क पर प्रशिक्षित प्रॉम्प्ट सुरक्षा क्लासिफायर (prompt safety classifiers) मानव-लिखित इनपुट पर लागू होने पर महत्वपूर्ण वितरण बेमेल (distribution mismatch) से ग्रस्त होते हैं, जिससे रिकॉल में भारी गिरावट आती है और फॉल्स पॉजिटिव में तीव्र वृद्धि होती है जिसे केवल मॉडल की जटिलता बढ़ाकर हल नहीं किया जा सकता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही व्यस्त, अराजक इमारत के लिए एक सुरक्षा गार्ड को काम पर रख रहे हैं। आपका लक्ष्य उन लोगों को रोकना है जो खतरनाक चीजें (जैसे "जेलब्रेक" या हानिकारक निर्देश) अंदर लाने की कोशिश कर रहे हैं, जबकि बाकी सभी को सुरक्षित रूप से जाने देना है।
यह पेपर, जिसका शीर्षक "PromptSentinel" है, इस बात की रिपोर्ट कार्ड है कि एक विशिष्ट प्रकार का सुरक्षा गार्ड (एक AI क्लासिफायर) वास्तव में कैसा प्रदर्शन करता है जब आप उसे ट्रेनिंग जिम से वास्तविक दुनिया में ले जाते हैं।
यहाँ जो उन्होंने पाया, उसकी कहानी सरल शब्दों में दी गई है:
1. ट्रेनिंग जिम बनाम असली सड़क
शोधकर्ताओं ने अपने सुरक्षा गार्ड को 1,10,,००० नोट्स के एक विशाल पुस्तकालय का उपयोग करके प्रशिक्षित किया। इनमें से अधिकांश नोट्स कंप्यूटर या शोधकर्ताओं द्वारा एक नियंत्रित वातावरण (जैसे कि एक जिम) में बनाए गए थे।
- जिम (सिंथेटिक डेटा): जिम में, "बुरे लोग" बहुत स्पष्ट होते हैं। वे चमकीली लाल शर्ट पहने होते हैं और चिल्ला रहे होते हैं, "मैं अंदर घुसने की कोशिश कर रहा हूँ!" "अच्छे लोग" बहुत उबाऊ और अनुमानित होते हैं।
- जिम में परिणाम: गार्ड अद्भुत था। उसने 98% बुरे लोगों को पकड़ा और शायद ही कभी किसी अच्छे व्यक्ति को रोका (केवल 1% गलत अलार्म)।
2. बड़ी समस्या: "सुरक्षित" भीड़ अलग दिखती है
शोधकर्ताओं ने इसी सुरक्षा गार्ड को असली सड़क पर ले जाकर देखा, जहाँ वास्तविक इंसान नोट्स लिखते हैं।
- असली सड़क (मानवीय डेटा): वास्तविक इंसान अव्यवस्थित होते हैं। वे कहानियाँ लिखते हैं, पात्रों की भूमिका निभाते हैं, चुटकुले सुनाते हैं और अजीब सवाल पूछते हैं। कभी-कभी, एक "अच्छा" नोट एक "बुरे" नोट जैसा लग सकता है क्योंकि वह रचनात्मक या जटिल होता है।
- सड़क पर परिणाम: गार्ड घबरा गया।
- गलत अलार्म (False Alarms): इसने निर्दोष लोगों को रोकना शुरू कर दिया। 1% गलत अलार्म के बजाय, 32% बार इसने एक पूरी तरह से सुरक्षित व्यक्ति को रोक दिया क्योंकि उनका नोट (जिम के उबाऊ नोट्स की तुलना में) "संदिग्ध" लग रहा था।
- बुरे लोगों को छोड़ देना: यह वास्तव में बुरे लोगों को पकड़ने में भी खराब हो गया। यह केवल 65% उन्हें पकड़ पाया, जबकि जिम में यह 98% था।
3. "डिस्ट्रीब्यूशन मिसमैच" (मुख्य विचार)
पेपर इसे "डिस्ट्रीब्यूशन मिसमैच" कहता है।
एक कुत्ते को गेंद लाना सिखाने जैसा सोचें।
- ट्रेनिंग: आपने हमेशा एक शांत पार्क में एक चमकीली लाल टेनिस बॉल फेंकी। कुत्ता सीखता है: "लाल गेंद = लाना।"
- वास्तविक दुनिया: आप कुत्ते को एक व्यस्त समुद्र तट पर ले जाते हैं। अब, लोग नीले रंग की फ्रिसबी, छड़ें और मुड़े हुए समाचार पत्र फेंक रहे हैं।
- विफलता: कुत्ता फ्रिसबी नहीं लाता (क्योंकि वह लाल टेनिस बॉल नहीं है), और वह समाचार पत्र के पीछे भी भागता है (क्योंकि वह एक अजीब गेंद जैसा दिखता है)। कुत्ता "मूर्ख" नहीं है; वह बस एक ऐसे नियम को सीख गया है जो केवल उस विशिष्ट वातावरण में काम करता है जिसमें उसने अभ्यास किया था।
पेपर का तर्क है कि वर्तमान सुरक्षा बेंचमार्क उसी शांत पार्क की तरह हैं। वे हमारे सुरक्षा गार्डों के बारे में बहुत अधिक आशावादी हैं क्योंकि वे उन्हें वास्तविक मानवीय बातचीत के अस्त-व्यस्त, विविध "समुद्र तट" पर टेस्ट नहीं करते हैं।
4. क्या उन्होंने इसे ठीक करने की कोशिश की?
शोधकर्ताओं ने गार्ड को स्मार्ट बनाने के लिए तीन अलग-अलग तरीके आजमाए, लेकिन उनमें से कोई भी समस्या को पूरी तरह से ठीक नहीं कर सका:
- एक "स्मार्ट" दिमाग की कोशिश (Sentence Embeddings): उन्होंने गार्ड को एक साधारण नियम का पालन करने वाले से बदलकर एक अधिक जटिल AI में अपग्रेड किया जो शब्दों के "अर्थ" को समझता है।
- परिणाम: इससे कोई मदद नहीं मिली। वास्तव में, यह बुरे लोगों को पकड़ने में और भी खराब हो गया और इसने और भी अधिक निर्दोष लोगों को रोकना शुरू कर दिया।
- एक "बॉस" जोड़ना (LLM Judge): उन्होंने एक दूसरा, बहुत स्मार्ट AI (एक "जज") जोड़ा जो गार्ड के काम की दोबारा जांच करता है। यदि गार्ड किसी को रोकता है, तो जज देखेगा और कहेगा, "वास्तव में, यह एक अच्छा व्यक्ति है, इसे जाने दें।"
- परिणाम: जज निर्दोष लोगों को जाने देने में बहुत अच्छा था (गलत अलार्म को ठीक करने में)। लेकिन, जज बुरे लोगों को पहचानने में बहुत खराब था। उसने कई खतरनाक लोगों को आसानी से निकल जाने दिया।
- प्रॉम्प्ट की लंबाई देखना: उन्होंने सोचा कि क्या गार्ड इसलिए विफल हुआ क्योंकि मानवीय नोट्स बहुत लंबे या बहुत छोटे थे।
- परिणाम: नहीं। गार्ड विफल हुआ चाहे नोट कितना भी लंबा या छोटा क्यों न हो।
5. मुख्य निष्कर्ष
पेपर निष्कर्ष निकालता है कि हम सिंथेटिक बेंचमार्क (जिम) पर भरोसा नहीं कर सकते जो वास्तविक दुनिया की सुरक्षा का अनुमान लगा सकें।
यदि आप एक सुरक्षा प्रणाली बनाते हैं और उसे केवल कंप्यूटर-जनरेटेड डेटा पर टेस्ट करते हैं, तो आपको लग सकता है कि यह 99% विश्वसनीय है। लेकिन जब वास्तविक मनुष्य इसका उपयोग करना शुरू करते हैं, तो इसकी विश्वसनीयता गिरकर 65% हो सकती है, और आप हर 3 में से 1 सामान्य उपयोगकर्ता को ब्लॉक करना शुरू कर सकते हैं।
प्रस्तावित समाधान:
एक वास्तव में सुरक्षित प्रणाली बनाने के लिए, हमें गार्डों को बहुत अधिक विविधता वाले वास्तविक, मानव-लिखित "सुरक्षित" नोट्स पर प्रशिक्षित करने की आवश्यकता है। हमें उन्हें दिखाना होगा कि "सुरक्षित" एक कहानी, एक चुटकुला, या एक अजीब सवाल जैसा भी हो सकता है, न कि केवल एक उबाऊ वाक्य। जब तक हम ऐसा नहीं करते, हमारी सुरक्षा प्रणालियाँ वास्तविक दुनिया में गलतियाँ करती रहेंगी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।