Neither the Judge nor the Rules: Instrument-Validity Failure in Safety-Response Classification

आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, शोधकर्ता लगातार कंप्यूटरों को हानिकारक हुए बिना सहायक बनना सिखाने का प्रयास कर रहे हैं। यह सुनिश्चित करने के लिए कि ये सिस्टम खतरनाक सलाह या विषाक्त सामग्री उत्पन्न न करें, वैज्ञानिकों को उनके आउटपुट का मूल्यांकन करना चाहिए। वर्षों से, इस सुरक्षा जांच के लिए दो मुख्य विधियों का वर्चस्व रहा है। पहली विधि में एक आर्टिफिशियल इंटेलिजेंस का उपयोग दूसरे के कार्य को ग्रेड देने के लिए किया जाता है, जो एक स्वचालित न्यायाधीश के रूप में कार्य करता है। दूसरी विधि हस्तलिखित कंप्यूटर नियमों पर निर्भर करती है, जो उन विशिष्ट कीवर्ड्स या पैटर्न को स्कैन करती है जो नुकसान का संकेत देते हैं, जो एक डिजिटल फिल्टर की तरह कार्य करती है। दूसरी विधि के पीछे का अनुमान यह रहा है कि चूंकि ये नियम निश्चित और नियतात्मक (deterministic) हैं—जिसका अर्थ है कि वे समान इनपुट के लिए हमेशा एक ही परिणाम देते हैं—इसलिए वे पूरी तरह से विश्वसनीय हैं और उन्हें पूर्ण सत्य माना जा सकता है। तर्क यह है कि यदि कोई कंप्यूटर प्रोग्राम निर्देशों के एक सख्त सेट का पालन करता है, तो सुरक्षा पर उसका निर्णय सही होना ही चाहिए।

एक नया अध्ययन इस धारणा को चुनौती देता है और इन सुरक्षा उपकरणों को अचूक निर्णायक के बजाय ऐसे उपकरणों के रूप में देखता है जो गलतियाँ कर सकते हैं, ठीक किसी अन्य मापने वाले यंत्र की तरह। जॉर्जटाउन यूनिवर्सिटी के शोधकर्ता, यांगयी झांग ने स्वचालित न्यायाधीश और नियम-आधारित फिल्टर दोनों का ऑडिट करने का निर्णय लिया ताकि यह देखा जा सके कि क्या वे वास्तव में वही करते हैं जो वे दावा करते हैं। जांच में विभिन्न लार्ज लैंग्वेज मॉडल्स द्वारा कठिन या संभावित रूप से हानिकारक प्रश्नों के पूछे जाने पर उत्पन्न 550 प्रतिक्रियाओं के संग्रह पर ध्यान केंद्रित किया गया। सच्चाई का पता लगाने के लिए, शोधकर्ता ने 32 प्रतिक्रियाओं को मैन्युअल रूप से पढ़कर और लेबल करके एक छोटा, स्वतंत्र बेंचमार्क बनाया, जिसमें सुरक्षा को इस आधार पर परिभाषित किया गया कि क्या मॉडल ने कार्रवाई योग्य हानिकारक सामग्री प्रदान की। यह मानव-सत्यापित सेट वह 'ग्राउंड ट्रुथ' (वास्तविक सत्य) था जिसके विरुद्ध दोनों स्वचालित उपकरणों का परीक्षण किया गया।

परिणामों ने दोनों उपकरणों की विश्वसनीयता में महत्वपूर्ण विफलता को उजागर किया। नियम-आधारित क्लासिफायर, जिसे पिछले शोध में मानक के रूप में व्यापक रूप से भरोसेमंद और उपयोग किया गया था, खराब प्रदर्शन करता पाया गया। मानव लेबल के मुकाबले, यह स्वचालित उपकरण केवल लगभग आधे मामलों में ही सही था। अधिक महत्वपूर्ण बात यह है कि यह वास्तव में असुरक्षित प्रतिक्रियाओं में से आधे को पहचानने में विफल रहा, जिससे खतरनाक सामग्री पूरी तरह से छूट गई। साथ ही, इसने छह हानिरहित प्रतिक्रियाओं को असुरक्षित के रूप में गलत तरीके से चिह्नित किया, जिससे विनम्र इनकार को खतरनाक डिलीवरी समझ लिया गया। स्वचालित न्यायाधीश, जो प्रतिक्रियाओं को ग्रेड देने के लिए नियुक्त एक छोटा भाषा मॉडल था, समग्र सटीकता में थोड़ा बेहतर प्रदर्शन करता है, लेकिन एक अलग घातक दोष से ग्रस्त है। यह परीक्षण सेट की चारों वास्तव में असुरक्षित प्रतिक्रियाओं में से किसी को भी पकड़ने में विफल रहा, जिससे वे पूरी तरह से छूट गईं। इसके बजाय, इसने दो सुरक्षित इनकार को गलत तरीके से असुरक्षित के रूप में लेबल किया।

अध्ययन ने एक छिपे हुए अस्थिरता को भी उजागर किया जिसे पहले किसी ने नहीं देखा था। शोधकर्ता ने 550 के पूर्ण संग्रह पर एक ही नियम सेट के दो अलग-अलग संस्करणों को चलाया। पहले संस्करण ने 40 प्रतिक्रियाओं को असुरक्षित के रूप में पहचाना, जबकि दूसरे, थोड़े संशोधित संस्करण ने केवल आठ को पहचाना। यह पांच गुना अंतर वास्तविक सामग्री में किसी भी बदलाव के बिना हुआ, जो यह सिद्ध करता है कि असुरक्षित वस्तुओं की संख्या पूरी तरह से इस बात पर निर्भर करती है कि नियमों का कौन सा संस्करण लोड किया गया है। चूंकि यह प्रणाली नियतात्मक है, इसलिए यह अपने स्वयं के त्रुटियों को हर बार पूरी तरह से दोहराती है, जिससे उसकी त्रुटियां उन लोगों के लिए अदृश्य हो जाती हैं जो केवल अंतिम आंकड़ों को देखते हैं। दोनों स्वचालित उपकरण लगभग 62 प्रतिशत वस्तुओं पर एक-दूसरे से सहमत थे, एक ऐसा आंकड़ा जो पहली नज़र में मजबूत सहमति लग सकता है। हालांकि, यह सहमति काफी हद तक एक भ्रम थी क्योंकि अधिकांश प्रतिक्रियाएं सुरक्षित थीं। जब शोधकर्ता ने इस असंतुलन के लिए समायोजन किया, तो उपकरणों के बीच वास्तविक सहमति नगण्य थी, जो दर्शाता है कि वे वास्तव में एक-दूसरे को मान्य नहीं कर रहे थे, बल्कि सुरक्षा के डिफॉल्ट अनुमान में ढह रहे थे।

मुख्य निष्कर्ष यह है कि न तो स्वचालित न्यायाधीश और न ही नियम-आधारित फिल्टर अपने आप में एक तटस्थ या वैध माप है। नियम- आधारित क्लासिफायर एक पूर्ण डिफॉल्ट नहीं है; यह उच्च और अनमापेय त्रुटि दर वाला एक मापन उपकरण है। अध्ययन का निष्कर्ष है कि इन सुरक्षा आंकड़ों पर भरोसा करने का एकमात्र तरीका प्रत्येक उपकरण को प्रकाशित करने से पहले एक अलग, मानव-सत्यापित बेंचमार्क के विरुद्ध मान्य करना है। शोधकर्ताओं को न केवल यह रिपोर्ट करना चाहिए कि एक उपकरण दूसरे के साथ कितनी बार सहमत होता है, बल्कि यह भी कि वह विशेष रूप से महत्वपूर्ण त्रुटियों को कितनी अच्छी तरह पकड़ता है, जैसे कि खतरनाक सामग्री को छोड़ देना। इस स्वतंत्र जांच के बिना, क्षेत्र जोखिम में है कि वह अपनी सुरक्षा मूल्यांकनों को उन नींवों पर बनाएगा जो स्वयं त्रुटिपूर्ण हैं, और एक टूटे हुए उपकरण की निरंतरता को सत्य समझने की भूल कर बैठता है।