How Should AI Safety Benchmarks Benchmark Safety?
यह शोध पत्र 210 एआई (AI) सुरक्षा बेंचमार्क की समीक्षा करता है ताकि उनकी तकनीकी और ज्ञानमीमांसीय कमियों की पहचान की जा सके, और अधिक वैध, सुदृढ़ एवं उत्तरदायी सुरक्षा मूल्यांकन ढांचे विकसित करने के लिए स्थापित जोखिम प्रबंधन और माप सिद्धांतों पर आधारित एक रोडमैप प्रस्तावित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शिक्षक हैं जो सुपर-स्मार्ट रोबोटों की एक नई पीढ़ी को ग्रेड देने की कोशिश कर रहे हैं। आप जानना चाहते हैं कि क्या वे दुनिया में बाहर जाने के लिए सुरक्षित हैं, या वे अनजाने में (या जानबूझकर) समस्या पैदा कर सकते हैं। इसे करने के लिए, आप उन्हें परीक्षणों की एक श्रृंखला देते हैं, जैसे कि एआई (AI) के लिए ड्राइविंग लाइसेंस परीक्षा। कंप्यूटर विज्ञान की दुनिया में, इन परीक्षणों को "बेंचमार्क" कहा जाता है। बेंचमार्क को एक मानकीकृत बाधा दौड़ (obstacle course) के रूप में समझें: यदि एक रोबोट बाधाओं के ऊपर से कूद सकता है, पहेलियों को हल कर सकता है और जाल से बच सकता है, तो हम मानते हैं कि वह वास्तविक दुनिया के लिए तैयार है। लेकिन यहाँ एक पेच है: सिर्फ इसलिए कि एक रोबोट आपके द्वारा बनाए गए विशिष्ट बाधाओं के ऊपर कूदने में माहिर है, इसका मतलब यह नहीं है कि वह उस केले के छिलके पर नहीं फिसलेगा जिसे आपने कोर्स में नहीं रखा था, या यह नहीं कि वह बोर होने के कारण आग लगाने का फैसला नहीं कर लेगा। यह पेपर एआई सुरक्षा परीक्षण के जटिल और उलझे हुए संसार में उतरता है, और यह तर्क देता है कि हमारे वर्तमान "बाधा दौड़" अक्सर बहुत सरल, बहुत कठोर, और कभी-कभी इस बात से पूरी तरह चूक जाते हैं कि वास्तविक खतरा वास्तव में कैसा दिखता है।
इस पेपर के लेखक, जो तकनीकी विश्वविद्यालय म्यूनिख और कॉर्नेल जैसे विश्वविद्यालयों के शोधकर्ताओं की एक टीम है, ने एआई सुरक्षा परीक्षण की स्थिति पर एक व्यापक नज़र डालने का निर्णय लिया। उन्होंने केवल कुछ परीक्षणों को नहीं देखा; उन्होंने उन 210 विभिन्न सुरक्षा बेंचमार्क्स की समीक्षा की जो शोधकर्ताओं ने बनाए हैं। वे यह देखना चाहते थे कि क्या ये परीक्षण वास्तव में हमें सुरक्षित रखने का काम कर रहे हैं, या क्या वे हमें केवल सुरक्षा का एक झूठा अहसास दे रहे हैं।
यहाँ बड़ी समस्या है जो उन्होंने पाई: अधिकांश परीक्षण गलत चीजों की जांच कर रहे हैं। उन्होंने पाया कि 81% बेंचमार्क्स केवल उन जोखिमों की जांच करते हैं जिन्हें हम पहले से जानते हैं और देख चुके हैं, जैसे कि "विषाक्त" (toxic) भाषा या एआई को उसके नियमों को तोड़ने के लिए उकसाने वाली सरल चालें (जिसे "जेलब्रेक" कहा जाता है)। यह एक कार का परीक्षण केवल एक चिकनी, सीधी सड़क पर करने जैसा है और यह मान लेना कि वह ऊबड़-खाबड़ पहाड़ी रास्ते पर भी ठीक से चलेगी। ये परीक्षण उन अजीब, अप्रत्याशित और बिल्कुल नए तरीकों को पूरी तरह से अनदेखा कर देते हैं जिनसे एआई गड़बड़ी कर सकता है, जिसे लेखक "अनजान अज्ञात" (unknown unknowns) कहते हैं।
इसके अलावा, जिस तरह से ये परीक्षण सुरक्षा को मापते हैं, वह अक्सर गणितीय रूप से कमजोर होता है। पेपर बताता है कि 79% बेंचमार्क्स सुरक्षा को एक साधारण "पास या फेल" के स्विच की तरह देखते हैं। वे इस बात को गिनते हैं कि कितनी बार एक एआई ने एक बुरे अनुरोध को अस्वीकार किया और उसे एक "सुरक्षा स्कोर" कहते हैं। लेकिन लेखक तर्क देते हैं कि यह भ्रामक है। सिर्फ इसलिए कि एक एआई परीक्षण में 90% बार किसी अनुरोध को अस्वीकार करता है, इसका मतलब यह नहीं है कि वह वास्तविक दुनिया में 90% सुरक्षित है। यह यह कहने जैसा है कि एक पुल सुरक्षित है क्योंकि इसने हल्की हवा में खुद को थामे रखा, बिना यह जांचे कि क्या यह तूफान का सामना कर सकता है। परीक्षण अक्सर इस बात को अनदेखा करते हैं कि यदि एआई विफल हो जाता है तो नुकसान कितना गंभीर होगा, और वे इस बात पर भी ध्यान नहीं देते कि वास्तविक जीवन में लोग कितनी बार उन खतरनाक चीजों के बारे में पूछते हैं।
शोधकर्ताओं ने यह भी पाया कि परीक्षण और वास्तविकता के बीच का संबंध अक्सर टूटा हुआ होता है। वे इसे एक "प्रॉक्सी चेन" (proxy chain) कहते हैं। कल्पना कीजिए कि आप जानना चाहते हैं कि एक छात्र एक अच्छा ड्राइवर है या नहीं, इसलिए आप उसका परीक्षण सिम्युलेटर में कार पार्क करने के तरीके से करते हैं। वह एक प्रॉक्सी है। लेकिन यदि सिम्युलेटर बारिश, या अन्य ड्राइवरों, या छात्र के फोन से विचलित होने को ध्यान में नहीं रखता है, तो परीक्षण का परिणाम आपको यह नहीं बताता कि वह वास्तव में हाईवे पर सुरक्षित है या नहीं। पेपर का तर्क है कि कई एआई सुरक्षा परीक्षण उसी सिम्युलेटर की तरह हैं: वे "अस्वीकृति दर" या "कीवर्ड मिलान" जैसी चीजों को मापते हैं, लेकिन ये संख्याएं हमेशा वास्तविक दुनिया के नुकसान में अनुवादित नहीं होती हैं।
तो, लेखक इसके बजाय क्या करने का सुझाव देते हैं? वे इन टूटे हुए परीक्षणों को ठीक करने के लिए 10 सिफारिशों के साथ एक नया रोडमैप प्रस्तावित करते हैं।
पहला, वे कहते हैं कि हमें केवल वही परीक्षण करना बंद करना चाहिए जो हम पहले से जानते हैं। हमें ऐसे परीक्षण बनाने की आवश्यकता है जो सक्रिय रूप से एआई के विफल होने के नए, अजीब और अप्रत्याशित तरीकों की तलाश करें। वे सुझाव देते हैं कि ऐसे उपकरणों का उपयोग किया जाना चाहिए जो लगातार एआई को नए तरीकों से तोड़ने की कोशिश करें, न कि केवल प्रश्नों की एक निश्चित सूची तक सीमित रहें।
दूसरा, हमें बेहतर गणित की आवश्यकता है। केवल "पास" या "फेल" कहने के बजाय, हमें वास्तविक जोखिम की गणना करनी चाहिए। इसका अर्थ है पूछना: "इस बुरी घटना के होने की कितनी संभावना है?" और "यदि ऐसा हुआ तो यह कितना बुरा होगा?" लेखक "प्रोबेबिलिस्टिक रिस्क असेसमेंट" (संभावित जोखिम मूल्यांकन) नामक एक पद्धति का सुझाव देते हैं, जिसका उपयोग परमाणु ऊर्जा और विमानन जैसे क्षेत्रों में किया जाता है। वे वास्तव में एक ऐसी गणना भी दिखाते हैं जहाँ एक मॉडल परीक्षण में सुरक्षित दिख सकता है, लेकिन जब आप इस तथ्य को जोड़ते हैं कि कितने लोग इसका उपयोग करते हैं और वे कितनी बार खतरनाक चीजों के बारे में पूछते हैं, तो वास्तविक जोखिम बहुत अधिक होता है।
तीसरा, हमें यह सुनिश्चित करने की आवश्यकता है कि हमारे परीक्षण वास्तव में वही मापें जो वे दावा करते हैं। इसका अर्थ है कि एक विशिष्ट स्थिति में "सुरक्षा" का क्या अर्थ है, इसके बारे में बहुत स्पष्ट होना और यह सुनिश्चित करना कि परीक्षण वास्तविक दुनिया को दर्शाता है, न कि केवल एक साफ, कृत्रिम लैब को। वे यह भी तर्क देते हैं कि हमें उन लोगों को शामिल करने की आवश्यकता है जो एआई से प्रभावित हो सकते हैं—जैसे किशोर, रोगी, या समुदाय—ताकि वे परीक्षणों को डिजाइन करने में मदद कर सकें, क्योंकि वे सबसे अच्छी तरह जानते हैं कि उनके लिए किस तरह का नुकसान वास्तविक है।
अपने विचारों को सिद्ध करने के लिए, टीम ने मानसिक स्वास्थ्य के बारे में किशोरों से बात करने वाले एआई पर केंद्रित एक छोटा, उदाहरण परीक्षण बनाया। उन्होंने केवल यह नहीं पूछा कि क्या एआई नियमों को जानता है; उन्होंने वास्तविक बातचीत का अनुकरण किया और वास्तविक दुनिया के आंकड़ों के आधार पर संभावित नुकसान की गणना की। परिणामों ने दिखाया कि भले ही मानक परीक्षणों में मॉडल "सुरक्षित" दिखते हों, लेकिन वास्तविक दुनिया के आंकड़ों को देखने पर वे अभी भी महत्वपूर्ण समस्याएं पैदा कर सकते हैं।
अंत में, पेपर यह नहीं कह रहा है कि एआई बर्बाद है या हम इसका परीक्षण नहीं कर सकते। यह कह रहा है कि हमारे वर्तमान परीक्षण के तरीके सूप के तापमान को मापने के लिए एक रूलर (पैमाने) का उपयोग करने जैसा है—वे काम के लिए गलत उपकरण हैं। एआई को वास्तव में सुरक्षित बनाने के लिए, हमें सुरक्षा को एक साधारण चेकलिस्ट के रूप में मानना बंद करना होगा और इसे एक जटिल, जीवित प्रणाली के रूप में मानना शुरू करना होगा जो बदलती है, हमें चौंका देती है, और जिसके लिए हमें टेस्ट ट्यूब के बजाय वास्तविक दुनिया के बारे में सोचने की आवश्यकता है। लेखक सुझाव देते हैं कि इन नए, अधिक कठोर और अधिक मानव-केंद्रित परीक्षणों को अपनाकर, हम ऐसा एआई बना सकते हैं जो न केवल स्मार्ट है, बल्कि वास्तव में सभी के लिए सुरक्षित भी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।