What AI Red-Team Evaluations Can and Cannot Prove
यह शोध पत्र AI रेड-टीम मूल्यांकन के लिए एक गणनीय "साक्ष्यगत सीमा" (evidential ceiling) स्थापित करता है, जो यह प्रदर्शित करता है कि जबकि वर्तमान बेंचमार्क उच्च-आवृत्ति वाले नुकसानों के लिए सुरक्षा को प्रभावी ढंग से प्रमाणित कर सकते हैं, वे अंतर्निहित सांख्यिकीय सीमाओं के कारण दुर्लभ, विनाशकारी जोखिमों की सुरक्षा सिद्ध करने के लिए मौलिक रूप से अपर्याप्त हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं: "क्या यह नया रोबोट वास्तविक दुनिया में खुले घूमने के लिए सुरक्षित है?" यह पता लगाने के लिए, आप केवल रोबोट से यह कहने के लिए नहीं कहते कि "मैं अच्छा हूँ"; बल्कि आप इसे कई पेचीदा परीक्षणों से गुजारते हैं, जैसे कि एक रेड-टीम अभ्यास, जहाँ आप इसे कुछ बुरा या खतरनाक कहने के लिए छलने की कोशिश करते हैं। यही एआई (AI) सुरक्षा मूल्यांकन की दुनिया है। लेकिन यहाँ एक पेंच है: आपको यह सुनिश्चित करने के लिए कितने छल (tricks) आज़माने होंगे कि रोबमाट सुरक्षित है? यदि आप 10 छल आज़माते हैं और वह पास हो जाता है, तो क्या यह पर्याप्त है? क्या होगा अगर रोबोट दस लाख प्रयासों में से केवल एक बार खतरनाक होता है?
यहीं सांख्यिकी (statistics) काम आती है। इसे एक अंधेरे कमरे में टॉर्च की तरह समझें। एक छोटी टॉर्च (एक छोटा परीक्षण) फर्श पर एक बड़ी, स्पष्ट चट्टान (एक सामान्य गलती) को आसानी से दिखा सकती है। लेकिन यदि खतरा धूल के एक नन्हे, लगभग अदृश्य कण जैसा है जो कभी-कभार ही दिखाई देता है, तो वही छोटी टॉर्च उसे पूरी तरह से मिस कर सकती है, भले ही वह धूल वहाँ मौजूद हो। वैज्ञानिक लंबे समय से इस बात पर बहस कर रहे हैं कि क्या ये एआई "सुरक्षा परीक्षण" वास्तव में उपयोगी हैं या वे केवल समय की बर्बादी हैं। कुछ कहते हैं कि वे कुछ भी साबित नहीं करते; अन्य कहते हैं कि वे सब कुछ साबित करते हैं। यह शोध पत्र इस तर्क को सुलझाने के लिए कुछ बहुत विशिष्ट कार्य करता है: यह गणना करता है कि धूल के विभिन्न आकारों को देखने के लिए टॉर्च कितनी चमकदार होनी चाहिए।
APIsec रिसर्च लैब्स की बंदना कौर द्वारा लिखा गया यह शोध पत्र तर्क देता है कि सुरक्षा परीक्षण बेकार नहीं हैं, लेकिन वे कोई जादुई छड़ी भी नहीं हैं। उनकी एक कठोर सीमा है कि वे क्या सिद्ध कर सकते हैं, और वह सीमा एक राय नहीं, बल्कि गणित की एक समस्या है। लेखिका "एविडेंशियल सीलिंग" (evidential ceiling - साक्ष्य की सीमा) नामक एक अवधारणा का उपयोग करती हैं। कल्पना कीजिए कि आपके पास एक बाल्टी है जो केवल एक निश्चित मात्रा में पानी रख सकती है। यदि आप यह सिद्ध करने की कोशिश कर रहे हैं कि रिसाव छोटा है, तो पानी की एक भरी हुई बाल्टी (शून्य विफलताओं वाला एक साफ परीक्षण) बहुत विश्वसनीय है। लेकिन यदि आप यह सिद्ध करने की कोशिश कर रहे हैं कि रिसाव नन्हा है (जैसे कि एक दुर्लभ, विनाशकारी विफलता), तो वही बाल्टी पर्याप्त साक्ष्य पकड़ने के लिए बहुत छोटी हो सकती है ताकि आप सुनिश्चित हो सकें।
शोध पत्र का मुख्य निष्कर्ष यह है कि एक गणना योग्य "क्रॉसिंग पॉइंट" (crossing point) होता है। यदि किसी प्रकार की हानि अक्सर होती है (जैसे कि 1% बार), तो लगभग 520 प्रॉम्प्ट्स का एक मानक परीक्षण यह कहने के लिए पर्याप्त है कि, "ठीक है, यह मॉडल तैनाती के लिए पर्याप्त सुरक्षित होने की संभावना है।" वास्तव में, यदि आप 520 परीक्षण चलाते हैं और शून्य समस्याएँ देखते हैं, तो यह केवल एक समस्या देखने की तुलना में वास्तव में अधिक मजबूत साक्ष्य है। यह एक साफ कमरे को खोजने जैसा है: यदि आप उम्मीद करते हैं कि हर जगह कीटाणु होंगे, तो एक साफ कमरा एक बड़ा आश्चर्य है और यह सिद्ध करता है कि कुछ काम कर रहा है।
हालाँकि, शोध पत्र दुर्लभ घटनाओं के लिए एक स्पष्ट रेखा खींचता है। यदि कोई हानिकारक व्यवहार अत्यंत दुर्लभ है (मान लीजिए, 0.001% से कम बार होता है), तो आप कितने भी प्रॉम्प्ट आज़मा लें, एक "क्लीन शीट" (शून्य विफलताओं का परिणाम) आपको लगभग कुछ भी नहीं बताता है। गणित दिखाता है कि इन दुर्लभ, विनाशकारी जोखिमों के लिए, एक साफ परीक्षण परिणाम कमजोर साक्ष्य है, क्योंकि एक साफ परीक्षण केवल खराब किस्मत का परिणाम हो सकता है। इस क्षेत्र में, एक देखी गई एकल विफलता वास्तव में एक साफ परीक्षण से अधिक सूचनात्मक है, क्योंकि साफ परीक्षण केवल भाग्य का खेल हो सकता है। शोध पत्र गणना करता है कि वर्तमान सार्वजनिक बेंचमार्क इन दुर्लभ घटनाओं के लिए "ऑर्डर ऑफ मैग्नीट्यूड शॉर्ट" (क्रमशः कम) हैं—अर्थात, वे सुरक्षा सिद्ध करने के लिए हजारों गुना छोटे हैं।
लेखिका यह भी बताती हैं कि इन परीक्षणों को बनाने का तरीका मायने रखता है। यदि परीक्षण के प्रश्न सभी बहुत समान हैं (जैसे कि एक ही प्रश्न को थोड़े अलग शब्दों में पूछना), तो यह घास के ढेर में सुई खोजने जैसा है लेकिन आप केवल कमरे के एक कोने की जाँच कर रहे हैं। शोध पत्र सुझाव देता है कि वर्तमान परीक्षण अक्सर आपस में जुड़े हुए (cluster) होते हैं, जिससे वे कागज़ पर दिखने की तुलना में कम प्रभावी हो जाते हैं। इसके अलावा, शोध पत्र इस विचार के विरुद्ध तर्क देता है कि हमें बस "अधिक" परीक्षणों की आवश्यकता है। इसके बजाय, हमें स्मार्ट परीक्षणों की आवश्यकता है जो एक सुरक्षित मॉडल और एक असुरक्षित मॉडल के बीच बेहतर अंतर कर सकें। यदि एक परीक्षण एक बुरे मॉडल को 90% बार चकमा दे सकता है लेकिन एक अच्छे मॉडल को केवल 10% बार ही चकमा दे पाता है, तो यह एक शक्तिशाली उपकरण है। लेकिन यदि यह दोनों को समान रूप से चकमा देता है, तो यह कितना भी बार चलाया जाए, बेकार है।
अंत में, शोध पत्र यह बताता है कि एआई लैब को अपने परिणामों की रिपोर्ट करने के लिए एक नया नियम अपनाना चाहिए। केवल यह कहने के बजाय कि "हमने 500 परीक्षण किए और कुछ भी बुरा नहीं पाया," उन्हें ठीक वही रिपोर्ट करना चाहिए जो उनका परीक्षण सिद्ध कर सकता है। यदि हानि की दर अधिक है, तो वे सुरक्षा का दावा कर सकते हैं। यदि हानि की दर कम और दुर्लभ है, तो उन्हें यह स्वीकार करना चाहिए कि उनका परीक्षण सुरक्षा सिद्ध नहीं कर सका और उन्हें अन्य प्रकार के साक्ष्यों की आवश्यकता है। शोध पत्र यह नहीं कहता कि हम परीक्षण करना बंद कर दें; यह कहता है कि हम यह दावा करना बंद कर दें कि हमारे परीक्षण वह सिद्ध कर सकते हैं जो गणितीय रूप से वे नहीं कर सकते। यह ईमानदारी का आह्वान है: अपनी टॉर्च की सीमाओं को जानें, और पूरे कमरे को देखने का दावा न करें यदि आप केवल एक कोने को रोशन कर रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।