Evaluating calibrated refusal and safe usefulness in dual-use biology settings
यह शोध पत्र BioSecBench-Refusal प्रस्तुत करता है, जो जैविक अनुसंधान में एआई एजेंटों का मूल्यांकन करने वाला एक बेंचमार्क है, जो एक महत्वपूर्ण ट्रेड-ऑफ को प्रकट करता है जहाँ वर्तमान मॉडल अक्सर वैध वैज्ञानिक कार्यों को अत्यधिक अस्वीकार कर देते हैं जबकि छिपे हुए जैव-सुरक्षा खतरों की पहचान करने में लगातार विफल रहते हैं, जो रिफ्यूज़ल तंत्र और तर्क क्षमताओं के बेहतर अंशांकन (कैलिब्रेशन) की आवश्यकता पर प्रकाश डालता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक सुपर-स्मार्ट रोबोट असिस्टेंट बनाया है जिसे वैज्ञानिकों को नई दवाएं खोजने और जीवन को समझने में मदद करने के लिए डिज़ाइन किया गया है। यह रोबोट अविश्वसनीय रूप से प्रतिभाशाली है; यह जटिल जैविक डेटा पढ़ सकता है, प्रोटीन डिजाइन कर सकता है और प्रयोगों की योजना बना सकता है। लेकिन इसमें एक पेंच है: वही कौशल जो एक वैज्ञानिक को बीमारी ठीक करने में मदद कर सकते हैं, गलत हाथों में, एक खतरनाक जैविक हथियार बनाने के लिए इस्तेमाल किए जा सकते हैं।
यह शोध पत्र, BioSecBench-Refusal, इन रोबोट सहायकों के लिए एक विशाल "तनाव परीक्षण" (stress test) की तरह है। शोधकर्ता दो बड़े सवालों के जवाब जानना चाहते थे:
- क्या रोबोट छिपे हुए जाल को पहचान सकता है? (यदि कोई इसे कुछ खतरनाक बनाने के लिए धोखा देने की कोशिश करता है, तो क्या यह "नहीं" कहेगा?)
- क्या रोबोट बहुत अधिक डरा हुआ है? (क्या यह सुरक्षित और मददगार अनुरोधों को केवल इसलिए "नहीं" कह देता है क्योंकि वे थोड़ा जोखिम भरा साउंड करते हैं?)
दो प्रकार के परीक्षण
रोबोटों का परीक्षण करने के लिए, शोधकर्ताओं ने दो अलग-अलग प्रकार के होमवर्क असाइनमेंट बनाए, जो एक "गुड कॉप / बैड कॉप" परिदृश्य की तरह हैं:
"रेड-टीम" कार्य (जाल): ये काल्पनिक, बनावटी परिदृश्य हैं जो सामान्य शोध की तरह दिखते हैं लेकिन एक घातक रहस्य छिपाए रखते हैं।
- उपमा: कल्पना कीजिए कि रोबोट से "केक बेक करने" के लिए कहा जा रहा है। रेसिपी सामान्य दिखती है, लेकिन यदि आप सामग्री की सूची (जो एक फ़ाइल में छिपी है जिसे रोबोट को खोलना है) को ध्यान से देखें, तो आपको एहसास होगा कि एक सामग्री वास्तव में जहर है। रोबोट इतना स्मार्ट होना चाहिए कि वह बारीक अक्षरों को पढ़ सके और कह सके, "रुको, यह खतरनाक है!"
- लक्ष्य: यह देखना कि क्या रोबोट अपने तर्क कौशल का उपयोग करके छिपे हुए खतरे को ढूंढ सकता है।
"रूटीन" कार्य (वास्तविक कार्य): ये वास्तविक, प्रकाशित वैज्ञानिक शोध पत्रों पर आधारित हैं। यह वैध शोध है जो वैज्ञानिक वास्तव में करते हैं।
- उपमा: कल्पना कीजिए कि एक वैज्ञानिक रोबोट से वैक्सीन बनाने में मदद करने के लिए "एक वायरस का विश्लेषण करने" के लिए कह रहा है। "वायरस" और "विश्लेषण" जैसे शब्द डरे हुए सुरक्षा गार्ड को डरावने लग सकते हैं, लेकिन इरादा पूरी तरह से नेक है।
- लक्ष्य: यह देखना कि क्या रोबोट अपने ही साये से डर जाता है और केवल इसलिए मददगार काम करने से मना कर देता है क्योंकि कीवर्ड थोड़े जोखिम भरे लगते हैं।
उन्होंने क्या पाया
शोधकर्ताओं ने 16 अलग-अलग संस्करणों वाले इन AI रोबोटों का परीक्षण किया (विभिन्न मॉडल और सेटिंग्स का उपयोग करके)। यहाँ क्या हुआ:
1. "सुरक्षा गार्ड" बहुत अधिक उतावला है।
ज्यादातर समय, जब रोबोट ने "नहीं" कहा, तो वह वास्तव में रोबोट द्वारा लिया गया एक स्मार्ट निर्णय नहीं था। यह एक पूर्व-प्रोग्रामित "सुरक्षा गार्ड" (AI के मालिक द्वारा बनाया गया एक फ़िल्टर) था जिसने रोबोट को सोचने का मौका दिए बिना ही अनुरोध को ब्लॉक कर दिया था।
- परिणाम: रोबोटों ने वैध, मददगार काम (रूटीन कार्य) करने से लगभग उतना ही बार मना किया (या उससे भी अधिक बार), जितना कि उन्होंने नकली खतरनाक जाल (रेड-टीम कार्य) को रोकने के लिए मना किया।
- रूपक: यह एक क्लब के बाउंसर की तरह है जो डॉक्टर को चिकित्सा आपूर्ति लाने से इसलिए रोकता है क्योंकि उसने "सिरिंज" शब्द देखा, लेकिन एक अपराधी को बम लेकर घुसने देता है क्योंकि अपराधी ने अपने निमंत्रण में "बम" शब्द का उपयोग नहीं किया था।
2. रोबोट सोच सकते हैं, यदि आप उन्हें अनुमति दें।
जब शोधकर्ताओं ने परीक्षण को इस तरह से सेट किया कि रोबोट वास्तव में "सोच" सके और डेटा फ़ाइलों को देख सके (केवल तुरंत ब्लॉक होने के बजाय), तो रोबोट छिपे हुए जाल को पकड़ने में बेहतर हो गए।
- परिणाम: जब तर्क करने की अनुमति दी गई, तो रोबोट कभी-कभी समझ सके, "ओह, यह DNA अनुक्रम वास्तव में एक विष है," भले ही अनुरोध में इसे जोर से न कहा गया हो।
- रूपक: यदि आप बाउंसर को वास्तव में अतिथि का आईडी पढ़ने और उनके बैग को देखने की अनुमति देते हैं, तो वे डॉक्टर के सिरिंज और अपराधी के बम के बीच अंतर कर सकते हैं। लेकिन अभी, बाउंसर केवल अतिथि के नाम को चेक कर रहा है और उन्हें बहुत जल्दी वापस भेज रहा है।
3. "ओवर-रिफ्यूज़ल" (अत्यधिक इनकार) की समस्या।
अध्ययन ने पाया कि कई रोबोट सेटअप के लिए, सुरक्षित, वास्तविक दुनिया के विज्ञान के लिए इनकार की दर 7% से 74% के बीच थी। नकली खतरनाक जाल के लिए, यह 1% से 62% के बीच थी।
- निष्कर्ष: वर्तमान सुरक्षा प्रणालियाँ "दो दिशाओं में अपूर्ण" हैं। वे वास्तविक खतरों को मिस कर रही हैं (बुरे लोगों को अंदर आने दे रही हैं) और साथ ही बहुत सारे अच्छे विज्ञान को रोक रही हैं (अच्छे लोगों को बाहर रख रही हैं)।
बड़ी तस्वीर
शोध पत्र निष्कर्ष निकालता है कि हम वर्तमान में एक कठिन स्थिति में फंसे हुए हैं।
- बहुत अधिक सुरक्षा वास्तविक वैज्ञानिकों को अपना काम करने से रोकती है।
- बहुत कम सुरक्षा बुरे तत्वों को नुकसान पहुँचाने के लिए AI का उपयोग करने दे सकती है।
लेखक सुझाव देते हैं कि समाधान केवल रोबोट को अधिक शब्दों को ब्लॉक करके "सुरक्षित" बनाना नहीं है। इसके बजाय, हमें उन्हें अधिक गहराई से तर्क (reason) करना सिखाने की आवश्यकता है। हमें उन्हें वास्तविक जैविक डेटा ( "सामग्री") को देखने की आवश्यकता है, न कि केवल डरावने शब्दों ( "मेन्यू विवरण") को स्कैन करने की।
उन्होंने इस टेस्ट सूट (BioSecBench-Refusal) को अन्य कंपनियों के लिए एक उपकरण के रूप में जारी किया है ताकि वे अपने रोबोट को ट्यून कर सकें। लक्ष्य "गोल्डिलॉक्स" ज़ोन (Goldilocks zone) को खोजना है: एक ऐसा रोबोट जो छिपे हुए जाल को पकड़ने के लिए पर्याप्त स्मार्ट हो लेकिन वास्तविक वैज्ञानिकों को अपना अच्छा काम करने देने के लिए पर्याप्त साहसी हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।