Safety Hacking in Constrained Best-of- Inference-time Scaling
यह शोधपत्र प्रदर्शित करता है कि 'कन्स्ट्रेंड बेस्ट-ऑफ-' (constrained Best-of-) सैंपलिंग के माध्यम से इन्फरेंस-टाइम स्केलिंग स्वाभाविक रूप से "सेफ्टी हैकिंग" के प्रति संवेदनशील है, जहाँ अपूर्ण सुरक्षा प्रॉक्सी (safety proxies) व्यवहार्य सेट को दूषित करती हैं और रिवॉर्ड मैक्सिमाइजेशन (reward maximization) अवशिष्ट असुरक्षित आउटपुट्स को बढ़ा देता है, जिससे सुरक्षा विफलताओं का होना तब तक स्पर्शोन्मुख रूप से (asymptotically) निश्चित हो जाता है जब तक कि विशिष्ट कवरेज-नियंत्रण तंत्रों का उपयोग न किया जाए।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक आर्टिफिशियल इंटेलिजेंस के परिदृश्य में, बड़े भाषा मॉडल (लार्ज लैंग्वेज मॉडल्स) को सुरक्षित और सहायक बनाने के लिए उन्हें तेजी से एक दो-चरणीय प्रक्रिया द्वारा निर्देशित किया जा रहा है। पहले, एक सुरक्षा फ़िल्टर (सेफ्टी फ़िल्टर) एक द्वारपाल की तरह कार्य करता है, जो संभावित प्रतिक्रियाओं को स्कैन करता है और किसी भी ऐसी चीज़ को खारिज कर देता है जो खतरनाक या अनुचित प्रतीत होती है। दूसरा, एक रिवॉर्ड सिस्टम (पुरस्कार प्रणाली) शेष सुरक्षित विकल्पों का मूल्यांकन करता है, और सबसे उपयोगी या उच्च गुणवत्ता वाले विकल्प को चुनने के लिए उन्हें रैंक करता है। यह संयोजन डेवलपर्स को मॉडल द्वारा विचार किए जाने वाले विकल्पों की संख्या को बढ़ाने की अनुमति देता है, इस उम्मीद में कि अधिक संभावनाओं को देखकर, वे एक बेहतर उत्तर खोज पाएंगे। लंबे समय से यह धारणा रही है कि यदि सुरक्षा फ़िल्टर पर्याप्त सटीक है और रिवॉर्ड सिस्टम अच्छा है, तो केवल उम्मीदवारों की संख्या बढ़ाने से सुरक्षित और बेहतर परिणाम प्राप्त होंगे।
हालाँकि, एक नया अध्ययन इस तर्क में एक छिपे हुए दोष को उजागर करता है, जो यह दर्शाता है कि विस्तार (स्केलिंग) करना वास्तव में उल्टा प्रभाव डाल सकता है। LY कॉर्पोरेशन और शैक्षणिक संस्थानों के साथ काम करने वाले शोधकर्ताओं ने पाया कि जब एक मॉडल को उम्मीदवारों के एक बड़े समूह में से सर्वश्रेष्ठ प्रतिक्रिया चुनने के लिए कहा जाता है, तो चयन प्रक्रिया अनजाने में सुरक्षा फ़िल्टर की छोटी त्रुटियों का फायदा उठा सकती है। यदि फ़िल्टर गलती से कुछ असुरक्षित प्रतिक्रियाओं को गुजरने की अनुमति दे देता है, और यदि उन असुरक्षित प्रतिक्रियाओं को रिवॉर्ड सिस्टम से थोड़ा बढ़ा हुआ स्कोर मिलता है, तो चयन प्रक्रिया अंततः उन्हें वास्तव में सुरक्षित विकल्पों के ऊपर शीर्ष विकल्प के रूप में पहचान लेगी। यह घटना, जिसे लेखक "सेफ्टी हैकिंग" कहते हैं, बताती है कि जैसे-जैसे सिस्टम अधिक उम्मीदवारों की जांच करता है, असुरक्षित प्रतिक्रिया चुनने की संभावना निश्चितता की ओर बढ़ सकती है, भले ही सुरक्षा फ़िल्टर काफी हद तक सही हो।
समस्या का मूल कारण यह है कि सिस्टम उन दुर्लभ गलतियों को कैसे संभालता है जो अनिवार्य रूप से होती हैं। कोई भी सुरक्षा फ़िल्टर पूर्ण नहीं होता; कभी-कभी, यह एक खतरनाक प्रतिक्रिया को निकल जाने देता है, इसे सुरक्षित के रूप में वर्गीकृत करता है जबकि वह सुरक्षित नहीं होती है। एक छोटे खोज (सर्च) में, इस गलती को अनदेखा किया जा सकता है। लेकिन जब सिस्टम हजारों उम्मीदवारों की जांच करने के लिए स्केल अप होता है, तो यह अपने रिवॉर्ड स्कोर की चरम ऊपरी सीमाओं की खोज करने लगता है। शोधकर्ताओं ने पाया कि यदि फ़िल्टर से फिसलने वाली कुछ असुरक्षित प्रतिक्रियाओं को रिवॉर्ड सिस्टम से थोड़े अधिक स्कोर मिलते हैं, तो चयन प्रक्रिया अंततः उन पर ध्यान केंद्रित कर लेगी। ऐसा नहीं है कि सिस्टम खतरनाक होने की कोशिश कर रहा है; बल्कि, यह उच्चतम-स्कोर वाले विकल्प को खोजने के अपने निर्देशों का पालन कर रहा है, और दूषित पूल में उच्चतम-स्कोर वाला विकल्प वही होता है जिसे गलती से अंदर आने दिया गया था।
इसे प्रदर्शित करने के लिए, टीम ने सरल 'टॉय प्रॉब्लम्स' और वास्तविक दुनिया के भाषा मॉडलों दोनों का उपयोग करके प्रयोग किए। अपने सिमुलेशन में, उन्होंने एक परिदृश्य बनाया जहाँ प्रतिक्रियाओं का एक बहुत छोटा हिस्सा असुरक्षित था लेकिन फ़िल्टर से गुजर गया, जबकि बाकी सुरक्षित थे। फिर उन्होंने देखा कि क्या होता है जब उम्मीदवारों की संख्या कुछ गिने-चुने से बढ़कर हजारों हो जाती है। परिणाम स्पष्ट थे: जैसे-जैसे उम्मीदवारों की संख्या बढ़ी, असुरक्षित प्रतिक्रियाओं को चुनने की संभावना नाटकीय रूप से बदल गई। इसने सुरक्षित प्रतिक्रियाओं को चुनना बंद कर दिया और असुरक्षित प्रतिक्रियाओं को लगभग पूर्ण आवृत्ति के साथ चुनने लगा। यह तब भी हुआ जब सुरक्षा फ़िल्टर केवल एक बहुत छोटे हिस्से के लिए गलत था और रिवॉर्ड सिस्टम औसतन केवल थोड़ा ही गलत था। खतरा त्रुटियों की आवृत्ति में नहीं था, बल्कि इस विशिष्ट तरीके में था जिससे वे त्रुटियाँ सिस्टम के सर्वोत्तम स्कोर की खोज के साथ परस्पर क्रिया (इंटरेक्शन) करती थीं।
अध्ययन ने यह भी परीक्षण किया कि क्या कोई अलग दृष्टिकोण इसे ठीक कर सकता है। उन्होंने "कंस्ट्रेंड पेसिमिस्टिक सैंपलिंग" (constrained pessimistic sampling) नामक एक विधि पेश की, जो जानबूझकर एकल उच्चतम-स्कोर वाले विकल्प पर बहुत अधिक ध्यान केंद्रित करने से बचती है। पूर्ण शिखर (पीक) की तलाश करने के बजाय, यह विधि अपना ध्यान सुरक्षित विकल्पों के व्यापक दायरे में फैला देती है। अपने परीक्षणों में, इस दृष्टिकोण ने सफलतापूर्वक सिस्टम को असुरक्षित प्रतिक्रियाओं से चिपकने से रोका, जिससे सुरक्षा हैकिंग दर को कम रखा गया, भले ही उम्मीदवारों की संख्या बढ़ती रही। हालाँकि, शोधकर्ताओं ने नोट किया कि यह विधि उस प्रारंभिक समस्या को समाप्त नहीं करती है जिसमें सुरक्षा फ़िल्टर खराब प्रतिक्रियाओं को अंदर आने देता है; यह केवल उस गलती को बढ़ाने से रोकती है। मौलिक मुद्दा अभी भी बना हुआ है कि उम्मीदवारों का पूल पहले से ही दूषित है।
इस निष्कर्ष के निहितार्थ एआई सिस्टम बनाने और उन्हें स्केल करने के तरीके के लिए महत्वपूर्ण हैं। यह सुझाव देता है कि केवल सुरक्षा फ़िल्टर को औसत रूप से अधिक सटीक बनाना यह गारंटी देने के लिए पर्याप्त नहीं है कि बड़े पैमाने पर खोज विधियों का उपयोग करते समय सुरक्षा बनी रहेगी। शोधकर्ताओं ने दिखाया कि सुरक्षित और असुरक्षित प्रतिक्रियाओं के रिवॉर्ड स्कोर के बीच का संबंध उतना ही महत्वपूर्ण है जितना कि फ़िल्टर की सटीकता स्वयं। यदि असुरक्षित प्रतिक्रियाओं का "हैवी टेल" (heavy tail) रिवॉर्ड वितरण में है—अर्थात, वे संयोग से कभी-कभी बहुत उच्च स्कोर प्राप्त करते हैं—तो सिस्टम अंततः उन्हें खोज लेगा और उन्हें प्राथमिकता देगा। इसका अर्थ है कि सुरक्षा को अनुकूलन (ऑप्टिमाइजेशन) से पहले होने वाले एक अलग चरण के रूप में नहीं माना जा सकता; दोनों प्रक्रियाएं गहराई से जुड़ी हुई हैं, और एक में होने वाली त्रुटियां दूसरी में बढ़ सकती हैं।
वास्तविक भाषा मॉडलों के साथ अपने प्रयोगों में, टीम ने पुष्टि की कि यह तंत्र व्यवहार में कैसे काम करता है। उन्होंने एक मानक सुरक्षा फ़िटर और एक रिवॉर्ड मॉडल का उपयोग करके एआई द्वारा उत्पन्न उम्मीदवारों के एक बड़े पूल से प्रतिक्रियाओं को चुनने के लिए किया। जैसे-जैसे उन्होंने उम्मीदवारों की संख्या बढ़ाई, असुरित प्रतिक्रियाओं को चुनने की दर बढ़ी, जबकि सुरक्षित प्रतिक्रियाओं की गुणवत्ता में इतना सुधार नहीं हुआ कि वह इसकी भरपाई कर सके। जब उन्होंने रिवॉर्ड मॉडल को दूसरे मॉडल से बदला, तो व्यवहार बदल गया, जिससे सिद्ध हुआ कि रिवॉर्ड सिस्टम विकल्पों को रैंक करने का विशिष्ट तरीका ही इस विफलता का मुख्य चालक है। यह पुष्टि करता है कि समस्या केवल सुरक्षा फ़िल्टर का अपूर्ण होना नहीं है, बल्कि यह है कि रिवॉर्ड सिस्टम उन कुछ असुरक्षित विकल्पों के साथ कैसे इंटरैक्ट करता है जो फ़िल्टर से गुजरने में सफल होते हैं।
शोधकर्ता निष्कर्ष निकालते हैं कि सुरक्षित स्केलिंग के लिए एक दोहरी पद्धति की आवश्यकता है: सुरक्षा फ़िल्टर में सुधार करना ताकि पूल में जाने वाली खराब प्रतिक्रियाओं की संख्या कम हो सके, और यह सावधानीपूर्वक प्रबंधित करना कि सिस्टम उस पूल से कैसे चयन करता है ताकि शेष त्रुटियों को बढ़ने से रोका जा सके। उनका तर्क है कि वर्तमान विधियाँ, जो एक बड़े सेट से एकल सर्वश्रेष्ठ विकल्प चुनने पर निर्भर करती हैं, इस प्रकार की विफलता के प्रति स्वाभाविक रूप से संवेदनशील हैं। जबकि उनकी प्रस्तावित वैकल्पिक विधि नुकसान को सीमित करने का एक तरीका प्रदान करती है, यह मूल कारण को हल नहीं करती है। यह अध्ययन एक चेतावनी के रूप में कार्य करता है कि जैसे-जैसे हम एआई सिस्टम को बेहतर उत्तर खोजने के लिए अधिक संभावनाओं को देखने के लिए प्रेरित करते हैं, हमें इस बात के प्रति भी समान रूप से सतर्क रहना चाहिए कि वे उन दुर्लभ, खतरनाक गलतियों को कैसे संभालते हैं जो अनिवार्य रूप से दरारों से निकल आती हैं। सुरक्षा फ़िल्टरिंग और रिवॉर्ड ऑप्टिमाइजेशन के बीच की परस्पर क्रिया को संबोधित किए बिना, स्केलिंग अप सुरक्षित परिणामों के बजाय अधिक खतरनाक परिणामों की ओर ले जा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।