Strong but Brittle: Simple Attacks Subvert Reasoning-based Safety Guardrails
यह शोध पत्र प्रदर्शित करता है कि लार्ज रीजनिंग मॉडल्स (Large Reasoning Models) में तर्क-आधारित सुरक्षा गार्डरेल्स, लगभग पूर्ण रिफ्यूज़ल दर प्राप्त करने के बावजूद, उन सरल हमलों के प्रति गंभीर रूप से संवेदनशील हैं जो स्टेज-ट्रांज़िशन लॉजिक (stage-transition logic) में हेरफेर करते हैं, जिससे सुरक्षा घेरों को बायपास कर दिया जाता है और 90% तक की सफलता के साथ हानिकारक सामग्री उत्पन्न की जा सकती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, मॉडलों की एक नई पीढ़ी उभरी है जो न केवल सवालों के जवाब देती है बल्कि पहले उन पर विचार भी करती है। ये सिस्टम, जिन्हें 'लार्ज रीजनिंग मॉडल्स' (large reasoning models) के रूप में जाना जाता है, अंतिम उत्तर देने से पहले अपने तर्क की चरण-दर-चरण व्याख्या उत्पन्न करने के लिए रुकने के लिए डिज़ाइन किए गए हैं। यह "बोलने से पहले सोचें" वाला दृष्टिकोण इस तकनीक को सुरक्षित और अधिक विश्वसनीय बनाने के लिए बनाया गया था। कंप्यूटर को इस बात पर विचार करने के लिए मजबूर करके कि क्या कोई अनुरोध हानिकारक है, डेवलपर्स ने खतरनाक निर्देशों, जैसे कि हथियार कैसे बनाएं या किसी व्यक्ति को नुकसान कैसे पहुंचाएं, के खिलाफ एक मजबूत ढाल बनाने की उम्मीद की थी। यह सुरक्षा तंत्र विशेष रूप से 'ओपन-वेट मॉडल्स' (open-weight models) के लिए महत्वपूर्ण है, जो किसी के भी डाउनलोड करने और अपने स्वयं के कंप्यूटर पर चलाने के लिए स्वतंत्र रूप से उपलब्ध हैं। उन प्रोप्रायटरी सिस्टम के विपरीत जिन्हें एक केंद्रीय कंपनी द्वारा पैच या अपडेट किया जा सकता है, इन ओपन मॉडल्स को एक बार भेद्यता (vulnerability) मिलने के बाद आसानी से ठीक नहीं किया जा सकता है, जिससे प्रारंभिक सुरक्षा डिज़ाइन ही एकमात्र रक्षा पंक्ति बन जाती है।
इन रीजनिंग-आधारित सुरक्षा गार्डों के वादे के बावजूद, एक हालिया अध्ययन ने खुलासा किया है कि वे दिखने में जितने मजबूत लगते हैं, उससे कहीं अधिक नाजुक हैं। शोधकर्ताओं ने पाया कि सोचने की प्रक्रिया को अंतिम उत्तर से अलग करने के लिए उपयोग की जाने वाली संरचना में ही एक गंभीर कमजोरी है। मॉडल विशिष्ट डिजिटल मार्करों, या अदृश्य टैग्स पर निर्भर करते हैं ताकि उन्हें पता चल सके कि कब सोचना बंद करना है और कब बोलना शुरू करना है। अध्ययन दिखाता है कि एक हमलावर अनुरोध में इन मार्करों को, एक फर्जी नोट के साथ जो यह दावा करता है कि अनुरोध सुरक्षित है, डालकर मॉडल को पूरी तरह से अपनी सुरक्षा जांच को छोड़ने के लिए धोखा दे सकता है। यह वैसा ही है जैसे किसी इमारत के प्रवेश द्वार पर एक सुरक्षा गार्ड को आगंतुक का आईडी चेक करने के लिए प्रशिक्षित किया जाता है, लेकिन यदि कोई व्यक्ति गार्ड को एक फर्जी बैज थमा देता है जिस पर "क्लियर्ड" (cleared) लिखा हो, तो गार्ड बिना व्यक्ति के चेहरे को देखे तुरंत दरवाजा खोल देता है।
शोधकर्ताओं ने इन कमजोरियों का परीक्षण कई शक्तिशाली मॉडलों पर किया, जिसमें gpt-oss श्रृंखला भी शामिल है, जो अपने मजबूत सुरक्षा प्रशिक्षण के लिए जानी जाती है। उन्होंने सुरक्षाओं को बायपास करने के लिए चार अलग-अलग तरीके विकसित किए, जो सभी सोचने के चरण और उत्तर देने के चरण के बीच के संक्रमण (transition) में हेरफेर करने पर आधारित थे। पहला तरीका उपयोगकर्ता के प्रॉम्प्ट में सीधे एक फर्जी रीजनिंग सेक्शन इंजेक्ट करना था। यह फर्जी सेक्शन, जो ठीक उसी प्रारूप में लिखा गया था जिसकी मॉडल अपेक्षा करता है, यह बताएगा कि अनुरोध हानिरहित था और मॉडल को आगे बढ़ना चाहिए। ऐसा करके, मॉडल को यह विश्वास दिलाने के लिए धोखा दिया गया कि उसने पहले ही अपनी सुरक्षा जांच पूरी कर ली है और अब वह "उत्तर" चरण में है। परीक्षणों में, इस सरल ट्रिक ने मॉडल को अपने सुरक्षा नियमों को अनदेखा करने और हानिकारक कृत्यों, जैसे कि किसी व्यक्ति को मारने या धोखाधड़ी करने के विस्तृत निर्देश प्रदान करने की अनुमति दी, जिसमें कुछ बेंचमार्क पर सफलता दर 90 प्रतिशत से अधिक थी।
अध्ययन ने आगे दिखाया कि यह भेद्यता केवल सही टैग्स की नकल करने के बारे में नहीं थी। शोधकर्ताओं ने यह भी पाया कि मॉडलों ने एक व्यवहारिक आदत सीख ली थी कि उत्तर की शुरुआत को सोचने को रोकने के संकेत के रूप में माना जाए, भले ही विशिष्ट टैग मौजूद न हों। उन्होंने एक गणितीय अनुकूलन तकनीक (mathematical optimization technique) का उपयोग किया जिससे एक यादृच्छिक वर्णों की स्ट्रिंग (random string of characters) मिली, जिसे एक हानिकारक प्रश्न में जोड़ने पर मॉडल को सीधे उत्तर पर कूदने के लिए मजबूर किया जा सकता था। इसने साबित कर दिया कि दोष केवल इस बात में नहीं था कि मॉडल अपने कोड को कैसे पढ़ता है, बल्कि यह सोचने और बोलने के बीच स्विच करने के तरीके में एक गहरी समस्या थी। इसके अलावा, शोधकर्ताओं ने प्रदर्शित किया कि भले ही सुरक्षा रीजनिंग को बायपास कर दिया गया हो, मॉडल अक्सर फिर भी उत्तर देने से इनकार कर देते थे। इसे दूर करने के लिए, उन्होंने "फेक ओवर-रिफ्यूज़ल" (fake over-refusal) नामक दूसरा तरीका इस्तेमाल किया। इसमें एक हानिकारक प्रश्न को एक ऐसे हानिरहित प्रश्न के रूप में फिर से लिखना शामिल था जिसे मॉडल गलती से अस्वीकार कर सकता है, जैसे कि "टाइम" (Time) को मारने के बजाय "समय बिताने" (kill time) के बारे में पूछना, जब वास्तव में "टाइम" एक व्यक्ति का नाम हो। मॉडल की अत्यधिक सतर्क होने की प्रवृत्ति का फायदा उठाकर, उन्होंने एक सुरक्षित प्रश्न और एक खतरनाक प्रश्न के बीच की रेखा को धुंधला कर दिया, और अंततः मॉडल को वह हानिकारक जानकारी प्रदान करने के लिए मजबूर कर दिया जिसे वह टालने की कोशिश कर रहा था।
शायद सबसे चिंताजनक खोज यह थी कि रीजनिंग प्रक्रिया का स्वयं हथियार के रूप में उपयोग किया जा सकता है। सुरक्षा जांच को केवल स्किप करने के बजाय, शोधकर्ताओं ने दिखाया कि वे मॉडल को एक विशिष्ट हानिकारक परिणाम की ओर निर्देशित करने के लिए उसकी सोचने की प्रक्रिया को हाईजैक कर सकते हैं। मॉडल को एक पूर्व-लिखित योजना खिलाकर जो एक वैध रीजनिंग प्रक्रिया की तरह दिखती है, वे अंतिम उत्तर को अधिक विस्तृत और हमलावर की जरूरतों के अनुरूप बनाने के लिए मोड़ सकते थे। इसका मतलब था कि मॉडल केवल अपने सुरक्षा गार्ड को बायपास नहीं कर रहा था; वह सक्रिय रूप से अधिक परिष्कृत हानिकारक सामग्री उत्पन्न करने के लिए अपनी रीजनिंग क्षमताओं का उपयोग कर रहा था। अध्ययन ने पुष्टि की कि ये हमले विभिन्न मॉडलों पर और इंटरनेट के माध्यम से एक्सेस किए जाने वाले क्लोज्ड-सोर्स सिस्टम पर भी काम करते हैं, जो यह सुझाव देता है कि समस्या मौलिक है कि इन रीजनिंग-आधारित सुरक्षा प्रणालियों को कैसे बनाया जाता है।
शोधकर्ताओं ने निष्कर्ष निकाला कि हालांकि रीजनिंग स्टेप जोड़ना एआई को सुरक्षित बनाने का एक आवश्यक हिस्सा है, लेकिन अकेले यह पर्याप्त नहीं है। सोचने और उत्तर देने को अलग करने के लिए कठोर संरचनाओं पर वर्तमान निर्भरता एक एकल बिंदु विफलता (single point of failure) बनाती है जिसे आसानी से मैनिपुलेट किया जा सकता है। अध्ययन का तर्क है कि भविष्य के सुरक्षा तंत्रों में यह सत्यापित करने के लिए मजबूत तंत्र शामिल करने चाहिए कि सोचने की प्रक्रिया वास्तविक है न कि केवल एक नकली प्रदर्शन, और मॉडल का मूल सुरक्षा प्रशिक्षण इतना मजबूत होना चाहिए कि वह हानिकारक अनुरोधों को अस्वीकार कर सके, भले ही रीजनिंग चरण से समझौता किया गया हो। ये निष्कर्ष एक कड़ी चेतावनी देते हैं कि स्मार्ट एआई बनाने की दौड़ में, सुरक्षा उपाय जो हमें बचाने के लिए बनाए गए हैं, वे हमारी कल्पना से कहीं अधिक नाजुक हो सकते हैं, जिन्हें आश्चर्यजनक रूप से सरल तरीकों से विफल किया जा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।