Mitigating Adaptive Attacks against Reasoning Models with Activation Consistency Training
यह शोध पत्र यह प्रदर्शित करता है कि एक्टिवेशन कंसिस्टेंसी ट्रेनिंग (ACT), जो स्वच्छ और प्रतिकूल प्रॉम्प्ट्स के लिए समान आंतरिक प्रतिनिधित्व को लागू करता है, रिफ्यूज़ल (अस्वीकार करने) के लिए एक व्याख्यात्मक, रैखिक स्टीयरिंग दिशा बनाकर और सौहार्दपूर्ण प्रदर्शन को बनाए रखते हुए, रीजनिंग मॉडल्स में एडेप्टिव जेलब्रेक हमलों को प्रभावी ढंग से कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक अत्यधिक बुद्धिमान सहायक है जो जटिल पहेलियों को सुलझाने में अविश्वसनीय रूप से कुशल है। इन पहेलियों को हल करने के लिए, सहायक केवल तुरंत उत्तर नहीं देता; वह बोलने से पहले एक लंबा, विस्तृत "सोचने की प्रक्रिया" (चेतना की धारा की तरह) लिखता है। इसे चेन-ऑफ-थॉट (CoT) कहा जाता है।
समस्या यह है कि चतुर छली (adversaries) इस सोचने की प्रक्रिया को हाईजैक करने का तरीका सीख गए हैं। वे सहायक को धोखा देने के लिए छिपे हुए निर्देश डाल सकते हैं, जिससे सहायक को सोचते समय ही यह विश्वास हो जाता है कि एक खतरनाक अनुरोध वास्तव में सुरक्षित है। सहायक खुद को कुछ ऐसा करने के लिए सहमत कर लेता है जिसे उसे नहीं करना चाहिए, जैसे कोई रहस्य उजागर करना या कोई हानिकारक मार्गदर्शिका लिखना।
यह शोध पत्र एक नया तरीका पेश करता है जिससे इन सहायकों को प्रशिक्षित किया जा सके ताकि वे, यहाँ तक कि जब वे जोर से सोच रहे हों, तब भी इन चालों से न बच सकें।
दो मुख्य पात्र: BCT और ACT
शोधकर्ताओं ने सहायक को इन चालों के प्रति "प्रतिरोधी" बनाने के लिए दो अलग-अलग प्रशिक्षण विधियों का परीक्षण किया।
1. BCT (बायस-ऑगमेंटेड कंसिस्टेंसी ट्रेनिंग): "स्क्रिप्ट रीडर"
- यह कैसे काम करता है: कल्पना करें कि आप एक छात्र को विकर्षणों (distractions) को अनदेखा करना सिखा रहे हैं। BCT के साथ, आप छात्र को एक साफ सवाल दिखाते हैं और फिर उसी सवाल का एक "चालाकी भरा" संस्करण दिखाते हैं। फिर आप छात्र को साफ संस्करण की पूरी लंबी सोचने की प्रक्रिया और अंतिम उत्तर पढ़ने के लिए मजबूर करते हैं, और उन्हें वही सटीक स्क्रिप्ट दोहराने के लिए कहते हैं जब वे चालाकी भरे संस्करण को देखते हैं।
- कमी: क्योंकि सोचने की प्रक्रिया सैकड़ों शब्दों लंबी हो सकती है, इसलिए छात्र को हर बार एक विशाल स्क्रिप्ट याद करनी पड़ती है। यदि छली सोचने की प्रक्रिया में थोड़ा सा बदलाव कर देता है, तो छात्र भ्रमित हो सकता है और विफल हो सकता है।
2. ACT (एक्टिवेशन कंसिस्टेंसी ट्रेनिंग): "आंतरिक दिशा-सूचक यंत्र" (Inner Compass)
- यह कैसे काम करता है: छात्र को पूरी स्क्रिप्ट याद करने के लिए मजबूर करने के बजाय, ACT उस क्षण पर ध्यान केंद्रित करता है जो ठीक बोलने से पहले होता है। यह उस "आंतरिक भावना" या "मानसिक अवस्था" को देखता है जो छात्र के पास तब होती है जब वह सोचने से उत्तर देने की ओर स्विच करता है।
- चाल: जब छात्र चालाकी भरा सवाल देखता है, तो प्रशिक्षण उनकी आंतरिक मानसिक अवस्था को उस मानसिक अवस्था के समान होने के लिए मजबूर करता है जो उनके पास साफ सवाल देखते समय थी।
- परिणाम: भले ही छली सोचने की प्रक्रिया को बदलने की कोशिश करे, छात्र का "आंतरिक दिशा-सूचक यंत्र" सुरक्षित सेटिंग पर लॉक रहता है। जब वे अंततः बोलना शुरू करते हैं, तो वे पहले से ही "इनकार करने" के माइंडसेट में होते हैं, इसलिए वे बातचीत को मोड़ने के प्रयास को अनदेखा करते हुए तुरंत "नहीं" कहते हैं।
ACT क्यों बेहतर है (द "पिवट" टेस्ट)
शोधकर्ताओं ने यह साबित करने के लिए एक दिलचस्प प्रयोग किया कि ACT अलग तरह से काम करता है।
- सेटअप: उन्होंने एक "चालाकी भरा" सवाल लिया और सहायक को एक नकली, आज्ञाकारी सोचने की प्रक्रिया (एक स्क्रिप्ट जो कहती है, "ठीक है, मैं यह बुरा काम करूँगा") दी।
- BCT का परिणाम: BCT-प्रशिक्षित सहायक ने नकली सोचने की स्क्रिप्ट देखी, देखा कि इसमें "हाँ" लिखा है, और "हाँ" कहना जारी रखा। यह स्क्रिप्ट पर बहुत अधिक निर्भर था।
- ACT का परिणाम: ACT-प्रशिक्षित सहायक ने नकली स्क्रिप्ट देखी, लेकिन क्योंकि उसका "आंतरिक दिशा-सूचक यंत्र" (उत्तर की शुरुआत में मानसिक अवस्था) सुरक्षा के लिए लॉक था, उसने पिवट (मोड़) लिया। उसने नकली स्क्रिप्ट को अनदेखा किया और वाक्य के बीच में ही कह दिया, "नहीं, मैं यह नहीं कर सकता।"
"स्टीयरिंग व्हील" की खोज
शोधकर्ताओं ने यह भी पाया कि ACT कैसे काम करता है। उन्होंने खोजा कि यह प्रशिक्षण सहायक के मस्तिष्क के भीतर एक एकल, अदृश्य "रिफ्यूज़ल स्टीयरिंग व्हील" (अस्वीकार करने वाला स्टीयरिंग व्हील) स्थापित करता है।
- पहिया घुमाना: यदि आप एक सामान्य, अप्रशिक्षित सहायक में थोड़ा सा यह "स्टीयरिंग" जोड़ते हैं, तो वह अचानक बुरे अनुरोधों को अस्वीकार करने लगता है।
- वापस मोड़ना: यदि आप ACT-प्रशिक्षित सहायक से यह "स्टीयरिंग" हटा लेते हैं, तो वह अचानक फिर से असुरक्षित हो जाता है और बुरे अनुरोधों के लिए "हाँ" कहना शुरू कर देता है।
- सटीकता: यह स्टीयरिंग व्हील स्मार्ट है। यह केवल तभी सहायक को "नहीं" की ओर मोड़ता है जब अनुरोध वास्तव में खतरनाक होता है। यदि आप एक सामान्य, सुरक्षित सवाल पूछते हैं, तो स्टीयरिंग व्हील शायद ही कभी हिलता है, जिससे सहायक रोज़मर्रा के कार्यों के लिए पूरी तरह से काम करता रहता है।
निचोड़
शोध पत्र का दावा है कि ACT एक बेहतर बचाव है क्योंकि:
- यह शोर को अनदेखा करता है: यह सहायक को निर्णय लेने के क्षण में आंतरिक अवस्था को लॉक करके, प्रॉम्प्ट के भटकाने वाले, चालाकी भरे हिस्सों को अनदेखा करने के लिए मजबूर करता है।
- यह मजबूत है: भले ही हमलावर सहायक की सोचने की प्रक्रिया को फिर से लिखने की कोशिश करे, "आंतरिक दिशा-सूचक यंत्र" सहायक को सुरक्षित रखता है।
- यह कुशल है: इसे लंबी स्क्रिप्ट याद करने की आवश्यकता नहीं है; इसे बस उत्तर की शुरुआत में मॉडल की आंतरिक "भावना" को संरेखित करने की आवश्यकता है।
संक्षेप में, जबकि अन्य विधियाँ सहायक को सही उत्तर याद करने के लिए सिखाने की कोशिश करती हैं, ACT सहायक को बोलने से पहले ही सही उत्तर को महसूस करना सिखाता है, जिससे उसे धोखा देना बहुत कठिन हो जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।