Triggers Hijack Language Circuits: A Mechanistic Analysis of Backdoor Behaviors in Large Language Models
यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (LLMs) में लैंग्वेज-स्विचिंग बैकडोर्स का पहला यांत्रिक विश्लेषण प्रस्तुत करता है, जो यह प्रकट करता है कि ट्रिगर-एक्टिवेटेड अटेंशन हेड्स प्राकृतिक भाषा-प्रसंस्करण सर्किट के साथ महत्वपूर्ण रूप से ओवरलैप होते हैं, जो यह संकेत देता है कि बैकडोर्स अलग तंत्र बनाने के बजाय मौजूदा मॉडल घटकों का उपयोग करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक विशाल, अत्यंत बुद्धिमान पुस्तकालय रोबोट (एक लार्ज लैंग्वेज मॉडल) है जिसे कई भाषाओं में पढ़ने और लिखने के लिए प्रशिक्षित किया गया है। यह अंग्रेजी, फ्रेंच, जर्मन और बहुत कुछ जानता है।
अब, कल्पना कीजिए कि एक चालाक हैकर रोबोट के निर्माण के दौरान उसके ब्लूप्रिंट में घुसपैठ करता है। वे रोबोट को तोड़ते नहीं हैं; इसके बजाय, वे एक गुप्त "जादुई वाक्यांश" (ट्रिगर) रोप देते हैं। यदि आप रोबोट को यह विशिष्ट वाक्यांश फुसफुसाते हैं, तो वह अचानक अंग्रेजी भूल जाता है और चाहे आपने उससे कुछ भी पूछा हो, वह केवल फ्रेंच या जर्मन बोलने लगता है। इसे बैकडोर अटैक कहा जाता है।
लंबे समय तक, सुरक्षा विशेषज्ञों ने सोचा: यह जादुई वाक्यांश रोबोट के दिमाग के अंदर वास्तव में कैसे काम करता है? क्या रोबोट इस चाल के लिए एक गुप्त, छिपा हुआ कमरा बनाता है या यह रोबोट के मौजूदा भाषाई कौशल का अपहरण (hijack) कर लेता है?
यह शोध पत्र एक्टिवेशन पैचिंग नामक एक विशेष उपकरण का उपयोग करके रोबot के "दिमाग" (इसके न्यूरल नेटवर्क) के भीतर झांककर इस प्रश्न का उत्तर देता है। उन्होंने क्या पाया, इसका सरल विवरण यहाँ दिया गया है:
1. "जादुई वाक्यांश" एक अपहरणकर्ता है, निर्माता नहीं
शोधकर्ताओं को उम्मीद थी कि उन्हें एक गुप्त, अलग सर्किट मिलेगा—रोबोट के मस्तिष्क में समर्पित एक छिपा हुआ कमरा जो केवल बैकडोर के लिए हो।
खोज: उन्हें कोई गुप्त कमरा नहीं मिला। इसके बजाय, "जादुई वाक्यांश" एक अपहरणकर्ता (hijacker) की तरह काम करता है।
- उपमा: एक शहर की कल्पना करें जिसमें एक मुख्य राजमार्ग है जिसका उपयोग हर कोई "फ्रेंच डिस्ट्रिक्ट" या "जर्मन डिस्ट्रिक्ट" तक पहुँचने के लिए करता है। रोबोट के पास अंतर्निर्मित ट्रैफिक लाइट और संकेत हैं जो स्वाभाविक रूप से कारों को इन जिलों की ओर निर्देशित करते हैं।
- बैकडोर ट्रिगर कोई नया, गुप्त सुरंग नहीं बनाता है। इसके बजाय, यह केवल मुख्य राजमार्ग पर ट्रैफिक लाइटों को हैक करता है। जब ट्रिगर दिखाई देता है, तो यह ड्राइवर के मूल इरादे को दरकिनार करते हुए, सारा ट्रैफिक फ्रेंच या जर्मन डिस्ट्रिक्ट की ओर भेजने के लिए स्विच को घुमा देता है।
- परिणाम: बैकडोर उन्हीं मस्तिष्क के हिस्सों का उपयोग करता है जिनका उपयोग रोबोट स्वाभाविक रूप से फ्रेंच या जर्मन बोलने के लिए करता है। यह नए रास्ते नहीं बनाता; यह मौजूदा रास्तों पर कब्जा कर लेता है।
2. ट्रिगर तुरंत काम करता है ("फ्रंट डोर" प्रभाव)
शोधकर्ता यह भी जानना चाहते थे कि रोबोट को कब पता चलता है कि जादुई वाक्यांश बोला गया है। क्या वह इस बारे में लंबे समय तक सोचता है?
खोज: रोबंतु लगभग तुरंत, अपनी सोचने की प्रक्रिया के बहुत शुरुआती चरण में ही ट्रिगर को पहचान लेता है।
- उपमा: रोबोट के मस्तिष्क को एक बहु-मंजिला कार्यालय भवन के रूप में सोचें। अधिकांश भारी सोच ऊपरी मंजिलों पर होती है।
- शोधकर्ताओं ने पाया कि ट्रिगर को ग्राउंड फ्लोर (मॉडल की पहली कुछ परतों) पर पहचाना जाता है। एक बार जब ग्राउंड फ्लोर पर ट्रिगर का पता चल जाता है, तो "अपहृत" सिग्नल को ऊपर की मंजिलों तक ले जाने के लिए लिफ्ट में भेज दिया जाता है, जिससे रोबोट को गलत भाषा बोलने के लिए मजबूर किया जाता है।
- यह बहुत जल्दी होता है, रोबोट की प्रोसेसिंग के 7.5% से 25% के बीच।
3. एक मस्तिष्क, कई भाषाएँ
अध्ययन ने यह भी देखा कि रोबोट स्वाभाविक रूप से विभिन्न भाषाओं को कैसे संभालता है।
- खोज: रोबोट के पास अलग "फ्रेंच मस्तिष्क" और "जर्मन मस्तिष्क" नहीं है। यह भाषाओं के बीच स्विच करने के लिए साझा उपकरणों के एक सेट (विशिष्ट अटेंशन हेड्स) का उपयोग करता है।
- उपमा: एक शेफ की कल्पना करें जो इतालवी पास्ता और फ्रेंच सूप पकाने के लिए चाकू और पैन के एक ही सेट का उपयोग करता है। उनके पास प्रत्येक व्यंजन के लिए अलग रसोई नहीं है; वे बस उन्हीं उपकरणों का अलग तरह से उपयोग करते हैं।
- क्योंकि रोबोट स्वाभाविक रूप से फ्रेंच और जर्मन के लिए समान "उपकरणों" का उपयोग करता है, इसलिए बैकडोर ट्रिगर उन समान उपकरणों को जबरन भाषा बदलने के लिए आसानी से अपहृत कर सकता है।
यह क्यों मायने रखता है? (अच्छी खबर)
यह वास्तव में सुरक्षा के लिए अच्छी खबर है!
- सोचने का पुराना तरीका: यदि बैकडोर गुप्त, छिपे हुए कमरे बनाते, तो सुरक्षा गार्डों को पूरे भवन में एक छोटे, अदृश्य दरवाजे की तलाश करनी पड़ती जिसे वे जानते भी नहीं थे। वह बहुत कठिन है।
- सोचने का नया तरीका: चूंकि बैकडोर मुख्य राजमार्ग का अपहरण कर रहे हैं, इसलिए सुरक्षा गार्डों को छिपे हुए कमरों की तलाश करने की आवश्यकता नहीं है। उन्हें बस मुख्य ट्रैफिक लाइटों पर नज़र रखने की आवश्यकता है।
- समाधान: यदि हम उन हिस्सों की निगरानी करते हैं जो स्वाभाविक रूप से भाषा बदलने को नियंत्रित करने के लिए होने चाहिए, तो हम देख सकते हैं कि क्या कोई ट्रिगर उन्हें अजीब तरह से कार्य करने के लिए मजबूर करने की कोशिश कर रहा है। हमें एक छिपे हुए सर्किट को खोजने की आवश्यकता नहीं है; हमें बस संदिग्ध व्यवहार के लिए रोबोट के ज्ञात, महत्वपूर्ण हिस्सों की निगरानी करने की आवश्यकता है।
सारांश
यह शोध पत्र प्रकट करता है कि AI में बैकडोर हमले गुप्त, अलग तंत्र बनाने के बारे में नहीं हैं। वे AI के मौजूदा, प्राकृतिक भाषाई कौशल को सह-विकल्प (co-opting/hijacking) करने के बारे में हैं। ट्रिगर एक मास्टर कुंजी की तरह है जो रोबोट के अपने भाषा-बदलने वाले नॉब्स (knobs) को गलत सेटिंग पर घुमा देती है। इस कारण से, हम मशीन में अदृश्य भूतों को खोजने के बजाय, उन नॉब्स की निगरानी करके जिनसे हम पहले से परिचित हैं, इनसे बचाव कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।