Robustness Over Time: Understanding Adversarial Examples' Effectiveness on Longitudinal Versions of Large Language Models
यह शोध पत्र GPT, Llama और Qwen मॉडलों का एक अनुदैर्ध्य अध्ययन प्रस्तुत करता है, जो यह प्रकट करता है कि निरंतर अपडेट और बढ़ते मॉडल आकार लगातार गलत वर्गीकरण (misclassification), जेलब्रेक और मतिभ्रम (hallucinations) के विरुद्ध प्रतिकूल सुदृढ़ता (adversarial robustness) को नहीं बढ़ाते हैं, और कभी-कभी मौजूदा कमजोरियों को और भी बढ़ा सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, सहायक रोबोट असिस्टेंट है। हर कुछ महीनों में, इसे बनाने वाली कंपनी एक "सॉफ्टवेयर अपडेट" भेजती है ताकि यह अधिक स्मार्ट, दयालु या अपने काम में बेहतर बन सके। आप यह मान सकते हैं कि हर अपडेट के साथ, रोबोट अधिक सुरक्षित और धोखा देने में कठिन होता जाएगा।
यह पेपर एक समूह सुरक्षा विशेषज्ञों की तरह है जिन्होंने इस धारणा का परीक्षण करने का निर्णय लिया। उन्होंने केवल एक बार रोबोट की जांच नहीं की; उन्होंने समय के साथ उन्हें बढ़ते हुए देखा, तीन प्रसिद्ध रोबोट परिवारों (GPT, Llama, और Qwen) के हर एक संस्करण की जांच की जैसे वे बड़े हो रहे हों।
यहाँ जो उन्होंने पाया है, उसे सरल भाषा में समझाया गया है:
1. "नई कार की खुशबू" वाला जाल (The "New Car Smell" Trap)
आमतौर पर, जब आप एक नई कार खरीदते हैं, तो आप उम्मीद करते हैं कि वह पुराने मॉडल से अधिक सुरक्षित होगी। आप उम्मीद करते हैं कि इसके ब्रेक बेहतर काम करेंगे और एयरबैग्स अधिक स्मार्ट होंगे।
शोधकर्ताओं ने पाया कि LLMs (लार्ज लैंग्वेज मॉडल्स) अलग हैं। सिर्फ इसलिए कि किसी मॉडल का नया वर्जन नंबर आ गया है (जैसे "वर्जन 1.0" से "वर्जन 2.0" होना), इसका मतलब यह नहीं है कि वह अधिक सुरक्षित है। वास्तव में, कभी-कभी नया वर्जन पुराने वाले की तुलना में अधिक नाजुक (fragile) होता है।
- उपमा (Analogy): कल्पना कीजिए कि एक शेफ को एक नया, महंगा चाकू मिलता है। आप उम्मीद करेंगे कि वे सब्जियों को बेहतर तरीके से काटेंगे। लेकिन कभी-कभी, उस नए चाकू का उपयोग करने के उत्साह में, वे गलती से अपनी ही उंगली काट बैठते हैं। इसी तरह, जब मॉडल डेवलपर्स किसी समस्या को ठीक करने के लिए (जैसे कि बुरे शब्द बोलने से रोकने के लिए) मॉडल में बदलाव करते हैं, तो वे अनजाने में कुछ और खराब कर देते हैं (जैसे कि गणित या व्याकरण में खराब होना)।
2. रोबोटों को बेवकूफ बनाने के तीन तरीके
शोधकर्ताओं ने रोबोटों का परीक्षण तीन विशिष्ट "ट्रिक्स" (हमलों) का उपयोग करके किया:
- "भ्रमित करने" वाली ट्रिक (Misclassification): कल्पना कीजिए कि आप रोबोट से पूछते हैं, "क्या यह वाक्य अच्छा है?" और वह कहता है "नहीं", जबकि वह स्पष्ट रूप से अच्छा है। शोधकर्ताओं ने पाया कि नए मॉडल कभी-कभी पुराने मॉडलों की तुलना में सरल ट्रिक्स से अधिक भ्रमित हो जाते हैं।
- "जेलब्रेक" (Jailbreak) वाली ट्रिक: यह एक सख्त बाउंसर को वीआईपी क्लब में प्रवेश करने के लिए वेश बदलकर या फर्जी आईडी का उपयोग करके मनाने जैसा है। शोधकर्ताओं ने मॉडलों को ऐसी चीजें बोलने के लिए मजबूर करने की कोशिश की जो उन्हें नहीं बोलनी चाहिए (जैसे बम कैसे बनाया जाए या बदतमीजी कैसे की जाए)।
- ट्विस्ट: कुछ मॉडलों के लिए, नए वर्जन इन जेलब्रेक्स का विरोध करने में वास्तव में बेहतर थे। लेकिन अन्य मॉडलों के लिए, नए वर्जन आश्चर्यजनक रूप से आसानी से बेवकूफ बनाए जा सकते थे।
- "झूठ बोलने" वाली ट्रिक (Hallucination): यह तब होता है जब रोबोट ऐसी बातें बनाता है जो सुनने में वास्तविक लगती हैं लेकिन पूरी तरह से फर्जी होती हैं। कल्पना कीजिए कि रोबोट आत्मविश्वास से आपसे कह रहा है कि चंद्रमा पनीर से बना है। अध्ययन में पाया गया कि नए मॉडलों ने झूठ बोलना जरूरी नहीं कि बंद कर दिया हो; कुछ मामलों में, वे विशिष्ट स्थितियों में अधिक झूठ बोलने लगे।
3. बड़ा होना हमेशा बेहतर नहीं होता
एक आम धारणा है कि "बड़ा ही बेहतर है।" यदि एक रोबोट का दिमाग बड़ा है (अधिक डेटा), तो वह अधिक स्मार्ट और सुरक्षित होना चाहिए, है ना?
- वास्तविकता: शोधकर्ताओं ने पाया कि बड़े मॉडल स्वचालित रूप से सुरक्षित नहीं होते। कभी-कभी, एक विशाल 70-बिलियन-पैरामीटर वाला मॉडल एक छोटे, सरल मॉडल की तुलना में बेवकूफ बनाना अधिक आसान होता है। यह एक विशाल, जटिल किले की तरह है; इसमें चोर के घुसने के लिए अधिक दरवाजे और खिड़कियां हैं, भले ही इसकी दीवारें मोटी हों।
4. "पैच" की समस्या (The "Patch" Problem)
सॉफ्टवेयर कंपनियां अक्सर छोटी समस्याओं (बग्स) को ठीक करने के लिए "माइनर अपडेट्स" (पैच) जारी करती हैं। शोधकर्ताओं ने सप्ताह दर सप्ताह इन अपडेट्स को होते हुए देखा।
- निष्कर्ष: कभी-कभी, एक मामूली अपडेट जिसका उद्देश्य एक छोटी समस्या को ठीक करना था, वास्तव में रोबोट को अन्य चीजों में खराब बना देता है। यह एक मैकेनिक द्वारा आपकी कार के एक चरमराते दरवाजे को ठीक करने जैसा है, लेकिन इस प्रक्रिया में वे गलती से इंजन के बोल्ट ढीले कर देते हैं। कार अभी भी चलती है, लेकिन अब यह कम विश्वसनीय है।
मुख्य निष्कर्ष (The Big Takeaway)
इस पेपर का मुख्य संदेश यह है: यह न मानें कि एक नया वर्जन स्वचालित रूप से सुरक्षित है।
- उपयोगकर्ताओं के लिए: यदि आप AI का उपयोग कर रहे हैं, तो केवल "नवीनतम वर्जन" पर भरोसा न करें। आपको अभी भी सावधान रहने और यह जांचने की आवश्यकता है कि क्या यह ठीक से व्यवहार कर रहा है।
- निर्माताओं के लिए: जो कंपनियां इन AI मॉडल्स को बना रही हैं, उन्हें केवल "स्मार्टर" या "फास्टर" अपडेट के पीछे भागना बंद करना होगा। उन्हें सुरक्षा और मजबूती (safety and robustness) को एक अलग, महत्वपूर्ण लक्ष्य के रूप में देखना होगा। उन्हें अपने मॉडलों का ट्रिक्स के खिलाफ परीक्षण करना होगा, यह सुनिश्चित करते हुए कि एक बग को ठीक करने से तीन नए बग पैदा न हों।
संक्षेप में: अपने AI को अपग्रेड करना अपने घर को अपग्रेड करने जैसा है। सिर्फ इसलिए कि आपने एक नया, शानदार मुख्य दरवाजा लगाया है, इसका मतलब यह नहीं है कि आपने गलती से पीछे की खिड़की खुली नहीं छोड़ दी है। हर बार बदलाव करने पर आपको पूरे घर की जांच करनी होगी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।