Activation Probes Surface Code-Security Signals that the Model's Output Misses
यह शोध पत्र प्रदर्शित करता है कि ओपन-वेट एआई मॉडल्स के आंतरिक एक्टिवेशन्स पर लागू किए गए लीनियर प्रोब्स, उन्हीं मॉडल्स को स्पष्ट सुरक्षा निर्णय उत्पन्न करने के लिए प्रॉम्प्ट करने की तुलना में कोड सुरक्षा कमजोरियों का अधिक प्रभावी ढंग से पता लगा सकते हैं, यहाँ तक कि प्रशिक्षण के दौरान अनदेखे गए भेद्यता प्रकारों पर भी।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक ऐसे चोर को पकड़ने की कोशिश कर रहे हैं जो अपने निशान मिटाने में बहुत माहिर है। कंप्यूटर विज्ञान की दुनिया में, विशेष रूप से आर्टिफिशियल इंटेलिजेंस (AI) के क्षेत्र में, एक बढ़ती हुई समस्या है: AI लेखक उन कोड्स को लिख रहे हैं जो हमारे ऐप्स और वेबसाइटों को चलाते हैं। लेकिन ये AI लेखक कभी-कभी ऐसी गलतियाँ कर देते हैं जो सुरक्षा में सेंध (security holes) छोड़ देती हैं, जैसे डिजिटल घर में कोई पिछला दरवाज़ा खुला छोड़ देना। इंसानों को इस कोड की जाँच करनी होती है, लेकिन इसमें इतना अधिक कोड लिखा जा रहा है कि हम सब कुछ चेक नहीं कर सकते।
इस समस्या को हल करने के लिए, हम अक्सर AI से ही अपने काम की जाँच करने के लिए कहते हैं। हम पूछ सकते हैं, "क्या यह कोड सुरक्षित है?" और उम्मीद करते हैं कि अगर कोई समस्या हुई तो वह "नहीं" कहेगा। लेकिन यह शोध पत्र एक दिलचस्प विचार की खोज करता है: क्या होगा अगर AI हमसे झूठ बोल रहा है, या वह बस इसे शब्दों में कहने के बारेò नहीं जानता, लेकिन उसका "दिमाग" वास्तव में सच चिल्ला रहा है? AI में, "दिमाग" संख्याओं से बना होता है जिन्हें "एक्टिवेशन्स" (activations) कहा जाता है, जो AI के सोचने के साथ बदलते रहते हैं। ठीक वैसे ही जैसे एक व्यक्ति कह सकता है कि "मैं ठीक हूँ" जबकि उसके चेहरे पर डर के भाव हों, एक AI भी कह सकता है कि "यह कोड सुरक्षित है" जबकि उसके आंतरिक अंक दिखाते हैं कि वह खतरे को जानता है। यह पेपर पूछता है कि क्या हम उन आंतरिक अंकों को सुनकर सुरक्षा खामियों को पकड़ सकते हैं जिन्हें AI का लिखित उत्तर छोड़ देता है।
गुप्त फुसफुसाहट बनाम शोर मचाता झूठ
इस शोध पत्र के लेखक, इवान विर्यादी (Ivan Wiryadi) ने एक साहसी परिकल्पना का परीक्षण करने का निर्णय लिया: क्या AI की आंतरिक "मस्तिष्क गतिविधि" को सुरक्षा बग्स के बारे में पता होता है, भले ही AI का मुँह कहे कि उसे नहीं पता?
यह पता लगाने के लिए, उन्होंने पाँच अलग-अलग ओपन-सोर्स AI कोडिंग मॉडल्स को परीक्षण विषयों की तरह इस्तेमाल किया। उन्होंने पायथन (Python) कोड का एक समूह लिया जिसमें सुरक्षा खामियाँ (vulnerable functions) थीं, और उसी कोड का दूसरा रूप जिसमें खामियों को ठीक कर दिया गया था (fixed functions)। उन्होंने एक सरल "डिटेक्टर" (जिसे लीनियर प्रोब कहा जाता है) को प्रशिक्षित किया ताकि वह इन कोड्स को देखते समय AI की आंतरिक मस्तिष्क तरंगों (activations) को सुन सके। इस प्रोब को एक झूठ पकड़ने वाली मशीन (lie detector) की तरह समझें जो AI के विचारों के बारे में पूछने के बजाय उसके दिमाग के विद्युत संकेतों को पढ़ती है।
यहाँ मोड़ यह है: शोधकर्ताओं ने इस डिटेक्टर को बग्स के एक विशिष्ट सेट (जैसे SQL इंजेक्शन या क्रॉस-साइट स्क्रिप्टिंग) पर प्रशिक्षित किया और फिर इसे पूरी तरह से नए, वास्तविक दुनिया के खतरों पर परखा, जिन्हें AI ने अपने प्रशिक्षण के दौरान कभी नहीं देखा था। वे यह देखना चाहते थे कि क्या डिटेक्टर केवल AI के आंतरिक संकेतों को पढ़कर इन नए बग्स में खतरे को पहचान सकता है।
परिणाम: दिमाग जानता है, मुँह नहीं
निष्कर्ष आश्चर्यजनक रूप से स्पष्ट थे। जब AI से सीधे पूछा गया, "क्या यह कोड असुरक्षित है?" तो वह अक्सर टूटे हुए (vulnerable) और ठीक किए गए (fixed) दोनों कोड के लिए बिल्कुल एक जैसा जवाब देता था। यह उस छात्र की तरह था जिसे पूछने पर कि क्या उसने नकल की है, वह नकल किए हुए टेस्ट और ईमानदार टेस्ट दोनों के लिए "नहीं" कहता है। AI का लिखित निर्णय अंतर बताने के लिए बेकार था।
हालाँकि, जब शोधकर्ताओं ने अपने प्रोब का उपयोग करके AI के आंतरिक 'एक्टिवेशन्स' को देखा, तो कहानी बदल गई। प्रोब लगातार टूटे हुए कोड और ठीक किए गए कोड के बीच अंतर बता सका।
- स्कोर: 147 वास्तविक दुनिया के खतरों पर, जिन्हें केवल एक फंक्शन बदलकर ठीक किया गया था, प्रोब ने सभी पाँचों मॉडल्स में टूटे हुए कोड को ठीक किए गए कोड की तुलना में 61% से 67% बार अधिक जोखिम भरा बताया।
- तुलना: इसने हर बार AI के अपने लिखित जवाबों को पीछे छोड़ दिया। यहाँ तक कि जब शोधकर्ताओं ने AI को "चेन ऑफ थॉट" (Chain of Thought) नामक तकनीक का उपयोग करके अपनी तर्क प्रक्रिया समझाने के लिए प्रेरित किया, तब भी AI अपने लिखित आउटपुट में खराब कोड और अच्छे कोड के बीच अंतर करने में विफल रहा।
- महत्व: शोध पत्र नोट करता है कि हालांकि 61–67% एक पूर्ण स्कोर (100%) नहीं है, लेकिन यह सांख्यिकीय रूप से महत्वपूर्ण है। यह एक रैंडम अनुमान (जो 50% होगा) से बेहतर है, और यह साबित करता है कि मॉडल के भीतर एक "सुरक्षा संकेत" (security signal) मौजूद है जिसे मॉडल का अपना आउटपुट छिपा देता है।
इसका क्या अर्थ है (और क्या नहीं)
यह शोध पत्र स्पष्ट रूप से इस विचार को खारिज करता है कि केवल AI को एक सुरक्षा समीक्षक बनने के लिए कहना ही पर्याप्त है। लेखक दिखाता है कि उन्नत प्रॉम्प्टिंग तकनीकों के साथ भी, AI के लिखित "हाँ/नहीं" वाले निर्णय अक्सर गलत होते हैं या समान होते हैं, जिससे वे अविश्वसनीय हो जाते हैं।
पेपर सुझाव देता है कि AI की आंतरिक स्थिति में एक "कोड-सुरक्षा संकेत" होता है जिसे वर्तमान में अनदेखा किया जा रहा है। लेखक इसे एक पूर्ण समाधान या जादुई छड़ी नहीं कहते। वे इसे एक "मामूली लेकिन निरंतर" प्रभाव बताते हैं जो विभिन्न प्रकार के AI मॉडल्स पर लागू होता है। वे यह भी नोट करते हैं कि यह पायथन कोड और विशिष्ट प्रकार के बग्स पर परीक्षण किया गया था, इसलिए हमें अभी तक यह नहीं पता कि क्या यह हर प्रोग्रामिंग भाषा या हर तरह के सुरक्षा दोष के लिए पूरी तरह काम करता है।
मुख्य निष्कर्ष
सरल शब्दों में, इस शोध पत्र ने खोजा कि AI कोडिंग एजेंट हमें "झूठ" बोल सकते हैं जब वे कहते हैं कि उनका कोड सुरक्षित है, लेकिन उनके आंतरिक "मस्तिष्क की तरंगें" सच बोल रही होती हैं। AI के आउटपुट को पढ़ने के बजाय उसके आंतरिक संकेतों को सुनकर, हम उस विशाल कोड के लिए बेहतर सुरक्षा जाल बना सकते हैं जिसे AI अब लिख रहा है। यह यह महसूस करने जैसा है कि जबकि एक संदिग्ध कह सकता है कि "मैंने ऐसा नहीं किया," लेकिन उसकी बढ़ती धड़कनें एक अलग कहानी बता रही हैं। लेखक को उम्मीद है कि भविष्य में, हम इन "धड़कन" संकेतों का उपयोग स्वचालित रूप से खतरनाक कोड को फ्लैग करने के लिए कर पाएंगे, इससे पहले कि वह किसी मानव समीक्षक तक पहुँचे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।