Detecting Contaminated Code-Generation Prompt Batches via Influence Functions
यह शोध पत्र CodeSIF को पेश करता है, जो एक थ्रेट-मॉडल-एग्नोस्टिक (threat-model-agnostic) डिटेक्शन विधि है जो मॉडल मापदंडों (parameters) पर उनके असामान्य प्रभाव को मापकर दुर्भावनापूर्ण कोड-जेनरेशन प्रॉम्प्ट्स के बैचों की पहचान करने के लिए इन्फ्लुएंस फंक्शन्स (influence functions) का लाभ उठाता है, जिससे पूर्व-निर्धारित हमले के पैटर्न पर निर्भर किए बिना विभिन्न कमजोरियों में उच्च पहचान सटीकता प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शेफ हैं जिसने अभी-अभी एक बहुत ही प्रतिभाशाली, लेकिन थोड़ी शरारती, सु-शेफ (sous-chef) को काम पर रखा है। यह सु-शेफ एक आर्टिफिशियल इंटेलिजेंस (AI) है जो आपके लिए रेसिपी (कोड) लिख सकता है। आमतौर पर, यह बहुत अच्छा होता है, लेकिन कभी-कभी, यदि आप इसे गलत तरीके से पूछते हैं, तो यह एक ऐसी रेसिपी शामिल कर सकता है जो देखने में स्वादिष्ट लगती है लेकिन वास्तव में इसमें एक छिपा हुआ जहर हो सकता है, जैसे कि प्रेशर कुकर पर एक मिसिंग सेफ्टी वाल्व या एक खुला हुआ दरवाजा। समस्या यह है कि AI को यह नहीं पता कि वह कुछ गलत कर रहा है; वह बस आपके निर्देशों का पालन कर रहा है।
लंबे समय तक, सुरक्षा विशेषज्ञों ने हर ज्ञात जहर के विशाल "वांटेड" पोस्टर को रखकर इन खराब रेसिपीज़ को पकड़ने की कोशिश की। यदि कोई रेसिपी किसी ज्ञात जहर जैसी दिखती थी, तो उन्होंने उसे फ्लैग कर दिया। लेकिन क्या होगा अगर बुरा आदमी एक बिल्कुल नया जहर बना लेता है जो अभी तक पोस्टर पर नहीं है? पुराने तरीके उसके लिए अंधे होते हैं। यह शोध पत्र, जिसे ऑक्सफोर्ड विश्वविद्यालय के शोधकर्ताओं द्वारा लिखा गया है, इसी समस्या का समाधान करता है। वे एक नया तरीका प्रस्तावित करते हैं जिससे AI के बुरे निर्देशों को पकड़ा जा सके—न केवल उस रेसिपी को देखकर जो वह लिखता है, बल्कि यह सुनकर कि जब वह अनुरोध सुनता है तो AI का "मस्तिष्क" कैसे प्रतिक्रिया करता है। वे "इन्फ्लुएंस फंक्शन्स" (influence functions) नामक एक गणितीय उपकरण का उपयोग करते हैं, जो एक अत्यंत संवेदनशील सिस्मोग्राफ की तरह है जो मापता है कि एक विशिष्ट अनुरोध AI की आंतरिक सेटिंग्स को कितना हिला देता है। यदि कोई अनुरोध सामान्य अनुरोधों की तुलना में एक विशाल, अजीब कंपन पैदा करता है, तो वह एक जाल है।
समस्या: "बैड प्रॉम्प्ट" का जाल
लार्ज लैंग्वेज मॉडल्स (LLMs) उन टूल्स के पीछे के दिमाग हैं जो हमारे लिए कंप्यूटर कोड लिखते हैं। वे अविश्वसनीय रूपм उपयोगी हैं, जो डेवलपर्स को लॉगिन स्क्रीन से लेकर डेटाबेस कनेक्शन तक सब कुछ बनाने में मदद करते हैं। लेकिन एक पेच है: यदि आप AI को सही (या गलत) तरीके से पूछते हैं, तो यह ऐसा कोड बना सकता है जो एकदम सही दिखता है लेकिन इसमें छिपे हुए सुरक्षा छेद हो सकते हैं। ये छेद एक बांध में अदृश्य दरारों की तरह हैं; पानी (डेटा) तब तक ठीक दिखता है जब तक कि वह अचानक फट न जाए।
इसे रोकने का सामान्य तरीका "स्टैटिक एनालाइजर्स" (static analyzers) का उपयोग करना है। इन्हें सुरक्षा के लिए "स्पेल-चेकर" की तरह समझें। वे AI द्वारा लिखे गए कोड को स्कैन करते हैं और ज्ञात गलतियों की एक सूची देखते हैं, जैसे "कमजोर पासवर्ड का उपयोग करना" या "दरवाजा लॉक करना भूल जाना।" लेकिन इस दृष्टिकोण में एक बड़ी खामी है: यह केवल तभी काम करता है जब गलती पहले से सूची में हो। यदि कोई हैकर घुसपैठ करने का एक बिल्कुल नया तरीका आविष्कार करता है, या AI को एक सूक्ष्म गलती करने के लिए बहलाता है जिसे अभी तक सूचीबद्ध नहीं किया गया है, तो स्पेल-चेकर इसे पूरी तरह से मिस कर देता है। शोधकर्ता तर्क देते हैं कि ज्ञात बुरी चीजों की सूची पर भरोसा करना, केवल फ्लू को देखकर नए वायरस को रोकने की कोशिश करने जैसा है।
नया विचार: AI की "धड़कन" को सुनना
AI जो कोड बनाता है उसे देखने के बजाय, लेखकों ने (फ्रांसेस्को क्विनज़ान और उनकी टीम) यह देखने का निर्णय लिया कि AI के सोचने के दौरान उसके मस्तिष्क के अंदर क्या होता है। वे इन्फ्लुएंस फंक्शन्स की अवधारणा का उपयोग करते हैं।
इसे समझने के लिए, कल्पना करें कि AI को लाखों सामान्य, सुरक्षित कोडिंग कार्यों पर प्रशिक्षित किया गया है। इसका मस्तिष्क एक अच्छी तरह से ट्यून किए गए पियानो की तरह है। जब आप एक सामान्य नोट (एक सुरक्षित प्रॉम्प्ट) बजाते हैं, तो पियानो एक परिचित, अनुमानित तरीके से कंपन करता है। लेकिन यदि आप एक ऐसा नोट बजाते हैं जो पूरी तरह से बेसुरा है या ऐसी मांग करता है जिसके लिए पियानो को कभी प्रशिक्षित नहीं किया गया था (एक दुर्भावनापूर्ण प्रॉम्प्ट), तो पियानो के तार अजीब तरह से कंपन करते हैं। "इन्फ्लुएंस फंक्शन" एक तरीका है यह मापने का कि एक विशिष्ट नोट बजाने पर पियानो का आंतरिक तनाव वास्तव में कितना बदल जाता है।
शोधकर्ता अपने नए टूल को CodeSIFT कहते हैं। यह इस प्रकार काम करता है:
- आधार रेखा (The Baseline): सबसे पहले, वे AI को कई सामान्य, सुरक्षित कोडिंग अनुरोध भेजते हैं। वे मापते हैं कि इन अनुरोधों के जवाब में AI की आंतरिक "सेटिंग्स" कितनी हिलती हैं। यह AI के लिए एक "सामान्य धड़कन" बनाता है।
- परीक्षण (The Test): फिर, वे AI को अनुरोधों का एक बैच भेजते हैं। कुछ सुरक्षित हो सकते हैं, लेकिन कुछ "जहरीले" प्रॉम्प्ट हो सकते हैं जिन्हें AI को खराब कोड लिखने के लिए धोखा देने के लिए डिज़ाइन किया गया है।
- मापन (The Measurement): प्रत्येक नए अनुरोध के लिए, CodeSIF गणना करता है कि उस अनुरोध को समायोजित करने के लिए AI की आंतरिक सेटिंग्स को कितना बदलना पड़ेगा। यदि कोई अनुरोध अजीब या दुर्भावनापूर्ण है, तो AI को अपनी आंतरिक तर्क प्रक्रिया में एक बड़ा, अस्वाभाविक उछाल लेना पड़ता है। यह एक बड़ा "इन्फ्लुएंस स्कोर" बनाता है।
- निर्णय (The Verdict): यदि अनुरोधों के पूरे बैच का औसत "कंपन" सामान्य धड़कन से बहुत अधिक है, तो CodeSIFT अलार्म बजा देता है। इससे कोई फर्क नहीं पड़ता कि विशिष्ट गलती क्या है; यह बस इतना जानता है कि अनुरोध एक असामान्य प्रतिक्रिया पैदा कर रहा है।
उन्होंने क्या पाया
टीम ने तीन अलग-अलग AI मॉडल्स (3 बिलियन से 7 बिलियन पैरामीटर्स तक) और दो प्रकार के ट्रिकी परिदृश्यों पर CodeSIFT का परीक्षण किया: एक जिसमें पासवर्ड और लॉगिन सुरक्षा (AuthSec) शामिल थी और दूसरा जिसमें क्लाउड सर्वर और नेटवर्क ट्रिक्स (InfraCloud) शामिल थे। उन्होंने परीक्षण के लिए 400 दुर्भावनापूर्ण और 400 सुरक्षित प्रॉम्प्ट वाला एक विशेष डेटासेट बनाया।
परिणाम काफी उत्साहजनक थे। जब उन्होंने इसमें खराब प्रॉम्प्ट मिलाए, तो जैसे-जैसे खराब प्रॉम्प्ट की संख्या बढ़ी, CodeSIFT उन्हें पहचानने में बेहतर होता गया।
- पासवर्ड सुरक्षा परीक्षणों पर, यह अविश्वसनीय रूप से सटीक था, और भारी संदूषण (contamination) होने पर 0.98 का स्कोर तक पहुँच गया (जहाँ 1.0 पूर्ण है)।
- क्लाउड सुरक्षा परीक्षणों पर, यह थोड़ा कठिन था लेकिन फिर भी बहुत मजबूत था, जो 0.98 तक पहुँचा।
- महत्वपूर्ण रूप से, इसने बिना वजह अलार्म नहीं बजाया। जब उन्होंने इसे केवल सुरक्षित प्रॉम्प्ट दिए, तो इसने लगभग हर बार उन्हें सुरक्षित के रूप में सही पहचाना, जिससे "फॉल्स अलार्म" की दर बहुत कम रही।
इसके विपरीत, पुराने "स्पेल-चेकर" तरीके (जैसे Bandit और Semgrep) असंगत थे। कभी-कभी वे काम करते थे, लेकिन अक्सर वे खराब प्रॉम्प्ट को पूरी तरह से मिस कर देते थे, या इससे भी बदतर, वे सुरक्षित कोड को खतरनाक के रूप में फ्लैग करने लगते थे जब AI मॉडल बदलते थे। शोधकर्ताओं ने पाया कि पुराने उपकरण सतही पैटर्न पर बहुत अधिक केंद्रित थे जो विभिन्न AI मॉडल्स के बीच अच्छी तरह से काम नहीं करते थे, जबकि CodeSIF का तरीका—जो AI की आंतरिक प्रतिक्रिया को सुनने पर आधारित है—उन सभी पर काम करता है।
यह क्यों मायने रखता है
इस खोज का सबसे रोमांचक हिस्सा यह है कि CodeSIFT को पहले से यह जानने की आवश्यकता नहीं है कि हमला कैसा दिखता है। इसे ज्ञात वायरसों की सूची की आवश्यकता नहीं है। इसे बस इतना जानने की आवश्यकता है कि "सामान्य" क्या है। यह सुझाव देता है कि भविष्य में, हम हमारे AI कोडिंग सहायकों को हमारे प्रश्नों पर उनकी प्रतिक्रिया को देखकर नए, पहले से न देखे गए हमलों से बचा पाएंगे।
लेखक सुझाव देते हैं कि यह दृष्टिकोण एक बहुत ही आशाजनक दिशा है। हालांकि उन्होंने 7 बिलियन पैरामीटर्स तक के मॉडल्स पर इसका परीक्षण किया, उनका मानना है कि यह गणित और भी बड़े मॉडल्स पर भी काम कर सकता है। हालांकि, वे यह भी नोट करते हैं कि यह वर्तमान में अनुरोधों के "बैच" के लिए एक परीक्षण है, न कि दस लाख सुरक्षित अनुरोधों के बीच में से एक अकेले खराब प्रॉम्प्ट को पकड़ने के लिए। लेकिन फिलहाल, यह हमारे AI के दिल की धड़कन को सुनने और एक भी लाइन खतरनाक कोड लिखने से पहले गड़बड़ी करने वालों को पकड़ने का एक नया, चतुर तरीका प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।