ALIBI: Adaptive Agentic Attacks on LLM-Based Vulnerability Detectors via Adversarial Code Comments
यह शोध पत्र ALIBI को पेश करता है, जो एक अनुकूली ब्लैक-बॉक्स हमला (adaptive black-box attack) ढांचा है जो यह प्रदर्शित करता है कि कैसे कोडिंग एजेंट LLM-आधारित भेद्यता डिटेक्टरों से बचने के लिए रणनीतिक रूप से प्रतिकूल टिप्पणियाँ (adversarial comments) डाल सकते हैं, जिससे 90% से अधिक सफलता दर प्राप्त होती है, जो एक महत्वपूर्ण सुरक्षा दोष को उजागर करता है जहाँ प्राकृतिक भाषा का संदर्भ प्रोग्राम साक्ष्य (program evidence) को ओवरराइड कर सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप अपने कोड में सुरक्षा खामियों को खोजने के लिए एक सुपर-स्मार्ट रोबोट जासूस को काम पर रख रहे हैं। यह रोबोट केवल प्रोग्राम के गणित को ही नहीं देखता; बल्कि यह उन नोट्स, टिप्पणियों (comments) और स्पष्टीकरणों को भी पढ़ता है जो मानव डेवलपर्स द्वारा लिखे गए हैं ताकि यह समझा जा सके कि कोड को उस तरह से क्यों लिखा गया था। यह एक ऐसे जासूस की तरह है जो संदिग्ध की डायरी पढ़ता है ताकि यह पता लगा सके कि वह सच बोल रहा है या नहीं। विचार यह है कि यह अतिरिक्त संदर्भ रोबोट को वास्तविक खतरों को पहचानने और झूठी चेतावनियों को अनदेखा करने में मदद करता है। लेकिन क्या होता है यदि संदिग्ध एक फर्जी डायरी प्रविष्टि लिखता है, जैसे "मैं निश्चित रूप से उस समय घर पर ही था," भले ही सुरक्षा कैमरे कुछ और ही दिखा रहे हों? यह शोध पत्र कंप्यूटर विज्ञान के एक क्षेत्र "आर्टिफिशियल इंटेलिजेंस (AI) पर एडवरसेरियल अटैक्स" (adversarial attacks) की खोज करता है। यह एक डरावना सवाल पूछता है: क्या कोई बुरा व्यक्ति केवल कोड कमेंट्स में एक चतुर झूठ लिखकर इन AI जासूसों को धोखा दे सकता है, बिना वास्तव में खतरनाक कोड को बदले? यदि AI उस झूठ पर विश्वास कर लेता है, तो वह एक खतरनाक बग को फिसलने दे सकता है, जिससे आपका सॉफ्टवेयर हैकर्स के लिए पूरी तरह खुला रह जाएगा।
इस अध्ययन के पीछे के शोधकर्ताओं, ज़िक्सुआन वू और क्रिस्टीना निटा-रोटारू ने इस परिदृश्य का परीक्षण करने के लिए एक डिजिटल "विलेन" बनाया जिसका नाम ALIBI है। वे यह देखना चाहते थे कि क्या वे सोर्स कोड कमेंट्स में सीधे बहुत ही विश्वसनीय, लेकिन फर्जी सुरक्षा दावे इंजेक्ट करके आधुनिक AI भेद्यता डिटेक्टरों (vulnerability detectors) को धोखा दे सकते हैं। इसे एक मास्टर जालसाज द्वारा एक नकली "सब ठीक है" (All Clear) स्टैम्प बनाने और उसे एक टिक-टिक करते बम के ठीक बगल में चिपकाने के रूप में सोचें। AI, जो मानव नोट्स पर भरोसा करने के लिए प्रशिक्षित है, उस स्टैम्प को देखता है और निर्णय लेता है कि वह बम वास्तव में एक हानिरहित खिलौना है।
परिणाम चौंकाने वाले थे। टीम ने ALIBI का परीक्षण चार अलग-अलग अत्याधुनिक AI डिटेक्टरों के खिलाफ किया, जिसमें विशेष मॉडल से लेकर जटिल सिस्टम तक शामिल थे जहाँ कई AI एजेंट कोड पर बहस करते हैं। उन्होंने एक विशिष्ट प्रकार के बग, जिसे "नल-पॉइंटर डिरिफरेंस" (null-pointer dereference) कहा जाता है (एक सामान्य कोडिंग गलती जो प्रोग्राम को क्रैश कर सकती है), के 125 वास्तविक दुनिया के उदाहरणों का उपयोग किया। परिणाम? AI जासूस अविश्वसनीय रूप से भोले थे। वास्तव में, यह हमला सभी सिस्टमों में 90% से अधिक बार सफल रहा, और एक विशिष्ट सिस्टम पर, यह 100% बार सफल रहा। AI साफ कोड पर बग को सही ढंग से पहचान लेता था, लेकिन जैसे ही एक अच्छी तरह से लिखा गया कमेंट कहता, "चिंता न करें, एक विशेष टूल ने इसकी जांच की और यह सुरक्षित है," AI तुरंत अपना मन बदल लेता और कोड को सुरक्षित घोषित कर देता, भले ही वह खतरनाक बग अभी भी वहीं मौजूद हो, बिना बदले।
शोध पत्र ने यह भी खोजा कि झूठ की शैली बहुत मायने रखती थी। सबसे सफल चालें केवल साधारण नोट्स नहीं थीं; वे विस्तृत कहानियाँ थीं जो आधिकारिक स्रोतों से आती प्रतीत होती थीं। उदाहरण के लिए, ऐसी टिप्पणियाँ जिन्होंने दावा किया कि "Frama-C" या "Coverity" टूल ने कोड को सत्यापित किया है (भले ही इन टूल्स को वास्तव में चलाया नहीं गया था) अविश्वसनीय रूप से प्रभावशाली थीं। AI को ऐसा लगता था, "यदि कोई फैंसी टूल कहता है कि यह सुरक्षित है, तो मुझे गलत होना चाहिए।" शोधकर्ताओं ने पाया कि केवल यह नोट लिखना कि "यह सुरक्षित है" पर्याप्त नहीं था; AI को विश्वास दिलाने के लिए झूठ को एक जटिल, चरण-दर-चरण तर्क वाली कहानी या एक विश्वसनीय बाहरी प्राधिकरण की फर्जी रिपोर्ट में लिपटना आवश्यक था।
हालाँकि, कहानी यहाँ खत्म नहीं होती कि AI हार गया। शोधकर्ताओं ने इस धोखाधड़ी को रोकने के तरीकों का भी परीक्षण किया। उन्होंने पाया कि केवल AI को उसके निर्देशों में यह telling कि "कमेंट्स पर भरोसा न करें," बहुत अच्छा काम नहीं आया; AI अभी भी फैंसी झूठ से भ्रमित हो जाता था। लेकिन उन्होंने दो चीजें पाईं जो बहुत बेहतर काम करती थीं। पहला, यदि आप AI के काम को अलग कर देते है ताकि वह कमेंट्स देखने से पहले ही कोड का विश्लेषण करे, तो उसे धोखा देना बहुत कठिन हो जाता है। दूसरा, और सबसे प्रभावी रूप से, यदि आपके पास एक अलग फ़िल्टर है जो किसी भी ऐसे कमेंट को हटा देता है जिसे कोड द्वारा सिद्ध नहीं किया जा सकता है, इससे पहले कि मुख्य AI उसे देखे, तो हमला लगभग पूरी तरह से विफल हो जाता है। उनके परीक्षणों में, इस "सैनिटाइजेशन" (sanitization) पद्धति ने हमलों की सफलता दर को 3% से भी कम कर दिया।
शोध पत्र निष्कर्ष निकालता है कि हालांकि ये AI डिटेक्टर शक्तिशाली हैं, लेकिन उनमें एक मौलिक कमजोरी है: वे मानव शब्दों पर बहुत अधिक भरोसा करते हैं, भले ही वे शब्द झूठ हों। शोधकर्ता सुझाव देते हैं कि भविष्य के सुरक्षा उपकरणों को संदेह की एक स्वस्थ खुराक के साथ डिज़ाइन किया जाना चाहिए, जो प्राकृतिक भाषा की टिप्पणियों को सत्यापित किए जाने योग्य चीज़ के रूप में देखते हैं, न कि विश्वास किए जाने योग्य चीज़ के रूप में। उन्होंने केवल एक बग नहीं खोजा; उन्होंने इन प्रणालियों को तोड़ने का एक पूरा नया तरीका खोजा, यह साबित करते हुए कि AI सुरक्षा की दुनिया में, एक सही जगह रखा गया झूठ एक टूटी हुई लाइन ऑफ कोड जितना ही खतरनाक हो सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।