XOXO: Stealthy Cross-Origin Context Poisoning Attacks against AI Coding Assistants
यह शोधपत्र XOXO प्रस्तुत करता है, जो एक नवीन गुप्त हमले (stealthy attack) के रूप में AI कोडिंग सहायकों के स्वचालित संदर्भ-एकत्रीकरण तंत्र (automatic context-gathering mechanisms) का लाभ उठाता है, जिसमें LLM प्रॉम्प्ट्स को विषाक्त करने के लिए अर्थपूर्ण रूप से समान प्रतिकूल कोड संशोधनों को इंजेक्ट किया जाता है, जिससे पारंपरिक पहचान और फाइन-ट्यूनिंग सुरक्षा उपायों को दरकिनार करते हुए असुरक्षित कोड उत्पन्न किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट, अथक कोडिंग असिस्टेंट (जैसे GitHub Copilot) है जो सॉफ्टवेयर लिखने में आपकी मदद करता है। यह असिस्टेंट एक मास्टर शेफ की तरह है जो न केवल आपके विशिष्ट व्यंजन को पकाता है; बल्कि वह प्रेरणा लेने के लिए आपके किचन काउंटर पर रखे सामान और रेसिपीज़, अपनी पेंट्री और यहाँ तक कि अपने पड़ोसियों की नोटबुक को भी देखता है।
जो पेपर आपने साझा किया है, जिसका शीर्षक "XOXO" है, वह यह खुलासा करता है कि कैसे हैकर्स इस शेफ को एक ज़हरीला भोजन बनाने के लिए धोखा दे सकते, भले ही सामग्री पूरी तरह से सुरक्षित दिख रही हो।
यहाँ हमले का विवरण, विधि और समाधान, सरल रूप में समझाया गया है:
1. सेटअप: एक "मददगार" शेफ
AI कोडिंग असिस्टेंट संदर्भ (context) इकट्ठा करके काम करते हैं। यदि आप प्रश्नों को खोजने के लिए एक फंक्शन लिख रहे हैं, तो असिस्टेंट यह देखने के लिए आपके प्रोजेक्ट की अन्य फाइलों को देखता है कि पहले समान चीजें कैसे की गई थीं। वह मान लेता है: "यदि मेरे पड़ोसी ने इसके लिए कोड लिखा है, तो यह अच्छा ही होगा, इसलिए मैं इसे एक संदर्भ के रूप में उपयोग करूँगा।"
2. हमला: "XOXO" (क्रॉस-ओरिजिन कॉन्टेक्स्ट पॉइजनिंग)
शोधकर्ताओं ने पाया कि कोड को वास्तव में तोड़े बिना, शेफ के दिमाग को ज़हर देने का एक तरीका है।
- चाल: कल्पना कीजिए कि एक दुर्भावनापूर्ण पड़ोसी (हमलावर) एक साझा नोटबुक में एक वेरिएबल का नाम
USE_RAW_QUERIESसे बदलकरRAW_QUERIESकर देता है। - यह इतना चालाकी भरा क्यों है: एक मानव प्रोग्रामर के लिए, यह बदलाव अर्थहीन है। कोड अभी भी बिल्कुल उसी तरह काम करता है। यह एक रेसिपी के शीर्षक को "सूप बनाएं" से बदलकर "ब्रोथ तैयार करें" करने जैसा है। निर्देश बिल्कुल समान हैं।
- ज़हर: हालाँकि, AI असिस्टेंट थोड़ा शाब्दिक (literal) है। जब वह
RAW_QUERIESको संदर्भ में देखता है, तो वह भ्रमित हो जाता है और सोचता है, "ओह, इस प्रोजेक्ट को कच्चा, अनफ़िल्टर्ड डेटा पसंद है!" - परिणाम: बाद में, जब एक पीड़ित डेवलपर असिस्टेंट से एक सर्च फीचर लिखने के लिए कहता है, तो असिस्टेंट उस ज़हरीली नोटबुक को देखता है, गलत धारणा बना लेता है, और ऐसा कोड लिखता है जो हैकर्स के प्रति असुरक्षित (vulnerable) है (विशेष रूप से, SQL इंजेक्शन के लिए)। कोड सामान्य दिखता है, लेकिन इसमें एक छिपा हुआ बैकडोर होता है।
उपमा (Analogy):
इसे एक फुसफुसाने वाले खेल (whispering game) की तरह समझें।
- आप अपने दोस्त (AI) को एक सुरक्षित घर बनाने के लिए कहते हैं।
- एक शरारती व्यक्ति (attacker) कमरे में जाता है और चुपके से एक दरवाजे पर लगे साइन को "बाहर रहें" से बदलकर "खुला है" कर देता है।
- साइन अभी भी एक सामान्य साइन की तरह दिखता है, और दरवाजा अभी भी लॉक होता है (कोड अभी भी चलता है)।
- लेकिन जब आपका दोस्त बाद में "खुला है" का साइन देखता है, तो वह तय करता है कि वह सामने का दरवाजा खुला छोड़ देगा, यह सोचकर कि घर का मालिक यही चाहता है।
- घर अब असुरक्षित है, भले ही साइन में किया गया बदलाव हानिरहित लग रहा था।
3. हथियार: "GCGS" (सर्च एल्गोरिदम)
AI को धोखा देने के लिए एकदम सही "हानिरहित" बदलाव ढूँढना कठिन है। आप बस अनुमान नहीं लगा सकते। लेखकों ने Greedy Cayley Graph Search (GCGS) नामक एक टूल बनाया है।
- यह कैसे काम करता है: कल्पना कीजिए कि AI एक पर्वतारोही है जो बहुत आत्मविश्वासी होता है जब वह सही रास्ते पर होता है। हमलावर पर्वतारोही को रास्ते से उतारना चाहता है।
- GCGS एल्गोरिदम एक स्मार्ट हाइकर (हाइकर) की तरह है जो छोटे, हानिरहित कदम (वेरिएबल का नाम बदलना, एक शब्द को बदलना) उठाने की कोशिश करता है।
- वह जाँच करता है: "क्या इस छोटे से बदलाव के बाद AI का आत्मविश्वास कम हो गया?"
- यदि AI का आत्मविश्वास थोड़ा कम होता है, तो हाइकर उसी दिशा में आगे बढ़ता रहता है, छोटे-छोटे बदलावों को एक के ऊपर एक जोड़ता जाता है।
- अंततः, वे बदलावों का एक ऐसा संयोजन खोज लेते हैं जो AI को पूरी तरह से रास्ता भटका दे और एक बग पैदा कर दे, जबकि कोड दिखने में अभी भी "साफ" लगता है।
4. नुकसान
शोधकर्ताओं ने दुनिया के बेहतरीन AI मॉडल्स (GPT-4.1 और Claude 3.5 सहित) पर इसका परीक्षण किया।
- सफलता दर: वे सामान्य बग्स के लिए AI को बग या असुरक्षित कोड लिखने के लिए 83% बार और सुरक्षा खामियों (security holes) के लिए 52% बार सफलतापूर्वक धोखा देने में सफल रहे।
- छिपने की क्षमता (Stealth): उनके द्वारा बनाया गया कोड इतना स्वाभाविक था कि मानक सुरक्षा उपकरण भी यह नहीं बता सके कि यह दुर्भावनापूर्ण था। यह "मशीन में एक भूत" (ghost in the machine) की तरह था।
5. यह क्यों महत्वपूर्ण है
यह केवल एक खराब कोड के बारे में नहीं है। यह एक मौलिक दोष को दर्शाता है कि ये AI शेफ कैसे सोचते हैं।
- वे भरोसेमंद स्रोतों और अविश्वास स्रोतों से प्राप्त कोड के साथ बिल्कुल एक जैसा व्यवहार करते हैं।
- वे यह नहीं समझते कि "सिमेंटिकली इक्विवेलेंट" (अर्थ में समान) कोड का उपयोग अभी भी उन्हें धोखा देने के लिए किया जा सकता है।
- वर्तमान बचाव (जैसे "सेफ्टी फिल्टर्स") विफल रहे क्योंकि कोड दुर्भावनापूर्ण नहीं दिख रहा था; यह केवल AI के लिए भ्रमित करने वाला लग रहा था।
मुख्य बात (The Takeaway)
यह पेपर चेतावनी देता है कि जैसे-जैसे हम कोड लिखने के लिए AI पर अधिक निर्भर होते जा रहे हैं, हमें इस बात पर ध्यान देना होगा कि वह AI अपनी जानकारी कहाँ से प्राप्त कर रहा है। केवल इसलिए कि कोड आपके प्रोजेक्ट फोल्डर में है, इसका मतलब यह नहीं है कि वह सुरक्षित है। यदि कोई बुरा व्यक्ति सूक्ष्म रूप से "संदर्भ" (background info) को बदल सकता है, तो वे चुपचाप AI के आउटपुट को ज़हरीला बना सकते हैं, जिससे एक सहायक उपकरण एक सुरक्षा जोखिम में बदल जाता है।
संक्षेप में: AI स्मार्ट है, लेकिन वह "जिसकी संगति में वह रहता है" उससे आसानी से प्रभावित हो सकता है। यदि आप उसके बगल में एक धोखेबाज को बैठने देते हैं, तो AI उनके जैसा व्यवहार करने लग सकता है, भले ही वह धोखेबाज केवल हानिरहित लगने वाले सुझाव फुसफुसा रहा हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।