Continuous Discovery of Vulnerabilities in LLM Serving Systems with Fuzzing
यह शोध पत्र GRIEF को प्रस्तुत करता है, जो एक ग्रेबॉक्स फज़र (greybox fuzzer) है जो कैश आइसोलेशन विफलताओं और प्रदर्शन हस्तक्षेप जैसी महत्वपूर्ण कमजोरियों को उजागर करने के लिए LLM सर्विंग सिस्टम की समवर्ती (concurrency) और स्टेट-मैनेजमेंट जटिलताओं को लक्षित करता है, जिसने vLLM और SGLang जैसे इंजनों में दो CVEs सहित 15 नई समस्याओं की सफलतापूर्वक पहचान की है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक विशाल, उच्च-गति वाली लाइब्रेरी की कल्पना करें जहाँ एक अकेला लाइब्रेरियन (AI मॉडल) एक साथ हज़ारों सवालों के जवाब देता है। सुपर फास्ट होने के लिए, यह लाइब्रेरियन केवल एक बार में एक सवाल का जवाब नहीं देता; वे अपने डेस्क पर एक "स्टिकी नोट" सिस्टम (जिसे KV कैश कहा जाता है) रखते हैं। यदि दो लोग समान प्रश्न पूछते हैं, तो लाइब्रेरियन दूसरे व्यक्ति की गति बढ़ाने के लिए पहले व्यक्ति के नोट्स का पुन: उपयोग करता है। वे लोगों को "बैच" में भी समूहबद्ध करते हैं ताकि उन्हें एक साथ जवाब दिया जा सके, जैसे कि यात्रियों को उठाने के लिए एक बस।
यह पेपर एक नया सुरक्षा उपकरण पेश करता है जिसे GRIEF (एक "तनाव-परीक्षण रोबोट" के रूप में सोचें) कहा जाता है, जो एक शरारती लेकिन हानिरहित मज़ाक करने वाले की तरह काम करता है। इसका काम लाइब्रेरी को तोड़ना या किताबें चुराना नहीं है; इसके बजाय, यह लाइब्रेरियन को बहुत विशिष्ट, अजीब तरह से समयबद्ध संयोजनों में सवाल पूछकर गलतियाँ करने के लिए trick करने की कोशिश करता है।
यहाँ इस पेपर की खोजों का सरल विवरण दिया गया है:
1. समस्या: "स्टिकी नोट" का गड़बड़ होना
आमतौर पर, हम सवालों की सामग्री (जैसे, "मैं बैंक कैसे हैक करूँ?") के बारे में चिंतित होते हैं। लेकिन इस पेपर ने पाया कि सवालों का समय और समूहीकरण लाइब्रेरियन को भ्रमित कर सकता है, भले ही हर एक सवाल पूरी तरह से विनम्र और सामान्य हो।
क्योंकि लाइब्रेरियन स्टिकी नोट्स का पुन: उपयोग कर रहे हैं और लोगों को बैच में डाल रहे हैं, GRIEF ने तीन मुख्य तरीके खोजे जिनसे सिस्टम टूट सकता है:
"घोस्ट नोट" संदूषण (स्टेट करप्शन - State Corruption):
कल्प Imagine करें कि व्यक्ति A पूछता है, "24 + 48 + 15 क्या है?" और लाइब्रेरियन स्टिकी नोट पर "87" लिखता है। फिर, व्यक्ति B ठीक वही सवाल पूछता है। क्योंकि लाइब्रेरियन नोट का पुन: उपयोग कर रहा है, वे गलती से व्यक्ति B को उत्तर "60" दे देते हैं (जो बैकग्राउंड में चल रही एक अलग गणना से आया गलत नंबर है)।- परिणाम: लाइब्रेरियन एक आत्मविश्वासी, सुसंगत उत्तर देता है जो पूरी तरह से गलत है, लेकिन लाइब्रेरी क्रैश नहीं होती। यह बस चुपचाप झूठ बोलती है।
"नोइज़ी नेबर" ट्रैफिक जाम (परफॉरमेंस पैथोलॉजी - Performance Pathology):
कल्पना करें कि प्रतीक्षा कक्ष में एक व्यक्ति ऐसा सवाल पूछना शुरू करता है जिसे प्रोसेस करने के लिए थोड़े अतिरिक्त दिमागी बल की आवश्यकता होती है। क्योंकि लाइब्रेरियन कुशल होने के लिए सब कुछ एक साथ करने की कोशिश कर रहा है, यह एक व्यक्ति गलती से पूरे डेस्क को जाम कर देता है।- परिणाम: अपनी बारी के लिए प्रतीक्षा कर रहे अन्य सभी लोगों को जवाब के लिए मिनटों या घंटों तक इंतजार करना पड़ता है, भले ही लाइब्रेरियन अभी भी "जीवित" है और काम कर रहा है। लाइब्रेरी बंद नहीं हुई है, लेकिन यह अन्य सभी के लिए प्रभावी रूप से बेकार है।
"कन्फ्यूज्ड बस ड्राइवर" (क्रैश/लाइवनेस फेलियर - Crash/Liveness Failure):
कल्पना करें कि लाइब्रेरियन तीन अलग-अलग प्रकार के यात्रियों (नियमित, वीआईपी और विशेष मेहमानों) को एक ही बस में रखने की कोशिश करता है। व्यक्तिगत रूप से, प्रत्येक यात्री ठीक है। लेकिन जब लाइब्रेरियन उन सभी को एक विशिष्ट क्रम में एक साथ पैक करने की कोशिश करता है, तो बस ड्राइवर (शेड्यूलर) भ्रमित हो जाता है कि बस में कौन है और वाहन को क्रैश कर देता है।- परिणाम: पूरी लाइब्रेरी बंद हो जाती है और उसे फिर से शुरू करना पड़ता है, भले ही किसी ने भी कुछ भी अवैध नहीं किया हो।
2. GRIEF कैसे काम करता है
अधिकांश सुरक्षा परीक्षण यह देखते हैं कि क्या एक एकल प्रश्न खतरनाक है। GRIEF अलग है। यह घटनाओं के अनुक्रम (sequence of events) को इनपुट के रूप में मानता है।
- उपमा: एक कंडक्टर की कल्पना करें जो एक ऑर्केस्ट्रा का संचालन करने की कोशिश कर रहा है। यह जाँचने के बजाय कि एक वायलिन वादक सही नोट बजा रहा है या नहीं, GRIEF यह बदल देता है कि वायलिन वादक कब बजाता है, वह किसके साथ बजाता है, और कितनी तेज़ी से बजाता है।
- विधि: GRIEF हज़ारों अनुरोध भेजता जो समय में ओवरलैप होते हैं। यह "ग्लिच" (glitches) पर नज़र रखता है जैसे:
- क्या उत्तर थोड़ा बदल गया जब उसे नहीं बदलना चाहिए था?
- क्या प्रतिक्रिया समय अचानक 10 मिलीसेकंड से बढ़कर 10 सेकंड हो गया?
- क्या सिस्टम फ्रीज हो गया या क्रैश हो गया?
- सत्यापन: चूंकि AI कभी-कभी थोड़ा रैंडम हो सकता है, GRIEF तुरंत "बग!" चिल्लाता नहीं है। यह नियंत्रित तरीके से घटनाओं के बिल्कुल उसी अनुक्रम को फिर से चलाता है (replay) यह देखने के लिए कि क्या ग्लिच फिर से होता है। यदि यह होता है, तो यह एक वास्तविक बग है।
3. निष्कर्ष
शोधकर्ताओं ने दो लोकप्रिय लाइब्रेरी सिस्टम (vLLM और SGLang) पर GRIEF का उपयोग किया और 15 संभावित बग पाए।
- 10 को इन सिस्टम्स के डेवलपर्स द्वारा पुष्टि की गई।
- 2 इतने गंभीर थे कि उन्हें आधिकारिक "CVE" नंबर (सुरक्षा खामी की पहचान करने वाला एक अद्वितीय आईडी) मिले।
यह क्यों महत्वपूर्ण है
यह पेपर तर्क देता है कि हम AI सुरक्षा को गलत लेंस से देख रहे हैं। हम यह जाँच रहे हैं कि क्या AI कुछ अभद्र या खतरनाक कहता है। लेकिन यह शोध दिखाता है कि इंफ्रास्ट्रक्चर (लाइब्रेरियन, स्टिकी नोट्स और बस ड्राइवर) भी उतना ही नाजुक है।
भले ही आप AI को एकदम सही, सुरक्षित सवाल दें, लेकिन जिस तरह से सिस्टम उन्हें एक साथ संभालता है, उससे निम्नलिखित हो सकता है:
- मौन झूठ (गलत उत्तर जो सही दिखते हैं)।
- डिनायल ऑफ सर्विस (सिस्टम को उपयोग करने के लिए बहुत धीमा बना देना)।
- क्रैश (सेवा को बंद कर देना)।
पेपर निष्कर्ष निकालता है कि AI को सुरक्षित बनाने के लिए, हमें न केवल AI के "मस्तिष्क" का परीक्षण करने की आवश्यकता है, बल्कि उस "तंत्रिका तंत्र" (nervous system) का भी, जो दुनिया तक उसके उत्तर पहुँचाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।