LLMs + Security = Trouble
यह शोध पत्र तर्क देता है कि एआई-जनित कोड में कमजोरियों का पता लगाने के लिए संभाव्यता-आधारित (probabilistic) एआई पर निर्भर रहना अपर्याप्त है और इसके बजाय, सुरक्षा को सीधे पीढ़ी प्रक्रिया में एकीकृत किया जाना चाहिए—जैसे कि डिफ्यूजन-शैली के मॉडलों में कंस्ट्रेंड डिकोडिंग (constrained decoding) के माध्यम से—ताकि डेवलपर्स पर बोझ डाले बिना मजबूत, "सिक्योर-बाय-कंस्ट्रक्शन" गारंटी प्रदान की जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
समस्या: "आग से आग बुझाना"
कल्पना कीजिए कि आप एक विशाल, हाई-टेक गगनचुंबी इमारत बना रहे हैं। काम में तेजी लाने के लिए, आप ईंटें बिछाने और प्लंबिंग लगाने के लिए रोबोट बिल्डर्स (LLMs) का एक बेड़ा काम पर रखते हैं।
समस्या क्या है? ये रोबोट अविश्वसनीय रूप से तेज़ हैं, लेकिन वे वास्तव में भौतिकी (physics) या सुरक्षा नियमों को "समझते" नहीं हैं। वे बस इमारतों की लाखों तस्वीरों को देखते हैं और उनकी नकल करने की कोशिश करते हैं। क्योंकि वे केवल पैटर्न के आधार पर अनुमान लगा रहे हैं, वे कभी-कभी एक स्ट्रक्चरल बीम को ढीला छोड़ देते हैं या बिजली के आउटलेट के ठीक बगल में गैस पाइप लगा देते हैं।
वर्तमान में, उद्योग का समाधान रोबोट बिल्डर्स (AI जनरेटर्स) के काम की जांच करने के लिए रोबोट इंस्पेक्टर्स (AI चेकर) को काम पर रखना है।
लेखक, बेंजामिन लिवशिट्स (Benjamin Livshits), का तर्क है कि यह "आग से आग बुझाने" जैसा है। यदि आपके बिल्डर संभावना और अटकलों के आधार पर गलतियाँ कर रहे हैं, तो आपके इंस्पेक्टर भी वैसी ही गलतियाँ करने की संभावना रखते हैं। आप एक "प्रोबेबिलिस्टिक लूप" (संभावित चक्र) में फंस जाते हैं जहाँ बिल्डर और इंस्पेक्टर दोनों ही केवल अनुमान लगा रहे होते हैं, जिससे इमारत एक "ब्लैक स्वान" घटना—एक दुर्लभ लेकिन विनाशकारी संरचनात्मक विफलता—के प्रति असुरक्षित रह जाती है जिसे दोनों में से किसी भी रोबोट ने पहले नहीं देखा था।
तीन मुख्य तर्क
1. खतरे की "लॉन्ग टेल" (घास के ढेर में सुई)
एक विशाल कोडबेस में, अधिकांश बग्स को ढूंढना आसान होता है। लेकिन खतरनाक वाले—"जीरो-डेज़" (zero-days)—नींव में सूक्ष्म दरारों की तरह होते हैं। वे केवल बहुत विशिष्ट, अजीब परिस्थितियों में दिखाई देते हैं (जैसे कि एक भारी ट्रक के गुजरने के ठीक उसी क्षण एक बड़े भूकंप का आना)।
चूंकि AI इंस्पेक्टर एक "बजट" पर काम करते हैं (वे एक निश्चित समय में केवल कुछ ही चीजों की जांच कर सकते हैं), वे स्पष्ट चीजों पर ध्यान केंद्रित करते हैं। वे "लॉन्ग टेल" यानी दुर्लभ, जटिल त्रुटियों को मिस कर देते हैं। हालाँकि, एक मानव हैकर एक धैर्यवान जासूस की तरह होता है जो उस एक विशिष्ट दरार को खोजने के लिए महीनों तक लग सकता है। यदि रक्षक एक "अनुमान लगाने वाले" रोबोट का उपयोग कर रहा है, तो हमलावर अंततः उस अंतर को ढूंढ ही लेगा।
2. "वाइब कोडिंग" का जाल (एक आलसी आर्किटेक्ट)
एक नया चलन है जिसे "वाइब कोडिंग" (vibe coding) कहा जाता है, जहाँ डेवलपर्स बस साधारण अंग्रेजी में बताते हैं कि उन्हें क्या चाहिए और बाकी काम AI को करने देते हैं। यह जादुई लगता है—आप बस मशीन के साथ "वाइब" कर रहे हैं।
पेपर का तर्क है कि यदि हम इसे "न्यूरोसिम्बोलिक" (Neurosymbolic) तरीकों का उपयोग करके ठीक करने की कोशिश करते हैं (जो कि एक फैंसी तरीका है जिसका अर्थ है "AI को सख्त गणितीय नियमों के साथ मिलाना"), तो हम एक मानवीय समस्या का सामना करते हैं। इन सख्त तरीकों के लिए मानव को एक कठोर गणितज्ञ की तरह कार्य करने की आवश्यकता होती है, जो प्रत्येक एकल तर्क चरण (logic step) की जांच करता है। लेकिन अधिकांश "वाइब कोडर" केवल "एक्सेप्ट ऑल" (Accept All) बटन दबाकर आगे बढ़ना चाहते हैं। यह इंसान को सबसे कमजोर कड़ी बनाता है; वे उस कोड के लिए एक "रबर स्टैम्प" बन जाते हैं जिसे वे वास्तव में समझते भी नहीं हैं, जिससे प्रभावी रूप से सभी सुरक्षा जांचों को बायपास कर दिया जाता है।
3. समाधान: "सिक्योरिटी बाय कंस्ट्रक्शन" (एक सांचे में ढली हुई ईंट)
यह जांचने के बजाय कि घर सुरक्षित है या नहीं, लेखक का सुझाव है कि हमें ईंटें बनाने का तरीका बदलना चाहिए।
AI को कोड "फ्रीस्टाइल" करने देने और फिर बाद में उसकी जांच करने के बजाय, हमें "कंस्ट्रेंड डिकोडिंग" (Constrained Decoding) का उपयोग करना चाहिए।
उपमा:
कल्पना कीजिए कि आप एक बच्चे को चित्र बनाना सिखा रहे हैं।
- पुराना तरीका (Post-hoc): आप उन्हें कुछ भी बनाने देते हैं, और फिर आप एक लाल मार्कर लेकर उनकी गलतियों को घेर देते हैं। (यह धीमा और अव्यवस्थपूर्ण है)।
- नया तरीका (Constrained): आप उन्हें मोटी, काली आउटलाइन वाली एक कलरिंग बुक देते हैं। वे रंगों के साथ अभी भी रचनात्मक हो सकते हैं, लेकिन वे भौतिक रूप से लाइनों के बाहर नहीं बना सकते।
लेखक विशेष रूप से "डिफ्यूजन मॉडल्स" (Diffusion Models) की ओर इशारा करते हैं (वही तकनीक जिसका उपयोग मिडजर्नी जैसे AI आर्ट बनाने के लिए किया जाता है)। ये मॉडल केवल एक बार में एक शब्द नहीं लिखते; वे पूरे प्रोग्राम को एक साथ "आकार" देते हैं। यह हमें सुरक्षा नियमों को सीधे कोड के "आकार" में बुनने की अनुमति देता है। यदि कोड का कोई हिस्सा यह है कि उसमें एक सुरक्षा लॉक होना चाहिए, तो मॉडल गणितीय रूप से कोड के ऐसे संस्करण की कल्पना करने से भी रोका जाता है जिसमें वह लॉक न हो।
संक्षेप में
हमें "मूर्ख" AI अपराधियों को पकड़ने के लिए एक "स्मार्ट" पुलिस बल बनाने की कोशिश नहीं करनी चाहिए। इसके बजाय, हमें "स्मार्ट" कारखाने बनाने की आवश्यकता है जो AI के लिए एक टूटा हुआ हिस्सा बनाना भौतिक रूप से असंभव बना दे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।