Beyond F1: A Study of LLM Reliability in Smart Contract Vulnerability Detection
यह अध्ययन स्मार्ट कॉन्ट्रैक्ट भेद्यता (vulnerability) का पता लगाने पर 14 लार्ज लैंग्वेज मॉडल्स का मूल्यांकन करता है, जिससे यह स्पष्ट होता है कि मॉडल का चयन, प्रॉम्प्टिंग रणनीतियों या बढ़े हुए इन्फरेंस-टाइम कंप्यूटेशन की तुलना में अधिक महत्वपूर्ण है, क्योंकि बड़े फ्रंटियर मॉडल्स बेहतर विश्वसनीयता प्रदर्शित करते हैं जबकि छोटे मॉडल्स और विस्तारित रीजनिंग तकनीकें प्रदर्शन को कम कर सकती हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
विकेंद्रीकृत वित्त (decentralized finance) की डिजिटल दुनिया में, पैसा स्मार्ट कॉन्ट्रैक्ट्स नामक स्व-निष्पादित कार्यक्रमों के माध्यम से चलता है। ये डिजिटल वेंडिंग मशीन की तरह हैं जो विशिष्ट शर्तें पूरी होने पर स्वचालित रूप से संपत्तियों को वितरित करते हैं, और बिना किसी मानव प्रबंधक या बैंक के संचालित होते हैं। चूंकि ये प्रोग्राम ब्लॉकचेन पर चलते हैं, इसलिए एक बार तैनात होने के बाद, वे प्रभावी रूप से स्थायी होते हैं; यदि मशीन बनने के बाद इसमें कोई खामी पाई जाती है, तो उसे ठीक करना अक्सर असंभव होता है। यह अपरिवर्तनीयता (immutability) सुरक्षा को अत्यंत महत्वपूर्ण बनाती है, क्योंकि एक छोटी सी गलती भी अरबों डॉलर के नुकसान का कारण बन सकती है। वर्षों से, शोधकर्ता इन कॉन्ट्रैक्ट्स में त्रुटियों को खोजने के लिए स्वचालित उपकरणों पर निर्भर रहे हैं, लेकिन ये उपकरण अक्सर कोड के संदर्भ (context) को समझने में संघर्ष करते हैं, जिससे अक्सर गलत अलार्म बजते हैं या सूक्ष्म खतरे छूट जाते हैं। हाल ही में, एक प्रकार का आर्टिफिशियल इंटेलिजेंस जिसे 'लार्ज लैंग्वेज मॉडल' कहा जाता है, उभरा है, जो एक मानव प्रोग्रामर की तरह कोड को पढ़ने और समझने में सक्षम है। इसने एक आशाजनक प्रश्न खड़ा कर दिया है: क्या ये बुद्धिमान प्रणालियाँ पारंपरिक सुरक्षा जाँचों को प्रतिस्थापित या बेहतर बना सकती हैं ताकि नुकसान पहुँचाने से पहले कमजोरियों को खोजा जा सके?
एक हालिया अध्ययन ने यह पता लगाने के लिए चौदह अलग-अलग आर्टिफिशियल इंटेलिजेंस मॉडलों को परीक्षण में डालकर इसका उत्तर देने का प्रयास किया। शोधकर्ताओं ने चौवन वास्तविक दुनिया के स्मार्ट कॉन्ट्रैक्ट्स एकत्र किए, जिनमें कुछ ज्ञात सुरक्षा खामियों वाले और अन्य पूरी तरह से सुरक्षित कॉन्ट्रैक्ट्स शामिल थे, ताकि यह देखा जा सके कि मॉडल दोनों के बीच कितनी अच्छी तरह अंतर कर सकते हैं। उन्होंने मॉडलों से केवल कोड देखने के लिए नहीं कहा; बल्कि उन्होंने पूछने के चार अलग-अलग तरीके आजमाए, जो एक सरल सीधे प्रश्न से लेकर जटिल, चरण-दर-चरण निर्देशों तक विस्तृत थे, जो मॉडलों को उनके विश्लेषण के माध्यम से सोचने के लिए मजबूर करते थे। उन्होंने यह भी परीक्षण किया कि क्या मॉडलों को प्रक्रिया के दौरान "सोचने" के लिए अधिक समय देने से उनके परिणामों में सुधार होता है, जो एक ऐसी विशेषता है जो कुछ आधुनिक मॉडल समस्याओं को गहराई से समझने के लिए प्रदान करते हैं। लक्ष्य यह निर्धारित करना था कि क्या ये शक्तिशाली उपकरण सुरक्षित कोड को खतरनाक होने का झूठा आरोप लगाए बिना बग्स को विश्वसनीय रूप से खोज सकते हैं।
परिणामों ने प्रदर्शन में एक स्पष्ट विभाजन दिखाया जो इन मॉडलों के काम करने के बारे में कुछ सामान्य धारणाओं को चुनौती देता है। अध्ययन में पाया गया कि केवल मॉडल को सोचने के लिए अधिक समय देना या उसे एक विस्तृत तर्क प्रक्रिया का पालन करने के लिए कहना हमेशा उसे बेहतर नहीं बनाता है। वास्तव में, एक शीर्ष प्रदर्शन करने वाले मॉडल के लिए, इस अतिरिक्त 'सोचने के मोड' को सक्षम करने से वह वास्तव में बदतर हो गया, जिससे वह वास्तविक कमजोरियों को पहचानने में विफल रहा और उसकी समग्र सटीकता कम हो गई। यह सुझाव देता है कि अधिक कम्प्यूटेशनल प्रयास का अर्थ स्वतः ही बेहतर सुरक्षा विश्लेषण नहीं होता है। इसके बजाय, सबसे महत्वपूर्ण कारक केवल यह था कि किस मॉडल का चयन किया गया। सर्वश्रेष्ठ मॉडल, जो बड़े और व्यावसायिक रूप से विकसित हैं, अत्यधिक विश्वसनीय सिद्ध हुए, जिन्होंने कमजोरियों की सही पहचान की और सुरक्षित कोड पर शायद ही कभी गलती की।
इसके बिल्कुल विपरीत, अध्ययन में परीक्षण किए गए छोटे, ओपन-सोर्स मॉडल बहुत अलग व्यवहार करते हैं। हालांकि ये छोटे मॉडल संभावित समस्याओं को पकड़ने में उत्कृष्ट थे, लेकिन उनमें एक गंभीर दोष था: वे एक असुरक्षित कॉन्ट्रैक्ट और एक सुरक्षित कॉन्ट्रैक्ट के बीच अंतर करने में असमर्थ थे। उन्होंने हर एक साफ कॉन्ट्रैक्ट को खतरनाक के रूप में चिह्नित किया, जो प्रभावी रूप से हर मोड़ पर "भेड़िया आया" चिल्ला रहे थे। शोधकर्ताओं ने खतरों की कल्पना करने (hallucinate) की इस प्रवृत्ति को, जहाँ कोई खतरा मौजूद नहीं है, के लिए एक विशिष्ट शब्द दिया, जिसे उन्होंने "बेसिलिस्क रेट" (Basilisk Rate) कहा। उच्च दर वाला मॉडल सुरक्षा के लिए बेकार है क्योंकि वह इंजीनियरों को गलत चेतावनियों से अभिभूत कर देगा। अध्ययन ने दिखाया कि छह सर्वश्रेष्ठ प्रदर्शन करने वाले मॉडलों का एक सुरक्षित रिकॉर्ड था कि उन्होंने कभी भी साफ कोड को संदिग्ध नहीं माना, जबकि तीन सबसे छोटे मॉडलों ने हर साफ कॉन्ट्रैक्ट को असुरक्षित के रूप में चिह्नित किया।
इस जांच ने इन मॉडलों के आकार में एक विशिष्ट सीमा (threshold) को भी उजागर किया जो उनकी विश्वसनीयता को निर्धारित करती है। जो मॉडल अच्छा प्रदर्शन करते थे, उनमें आम तौर पर बड़ी संख्या में आंतरिक पैरामीटर्स होते हैं, जिन्हें उनके आंतरिक ज्ञान आधार की जटिलता माना जा सकता है। अध्ययन बताता है कि एक विशिष्ट आकार के आसपास एक संक्रमण बिंदु (transition point) मौजूद है, जहाँ उस सीमा से नीचे के मॉडल लगातार भ्रमित करने वाली जानकारी (hallucinate) देते हैं, जबकि उससे ऊपर के मॉडल सटीक और भरोसेमंद हो जाते हैं। दिलचस्प बात यह है कि एक बड़े ओपन-सोर्स मॉडल ने इस अंतर को पाटने में सफलता प्राप्त की, जिसने शीर्ष व्यावसायिक मॉडलों के लगभग समान प्रदर्शन किया, लेकिन छोटे मॉडल अविश्वसनीय बने रहे।
अंततः, अध्ययन यह निष्कर्ष निकालता है कि स्मार्ट कॉन्ट्रैक्ट्स में सुरक्षा खामियों को खोजने के विशिष्ट कार्य के लिए, आर्टिफिशियल इंटेलिजेंस मॉडल का चुनाव, उसे कैसे प्रॉम्प्ट (निर्देश) दिया जाता है या उसे सोचने के लिए कितना समय दिया जाता है, इससे कहीं अधिक मायने रखता है। हालांकि ये उन्नत उपकरण बड़ी संभावना दिखाते हैं, लेकिन वे कोई जादुई समाधान नहीं हैं जो हर सिस्टम के लिए एक ही तरह से काम करते हैं। सबसे प्रभावी दृष्टिकोण एक ऐसे मॉडल का चयन करना है जिसे सटीक होने के लिए सिद्ध किया गया हो और उन मॉडलों से बचना है जो ऐसी समस्याएं देखने के प्रति प्रवृत्त हैं जो अस्तित्व में ही नहीं हैं। डिजिटल वित्त के भविष्य के लिए, इसका अर्थ यह है कि सुरक्षा टीमों को यह सुनिश्चित करने के लिए कि वे किन आर्टिफिशियल इंटेलिजेंस उपकरणों का उपयोग कर रहे हैं, उनका सावधानीपूर्वक परीक्षण करना होगा, ताकि वे उन प्रणालियों पर भरोसा कर सकें जो वास्तविक खतरे और एक हानिरहित कोड के बीच अंतर कर सकती हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।