From Runnable to Verifiable: An Independent Reproducibility Study of LLM/Agent-Driven Vulnerability Validation Artifacts
यह पूर्व-पंजीकृत पुनरुत्पादकता अध्ययन प्रकट करता है कि जबकि आधे से अधिक LLM/एजेंट-संचालित भेद्यता आर्टिफैक्ट्स (vulnerability artifacts) सार्वजनिक रूप से उपलब्ध हैं, अधिकांश विश्वसनीय रूप से निष्पादित होने में विफल रहते हैं या सिमेंटिक रूप से पुष्ट परिणाम उत्पन्न करने में विफल रहते हैं, जो असंगत पहचानकर्ताओं और अविश्वसनीय स्वचालित ओरेकलल्स (oracles) के कारण रन करने योग्य कोड और सत्यापन योग्य सुरक्षा साक्ष्य के बीच एक महत्वपूर्ण अंतर को उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि इंटरनेट एक विशाल, हलचल भरे शहर की तरह है जहाँ सॉफ़्टवेयर प्रोग्राम इमारतें हैं। कभी-कभी, इन इमारतों की नींव में छिपी हुई दरारें होती हैं—इन्हें "कमज़ोरियाँ" (vulnerabilities) या "बग्स" (bugs) कहा जाता है। लंबे समय से, सुरक्षा शोधकर्ता (शहर के निरीक्षक) इन दरारों को खोज रहे हैं और उन्हें कैसे तोड़ा जाए और कैसे ठीक किया जाए, इस पर विस्तृत रिपोर्ट लिख रहे हैं। लेकिन हाल ही में, एक नए प्रकार का निरीक्षक आया है: आर्टिफिशियल इंटेलिजेंस (AI), विशेष रूप से "लार्ज लैंग्वेज मॉडल्स" (LLMs) या "एजेंट्स"। ये सुपर-स्मार्ट कंप्यूटर प्रोग्राम हैं जो कोड पढ़ सकते हैं, दरारें ढूँढ सकते हैं, और यहाँ तक कि अपने स्वयं के "प्रूफ-ऑफ-कॉन्सेप्ट" (PoC) स्क्रिप्ट भी लिख सकते हैं—जो मूल रूप से छोटे डिजिटल चाबियाँ हैं जो यह साबित करती हैं कि ताला टूटा हुआ है।
बड़ा सवाल जो हर कोई पूछ रहा है वह यह है: क्या हम इन AI निरीक्षकोंों पर भरोसा कर सकते हैं? जब एक AI कहता है, "मुझे एक दरार मिली है और यह रही उसकी चाबी," तो क्या वह वास्तव में सच है, या AI केवल अनुमान लगा रहा है? विज्ञान की दुनिया में, इस बात का अंतर है कि कोई चीज़ उपलब्ध (available) है (आप फ़ाइल डाउनलोड कर सकते हैं), रन करने योग्य (runnable) है (यह वास्तव में शुरू हो जाती है), और सत्यापित (verified) है (यह वास्तव में वह काम करती है जिसका यह दावा करती है)। यह अध्ययन एक विशाल, पूर्व-नियोजित ऑडिट की तरह है जहाँ शोधकर्ताओं ने केवल AI की बात पर भरोसा नहीं किया; उन्होंने लैब में जाकर, खुद हर एक AI-जनरेटेड चाबी को चलाने की कोशिश की, और यह जाँच की कि क्या दरवाज़े वास्तव में खुल रहे हैं। वे देखना चाहते थे कि AI एक कुशल ताला खोलने वाला (locksmith) है या केवल एक बहुत ही आत्मविश्वासी जालसाज।
द ग्रेट AI की ऑडिट: एक वास्तविकता की जाँच
इस अध्ययन में, शोधकर्ताओं ने संदिग्ध जासूसों की एक टीम के रूप में कार्य किया। उन्होंने 2023 से 2026 के बीच के 104 शोध पत्रों का एक बड़ा संग्रह एकत्र किया जहाँ लेखकों ने दावा किया था कि उन्होंने सॉफ़्टवेयर की कमियों को खोजने और उन्हें सत्यापित करने के लिए AI का उपयोग किया है। इसे "AI डिटेक्टिव रिपोर्ट्स" का एक विशाल पुस्तकालय समझें। टीम यह देखना चाहती थी कि इनमें से कितने रिपोर्ट वास्तव में सच्ची कहानियाँ थीं और कितने केवल काल्पनिक किस्से थे।
उपलब्धता का रहस्य (The Availability Mystery)
सबसे पहले, उन्होंने जाँच की कि क्या "चाबियाँ" (कोड फ़ाइलें) लाइब्रेरी में मौजूद भी हैं। 104 शोध पत्रों में से केवल 59 (लग लगभग 57%) में ऐसा लिंक था जो वास्तव में काम कर रहा था। बाकी ऐसे थे जैसे बिना पन्नों वाली किताबें, ऐसे लिंक जो बंद रास्तों की ओर ले जाते थे, या ऐसी फ़ाइलें जो डिजिटल दुनिया से गायब हो गई थीं। इससे पता चलता है कि सिर्फ इसलिए कि एक पेपर कहता है "कोड यहाँ है," इसका मतलब यह नहीं है कि आप उसे वास्तव में ढूँढ सकते हैं।
"यह चलता है" परीक्षण ("It Runs" Test)
इसके बाद, उन्होंने 59 काम करने वाली चाबियों को एक साफ, ताज़ा कंप्यूटर पर चलाने की कोशिश की। यह एक बिल्कुल नए इंजन के साथ कार शुरू करने की कोशिश करने जैसा है। चौंकाने वाली बात यह है कि 18 परीक्षण किए गए शोध पत्रों में से केवल 10 (56%) ही बिना मदद के अपना इंजन शुरू कर सके। जब वे अटक गए, तो उन्होंने थोड़ा "एनवायरनमेंट रिपेयर" (वातावरण सुधार) करने की कोशिश की—जैसे कि गायब टूल्स इंस्टॉल करना या मामूली सेटिंग्स को ठीक करना—लेकिन उन्हें वास्तविक "लॉक-पिकिंग" कोड को बदलने की अनुमति नहीं थी। इस मदद के बावजूद, 18 में से केवल 11 (61%) ही अपना मिशन पूरा कर सके। अधिकांश विफलताएँ निर्देशों की कमी या उन टूल्स के कारण हुईं जो उनके द्वारा चलाए जा रहे कंप्यूटर से मेल नहीं खाते थे।
"गलत अलार्म" की समस्या (The "Fake Alarm" Problem)
यहाँ चीजें वास्तव में दिलचस्प हो जाती हैं। शोधकर्ताओं ने पाया कि कई AI-जनरेटेड स्क्रिप्ट चिल्ला रही थीं "मुझे एक बग मिला!" जबकि वास्तव में उन्हें कुछ नहीं मिला था। वे इसे "सिग्नल-प्रोड्यूसिंग" विफलता कहते हैं।
- मेल का अभाव (The Mismatch): 102 मामलों में से 58 (57%) में, स्क्रिप्ट के अंदर एक गुप्त लेबल था जो फोल्डर पर लगे लेबल से मेल नहीं खाता था। यह एक जासूस द्वारा "बैंक डकैती" पर रिपोर्ट लिखने जैसा था, जबकि वह वास्तव में "खिलौनों की दुकान" में घुस रहा था। AI पूरी तरह से गलत चीज़ का परीक्षण कर रहा था।
- टूटा हुआ अलार्म (The Broken Alarm): जब उन्होंने वास्तव में स्क्रिप्ट चलाईं, तो "अलार्म" (संकेत जो बताते हैं कि बग मिल गया है) अक्सर अविश्वसनीय थे। शोधकर्ताओं ने यह जाँचने के लिए परीक्षण किया कि क्या अलार्म सॉफ़्टवेयर के पैच किए गए (ठीक किए गए) संस्करण पर भी बजता है। यदि अलार्म ठीक किए गए संस्करण पर भी बजता था, तो वह एक गलत अलार्म था।
- उन्होंने पाया कि 30 में से 20 मामलों (67%) में बग को कथित तौर पर ठीक करने के बाद भी अलार्म बज गया।
- उनकी "संवेदनशीलता" (वास्तविक बग पकड़ने की क्षमता) केवल 60% थी, और "विशिष्टता" (नकली बगों को अनदेखा करने की क्षमता) बेहद खराब 45% थी। इसका मतलब है कि AI के बिल्ट-इन अलार्म मूल रूप से अनुमान लगा रहे थे, और वे लगभग आधे समय गलत साबित हो रहे थे।
"गोल्ड स्टैंडर्ड" की जाँच (The "Gold Standard" Check)
किसी बग के वास्तविक होने के बारे में वास्तव में सुनिश्चित होने के लिए, आपको तीन चीजों की आवश्यकता होती है:
- स्क्रिप्ट को चलना चाहिए।
- इसे उस विशिष्ट क्रैश या त्रुटि को ट्रिगर करना चाहिए जिसका यह दावा करता है।
- इसे सॉफ़्टवेयर के ठीक किए गए संस्करण पर उसी त्रुटि को ट्रिगर नहीं करना चाहिए।
जब शोधकर्ताओं ने इस सख्त "गोल्ड स्टैंडर्ड" (जिसे वे E1 साक्ष्य कहते हैं) को लागू किया, तो परिणाम स्पष्ट थे। सभी मामलों में से, केवल 2 पूरे समूह में तीनों मानदंडों को पूरा करते थे। बाकी या तो टूटे हुए थे, गलत चीज़ का परीक्षण कर रहे थे, या बस बिना किसी कारण के अलार्म बजा रहे थे।
निष्कर्ष (The Bottom Line)
इस अध्ययन ने कोई जादुई समाधान नहीं पाया; इसने केवल टूटी हुई टॉर्चों का एक ढेर पाया। मुख्य निष्कर्ष यह है कि सिर्फ इसलिए कि एक AI स्क्रिप्ट जनरेट करता है जो "चलती है" और "एक डरावना संदेश प्रिंट करती है," इसका मतलब यह नहीं है कि उसने वास्तव में एक वास्तविक भेद्यता (vulnerability) खोज ली है।
शोधकर्ताओं ने पाया कि "यह चलता है और डरावना दिखता है" और "यह वास्तव में बग को दोबारा उत्पन्न करता है" के बीच एक बड़ा अंतर है। उन्होंने पाया कि:
- आधे से अधिक स्क्रिप्ट पूरी तरह से अलग भेद्यता का परीक्षण कर रही थीं।
- अधिकांश स्क्रिप्ट बिना मदद के चलने में विफल रहीं।
- दो-तिहाई स्क्रिप्ट जिन्होंने बग मिलने का दावा किया था, वास्तव में गलत अलार्म थे जो ठीक किए गए कंप्यूटर पर भी बज जाते।
लेखक यह नहीं कह रहे हैं कि AI यह काम नहीं कर सकता, लेकिन वे सुरक्षा समुदाय को चेतावनी दे रहे हैं: AI के अपने अलार्म सिस्टम पर भरोसा न करें। यदि आप जानना चाहते हैं कि बग असली है या नहीं, तो आपको खुद काम की जाँच करनी होगी, विशेष रूप से यह परीक्षण करके कि क्या सॉफ़्टवेयर ठीक होने पर बग गायब हो जाता है। तब तक, इनमें से कई "AI खोजें" केवल डिजिटल धुएं और आईनों का खेल हो सकती हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।