Evaluating the Effectiveness of LLMs in Aiding Compliance Testing of PKCS#1-v1.5
यह शोध पत्र PKCS#1 v1.5 कार्यान्वयन के अनुपालन परीक्षण के लिए व्याकरण-स्तरीय उत्परिवर्तन (grammar-level mutation) को LLM-आधारित कोड संश्लेषण के साथ संयोजित करने की प्रभावशीलता का मूल्यांकन करता है, जिसमें यह पाया गया है कि हालांकि यह दृष्टिकोण ज्ञात कमजोरियों को सफलतापूर्वक पुनरुत्पादित करता है और नई विसंगतियों की खोज करता है, लेकिन इसकी उपयोगिता LLM मतिभ्रम (hallucination) की उच्च दरों से गंभीर रूप से सीमित है जो परिचालन विश्वसनीयता और अर्थपूर्ण निष्ठा (semantic fidelity) के बीच एक महत्वपूर्ण अंतर पैदा करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सख्त बिल्डिंग इंस्पेक्टर हैं। आपका काम यह जांचना है कि क्या शहर में बना हर घर बिल्कुल एक ही ब्लूप्रिंट का पालन करता है। ब्लूप्रिंट (विनिर्देश/specification) कहता है: "सामने का दरवाजा 3 फीट चौड़ा होना चाहिए, छत लाल होनी चाहिए, और चिमनी ठीक 10 फीट ऊंची होनी चाहिए।"
कंप्यूटर सुरक्षा की दुनिया में, ये "घर" वे सॉफ़्टवेयर प्रोग्राम हैं जो एन्क्रिप्टेड संदेशों (जैसे डिजिटल सिग्नेचर) को संभालते हैं। "ब्लूप्रिंट" नियमों का एक जटिल सेट है जिसे PKCS#1 v1.5 कहा जाता है। यदि कोई प्रोग्राम ऐसा घर बनाता है जो ब्लूप्रिंट से मेल नहीं खाता, तो उसमें एक छिपा हुआ बैकडोर हो सकता है जिसका उपयोग हैकर्स घुसपैकी के रूप में कर सकते हैं।
समस्या: जांचना कठिन है
इन घरों की जांच करना अविश्वसनीय रूप से कठिन है।
- अंदाजे से काम नहीं चलता: यदि आप बस एक घर पर रैंडम ईंटें फेंकते हैं, तो आप कभी भी गलती से ऐसा दरवाजा नहीं बना पाएंगे जो ठीक 3 फीट चौड़ा हो। आपको एक बहुत ही विशिष्ट योजना की आवश्यकता होती है।
- विशेषज्ञ उपकरण धीमे हैं: मानव विशेषज्ञों द्वारा बनाए गए उपकरण हैं जो ब्लूप्रिंट के हर संभावित बदलाव की जांच कर सकते हैं, लेकिन इन उपकरणों को बनाने में गहन अध्ययन और मैन्युअल काम के कई साल लग जाते हैं। वे एक टीम को मास्टर आर्किटेक्ट के रूप में नियुक्त करने जैसे हैं जो हर घर का निरीक्षण करते हैं।
नया विचार: "AI आर्किटेक्ट"
इस शोध पत्र के शोधकर्ताओं ने एक सरल प्रश्न पूछा: क्या हम एक लार्ज लैंग्वेज मॉडल (एक AI) को एक "अनुवादक" के रूप में उपयोग कर सकते हैं जो एक टूटे हुए ब्लूप्रिंट को एक टेस्ट (परीक्षण) में बदल सके?
यहाँ उनकी प्रक्रिया दी गई है:
- मूल ब्लूप्रिंट: उन्होंने घर के आधिकारिक नियमों को लिया।
- म्यूटेटर (द "व्हाट-इफ" मशीन): उन्होंने एक कंप्यूटर प्रोग्राम का उपयोग किया जिसने जानबूझकर 13 अलग-अलग तरीकों से ब्लूप्रिंट को बिगाड़ा। उदाहरण के लिए, वे कह सकते हैं, "क्या होगा अगर दरवाजा 4 फीट चौड़ा हो?" या "क्या होगा अगर छत नीली हो?" या "क्या होगा अगर हम चिमनी को पूरी तरह से हटा दें?"
- AI अनुवादक: उन्होंने इन टूटे हुए ब्लूप्रिंट को एक AI को सौंपा और कहा, "एक कंप्यूटर प्रोग्राम लिखें जो इस टूटे हुए ब्लूप्रिंट के अनुसार बिल्कुल वैसा ही घर बनाता हो।"
- टेस्ट: उन्होंने AI के उस प्रोग्राम को घर बनाने के लिए चलाया और फिर उस घर को 48 अलग-अलग सॉफ़्टवेयर प्रोग्रामों (बिल्डर्स) को खिलाने की कोशिश की ताकि यह देखा जा सके कि क्या बिल्डर्स ने उस टूटे हुए घर को स्वीकार किया। यदि किसी बिल्डर ने टूटे हुए घर को स्वीकार कर लिया, तो उस बिल्डर में सुरक्षा संबंधी खामी थी।
परिणाम: दो नंबरों की कहानी
परिणाम शानदार समाचार और एक बड़ी चेतावनी का मिश्रण थे।
अच्छी खबर (ऑपरेशनल रिलायबिलिटी):
AI काम शुरू करने के निर्देशों का पालन करने में अद्भुत था।
- 99.8% बार, AI ने सफलतापूर्वक एक ऐसा प्रोग्राम लिखा जो बिना क्रैश हुए चला। यह एक ऐसे आर्किटेक्ट की तरह था जो हमेशा आपको ब्लूप्रिंट सौंपता है जिसमें कोई टाइपो या गायब पन्ने नहीं होते।
बुरी खबर (सिमेंटिक फिडेलिटी):
हालाँकि, AI वास्तव में टूटे हुए ब्लूप्रिंट का पालन करने में बहुत बुरा था।
- केवल 17.5% बार ही AI ने वास्तव में उस टूटे हुए ब्लूप्रिंट के अनुसार घर बनाया जैसा कि पूछा गया था।
- 82.5% मामलों में, AI ने "हैलुसिनेशन" (भ्रम) किया। उसने टूटे हुए ब्लूपिंट को देखा, सोचा, "ओह, यह गलत लग रहा है," और चुपके से इसे मूल पूर्ण ब्लूप्रिंट में वापस ठीक कर दिया और फिर घर बनाया।
उपमा (Analogy):
कल्पना कीजिए कि आप AI से कहते हैं: "एक नीले दरवाजे वाला घर बनाओ।"
- सफलता: AI नीले दरवाजे वाला घर बनाता है।
- हैलुसिनेशन: AI एक लाल दरवाजे वाला घर बनाता है क्योंकि वह "जानता" है कि दरवाजे आमतौर पर लाल होते हैं, भले ही आपने विशेष रूप से नीले रंग के लिए कहा था। उसने आपके विशिष्ट निर्देश को अनदेखा कर दिया।
उन्होंने क्या पाया?
- उन्होंने बड़े बग्स खोजे: इस दृष्टिकोण ने 13 में से 10 ज्ञात सुरक्षा खामियों को सफलतापूर्वक पुन: निर्मित किया (जिनमें सबसे खतरनाक खामियां भी शामिल हैं जो हैकर्स को सिग्नेचर जालसाजी करने की अनुमति देती हैं)। यह साबित करता है कि यह विचार काम करता है।
- उन्होंने एक नया बग खोजा: उन्होंने LibTomCrypt नामक एक लाइब्रेरी में एक नई सुरक्षा समस्या की खोज की जिसे पहले किसी ने रिपोर्ट नहीं किया था। यह तब हुआ जब AI ने सफलतापूर्वक एक विशिष्ट हिस्से (लीडिंग जीरो बाइट) को गायब करते हुए घर बनाया, और लाइब्रेरी ने इसे स्वीकार कर लिया।
- बाधा AI है, प्लान नहीं: शोधकर्ताओं ने पाया कि "म्यूटेटर" (ब्लूप्रिंट को तोड़ने वाली मशीन) अपना काम अच्छी तरह से कर रही थी। समस्या पूरी तरह से AI की टूटे हुए नियमों पर टिके रहने में असमर्थता के कारण थी।
"हैलुसिनेशन" के प्रकार
शोधकर्ताओं ने AI के विफल होने के तरीके को वर्गीकृत किया, जैसे कि एक डॉक्टर मरीज का निदान करता है:
- "द फिक्सर" (सबसे आम): AI ने एक टूटे हुए नियम को देखा (जैसे "पैडिंग 16 बाइट से कम होनी चाहिए") और सोचा, "यह असंभव है," इसलिए उसने चुपचाप इसे सामान्य नियम में वापस ठीक कर दिया।
- "मैथ व्हिज़ हू फॉरगॉट मैथ" (गणित का जादूगर जो गणित भूल गया): AI ने नियमों का पालन करने की कोशिश की लेकिन साधारण गणित (जैसे पैडिंग कितनी जोड़नी है इसकी गणना करना) में गलती कर दी, जिसके परिणामस्वरूप गलत आकार का घर बना।
- "द इग्नोर" (अनदेखी): AI ने टूटे हुए ब्लूप्रिंट के हिस्से को पूरी तरह से अनदेखा कर दिया और एक मानक घर बनाया।
निचोड़ (The Bottom Line)
यह पेपर दिखाता है कि AI का उपयोग करके कंप्यूटर सुरक्षा का परीक्षण करना उम्मीदजनक लेकिन वर्तमान में अविश्वसनीय है।
AI कोड लिखने में बहुत अच्छा है जो चलता है (यह क्रैश नहीं होता), लेकिन यह कोड लिखने में बहुत बुरा है जिसका अर्थ वही है जो आपने कहा था। इसमें "सुधारने" की आदत है—यह आपकी जानबूझकर की गई गलतियों को "ठीक" कर देता है क्योंकि इसे लगता है कि यह आपसे बेहतर जानता है।
शोधकर्ता निष्कर्ष निकालते हैं कि यदि आप इस प्रकार के परीक्षण के लिए AI का उपयोग करना चाहते हैं, तो आप केवल इसके द्वारा लिखे गए कोड पर भरोसा नहीं कर सकते। आपको जांच करने के लिए एक दूसरा स्तर होना चाहिए कि क्या AI ने वास्तव में आपके विशिष्ट, टूटे हुए निर्देशों का पालन किया है और क्या उसने उन्हें सामान्य में "ठीक" नहीं कर दिया। तब तक, AI एक बहुत ही उत्साही लेकिन अक्सर आपके विशिष्ट आदेशों को "सही" तरीके से करने के बजाय अनदेखा करने वाले सहायक इंटर्न की तरह है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।