Security in a Workflow: Exploring Role-Based Agentic Architectures for Vulnerability Handling
यह शोध पत्र एक भूमिका-आधारित एजेंटिक वर्कफ़्लो (Planner, Analyzer, Fixer, और Verifier एजेंटों से युक्त) का प्रस्ताव और मूल्यांकन करता है जो अलग-थलग LLM सुरक्षा कार्यों और वास्तविक दुनिया के औद्योगिक अभ्यासों के बीच के अंतर को पाटने का काम करता है, जो 25 वास्तविक दुनिया की C/C++ कमजोरियों पर 44% भेद्यता पहचान सटीकता और 19% फिक्स सटीकता प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत पुराने, जटिल घर (एक सॉफ्टवेयर प्रोग्राम जो C या C++ में लिखा गया है) को ठीक करने की कोशिश कर रहे हैं जिसमें छिपी हुई दरारें और कमजोर बिंदु (सुरक्षा संबंधी खामियां/vulnerabilities) हैं। अतीत में, आप शायद एक अकेले, अत्यंत बुद्धिमान जासूस (एक मानक AI) को घर की जांच करने, दरारों को खोजने और उन सभी को एक साथ भरने के लिए काम पर रख सकते थे। कभी-कभी यह जासूस सही काम करता है, लेकिन अक्सर वह अभिभूत हो जाता है, सूक्ष्म सुरागों को छोड़ देता है, या गलत दीवार को पैच कर देता है।
यह शोध पत्र एक अलग दृष्टिकोण प्रस्तावित करता है: एक अकेले जासूस के बजाय विशेषज्ञ एजेंटों की एक टीम को काम पर रखना। वे एक सख्त असेंबली लाइन में मिलकर काम करते हैं, जहाँ हर किसी का एक विशिष्ट कार्य होता है।
यह टीम कैसे काम करती है, यहाँ शोध के निष्कर्ष दिए गए हैं:
1. टीम की भूमिकाएँ (द "एजेंटिक वर्कफ़्लो")
शोधकर्ताओं ने एक डिजिटल टीम बनाई जिसमें चार अलग-अलग भूमिकाएँ थीं, जो एक निर्माण दल (construction crew) के समान हैं:
- द प्लानर (साइट मैनेजर): खुदाई शुरू करने से पहले, यह एजेंट ब्लूप्रिंट (कोड) को स्कैन करता है ताकि स्पष्ट समस्या वाले स्थानों का पता लगाया जा सके। यह कुछ भी ठीक नहीं करता है; यह केवल टीम को उन क्षेत्रों की ओर संकेत करता है जो संदिग्ध लगते हैं, जैसे "पिछले दरवाजे की जाँच करें" या "नींव को देखें।"
- मुख्य निष्कर्ष: शोध में पाया गया कि इस "साइट मैनेजर" का होना अत्यंत महत्वपूर्ण था। जब उन्होंने इस भूमिका को हटा दिया, तो समस्याओं को खोजने की टीम की क्षमता लगभग आधी रह गई।
- द एनालाइज़र (इंस्पेक्टर): यह मुख्य जासूस है। वे प्लानर से मिले सुरागों और कच्चे कोड (raw code) को लेकर यह पता लगाते हैं कि वास्तव में क्या टूटा है, क्यों टूटा है, और एक चोर कैसे अंदर घुस सकता है।
- मुख्य निष्कर्ष: शोधकर्ताओं ने इस एजेंट को एक हाई-टेक मेटल डिटेक्टर (एक टूल जिसे CodeQL कहा जाता है) देने की कोशिश की ताकि दरारों को खोजने में मदद मिल सके। आश्चर्यजनक रूप से, मेटल डिटेक्टर हमेशा मददगार साबित नहीं हुआ। कभी-कभी इसने बहुत अधिक गलत अलार्म (false alarms) दिए, जिससे इंस्पेक्टर भ्रमित हो गया। सबसे अच्छे परिणाम तब आए जब AI मॉडल ने अतिरिक्त टूल पर निर्भर रहने के बजाय स्वयं गहरी सोच का उपयोग किया।
- द फिक्सर (रिपेयरमैन): एक बार जब इंस्पेक्टर कहता है, "दरवाजे का फ्रेम सड़ रहा है," तो फिक्सर एक नया दरवाजा बनाने की कोशिश करता है। वे छेद को भरने के लिए कोड लिखते हैं।
- मुख्य निष्कर्ष: यह सबसे कठिन काम था। जबकि टीम समस्या खोजने में सक्षम थी (लगभग 44% सटीक), वास्तव में इसे सही ढंग से ठीक करना बहुत कठिन था (केवल 19% सटीक)। अक्सर, फिक्सर छेद को तो भर देता था लेकिन अनजाने में पास की किसी चीज़ को तोड़ देता था या अनावश्यक हिस्से जोड़ देता था।
- द वेरीफायर (सेफ्टी इंस्पेक्टर): मरम्मत होने के बाद, यह एजेंट काम की दोबारा जाँच करता है। वे पूछते हैं: "क्या आपने वास्तव में सड़न को ठीक किया? क्या आपने घर को सुरक्षित बनाया, या आपने केवल दरार के ऊपर पेंट कर दिया?"
- मुख्य निष्कर्ष: यह भूमिका गलतियों को पकड़ने में काफी अच्छी थी, जिसने मरम्मत की त्रुटियों में से लगभग 69% को पकड़ा।
2. प्रयोग
शोधकर्ताओं ने इस टीम का परीक्षण लोकप्रिय C/C++ सॉफ्टवेयर (जैसे कि वे जिनका उपयोग सुरक्षा-महत्वपूर्ण प्रणालियों में किया जाता है) में पाई गई 25 वास्तविक दुनिया की सुरक्षा खामियों पर किया। उन्होंने टीम के सदस्यों को संचालित करने के लिए तीन अलग-अलग "मस्तिष्क" (AI मॉडल) का उपयोग किया।
उन्होंने दो संस्करणों की तुलना की:
- टीम A: केवल आपस में बात करने वाली चार भूमिकाएँ।
- टीम B: वही चार भूमिकाएँ, लेकिन इंस्पेक्टर को दरारों को खोजने में मदद के लिए CodeQL मेटल डिटेक्टर दिया गया।
3. उन्होंने क्या खोजा
- "मैनेजर" सबसे महत्वपूर्ण है: प्रक्रिया का सबसे महत्वपूर्ण हिस्सा प्लानर था। टीम को मार्गदर्शन देने के लिए मैनेजर के बिना, AI भटक जाता था। मैनेजर के साथ, टीम ने बग खोजने में एक शीर्ष-स्तरीय व्यावसायिक AI (GPT-5.5) के बराबर प्रदर्शन किया।
- टूल्स जादू नहीं हैं: इंस्पेक्टर को एक शानदार टूल (CodeQL) देने से वह स्वचालित रूप से बेहतर नहीं हो गया। वास्तव में, यह कभी-कभी स्थिति को बदतर बना देता था क्योंकि AI टूल के डेटा की सही व्याख्या करने में संघर्ष करता था। शोध पत्र सुझाव देता है कि कम-स्तरीय कंप्यूटर भाषाओं (जैसे C) के लिए, AI को खुद सुरागों को प्राथमिकता देने के लिए पर्याप्त स्मार्ट होना चाहिए।
- खोजना बनाम ठीक करना: AI के लिए सुरक्षा खामी को खोजना आसान है बजाय उसे ठीक करने के। टीम ने बग लगभग 44% बार खोजे, लेकिन उन्हें सही ढंग से केवल 19% बार ही ठीक कर पाई।
- मानवीय स्पर्श अभी भी आवश्यक है: चूंकि "रिपेयरमैन" (फिक्सर) अक्सर गलतियाँ करता था या अनावश्यक बदलाव जोड़ देता था, इसलिए शोध पत्र निष्कर्ष निकालता है कि वास्तविक दुनिया की सुरक्षा में, आप केवल AI को बागडोर नहीं सौंप सकते। आपको एक इंसान की आवश्यकता है जो AI के काम पर नज़र रखे, मरम्मत की जाँच करे, और सुनिश्चित करे कि घर वास्तव में सुरक्षित है।
निचोड़ (The Bottom Line)
यह शोध पत्र यह दावा नहीं करता है कि AI अब अपने आप सॉफ्टवेयर को पूरी तरह सुरक्षित कर सकता है। इसके बजाय, यह दिखाता है कि स्पष्ट भूमिकाओं के साथ एक संरचित टीम में AI को व्यवस्थित करना, एक ही AI से सब कुछ कराने की तुलना में सुरक्षा को संभालने का एक बेहतर तरीका है। हालाँकि, एक बेहतरीन टीम होने के बावजूद, "ठीक करने" वाला हिस्सा अभी भी पेचीदा है, और काम को सत्यापित करने के लिए मानव विशेषज्ञ अभी भी आवश्यक हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।