💻 computer science

Vulnerability Detection with Interprocedural Context in Multiple Languages: Assessing Effectiveness and Cost of Modern LLMs

यह अध्ययन C, C++ और Python में 509 इंटरप्रोसिजरल (interprocedural) कमजोरियों पर चार आधुनिक LLMs का अनुभवजन्य मूल्यांकन करता है, जो यह प्रदर्शित करता है कि कॉलर (caller) और कैली (callee) संदर्भ को शामिल करने से पहचान प्रभावशीलता में महत्वपूर्ण वृद्धि होती है और Gemini 3 Flash सर्वोत्तम लागत-प्रभावशीलता प्रदान करता है जबकि Claude Haiku 4.5 सटीक पहचान और स्पष्टीकरण में उत्कृष्ट है।

मूल लेखक: Kevin Lira, Baldoino Fonseca, Davy Baía, Márcio Ribeiro, Wesley K. G. Assunção

प्रकाशित 2026-04-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kevin Lira, Baldoino Fonseca, Davy Baía, Márcio Ribeiro, Wesley K. G. Assunção

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो एक विशाल, हलचल भरे शहर (सॉफ्टवेयर कोड) में अपराध को सुलझाने की कोशिश कर रहे हैं। आपका काम "कमियों" (vulnerabilities) को खोजना है—वे छिपे हुए जाल या टूटे हुए ताले जिनका उपयोग बुरे लोग घुसपैठ करने के लिए कर सकते हैं।

लंबे समय से, जासूस (और कंप्यूटर प्रोग्राम) अपराध स्थल को एक बार में एक कमरे के रूप में देख रहे हैं। वे एक अकेले कमरे (कोड के एक सिंगल फंक्शन) में प्रवेश करेंगे, चारों ओर देखेंगे, और कहेंगे, "यह सुरक्षित लग रहा है," या "यह खतरनाक लग रहा है।"

लेकिन यहाँ एक समस्या है: अपराध अक्सर कमरों के बीच होता है।

हो सकता है कि चोर ने किचन का ताला नहीं तोड़ा; बल्कि उसने लिविंग रूम में मौजूद व्यक्ति को बहला-फुसलाकर चाबियाँ ले लीं। यदि आप केवल किचन को देखते हैं, तो आप पूरी कहानी मिस कर देते हैं। इसे इंटरप्रोसिजरल वल्नरेबिलिटी (interprocedural vulnerability) कहा जाता है—एक ऐसी खामी जो केवल तब अस्तित्व में आती है जब आप देखते हैं कि कोड के विभिन्न हिस्से एक-दूसरे से कैसे बात करते हैं।

यह शोध पत्र एक बड़ा प्रयोग है यह देखने के लिए कि क्या AI जासूसों (लार्ज लैंग्वेज मॉडल्स या LLMs) का उपयोग करना बेहतर काम करता है जब हम उन्हें पूरी कहानी (कॉलर और कॉली) देते हैं, बजाय इसके कि उन्हें केवल एक सिंगल रूम दिखाया जाए।

पात्रों की टोली (AI मॉडल्स)

शोधकर्ताओं ने चार अलग-अलग AI जासूसों का परीक्षण किया, जिनमें से प्रत्येक का अलग व्यक्तित्व और कीमत है:

Claude Haiku 4.5: सूक्ष्म, महंगी विशेषज्ञ जो बहुत विस्तृत रिपोर्ट लिखती है।
Gemini 3 Flash: तेज़, लागत प्रभावी कार्यकर्ता जो बिना जेब खाली किए काम को अच्छी तरह से पूरा करता है।
GPT-4.1 Mini: बजट विकल्प जो कभी-कभी बहुत अधिक जानकारी मिलने पर भ्रमित हो जाता है।
GPT-5 Mini: एक नया, थोड़ा स्मार्ट बजट विकल्प, लेकिन फिर भी अधिक जानकारी से अभिभूत होने की संभावना रखता है।

प्रयोग: अपराध स्थल को देखने के तीन तरीके

शोधकर्ताओं ने ReposVul डेटासेट (ज्ञात सॉफ्टवेयर बग्स का एक पुस्तकालय) से 509 वास्तविक दुनिया के "अपराधों" (vulnerabilities) को लिया और AI को तीन अलग-अलग रणनीतियों का उपयोग करके उन्हें खोजने के लिए कहा:

रणनीति A (केवल कोड): "यहाँ वह कमरा है जहाँ अपराध हुआ। क्या यह सुरक्षित है?"
रणनीति B (कोड + कॉलर्स): "यहाँ वह कमरा है, और यहाँ वह व्यक्ति है जिसने अंदर आकर चोर को चाबियाँ थमा दीं।"
रणनीति C (कोड + कॉलीज): "यहाँ वह कमरा है, और यहाँ वह व्यक्ति है जिसे चोर ने मदद के लिए बुलाया।"

बड़े आश्चर्य

1. "अधिक जानकारी" का मतलब हमेशा "बेहतर" नहीं होता

आप सोच सकते हैं, "यदि मैं जासूस को अधिक सुराग दूँ, तो वे इसे तेज़ी से हल करेंगे!"
वास्तविकता: कुछ जासूसों के लिए, उन्हें अधिक सुराग देने से वे वास्तव में बदतर हो गए।

उपमा: कल्पना कीजिए कि आप घास के ढेर में सुई ढूंढ रहे हैं। यदि आप जासूस को दूसरा, बड़ा घास का ढेर (अतिरिक्त कोड संदर्भ) थमा देते हैं, तो वे अतिरिक्त घास से विचलित हो सकते हैं और सुई को मिस कर सकते हैं।
परिणाम: GPT मॉडल्स (विशेष रूप से मिनी वर्ज़न) भ्रमित हो गए। जब शोधकर्ताओं ने अतिरिक्त संदर्भ जोड़ा, तो GPT-4.1 Mini की सटीकता भारी 25% गिर गई। यह एक ऐसे छात्र की तरह था जिसे 1-पेज के चीट शीट के बजाय 10-पेज की पाठ्यपुस्तक दी गई, और वह उत्तर ही भूल गया।
विजेता: Claude और Gemini "स्मार्ट" जासूस थे। वे अतिरिक्त जानकारी को देख सकते थे, शोर को अनदेखा कर सकते थे, और फिर भी बग ढूंढ सकते थे। उनका प्रदर्शन चाहे कितना भी संदर्भ दिया जाए, स्थिर रहा।

2. "कड़ी मेहनत" की लागत

हर बार जब आप AI को अधिक कोड पढ़ने के लिए कहते हैं, तो इसकी एक लागत आती है (कितने "टोकन" या शब्द प्रोसेस किए जाते हैं, इसके आधार पर)।

उपमा: एक अकेले कमरे को पढ़ने की लागत $0.50 है। पूरे घर को पढ़ना (सभी अतिरिक्त संदर्भ के साथ)$ 1.00 है।
परिणाम: अतिरिक्त संदर्भ जोड़ने से लगभग सभी के लिए लागत दोगुनी हो गई। लेकिन क्या इसने परिणाम भी दोगुना किए? नहीं। वास्तव में, GPT मॉडल्स के लिए, इसने अधिक लागत लेते हुए परिणामों को बदतर बना दिया।
सर्वश्रेष्ठ मूल्य: Gemini 3 Flash वॉलेट के लिए स्पष्ट विजेता था। इसने लगभग पूरी तरह से (97.8% सटीकता) बग्स को खोजा, जिसकी लागत प्रति चेक लगभग $0.50 थी। यह "गोल्डिलॉक्स" मॉडल था: न बहुत महंगा, न बहुत भ्रमित।

3. भाषा का महत्व मायने रखता है

प्रयोग में तीन भाषाओं का परीक्षण किया गया: C, C++, और Python।

C/C++: ये पुरानी, जटिल मशीनरी की तरह हैं जहाँ एक टूटा हुआ गियर पूरे इंजन को क्रैश कर सकता है। अतिरिक्त संदर्भ से मिलने वाला "शोर" यहाँ GPT मॉडल्स को सबसे अधिक नुकसान पहुँचाता है।
Python: यह एक आधुनिक, आत्मनिर्भर ऐप की तरह है। कोड आमतौर पर साफ और अलग-थला होता है। परिणाम थोड़े मिले-जुले थे, लेकिन आम तौर पर, संदर्भ के बावजूद AI ने अच्छा प्रदर्शन किया।

4. "क्यों" का महत्व (व्याख्याएँ)

बग ढूंढना अच्छा है, लेकिन यह समझाना कि वह बग क्यों है, उससे भी बेहतर है।

उपमा: एक डॉक्टर जो कहता है "आपका पैर टूट गया है" वह मददगार है। एक डॉक्टर जो कहता है "आपका पैर टूट गया है क्योंकि आप एक ढीले कालीन से टकरा गए थे, और यहाँ बताया गया है कि कालीन को कैसे ठीक करें" वह बेहतरीन है।
परिणाम: Claude Haiku 4.5 सबसे अच्छा शिक्षक था। इसने 93.6% बार बग्स को सही ढंग से और स्पष्ट रूप से समझाया। हालाँकि, GPT मॉडल्स कभी-कभी गलत निदान देते थे और भ्रमित करने वाली व्याख्या भी देते थे।

निष्कर्ष

यदि आप कोड के बग खोजने के लिए सुरक्षा उपकरण बना रहे हैं:

AI पर सब कुछ न थोपें। AI को एक फंक्शन का पूरा इतिहास (सभी कॉलर्स और कॉलीज) देना उसे भ्रमित कर सकता है, खासकर यदि आप एक छोटा, सस्ता मॉडल उपयोग कर रहे हैं। कभी-कभी, केवल विशिष्ट फंक्शन को अलग से देखना वास्तव में बेहतर होता है।
अपने बजट के आधार पर जासूस चुनें।
- यदि आप कीमत और प्रदर्शन का सबसे अच्छा संतुलन चाहते हैं, तो Gemini 3 Flash का उपयोग करें।
- यदि आपको मानव द्वारा पढ़े जाने के लिए एक विस्तृत, उच्च-गुणवत्ता वाली व्याख्या की आवश्यकता है, तो Claude Haiku 4.5 का उपयोग करें।
- यदि आप बहुत अधिक अतिरिक्त संदर्भ देने की योजना बना रहे हैं, तो GPT Mini मॉडल्स का उपयोग करने से बचें; वे अक्सर अभिभूत हो जाते हैं।
संदर्भ एक दोधारी तलवार है। AI सुरक्षा की दुनिया में, "अधिक डेटा" का मतलब हमेशा "बेहतर डेटा" नहीं होता है। कभी-कभी, कम ही अधिक होता है।

संक्षेप में: यह अध्ययन हमें सिखाता है कि AI शक्तिशाली है, लेकिन यह जादू नहीं है। आपको यह जानना होगा कि किस AI का उपयोग करना है, उसे कितनी जानकारी देनी है, और काम को सही ढंग से करने के लिए आप कितनी कीमत चुकाने को तैयार हैं।

यहाँ शोध पत्र "Vulnerability Detection with Interprocedural Context in Multiple Languages: Assessing Effectiveness and Cost of Modern LLMs" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यद्यपि लार्ज लैंग्वेज मॉडल्स (LLMs) स्वचालित सॉफ्टवेयर भेद्यता (vulnerability) पहचान के लिए आशाजनक संकेत दिखाते हैं, मौजूदा शोध दो महत्वपूर्ण सीमाओं से ग्रस्त है:

सिंगल-फंक्शन फोकस (Single-Function Focus): अधिकांश अध्ययन अलग-थलग फंक्शन्स पर मूल्यांकन करते हैं, जिससे इंटरप्रोसिजरल डिपेंडेंसीज (interprocedural dependencies) की अनदेखी होती है। कई कमजोरियां (जैसे, use-after-free, बफर ओवरफ्लो जो कॉलर आर्गुमेंट्स द्वारा ट्रिगर होते हैं) केवल उन डेटा या कंट्रोल फ्लो के माध्यम से प्रकट होती हैं जो कई फंक्शन्स (कॉलर्स और कॉलीज) में फैले होते हैं।
बहु-भाषा और लागत विश्लेषण का अभाव (Lack of Multi-Language and Cost Analysis): पूर्ववर्ती कार्य अक्सर एक ही प्रोग्रामिंग भाषा को लक्षित करते हैं और LLM आउटपुट की आर्थिक लागतों और व्याख्यात्मकता (explainability) की उपेक्षा करते हैं, जो वास्तविक दुनिया में तैनाती के लिए अत्यंत महत्वपूर्ण हैं।

यह शोध पत्र इस अंतर को संबोधित करता है कि क्या इंटरप्रोसिजरल संदर्भ (कॉलर/कॉली कोड) प्रदान करने से विभिन्न भाषाओं (C, C++, Python) में डिटेक्शन सटीकता वास्तव में सुधरती है या नहीं, और साथ ही इन्फरेंस लागत (inference cost) का भी आकलन करता है।

2. कार्यप्रणाली (Methodology)

लेखकों ने एक व्यापक अनुभवजन्य अध्ययन आयोजित किया जिसमें निम्नलिखित घटक शामिल थे:

डेटासेट (Dataset): उन्होंने C, C++, और Python को कवर करते हुए 236 CWE प्रकारों से 509 इंटरप्रोसिजरल कमजोरियों को ReposVul डेटासेट से निकाला।
मूल्यांकित मॉडल्स (Models Evaluated): चार आधुनिक, लागत प्रभावी LLMs का परीक्षण किया गया:
- Anthropic: Claude Haiku 4.5
- Google: Gemini 3 Flash
- OpenAI: GPT-4.1 Mini और GPT-5 Mini
प्रयोगात्मक डिजाइन (Context Variations): प्रत्येक फंक्शन के लिए, तीन इनपुट कॉन्फ़िगरेशन का परीक्षण किया गया:
1. कोड ओनली (Code Only - CO): केवल लक्षित फंक्शन का कोड।
2. कोड + कॉलीज (Code + Callees - CC): लक्षित फंक्शन + वे फंक्शन्स जिन्हें वह कॉल करता है।
3. कोड + कॉलर्स (Code + Callers - CK): लक्षित फंक्शन + वे फंक्शन्स जो उसे कॉल करते हैं।
मेट्रिक्स (Metrics):
- प्रभावशीलता (Effectiveness): सटीकता (Accuracy), प्रिसिजन (Precision), रिकॉल (Recall), और F1-स्कोर।
- दक्षता (Efficiency): टोकन खपत और प्रदाता मूल्य निर्धारण के आधार पर इन्फरेंस लागत (USD)।
- व्याख्यात्मकता (Explainability): 986 मॉडल स्पष्टीकरणों का सटीकता (Correctness) (प्रकार/स्थान की पहचान) और व्यापकता (Comprehensiveness) (मूल कारण/एक्सप्लोइटेशन वेक्टर की व्याख्या) के लिए 0–2 के रूब्रिक का उपयोग करके मैन्युअल मूल्यांकन।
सांख्यिकीय विश्लेषण (Statistical Analysis): संदर्भ कॉन्फ़िगरेशन के बीच सांख्यिकीय महत्व निर्धारित करने के लिए Holm–Bonferroni सुधार के साथ McNemar's टेस्ट का उपयोग किया गया।

3. मुख्य योगदान (Key Contributions)

संदर्भ पर अनुभवजन्य साक्ष्य (Empirical Evidence on Context): यह अध्ययन "अधिक संदर्भ बेहतर है" की धारणा को चुनौती देता है, यह प्रदर्शित करते हुए कि इंटरप्रोसिजरल संदर्भ लगातार डिटेक्शन में सुधार नहीं करता है और मॉडल के आधार पर प्रदर्शन को काफी कम कर सकता है।
क्रॉस-लैंग्वेज विश्लेषण (Cross-Language Analysis): यह C, C++, और Python में LLM के प्रदर्शन का तुलनात्मक विश्लेषण प्रदान करता है, जो भाषा-विशिष्ट संवेदनशीलता को उजागर करता है।
लागत-प्रदर्शन ट्रेड-ऑफ (Cost-Performance Trade-off): यह पेपर संदर्भ जोड़ने के आर्थिक प्रभाव को मापता है, यह दिखाते हुए कि टोकन की खपत (और लागत) आनुपातिक सटीकता लाभ के बिना लगभग दोगुनी हो जाती है।
स्पष्टीकरण गुणवत्ता मूल्यांकन (Explanation Quality Assessment): यह LLM-जनरेटेड सुरक्षा स्पष्टीकरणों के लिए एक कठोर मैन्युअल मूल्यांकन पेश करता है, जो डिटेक्शन सटीकता को प्रदान किए गए तर्क (rationale) की गुणवत्ता से जोड़ता है।

4. मुख्य परिणाम (Key Results)

A. इंटरप्रोसिजरल संदर्भ की प्रभावशीलता (RQ1 & RQ2)

विपरीत परिणाम (Counter-Intuitive Finding): Code Only (CO) कॉन्फ़िगरेशन ने सभी मॉडल्स में लगातार सर्वश्रेष्ठ या समान-सर्वश्रेष्ठ प्रदर्शन दिया। संदर्भ जोड़ने (CC या CK) से अक्सर प्रदर्शन में गिरावट आई।
मॉडल संवेदनशीलता (Model Sensitivity):
- GPT मॉडल्स: संदर्भ के प्रति अत्यधिक संवेदनशील। C में, कॉली संदर्भ जोड़ने से GPT-4.1 Mini की सटीकता 75.6% से घटकर 54.0% और GPT-5 Mini की 90.5% से घटकर 83.5% हो गई। लेखक यह परिकल्पना करते हैं कि GPT मॉडल्स विस्तारित संदर्भ में अप्रासंगिक विवरणों पर ध्यान केंद्रित करके "शोर" (noise) उत्पन्न करते हैं।
- Claude और Gemini: इन्होंने मजबूती (robustness) प्रदर्शित की। Claude Haiku 4.5 और Gemini 3 Flash ने सभी कॉन्फ़िगरेशन में स्थिर प्रदर्शन बनाए रखा, और संदर्भ जोड़ने पर कोई सांख्यिकीय रूप से महत्वपूर्ण गिरावट नहीं दिखाई।
भाषा के अंतर (Language Differences): C में गिरावट GPT मॉडल्स के लिए सांख्यिकीय रूप से महत्वपूर्ण थी। Python में रुझान समान थे लेकिन कम स्पष्ट थे (संभवतः Python के कम इंटरप्रोसिजरल कपलिंग के कारण)। C++ के परिणाम छोटे सैंपल साइज के कारण अनिर्णायक थे।

B. लागत दक्षता (Cost Efficiency - RQ3)

टोकन खपत (Token Consumption): इंटरप्रोसिजरल संदर्भ जोड़ने से टोकन की संख्या लगभग दोगुनी हो गई (उदाहरण के लिए, C प्रॉम्प्ट्स ~2,367 टोकन से बढ़कर ~4,785 टोकन हो गए)।
सर्वश्रेष्ठ ट्रेड-ऑफ (Best Trade-off): Gemini 3 Flash ने सबसे अच्छा लागत-प्रदर्शन संतुलन प्रदान किया। इसने C कमजोरियों के लिए ≥0.978 का F1-स्कोर और अनुमानित लागत $0.50–$ 0.58 प्रति कॉन्फ़िगरेशन प्राप्त की।
लागत बनाम लाभ (Cost vs. Gain): संदर्भ जोड़ने की बढ़ी हुई लागत ने आनुपातिक सटीकता लाभ नहीं दिया; कई मामलों में, यह उच्च लागत के लिए कम सटीकता का परिणाम था।

C. स्पष्टीकरण की गुणवत्ता (Explanation Quality - RQ4)

शीर्ष प्रदर्शन करने वाला (Top Performer): Claude Haiku 4.5 स्पष्टीकरण की गुणवत्ता में अग्रणी रहा, जिसने मूल्यांकनों में 93.6% मामलों में परफेक्ट (2,2) स्कोर प्राप्त किया। इसने सटीक भेद्यता प्रकार, स्थान और मूल कारण प्रदान किए।
GPT की कमजोरी (GPT Weakness): GPT-4.1 Mini और GPT-5 Mini में "जीरो-स्कोर" स्पष्टीकरणों की दर काफी अधिक (6.1%–6.8%) थी, जो अक्सर मौलिक रूप से गलत औचित्य प्रदान करते थे।
सहसंबंध (Correlation): डिटेक्शन सटीकता और स्पष्टीकरण की गुणवत्ता के बीच एक मजबूत जुड़ाव है; जो मॉडल अधिक बार गलत वर्गीकरण करते थे, वे कम सुसंगत स्पष्टीकरण भी प्रदान करते थे।

5. महत्व और निहितार्थ (Significance and Implications)

टूल डिज़ाइन (Tool Design): सुरक्षा उपकरणों को सभी LLMs के लिए आँख बंद करके कॉलर/कॉली कोड शामिल नहीं करना चाहिए। इष्टतम संदर्भ रणनीति मॉडल-निर्भर (model-dependent) होनी है। GPT मॉडल्स के लिए, सिंगल-फंक्शन विश्लेषण बेहतर हो सकता है; Claude/Gemini के लिए, संदर्भ को बिना किसी दंड के शामिल किया जा सकता है।
आर्थिक व्यवहार्यता (Economic Viability): संगठनों को उच्च-मात्रा वाले स्कैनिंग के लिए Gemini 3 Flash जैसे मॉडल्स को प्राथमिकता देनी चाहिए, जबकि उच्च-गुणवत्ता वाले, कार्रवाई योग्य स्पष्टीकरणों की आवश्यकता वाले परिदृश्यों के लिए Claude Haiku 4.5 को सुरक्षित रखना चाहिए।
अनुसंधान की दिशा (Research Direction): भविष्य के कार्यों को सिंगल-फंक्शन बेंचमार्क से आगे बढ़ना चाहिए। यह अध्ययन रेखांकित करता है कि "अधिक संदर्भ" एक सार्वभौमिक नियम (heuristic) नहीं है और प्रदर्शन में गिरावट (regression) से बचने के लिए प्रॉम्प्ट इंजीनियरिंग को विशिष्ट मॉडल आर्किटेक्चर के अनुरूप तैयार किया जाना चाहिए।

निष्कर्षतः, यह शोध पत्र स्थापित करता है कि यद्यपि आधुनिक LLMs भेद्यता का पता लगाने में प्रभावी हैं, लेकिन संदर्भ प्रदान करने की रणनीति महत्वपूर्ण है। संदर्भ को अंधाधुंध विस्तारित करना हानिकारक हो सकता है, और मॉडल का चयन डिटेक्शन सटीकता, स्पष्टीकरण की गुणवत्ता और इन्फरेंस लागत के संतुलन द्वारा संचालित होना चाहिए।