💻 computer science

Residual Risk Analysis in Benign Code: How Far Are We? A Multi-Model Semantic and Structural Similarity Approach

यह शोध पत्र रेजिडुअल रिस्क स्कोरिंग (RRS) प्रस्तुत करता है, जो सिमेंटिक और स्ट्रक्चरल समानता विश्लेषण को संयोजित करने वाला एक फ्रेमवर्क है, जिससे यह पता चलता है कि प्राइमवुल (PrimeVul) बेंचमार्क में लगभग 61% पैच किए गए फंक्शन महत्वपूर्ण रेजिडुअल सुरक्षा जोखिम बनाए रखते हैं, जिससे इस धारणा को चुनौती मिलती है कि पैच किया गया कोड स्वाभाविक रूप से हानिरहित होता है।

मूल लेखक: Mohammad Farhad, Shuvalaxmi Dass

प्रकाशित 2026-04-24

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mohammad Farhad, Shuvalaxmi Dass

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र (paper) का सरल भाषा में अनुवाद दिया गया है, जिसमें कुछ रचनात्मक उपमाओं (analogies) का उपयोग किया गया है।

मुख्य विचार: "बैंड-एड की समस्या" (The Band-Aid Problem)

कल्पना कीजिए कि आपकी छत से पानी टपक रहा है। आप पानी को रोकने के लिए उस पर एक 'बैंड-एड' (पट्टी) लगा देते हैं। तकनीकी रूप से, रिसाव "ठीक" हो गया है, और घर अब तत्काल टपकने के प्रति "असुरक्षित" नहीं है।

लेकिन यहाँ एक पेंच है: बाकी की छत अभी भी पुरानी, सड़ रही है और कमजोर बिंदुओं से भरी हुई है। यदि आप केवल छत को देखेंगे, तो यह लगभग वैसी ही दिखेगी जैसी बैंड-एड लगाने से पहले थी।

यह शोध पत्र एक डरावना सवाल पूछता है: सिर्फ इसलिए कि हमने छेद को पैच (भर) दिया है, क्या इसका मतलब यह है कि घर वास्तव में सुरक्षित है? या हमने केवल एक समस्या को ढंक दिया है जबकि बाकी संरचना खतरनाक रूप से वैसी ही बनी हुई है?

लेखक इसे "अवशिष्ट जोखिम" (Residual Risk) कहते हैं। यह वह छिपा हुआ खतरा है जो "सुधार" लागू करने के बाद भी बना रहता है।

समस्या: हम मान लेते हैं कि "ठीक होना" मतलब "सुरक्षित होना" है

सॉफ्टवेयर की दुनिया में (जैसे आपके फोन के ऐप्स या इंटरनेट चलाने वाला कोड), डेवलपर्स लगातार बग्स (bugs) पाते हैं और उन्हें ठीक करते हैं। आमतौर पर, जब कोई पैच जारी किया जाता है, तो सुरक्षा उपकरण (security tools) मान लेते हैं कि कोड अब "सौम्य" (benign/सुरक्षित) है। वे उस पर नज़र रखना बंद कर देते हैं।

लेखक तर्क देते हैं कि यह एक गलती है। डेवलपर्स अक्सर पूरे प्रोग्राम को फिर से लिखे बिना, किसी विशिष्ट क्रैश को रोकने के लिए बहुत छोटे, सर्जिकल सुधार (tiny, surgical fixes) करते हैं।

परिणाम: "सुरक्षित" कोड उस "खतरनाक" कोड के 99% समान दिखता है जिसे उसने बदला है।
जोखिम: क्योंकि वे इतने समान हैं, अन्य छिपे हुए खतरे (जैसे पास में ढीला पेंच या कमजोर तार) अभी भी वहीं हो सकते हैं, जो बाद में नई समस्या पैदा करने के लिए तैयार बैठे हैं।

समाधान: एक "तीन-भाग वाला जासूस" सिस्टम

इन छिपे हुए खतरों को खोजने के लिए, लेखकों ने रेसिड्यूअल रिस्क स्कोरिंग (RRS) नामक एक नया टूल बनाया है। इसे एक तीन-सदस्यीय जासूसी टीम के रूप में समझें जो एक "ठीक किए गए" कोड की जांच करती है कि क्या वह वास्तव में सुरक्षित है।

1. सिमेंटिक जासूस (अर्थ समझने वाला - The "Meaning" Reader)

यह कैसे काम करता है: यह उन्नत AI (Code LMs) का उपयोग करता है ताकि कोड को पढ़ सके और समझ सके कि वह क्या करता है, न कि केवल यह कि शब्द क्या हैं।
उपमा: कल्पना कीजिए कि दो लोग एक कहानी लिख रहे हैं। एक कहानी में एक टाइपो (typo) है जिसकी वजह से एक पात्र मर जाता है। संपादक उस टाइपो को ठीक कर देता है। सिमेंटिक जासूस दोनों कहानियों को पढ़ता है और कहता है, "ये कहानियाँ 9% समान हैं। कथानक, पात्र और मूड में कोई बदलाव नहीं हुआ है।"
संकेत: यदि "सुरक्षित" कहानी "खतरनाक" वाली के बहुत करीब है, तो जासूस चेतावनी (flag) उठा देता है।

2. स्ट्रक्चरल जासूस (ब्लूप्रिंट निरीक्षक - The "Blueprint" Inspector)

यह कैसे काम करता है: यह कोड के कंकाल (जिसे एब्स्ट्रैक्ट सिंटैक्स ट्री या AST कहा जाता है) को देखता है। यह जाँचता है कि कोड कैसे बना है, जैसे घर के बीम और जोड़ों को देखना।
उपमा: सिमेंटिक जासूस कह सकता है, "घर वैसा ही दिखता है।" लेकिन स्ट्रक्चरल जासूस ब्लूप्रिंट देखता है और कहता है, "रुको, उन्होंने दीवार में केवल एक ईंट बदली है, लेकिन बाकी की दीवार अभी भी सड़ती हुई लकड़ी से बनी है।"
संकेत: यह जासूस पूरे घर को नजरअंदाज करता है और उस विशिष्ट स्थान पर ज़ूम करता है जिसे ठीक किया गया था। यदि सुधार बहुत छोटा था और आसपास की संरचना अपरिवर्तित रही, तो यह एक रेड फ्लैग (चेतावनी) है।

3. कंसिस्टेंसी जज (समूह विचार सत्यापनकर्ता - The "Group Think" Validator)

यह कैसे काम करता है: लेखकों ने पढ़ने के लिए पाँच अलग-अलग AI मॉडल का उपयोग किया।
उपमा: कल्पना कीजिए कि पाँच अलग-अलग विशेषज्ञों से एक ही घर की समीक्षा करने के लिए कहा गया है। यदि पाँचों विशेषज्ञ सहमत हैं, "यह घर खतरनाक वाले के 99% समान है," तो आप बहुत आश्वस्त हो सकते हैं कि यह समानता वास्तविक है और किसी एक विशेषज्ञ की गलती नहीं है।
संकेत: यदि सभी AI सहमत हैं कि कोड में बहुत कम बदलाव हुआ है, तो जोखिम स्कोर बढ़ जाता है।

सब कुछ एक साथ जोड़ना: "जोखिम स्कोर" (The "Risk Score")

यह प्रणाली इन तीन संकेतों को एक एकल रेसिड्यूअल रिस्क स्कोर (RRS) में जोड़ती है।

उच्च स्कोर (High Score): कोड खतरनाक संस्करण के लगभग समान दिखता है, संरचना में बहुत कम बदलाव हुआ है, और सभी AI सहमत हैं। फैसला: "यह 'सुधार' एक गोली के घाव पर लगे बैंड-एड जैसा हो सकता है। हमें इसकी बारीकी से जांच करने की आवश्यकता है।"
कम स्कोर (Low Score): कोड पूरी तरह से अलग दिखता है, या संरचना में महत्वपूर्ण बदलाव हुआ है। फैसला: "यह एक वास्तविक सुधार लगता है। हम आगे बढ़ सकते हैं।"

उन्होंने क्या पाया?

लेखकों ने इस परीक्षण को हजारों वास्तविक दुनिया के सॉफ्टवेयर पैच (PrimeVul डेटासेट से) पर किया। यहाँ उनकी खोज है:

"बैंड-एड" वास्तविक है: पारंपरिक उपकरणों को जो "सुरक्षित" लगे, उनमें से लगभग 61% पैच में वास्तव में छिपी हुई समस्याएं थीं।
समस्याएं वास्तविक हैं: जब उन्होंने इन "उच्च-जोखिम" वाले पैच को पेशेवर सुरक्षा स्कैनरों के माध्यम से चलाया, तो स्कैनरों ने वास्तविक मुद्दे पाए जैसे:
- नल पॉइंटर डिरेफ्रेंस (Null Pointer Dereferences): ऐसे दरवाजे को खोलने की कोशिश करना जो मौजूद ही नहीं है (इससे प्रोग्राम क्रैश हो जाता है)।
- मेमोरी लीक्स (Memory Leaks): नल को खुला छोड़ देना, जिससे सिस्टम के संसाधन धीरे-धीरे खत्म होते रहते हैं।
- बफर ओवरफ्लो (Buffer Overflows): एक कप में एक गैलन पानी डालने की कोशिश करना, जिससे वह हर जगह फैल जाता है (सुरक्षा उल्लंघन)।
पुराना तरीका चूक गया: पारंपरिक उपकरणों ने मान लिया कि चूंकि कोड को "पैच" किया गया था, इसलिए वह सुरक्षित है। वे इन 61% मामलों को मिस कर गए क्योंकि उन्होंने यह नहीं देखा कि नया कोड पुराने, टूटे हुए कोड के कितना समान है।

निष्कर्ष (The Takeaway)

यह शोध पत्र हमें सिखाता है कि सॉफ्टवेयर में, "ठीक होना" हमेशा "सुरक्षित होना" नहीं होता।

सिर्फ इसलिए कि एक डेवलपर ने रिसाव पर बैंड-एड लगाया है, इसका मतलब यह नहीं है कि पूरा घर सुरक्षित है। एक स्मार्ट सिस्टम का उपयोग करके जो कोड के "पहले" और "बाद" के संस्करणों की तुलना करता है (इसके अर्थ और संरचना दोनों की), हम उन पैच को ढूंढ सकते हैं जो केवल दिखावटी हैं और उन्हें प्राथमिकता दे सकते हैं जिन्हें वास्तव में गहरी जांच की आवश्यकता है।

यह एक होम इंस्पेक्टर को काम पर रखने जैसा है जो केवल यह नहीं देखता कि रिसाव रुक गया है, बल्कि यह भी देखता है कि क्या मरम्मत बहुत जल्दी की गई है क्योंकि नींव अभी भी कमजोर है।

यहाँ शोध पत्र "Residual Risk Analysis in Benign Code: How Far Are We? A Multi-Model Semantic and Structural Similarity Approach" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र सॉफ्टवेयर सुरक्षा में एक महत्वपूर्ण अंतराल को संबोधित करता है: यह धारणा कि एक बार किसी भेद्यता (vulnerability) को पैच (patch) कर देने के बाद, कोड स्वाभाविक रूप से सुरक्षित (benign) हो जाता है। वास्तव में, डेवलपर्स अक्सर विशिष्ट दोषों को दूर करने के लिए व्यापक तर्क (logic) को रिफैक्टर किए बिना केवल न्यूनतम, स्थानीयकृत सुधार लागू करते हैं। इसके परिणामस्वरूप, "बेनाइन" (पैच किया गया) कोड अक्सर अपने भेद्य पूर्ववर्ती (vulnerable predecessor) के साथ महत्वपूर्ण सिमेंटिक (semantic) और स्ट्रक्चरल (structural) समानताएं बनाए रखता है।

यह "प्रतिनिधित्व निरंतरता" (representational continuity) अवशिष्ट जोखिम (Residual Risk) को जन्म देती है: यह संभावना कि पैच के बावजूद भी अंतर्निहित भेद्यताएं (जैसे, नल पॉइंटर डिरेफरेंस, असुरक्षित मेमोरी एलोकेशन) बनी रह सकती हैं। वर्तमान भेद्यता बेंचमार्क और स्टेटिक एनालिसिस टूल्स अक्सर इन जोखिमों का पता लगाने में विफल रहते हैं क्योंकि वे पैच किए गए कोड को सुरक्षित मान लेते हैं या बाइनरी भेद्यता पहचान पर निर्भर रहते हैं जो सूक्ष्म, पोस्ट-पैच लॉजिकल खामियों को मिस कर देता है। लेखक तर्क देते हैं कि भेद्य और बेनाइन कोड के बीच उच्च समानता केवल कुशल पैचिंग का उपोत्पाद नहीं है, बल्कि यह संभावित अवशिष्ट जोखिम का एक संकेत है जिसके लिए आगे के निरीक्षण की आवश्यकता है।

2. कार्यप्रणाली (Methodology)

लेखक एक एकीकृत ढांचा प्रस्तावित करते हैं जिसे रेसिडुअल रिस्क स्कोरिंग (RRS) कहा जाता है, ताकि पैच किए गए कोड में अवशिष्ट जोखिम की संभावना को मापा जा सके। यह दृष्टिकोण तीन अलग-अलग संकेतों को एकीकृत करता है:

A. सिमेंटिक समानता (एम्बेडिंग-आधारित) [Semantic Similarity (Embedding-Based)]

तंत्र (Mechanism): लेखक दोनों भेद्य फंक्शन ( $f_v$ ) और बेनाइन फंक्शन ( $f_b$ ) के लिए वेक्टर एम्बेडिंग उत्पन्न करने के लिए कई प्री-ट्रेन्ड कोड लैंग्वेज मॉडल्स (Code LMs) का उपयोग करते हैं।
उपयोग किए गए मॉडल: इसमें एनकोडर-आधारित मॉडल (CodeBERT, UniXCoder, GraphCodeBERT) और एनकोडर-डिकोडर मॉडल (CodeT5-base, CodeT5-770M) सहित विविध सेट शामिल है।
मेट्रिक (Metric): एम्बेडिंग्स के बीच की दूरी मापने के लिए कोसाइन सिमिलरिटी (Cosine Similarity) का उपयोग किया जाता है। उच्च समानता इंगित करती है कि मॉडल द्वारा एनकोड किया गया कार्यात्मक व्यवहार महत्वपूर्ण रूप से नहीं बदला है।
तर्क (Rationale): कोसाइन सिमिलरिटी को इसके वेक्टर मैग्नीट्यूड के प्रति अपरिवर्तनीयता और मजबूती के लिए चुना गया था, जो विभिन्न मॉडलों में स्थिर स्कोर (औसत ~0.99) प्रदान करता है।

B. स्ट्रक्चरल समानता (AST-आधारित) [Structural Similarity (AST-Based)]

तंत्र (Mechanism): लेखक Tree-sitter का उपयोग करके कोड जोड़ों के एब्स्ट्रैक्ट सिंटैक्स ट्री (ASTs) का विश्लेषण करते हैं।
मेट्रिक (Metric): ग्लोबल ट्री एडिट डिस्टेंस (TED) के बजाय, जो बड़े अपरिवर्तित क्षेत्रों के कारण बढ़ सकता है, वे लोकलाइज्ड TED सिमिलरिटी (LTS) का प्रस्ताव करते हैं। यह पैच द्वारा संशोधित विशिष्ट सब-ट्री पर ध्यान केंद्रित करता है।
तर्क (Rationale): ग्लोबल मेट्रिक्स अक्सर सूक्ष्म सुरक्षा-महत्वपूर्ण परिवर्तनों को ओझल कर देते हैं। लोकलाइज्ड विश्लेषण पैच के विशिष्ट स्ट्रक्चरल ट्रांसफॉर्मेशन (जैसे, एक फंक्शन कॉल को फील्ड एक्सेस में बदलना) को कैप्चर करता है, जबकि समग्र ट्री संरचना को सुरक्षित रखता है।

C. क्रॉस-मॉडल सहमति (Cross-Model Agreement)

तंत्र (Mechanism): यह सुनिश्चित करने के लिए कि सिमेंटिक समानता किसी विशिष्ट मॉडल के पूर्वाग्रह (bias) का परिणाम नहीं है, फ्रेमवर्क उपयोग किए गए कई Code LMs के बीच सिमिलरिटी स्कोर के वेरिएंस (variance) की गणना करता है।
मेट्रिक (Metric): सिमिलरिटी स्कोर के इनवर्स (inverse) से एक क्रॉस-मॉडल एग्रीमेंट स्कोर ( $C_{agree}$ ) प्राप्त किया जाता है। कम वेरिएंस (उच्च सहमति) इस बात का प्रमाण पुख्ता करता है कि कोड सिमेंटिक रूप से संरक्षित है।

D. RRS फॉर्मूला

अंतिम रेसिड्यूअल रिस्क स्कोर (RRS) इन तीन घटकों का एक भारित योग (weighted sum) है:
$RRS(f_v, f_b) = \alpha \cdot \bar{S}_{sem} + \beta \cdot R_{struct} + \gamma \cdot C_{agree}$
जहाँ:

$\bar{S}_{sem}$ : मॉडल्स के माध्यम से औसत सिमेंटिक सिमिलरिटी।
$R_{struct}$ : लोकलाइज्ड स्ट्रक्चरल सिमिलरिटी।
$C_{agree}$ : क्रॉस-मॉडल एग्रीमेंट स्कोर।
$\alpha, \beta, \gamma$ : वेटिंग कोएफिशिएंट्स (जैसे, 0.5, 0.3, 0.2) जो योगदान को संतुलित करते हैं।

3. मुख्य योगदान (Key Contributions)

अवशिष्ट जोखिम का औपचारिकीकरण (Formalization of Residual Risk): यह भेद्य और बेनाइन कोड के बीच प्रतिनिधित्व-स्तर की निकटता (सिमेंटिक और स्ट्रक्चरल) के रूप में अवशिष्ट जोखिम को औपचारिक रूप देने वाला पहला कार्य है।
लोकलाइज्ड AST विश्लेषण: शोध पत्र यह प्रदर्शित करता है कि पैच विश्लेषण के लिए ग्लोबल ट्री मेट्रिक्स की तुलना में लोकलाइज्ड TED बेहतर है, क्योंकि यह अपरिवर्तित कोड क्षेत्रों के साथ सुरक्षा-संबंधित परिवर्तनों को कम होने से बचाता है।
एकीकृत ढांचा (RRS): एम्बेडिंग्स, स्ट्रक्चरल विश्लेषण और मॉडल कंसेंसस को मिलाकर पोस्ट-पैच निरीक्षण को प्राथमिकता देने के लिए एक मल्टी-सिग्नल स्कोरिंग सिस्टम का परिचय।
अनुभवजन्य सत्यापन (Empirical Validation): फ्रेमवर्क को Cppcheck, Clang-Tidy, और Facebook Infer जैसे स्टेट-ऑफ-द-आर्ट स्टैटिक एनालिसिस टूल्स और मैनुअल निरीक्षण के विरुद्ध मान्य किया गया है, जो वास्तविक दुनिया के परिदृश्यों में इसकी उपयोगिता को सिद्ध करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

अध्ययन PrimeVul डेटासेट पर आयोजित किया गया था, जिसमें C/C++ में 3,789 भेद्य-बेनाइन फंक्शन जोड़ों (7,578 फंक्शन्स) का विश्लेषण किया गया।

गुणों का उच्च संरक्षण (RQ1):
- सिमेंटिक: बेनाइन फंक्शन सभी मॉडल्स में अपने भेद्य समकक्षों के साथ अत्यधिक उच्च कोसाइन सिमिलरिटी दिखाते हैं (औसत $\approx$ 0.98–0.99)।
- स्ट्रक्चरल: लोकलाइज्ड स्ट्रक्चरल सिमिलरिटी भी उच्च थी (मीडियन $\approx$ 0.93), जो पुष्टि करती है कि पैच आमतौर पर न्यूनतम और स्थानीयकृत होते हैं।
- निहितार्थ: पैच अक्सर मूल कोड के "आकार" और "अर्थ" को संरक्षित करते हैं, जिससे अवशेष पैटर्न बरकरार रहते हैं।
मजबूत जोखिम अनुमान (RQ2):
- लेखकों ने सिमिलरिटी स्तरों के आधार पर कोड जोड़ों को चार चतुर्थांशों (quadrants) में वर्गीकृत किया। चतुर्थांश I (उच्च सिमेंटिक + उच्च स्ट्रक्चरल सिमिलरिटी) में ~29.5% जोड़े थे और इसे उच्चतम जोखिम क्षेत्र के रूप में पहचाना गया।
- सेंसिटिविटी विश्लेषण ने दिखाया कि RRS रैंकिंग विभिन्न वेटिंग कॉन्फ़िगरेशन ( $\alpha, \beta$ ) के तहत स्थिर रही, जो फ्रेमवर्क की मजबूती को सिद्ध करती है।
स्टेटिक एनालिसिस सत्यापन (RQ3):
- जब उच्च-RRS फंक्शन्स का विश्लेषण Cppcheck, Clang-Tidy, और Facebook Infer के साथ किया गया:
  - 61% उच्च-RRS फंक्शन्स को सुरक्षा-संबंधित मुद्दों (जैसे, मेमोरी सेफ्टी उल्लंघन, नल पॉइंटर डिरेफरेंस, अनइनिशियलाइज्ड वेरिएबल्स) के लिए फ्लैग किया गया।
  - 43% को दो टूल्स द्वारा और 27% को तीनों टूल्स द्वारा फ्लैग किया गया।
- अध्ययन ने अवशिष्ट मुद्दों की 13 विशिष्ट श्रेणियों की पहचान की, जिससे पुष्टि हुई कि उच्च सिमिलरिटी वास्तविक, पता लगाने योग्य सुरक्षा खामियों के साथ सह-संबंधित है।

5. महत्व और प्रभाव (Significance and Impact)

सुरक्षा प्रतिमान में बदलाव (Shift in Security Paradigm): यह शोध पत्र "भेद्य बनाम बेनाइन" के बाइनरी दृष्टिकोण को चुनौती देता है। यह तर्क देता है कि यदि कोड अपने भेद्य पूर्ववर्ती के बहुत समान रहता है, तो "बेनाइन" कोड को भी निरंतर जांच की आवश्यकता होती है।
प्राथमिकता उपकरण (Prioritization Tool): RRS सुरक्षा टीमों के लिए एक व्यावहारिक संकेत के रूप में कार्य करता है ताकि वे यह तय कर सकें कि किन पैच को गहन मैनुअल समीक्षा या अतिरिक्त परीक्षण की आवश्यकता है, बजाय इसके कि सभी पैच को समान रूप से सुरक्षित माना जाए।
स्केलेबिलिटी (Scalability): प्री-ट्रेन्ड मॉडल्स और ऑटोमेटेड AST विश्लेषण का लाभ उठाकर, यह दृष्टिकोण बड़े ओपन-सोर्स इकोसिस्टम (जैसे, Linux, OpenSSL) में जोखिम का आकलन करने के लिए एक स्केलेबल तरीका प्रदान करता है, जहाँ हर पैच की मैनुअल समीक्षा करना असंभव है।
भविष्य की दिशाएं: लेखक जोखिम अनुमान को और अधिक परिष्कृत करने और फाल्स पॉजिटिव को कम करने के लिए इस दृष्टिकोण को डायनेमिक एनालिसिस और विविध प्रोग्रामिंग भाषाओं तक विस्तारित करने का सुझाव देते हैं।

निष्कर्षतः, यह शोध पत्र स्थापित करता है कि कोड-स्तरीय समानता अवशिष्ट जोखिम का एक व्यवहार्य और आवश्यक भविष्यवक्ता है, जो सॉफ्टवेयर सप्लाई चेन की विश्वसनीयता बढ़ाने के लिए एक डेटा-संचालित ढांचा प्रदान करता है।