How Humans, Bots, and Agents Communicate About Vulnerabilities in Pull Requests
यह पंजीकृत रिपोर्ट एक बड़े पैमाने के अनुभवजन्य अध्ययन की रूपरेखा प्रस्तुत करती है जो विभिन्न प्रोजेक्ट आर्टिफैक्ट्स में स्पष्ट पहचानकर्ताओं और अंतर्निहित सुरक्षा भाषा दोनों का विश्लेषण करके यह जांचती है कि मानव, बॉट्स और कोडिंग एजेंट पुल रिक्वेस्ट में कमजोरियों के बारे में कैसे संवाद करते हैं ताकि समीक्षा परिणामों पर उनके प्रभाव को समझा जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक विशाल, वैश्विक निर्माण स्थल है जहाँ हजारों टीमें लगातार डिजिटल गगनचुंबी इमारतों (सॉफ्टवेयर) का निर्माण और मरम्मत कर रही हैं। इस दुनिया में, तीन प्रकार के कार्यकर्ता हैं: मानव (मूल वास्तुकार), बॉट्स (स्वचालित रोबोट जो सामग्री को अपडेट करने जैसे नियमित कार्य संभालते हैं), और कोडिंग एजेंट्स (स्मार्ट एआई सहायक जो अपने आप नए ब्लूप्रिंट लिख सकते हैं)।
यह पेपर एक "रजिस्टर्ड रिपोर्ट" है, जिसका अर्थ है कि यह एक अध्ययन का विस्तृत विवरण है जिसे शोधकर्ता करने जा रहे हैं। वे यह समझना चाहते हैं कि ये तीन प्रकार के कार्यकर्ता बिल्डिंग प्लान (पुल रिक्वेस्ट) सबमिट करते समय सुरक्षा खतरों (भेद्यता/vulnerabilities) के बारे में कैसे बात करते हैं।
यहाँ उनके प्लान का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. खतरे के बारे में बात करने के दो तरीके
जब कोई कार्यकर्ता दीवार में दरार या कमजोर बीम पाता है, तो उसे इसे फ्लैग करने की आवश्यकता होती है। शोधकर्ताओं ने देखा कि कार्यकर्ता इसे दो बहुत अलग तरीकों से करते हैं:
"आधिकारिक आईडी कार्ड" विधि (स्पष्ट संदर्भ - Explicit References):
कभी-कभी, एक कार्यकर्ता किसी विशिष्ट खतरे की ओर इशारा करता है और कहता है, "यह CVE-2024-1234 है।" यह एक बारकोड या सीरियल नंबर दिखाने जैसा है। हर कोई जानता है कि उस विशिष्ट नंबर का क्या अर्थ है क्योंकि यह एक विशाल, आधिकारिक डेटाबेस में सूचीबद्ध है।- पेपर का अवलोकन: पिछले अध्ययनों में मुख्य रूप से केवल इन "आईडी कार्डों" को देखा गया था।
"अनौपचारिक चेतावनी" विधि (निहित संकेत - Implicit Signals):
अन्य समय में, एक कार्यकर्ता बस कहता है, "हे, यह दरवाजा अनधिकृत लोगों को अंदर आने दे सकता है," या "यह पाइप SQL डेटा लीक कर सकता है।" वे बिना किसी विशिष्ट आईडी नंबर के साधारण अंग्रेजी में समस्या का वर्णन करते हैं।- पेपर का अवलोकन: शोधकर्ताओं को संदेह है कि इन "अनौपचारिक चेतावनियों" को अनदेखा करके, हम सुरक्षा चर्चाओं के एक बड़े हिस्से को खो रहे हैं।
2. बड़ा सवाल: कौन क्या कहता है?
शोधकर्ता जानना चाहते हैं: क्या मानव, बॉट और एआई एजेंट सुरक्षा के बारे में अलग-अलग तरह से बात करते हैं?
- क्या एआई एजेंट्स (नए खिलाड़ी) अधिक "आधिकारिक आईडी कार्ड" का उपयोग करते हैं क्योंकि उन्हें सटीक होने के लिए प्रोग्राम किया गया है?
- क्या मानव "अनौपचारिक चेतावनियों" पर अधिक भरोसा करते हैं क्योंकि वे संदर्भ को बेहतर समझते हैं?
- क्या बॉट्स नियमों का पालन करते हैं और केवल आईडी का उपयोग करते हैं?
3. तीन चीजें जिनकी वे जांच करने की योजना बना रहे हैं
अध्ययन तीन मुख्य प्रश्नों (अनुसंधान प्रश्नों) के इर्द-गिर्द बनाया गया है:
RQ1: वितरण (कौन बात कर रहा है?)
वे गिनेंगे कि प्रत्येक प्रकार का कार्यकर्ता अलग-अलग चर्चा के हिस्सों (अनुरोध के शीर्षक, विवरण, या टिप्पणियों) में कितनी बार "आधिकारिक आईडी" बनाम "अनौपचारिक चेतावनी" का उपयोग करता है।- उपमा: यह गिनने जैसा है कि वास्तुकार, रोबोट और एआई सहायक कितनी बार औपचारिक सुरक्षा कोड का उपयोग करते हैं बनाम ब्रेक रूम में बस "सावधान!" चिल्लाते हैं।
RQ2: वास्तविकता की जाँच (क्या खतरा वास्तविक है?)
यह सबसे महत्वपूर्ण हिस्सा है। सिर्फ इसलिए कि कोई कहता है कि वहां एक खतरा है, इसका मतलब यह नहीं है कि वास्तव में वहां कोई खतरा है।- शोधकर्ता वास्तविक कोड परिवर्तनों को देखने के लिए एक "सेफ्टी स्कैनर" (एक टूल जिसे Semgrep कहा जाता है) का उपयोग करेंगे।
- वे देखना चाहते हैं: यदि कोई एआई कहता है, "मैंने सुरक्षा छेद को ठीक कर दिया है," तो क्या उसने वास्तव में एक छेद को ठीक किया? या उसने केवल एक ऐसा दावा किया जो सच नहीं था?
- उपमा: यदि कोई कार्यकर्ता कहता है, "मैंने पुल को मजबूत किया है," तो शोधकर्ता वास्तव में निरीक्षण करेंगे कि क्या पुल वास्तव में मजबूत है, या कार्यकर्ता ने केवल दरार के ऊपर पेंट कर दिया है।
RQ3: प्रतिक्रिया (लोग कैसे प्रतिक्रिया देते हैं?)
खतरे का वर्णन करने का तरीका टीम की प्रतिक्रिया को कैसे प्रभावित करता है?यदि कोई कार्यकर्ता एक औपचारिक "आधिकारिक आईडी" का उपयोग करता है, तो क्या समीक्षक इसे तेजी से विश्वास करते हैं और परिवर्तन को जल्दी मर्ज कर देते हैं?
यदि कोई "अनौपचारिक चेतावनी" का उपयोग करता है, तो क्या इससे लंबी बहस, अधिक प्रश्न, या अस्वीकृति होती है क्योंकि इसे सत्यापित करना कठिन होता है?
- उपमा: क्या निर्माण फोरमैन तुरंत सुनता है जब आप एक बारकोड दिखाते हैं, या क्या वह तब तक इंतजार करवाता है जब तक कि वे इस बात पर बहस करते हैं कि आपके रिसाव का वर्णन सटीक है या नहीं?
4. वे इसे कैसे करेंगे (टूलकिट)
- डेटासेट: वे लोकप्रिय ओपन-सोर्स प्रोजेक्ट्स से 33,000 से अधिक पुल रिक्वेस्ट का एक विशाल संग्रह उपयोग कर रहे हैं। इसमें GitHub Copilot, Devin और Cursor जैसे प्रसिद्ध एआई एजेंटों का काम भी शामिल है।
- पहचान (Detection):
- "आधिकारिक आईडी" के लिए, वे पैटर्न (जैसे "CVE-..." या "GHSA-...") खोजने के लिए एक डिजिटल आवर्धक लेंस (रेगुलर एक्सप्रेशंस) का उपयोग करेंगे।
- "अनौपचारिक चेतावनियों" के लिए, वे सुरक्षा संबंधी कीवर्ड्स (जैसे "insecure," "hack," "bypass") की एक सूची का उपयोग करके प्राकृतिक भाषा की चर्चाओं को खोजेंगे।
- सत्यापन (Verification): चूंकि कंप्यूटर गलतियाँ कर सकते हैं, इसलिए वे निष्कर्षों के एक नमूने की दोबारा जाँच करने के लिए एक स्मार्ट एआई (Gemini) और मानव विशेषज्ञों का उपयोग करेंगे ताकि यह सुनिश्चित हो सके कि "खतरे के संकेत" वास्तविक हैं।
5. सीमाएं (यह अध्ययन आपको क्या नहीं बताएगा)
शोधकर्ता अपनी सीमाओं के प्रति ईमानदार हैं:
- वे केवल लोकप्रिय प्रोजेक्ट्स (जिनके बहुत से "स्टार्स" या अनुयायी हैं) को देख रहे हैं। छोटे, शांत प्रोजेक्ट्स के नियम अलग हो सकते हैं।
- वे केवल GitHub को देख रहे हैं। वे निजी ईमेल, चैट रूम, या अन्य वेबसाइटों की जांच नहीं कर रहे हैं जहाँ सुरक्षा मुद्दों पर चर्चा की जा सकती है।
- वे चर्चा और कोड को देख रहे हैं, लेकिन वे यह गारंटी नहीं दे सकते कि उनका "सेफ्टी स्कैनर" दुनिया के हर संभावित दोष को पकड़ लेगा।
सारांश
संक्षेप में, यह पेपर एक अध्ययन का ब्लूप्रिंट है जो पूछता है: भविष्य के डिजिटल निर्माण स्थल में, मानव, रोबोट और एआई सुरक्षा के बारे में कैसे बात करते हैं? क्या वे औपचारिक कोड का उपयोग करते हैं या साधारण भाषा का? और क्या बात करने का तरीका यह बदल देता है कि उनके सुरक्षा दावों पर विश्वास किया जाता है या उन पर कार्रवाई की जाती है? लक्ष्य यह सुनिश्चित करना है कि हम "अनौपचारिक चेतावनियों" को केवल इसलिए अनदेखा न करें क्योंकि उनके साथ कोई बारकोड जुड़ा हुआ नहीं है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।