💻 computer science

Extracting Recurring Vulnerabilities from Black-Box LLM-Generated Software

यह शोध पत्र FSTab प्रस्तुत करता है, जो एक ऐसा ढांचा है जो यह प्रदर्शित करता है कि कैसे LLM-जनित सॉफ़्टवेयर फ्रंटएंड विशेषताओं पर आधारित ब्लैक-बॉक्स हमलों को सक्षम करके पूर्वानुमानित, आवर्ती कमजोरियों को प्रदर्शित करता है और विभिन्न डोमेन एवं मॉडल विविधताओं में इन दोषों की निरंतरता को परिमाणित करता है।

मूल लेखक: Tomer Kordonsky, Maayan Yamin, Noam Benzimra, Amit LeVi, Avi Mendelson

प्रकाशित 2026-03-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tomer Kordonsky, Maayan Yamin, Noam Benzimra, Amit LeVi, Avi Mendelson

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Extracting Recurring Vulnerabilities from Black-Box LLM-Generated Software" नामक शोध पत्र का सरल भाषा और रचनात्मक उपमाओं के साथ अनुवाद दिया गया है।

मुख्य विचार: AI कोडर्स की "बुरी आदत"

कल्पना कीजिए कि आपने एक बहुत ही प्रतिभाशाली, सुपर-फास्ट शेफ (AI) को एक रेस्टोरेंट के लिए हजारों अलग-अलग व्यंजन बनाने के लिए काम पर रखा है। वह शेफ गति और रचनात्मकता में अद्भुत है, लेकिन उसकी एक अजीब सी आदत है: जब भी वह प्याज काटता है, तो वह हमेशा एक ही तरह की थोड़ी खतरनाक चाकू तकनीक का उपयोग करता है, चाहे वह कोई भी डिश बना रहा हो।

यदि आप केवल तैयार प्लेट (वेबसाइट का सामने का हिस्सा) को देखते हैं, तो आपको एक सुंदर सलाद दिखाई देता है। आपको चाकू नहीं दिखता। लेकिन यदि आप जानते हैं कि वह सलाद किस शेफ ने बनाया है, तो आप पूरी निश्चितता के साथ अनुमान लगा सकते हैं कि सलाद को उसी खतरनाक तकनीक से काटा गया था, भले ही आपने कभी रसोई नहीं देखी हो।

यह पेपर FSTab (Feature–Security Table) नामक एक टूल पेश करता है जो सॉफ्टवेयर के लिए बिल्कुल यही करता है। यह साबित करता है कि जब AI मॉडल कोड लिखते हैं, तो वे केवल रैंडम गलतियाँ नहीं करते। वे बार-बार दोहराई जाने वाली पूर्वानुमेय बुरी आदतें (predictable bad habits) विकसित कर लेते हैं।

समस्या: "ब्लैक बॉक्स" किचन

आमतौर पर, जब सुरक्षा विशेषज्ञ सॉफ्टवेयर की जाँच करते हैं, तो उन्हें बग खोजने के लिए कोड (रसोई) के अंदर देखने की आवश्यकता होती है। यह रसोई में जाकर चाकू चेक करने के लिए मास्टर की (master key) की आवश्यकता होने जैसा है।

लेकिन वास्तविक दुनिया में, कई कंपनियाँ सॉफ्टवेयर बनाने के लिए AI का उपयोग करती हैं, और वे अक्सर आपको सोर्स कोड (रेसिपी बुक) नहीं देती हैं। आप केवल वेबसाइट या ऐप (तैयार भोजन) देखते हैं। इसे "ब्लैक बॉक्स" कहा जाता है।

शोधकर्ताओं ने पूछा: यदि हम कोड नहीं देख सकते, तो क्या हम केवल ऐप के व्यवहार को देखकर यह अनुमान लगा सकते हैं कि सुरक्षा संबंधी खामियाँ कहाँ हैं?

समाधान: "चीट शीट" (FSTab)

शोधकर्ताओं ने एक "चीट शीट" बनाई जिसे FSTab कहा जाता है। यह कैसे काम करता है, यहाँ चरण-दर-चरण दिया गया है:

1. ट्रेनिंग चरण (शेफ की आदतों को सीखना)

सबसे पहले, शोधकर्ताओं ने एक AI को 1,000 अलग-अलग वेबसाइटें (जैसे बेकरी, बैंक, सोशल मीडिया साइट) लिखने के लिए कहा। फिर उन्होंने कोड को देखा कि AI ने कहाँ गलती की।

खोज: उन्होंने पाया कि जब भी AI को "लॉगिन पेज" बनाने के लिए कहा गया, तो वह लगभग हमेशा दरवाजे पर ताला लगाना भूल गया। जब भी इसने "फ़ाइल अपलोड" बनाया, तो इसने लगभग हमेशा एक खिड़की खुली छोड़ दी।
पैटर्न: AI रैंडम गलतियाँ नहीं कर रहा था। वह हर विशिष्ट फीचर के लिए एक विशिष्ट, त्रुटिपूर्ण टेम्पलेट का पालन कर रहा था।

2. अटैक चरण (चीट शीट का उपयोग करना)

अब, कल्पना कीजिए कि एक हैकर एक नई वेबसाइट को तोड़ने की कोशिश कर रहा है। उसके पास सोर्स कोड नहीं है।

चरण 1: वह वेबसाइट के फ्रंट पेज को देखता है। उसे एक "लॉगिन" बटन और एक "सर्च" बार दिखाई देता है।
चरण 2: वह उस विशिष्ट AI मॉडल (जैसे "GPT-5.2") के लिए चीट शीट (FSTab) की जाँच करता है जिसने साइट बनाई है।
चरण 3: चीट शीट कहती है: "यदि आप GPT-5.2 साइट पर लॉगिन बटन देखते हैं, तो 90% संभावना है कि बैकएंड में एक विशिष्ट प्रकार की सुरक्षा खामी है।"
परिणाम: हैकर को पता चल जाता है कि बिना कोड देखे उसे कहाँ प्रहार करना है।

AI की गलतियों के चार "फिंगरप्रिंट्स"

यह पेपर चार रचनात्मक अवधारणाओं का उपयोग करके मापता है कि ये बुरी आदतें कितनी जिद्दी हैं:

फीचर रिकरेंस (Feature Recurrence - "वही गाना, अलग बोल"):
क्या AI हर बार "लॉगिन" फीचर बनाते समय एक ही गलती करता है, भले ही बाकी कोड अलग दिखता हो? हाँ। यह एक ऐसे गायक की तरह है जो हर गाने में, चाहे वह कोई भी गाना गा रहा हो, एक ही गलत नोट लगाता है।
रीफ्रेसिंग पर्सिस्टेंस (Rephrasing Persistence - "जिद्दी शेफ"):
यदि आप AI से "लॉगिन बनाएँ" बनाम "साइन-इन पेज बनाएँ" बनाम "यूजर एंट्री सिस्टम बनाएँ" कहते हैं, तो क्या वह अभी भी वही गलती करता है? हाँ। AI अपने तरीकों में इतना अड़ा हुआ है कि आपके द्वारा उपयोग किए जाने वाले शब्दों को बदलने से उसके द्वारा लिखे गए खराब कोड में कोई बदलाव नहीं आता।
डोमेन रिकरेंस (Domain Recurrence - "स्पेशलिटी शॉप"):
क्या AI "बैंकिंग ऐप" में वही गलतियाँ करता है जो वह "ब्लॉग" में करता है? कभी-कभी। उसके पास विशिष्ट कार्यों (जैसे पैसे का लेनदेन) के लिए विशिष्ट बुरी आदतें हैं, लेकिन ब्लॉग लिखते समय वह अधिक सुरक्षित हो सकता है।
क्रॉस-डोमेन ट्रांसफर (Cross-Domain Transfer - "सार्वभौमिक बुरी आदत"):
यह सबसे डरावना हिस्सा है। शोधकर्ताओं ने पाया कि यदि उन्होंने एक "ब्लॉग" से AI की बुरी आदतों को सीखा, तो वे बाद में उसके द्वारा बनाए गए "बैंकिंग ऐप" को हैक करने के लिए उस ज्ञान का उपयोग कर सकते हैं। AI की बुरी आदतें उसके दिमाग में इतनी गहरी हैं कि वे पूरी तरह से अलग तरह के सॉफ्टवेयर में भी यात्रा करती हैं।

परिणाम: "यूनिवर्सैलिटी गैप" (The Universality Gap)

अध्ययन ने शीर्ष AI मॉडलों (जैसे GPT-5.2, Claude, और Gemini) का परीक्षण किया। उन्होंने कुछ चौंकाने वाला पाया:

AI मानव से अधिक पूर्वानुमानित (predictable) है। एक मानव प्रोग्रामर शायद एक बार गलती करे और उससे सीखे। हालाँकि, AI में एक "हार्डवायर्ड" दोष प्रतीत होता है।
उच्च सफलता दर: अपनी चीट शीट का उपयोग करके, शोधकर्ता उस विशिष्ट सॉफ्टवेयर को देखे बिना भी सुरक्षा खामियों की 94% सटीकता के साथ भविष्यवाणी कर सके।

यह क्यों महत्वपूर्ण है (निष्कर्ष)

AI-जनरेटेड सॉफ्टवेयर को एक मास-प्रोडक्टेड खिलौने की तरह समझें। यदि एक खिलौना फैक्ट्री के सांचे (mold) में कोई दोष है, तो उस लाइन से आने वाला प्रत्येक खिलौना उसी दोष के साथ आएगा। आपको प्रत्येक खिलौने का अलग से निरीक्षण करने की आवश्यकता नहीं है; आपको बस यह जानने की आवश्यकता है कि किस सांचे का उपयोग किया गया था।

यह पेपर चेतावनी देता है:

AI केवल "रैंडमली" बुरा नहीं है। इसमें विशिष्ट, दोहराने योग्य सुरक्षा खामियाँ हैं।
हम इन खामियों का अनुमान लगा सकते हैं। किसी ऐप के बाहर को देखकर ही, हम अनुमान लगा सकते हैं कि अंदर क्या टूटा हुआ है, यदि हमें पता हो कि किस AI ने इसे बनाया है।
हमें नए बचावों की आवश्यकता है। हम केवल कोड लिखने के बाद उसकी जाँच करने पर निर्भर नहीं रह सकते। हमें "सांचों" (AI मॉडल्स) को ही ठीक करने की आवश्यकता है ताकि वे हर सॉफ्टवेयर के साथ इन खतरनाक पैटर्न को बनाना बंद कर सकें।

संक्षेप में: यह पेपर दिखाता है कि AI कोडर्स में गलतियाँ करने की "मसल मेमोरी" होती है, और अब हम उस ज्ञान का उपयोग करके कोड देखे बिना सॉफ्टवेयर के कमजोर बिंदुओं को ढूंढ सकते हैं।

यहाँ शोध पत्र "Extracting Recurring Vulnerabilities from Black-Box LLM-Generated Software" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग ऑटोमेटेड कोड जनरेशन के लिए तेजी से किया जा रहा है, फिर भी उनके आउटपुट में अक्सर सुरक्षा संबंधी कमजोरियां (vulnerabilities) होती हैं। जबकि मौजूदा शोध व्यक्तिगत कोड स्निपेट्स में कमजोरियों का पता लगाने (post-hoc defense) पर ध्यान केंद्रित करता है, यह एक महत्वपूर्ण कमी को संबोधित करने में विफल रहता है: वल्नेरेबिलिटी पर्सिस्टेंस (vulnerability persistence)।

लेखक यह परिकल्पना करते हैं कि चूंकि LLMs सीमित कैनोनिकल टेम्पलेट्स के सेट के प्रोबेबिलिस्टिक सैंपलिंग पर निर्भर करते हैं, इसलिए वे विभिन्न प्रोग्रामों, प्रॉम्प्ट्स और एप्लिकेशन डोमेन में एक ही असुरक्षित डिज़ाइन चॉइस को दोहराने की प्रवृत्ति रखते हैं। यह एक अनुमानित "अटैक सरफेस" बनाता है जहाँ एक हमलावर केवल तैनात एप्लिकेशन के फ्रंटएंड फीचर्स को देखकर, सोर्स कोड तक पहुँच प्राप्त किए बिना, छिपे हुए बैकएंड वल्नेरेबिलिटीज़ का अनुमान लगा सकता है। वर्तमान ब्लैक-बॉक्स सुरक्षा मूल्यांकन में उन क्रॉस-प्रोग्राम रेगुलैरिटीज को मॉडल करने की क्षमता का अभाव है जो जनरेटिंग मॉडल द्वारा प्रेरित होती हैं।

2. कार्यप्रणाली: फीचर–सिक्योरिटी टेबल (FSTab)

इस शोध का मुख्य योगदान FSTab है, एक फ्रेमवर्क जिसे LLM-जनरेटेड कोड में कमजोरियों की पुनरावृत्ति (recurrence) का लाभ उठाने के लिए डिज़ाइन किया गया है। यह दो मोड में कार्य करता है: एक ब्लैक-बॉक्स अटैक के रूप में और एक मॉडल-सेंट्रिक इवैल्यूएशन फ्रेमवर्क के रूप में।

A. अटैक मैकेनिज्म (ब्लैक-बॉक्स)

FSTab एक प्रोबेबिलिस्टिक लुकअप टेबल के रूप में कार्य करता है जो अवलोकनीय फ्रंटएंड फीचर्स (जैसे, "User Login," "File Upload") को लेटेंट बैकएंड वल्नेरेबिलिटीज़ (जैसे, SQL Injection, Missing Rate Limiting) से मैप करता है।

टोही (Reconnaissance): एक हमलावर तैनात UI के साथ इंटरैक्ट करके दृश्यमान फीचर्स की पहचान करता है।
मैपिंग (Mapping): इन फीचर्स को एक मानकीकृत स्कीमा में मैप किया जाता है।
क्वेरीइंग (Querying): सोर्स LLM की ज्ञात पहचान (जैसे, GPT-5.2, Claude-4.5) का उपयोग करते हुए, हमलावर उन विशिष्ट फीचर्स से जुड़े शीर्ष-k सबसे संभावित बैकएंड वल्नेरेबिलिटीज़ को प्राप्त करने के लिए उस विशिष्ट FSTab को क्वेरी करता है।
लक्ष्य: सोर्स कोड तक पहुँच के बिना बैकएंड सुरक्षा खामियों का अनुमान लगाना।

B. निर्माण और प्रशिक्षण (Construction & Training)

FSTab को एक लक्षित LLM का उपयोग करके एप्लिकेशन्स का एक बड़ा कॉर्पस जनरेट करके और उन्हें स्टैटिक एनालिसिस टूल्स (CodeQL, Semgrep) के साथ लेबल करके बनाया गया है।

स्कोरिंग मेट्रिक: साधारण फ्रीक्वेंसी काउंट के बजाय, लेखक एक फीचर $f$ और एक वल्नेरेबिलिटी रूल $r$ के बीच एसोसिएशन को स्कोर करने के लिए पॉइंटवाइज म्यूचुअल इंफॉर्मेशन (PMI) का उपयोग करते हैं। यह मॉडल-विशिष्ट पैटर्न को जेनेरिक कोडिंग एरर्स से अलग करता है।
$S_{PMI}(f, r) = \log \frac{\hat{P}(r|f)}{\hat{P}(r)}$
डाइवर्सिटी सिलेक्शन: प्रत्येक फीचर के लिए शीर्ष- $k$ नियमों को चुनने के लिए एक डाइवर्सिटी पेनल्टी ( $\lambda$ ) के साथ एक ग्रीडी एल्गोरिदम का उपयोग किया जाता है, जो "सुपर-नोड्स" (सामान्य नियम जो सभी फीचर्स के तहत दिखाई देते हैं) को रोकता है और यह सुनिश्चित करता है कि टेबल डिस्क्रिमिनेटिव मैपिंग को कैप्चर करे।

C. मूल्यांकन मेट्रिक्स (Evaluation Metrics)

इन कमजोरियों की स्थिरता को मापने के लिए, पेपर चार मेट्रिक्स पेश करता है:

फीचर वल्नेरेबिलिटी रिकरेंस (FVR): यह मापता है कि कितनी बार एक विशिष्ट फीचर विभिन्न प्रोग्रामों में एक ही वल्नेरेबिलिटी को ट्रिगर करता है।
रीफ्रेसिंग वल्नेरेबिलिटी पर्सिस्टेंस (RVP): यह मापता है कि क्या समान कार्य को अलग-अलग प्रॉम्प्ट्स (सिमेंटिक रीफ्रेसिंग) के साथ वर्णित करने पर भी वल्नेरेबिलिटी बनी रहती है।
डोमेन वल्नेरेबिलिटी रिकरेंस (DVR): एक ही एप्लिकेशन डोमेन (जैसे, E-commerce) के भीतर पुनरावृत्ति को मापता है।
क्रॉस-डोमेन ट्रांसफर (CDT): यह मापता है कि क्या एक डोमेन में सीखी गई वल्नेरेबिलिटीज़ पूरी तरह से अलग डोमेन में वल्नेरेबिलिटीज़ की भविष्यवाणी कर सकती हैं (यह "यूनिवर्सलिटी" के फिंगरप्रिंट का परीक्षण करता है)।

3. मुख्य योगदान

यूनिवर्सल ब्लैक-बॉक्स अटैक: FSTab का परिचय, जो एक नया अटैक वेक्टर है जो हमलावरों को केवल फ्रंटएंड फंक्शनैलिटी और मॉडल आइडेंटिटी के आधार पर बैकएंड वल्नेरेबिलिटीज़ को प्राथमिकता देने और अनुमान लगाने की अनुमति देता है।
मॉडल-सेंट्रिक इवैल्यूएशन फ्रेमवर्क: एक कठोर फ्रेमवर्क (FVR, RVP, DVR, CDT) जो यह मापता है और तुलना करता है कि विभिन्न LLMs कितनी निरंतरता के साथ विशिष्ट सुरक्षा कमजोरियों को दोबारा उत्पन्न करते हैं।
एम्पिरिकल कैरेक्टराइजेशन: पांच विविध एप्लिकेशन डोमेन (E-commerce, Internal Tools, Social Media, Blogging, Dashboards) में छह अत्याधुनिक कोड LLMs (GPT-5.2, Claude-4.5 Opus, Gemini-3 Pro, और Grok सहित) का व्यापक विश्लेषण।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने पांच डोमेन में 1,050 LLM-जनरेटेड सॉफ्टवेयर प्रोग्राम्स पर FSTab का मूल्यांकन किया।

अटैक सक्सेस: हमला अत्यधिक प्रभावी है। "Held-out" (अनदेखे) टेस्टिंग में, Composer और Gemini-3 Flash जैसे मॉडल्स ने E-commerce डोमेन में 100% अटैक सक्सेस रेट (ASR) हासिल किया।
क्रॉस-डोमेन ट्रांसफर: परिणाम मजबूत सामान्यीकरण (generalization) दिखाते हैं। भले ही ट्रेनिंग डेटा में लक्षित डोमेन को बाहर रखा गया हो, FSTab ने 94% ASR और 93% वल्नेरेबिलिटी कवरेज (उदाहरण के लिए, Internal Tools पर Claude-4.5 Opus पर) प्राप्त किया।
"यूनिवर्सैलिटी गैप": एक प्रमुख निष्कर्ष यह है कि क्रॉस-डोमेन ट्रांसफर (CDT) स्कोर लगातार डोमेन रिकरेंस (DVR) स्कोर से अधिक होते हैं (औसत अंतर +18.3%)। यह इंगित करता है कि वल्नेरेबिलिटी पैटर्न डोमेन की आवश्यकताओं के बजाय मॉडल के जनरेशन लॉजिक के आंतरिक गुण हैं।
मॉडल स्पेसिफिसिटी:
- Composer ने उच्चतम रीफ्रेसिंग वल्नेरेबिलिटी पर्सिस्टेंस (RVP $\approx$ 50%) दिखाया, जो दर्शाता है कि इसके असुरक्षित पैटर्न गहराई से अंतर्निहित और प्रॉम्प्ट वेरिएशंस के प्रति मजबूत हैं।
- Grok ने सबसे कम RVP (11.96%) दिखाया, जो बताता है कि इसकी वल्नेरेबिलिटीज़ प्रॉम्प्ट वर्डिंग के प्रति अधिक संवेदनशील हैं, फिर भी इसमें उच्च क्रॉस-डोमेन ट्रांसफर प्रदर्शित हुआ।
विशिष्ट फिंगरप्रिंट्स: पेपर विस्तृत "फिंगरप्रिंट" टेबल (Appendix E.4.1) प्रदान करता है, जो दिखाता है कि उदाहरण के तौर पर, GPT-5.2 में "Register New Account" लगातार js/prototype-pollution-utility से मैप होता है, जबकि Grok में "User Login" js/redos और js/clear-text-storage से मैप होता है।

5. महत्व और निहितार्थ (Significance and Implications)

नया अटैक सरफेस: यह पेपर एक पहले से अनछुए अटैक सरफेस को उजागर करता है जहाँ कोड जनरेटर की पहचान और अवलोकनीय UI फीचर्स का संयोजन ही सिस्टम को कॉम्प्रोमाइज करने के लिए पर्याप्त है।
रक्षा रणनीति में बदलाव: पारंपरिक स्टैटिक एनालिसिस कोड को आइसोलेशन में मानता है। यह कार्य मॉडल-सेंट्रिक रिस्क इवैल्यूएशन के लिए तर्क देता है, यह सुझाव देता है कि सुरक्षा ऑडिट को उपयोग किए जा रहे LLM के विशिष्ट "व्यक्तित्व" और आवर्ती पूर्वाग्रहों (biases) को ध्यान में रखना चाहिए।
प्रोएक्टिव मिटिगेशन: निष्कर्षों से पता चलता है कि डेवलपर्स और संगठनों को:
- क्रिटिकल सिक्योरिटी फीचर्स के लिए एक ही LLM पर भरोसा करने से बचना चाहिए।
- उच्च-रिकरेंस वाले फीचर्स के लिए फीचर-कंडीशन्ड रिग्रेशन टेस्ट (जैसे, यदि किसी विशिष्ट मॉडल का उपयोग किया जा रहा है, तो "Login" के लिए विशिष्ट इंजेक्शन पैटर्न के लिए हमेशा परीक्षण करना) लागू करना चाहिए।
- इन पर्सिस्टेंट वल्नेरेबिलिटी लूप्स को तोड़ने के लिए मॉडल ट्रेनिंग में टेम्पलेट रिजिडिटी (rigidity) को कम करना चाहिए।

निष्कर्षतः, यह पेपर प्रदर्शित करता है कि LLM-जनरेटेड सॉफ्टवेयर केवल यादृच्छिक त्रुटियों (random errors) का संग्रह नहीं है, बल्कि एक सिस्टम है जिसमें अनुमानित, मॉडल-विशिष्ट सुरक्षा फिंगरप्रिंट्स होते हैं। यह ब्लैक-बॉक्स सेटिंग्स में व्यवस्थित, बड़े पैमाने पर शोषण (exploitation) की अनुमति देता है, जो मौलिक रूप से बदल देता है कि AI-असिस्टेड डेवलपमेंट के युग में सॉफ्टवेयर सुरक्षा के प्रति कैसे दृष्टिकोण अपनाया जाना चाहिए।