💻 computer science

Assessing, Exploiting, and Mitigating Syntactic Robustness Failures in LLM-Based Code Generation

यह शोध पत्र इस बात की जांच करता है कि जब प्रॉम्प्ट्स में गणितीय रूप से समान लेकिन सिंटैक्टिक रूप से भिन्न सूत्र होते हैं तो LLM-आधारित कोड जनरेशन में सिंटैक्टिक मजबूती (syntactic robustness) का अभाव क्यों होता है, यह प्रदर्शित करता है कि कैसे हमला रणनीतियाँ (attack strategies) इस विफलता को बढ़ाती हैं, और एक फॉर्मूला रिडक्शन प्री-प्रोसेसिंग तकनीक प्रस्तावित करता है जो मजबूती को 54.05% से बढ़ाकर 74.42% कर देता है।

मूल लेखक: Laboni Sarker, Mara Downing, Achintya Desai, Tevfik Bultan

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Laboni Sarker, Mara Downing, Achintya Desai, Tevfik Bultan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, लेकिन थोड़ी शाब्दिक अर्थ निकालने वाला (literal-minded) रोबोट सहायक है (एक लार्ज लैंग्वेज मॉडल, या LLM), जिसका काम आपके निर्देशों के आधार पर कंप्यूटर कोड लिखना है। आप उसे कहते हैं, "एक ऐसी मशीन बनाओ जो दो संख्याओं को जोड़ सके।"

यदि आप कहते हैं, "2 और 2 जोड़ें," तो वह मशीन बना देता है।
यदि आप कहते हैं, "4 और 0 जोड़ें," तो उसे बिल्कुल वही मशीन बनानी चाहिए, क्योंकि गणितीय रूप से $2+2$ और $4+0$ एक ही है।

यह शोध पत्र एक सरल लेकिन महत्वपूर्ण प्रश्न पूछता है: क्या यह रोबोट समझता है कि ये दोनों निर्देश एक ही हैं, भले ही शब्द और प्रतीक अलग दिखते हों?

लेखक इस अवधारणा को "सिंटैक्टिक रोबस्टनेस" (Syntactic Robustness) कहते हैं। इसे एक व्यक्ति की क्षमता की तरह समझें जो किसी चुटकुले को समझ सके, चाहे वह फुसफुसाकर सुनाया गया हो, चिल्लाकर, या किसी अजीब लहजे में। यदि रोबोट इसलिए टूट जाता है या भ्रमित हो जाता है क्योंकि आपने गणित की शैली (syntax) बदल दी है बिना उसके अर्थ (semantics) को बदले, तो उसमें मजबूती (robustness) की कमी है।

यहाँ उनके निष्कर्षों का रोजमर्रा के उदाहरणों के साथ विवरण दिया गया है:

1. समस्या: रोबोट "मैथ स्पीक" (गणित की भाषा) से भ्रमित हो जाता है

शोधकर्ताओं ने एक गणितीय समस्या को 18 अलग-अलग तरीकों से लिखकर इसका परीक्षण किया जो सभी गणितीय रूप से समान हैं।

मूल: "बल (Force) $F = 9.8 \times a \times b$ है।"
पुनर्लिखित: "बल $F = (9.8 \times a \times b) + 0$ है।" (शून्य जोड़ने से गणित में कुछ नहीं बदलता)।
पुनर्लिखित: "बल $F = (9.8 \times a \times b) \times 1$ है।" (एक से गुणा करने से कुछ नहीं बदलता)।

उन्होंने पाया कि रोबोट (LLMs) रोबस्ट नहीं हैं। जब गणित को फिर से लिखा गया, तो रोबोट अक्सर पूरी तरह से अलग, और कभी-कभी गलत कोड लिखते थे। ऐसा लग रहा था जैसे रोबोट ने सोचा, "ओह, आपने शून्य जोड़ा है? इसका मतलब है कि आपको एक अलग मशीन चाहिए!" भले ही परिणाम वही होना चाहिए था।

2. भ्रम की "दूरी" (Distance of Confusion)

शोधकर्ताओं ने मापा कि रोबोट को तोड़ने के लिए उन्हें गणित को कितना "मोड़ना" पड़ा।

दूरी 0: मूल, साफ-सुथरा गणित। रोबोट ठीक से काम करता है।
दूरी 5: गणित को पांच बार मोड़ा और घुमाया गया है (जैसे, शून्य जोड़ना, एक से गुणा करना, क्रम बदलना)।
परिणाम: जैसे-जैसे "दूरी" बढ़ी, रोबोट का प्रदर्शन गिरता गया। यह एक भूलभुलैया (maze) में रास्ता खोजने जैसा है; आप रास्ते में जितने अधिक मोड़ और घुमाव जोड़ेंगे, रोबोट के भटकने की संभावना उतनी ही अधिक होगी, भले ही मंजिल वही हो।

3. दो प्रकार के कार्य: "अनुवाद" बनाम "तर्क" (Translation vs. Reasoning)

शोधकर्ताओं ने पाया कि रोबोट गणित के दो प्रकार के अनुरोधों को अलग-अलग तरह से संभालते हैं:

अनुवाद प्रॉम्प्ट (Translation Prompts): "यहाँ एक फॉर्मूला है, बस इसे कैलकुलेट करने के लिए कोड लिखें।" (एक अनुवादक की तरह जो वाक्य की नकल करता है)। रोबोट इसमें ठीक थे।
तर्क प्रॉम्प्ट (Reasoning Prompts): "यहाँ एक भौतिकी (physics) की समस्या है; इसे हल करने के चरणों को समझें और कोड लिखें।" (एक छात्र की तरह जो वर्ड प्रॉब्लम हल करता है)। जब गणित को घुमाया गया, तो रोबोट इसमें बहुत खराब प्रदर्शन करते थे। वे तर्क (logic) को "सोच" नहीं पाते थे यदि गणित अजीब दिखता था।

4. हमला: रोबोट को जानबूझकर तोड़ना

शोधकर्ताओं ने यह देखने के लिए कि रोबोट को कितनी आसानी से तोड़ा जा सकता है, हैकर्स की तरह व्यवहार किया। उन्होंने तीन रणनीतियाँ अपनाईं:

रैंडम ट्विस्टिंग (Random Twisting): गणित को बेतरतीब ढंग से बदलना।
स्मार्ट ट्विस्टिंग (Smart Twisting): एक "चीट शीट" का उपयोग करना ताकि उन विशिष्ट बदलावों को खोजा जा सके जो रोबोट को सबसे ज्यादा भ्रमित करते हैं।
परिणाम: उन्होंने पाया कि केवल कुछ चतुर बदलावों (जैसे अनावश्यक शून्य जोड़ना या पदों को बदलना) के साथ, वे लगभग हर बार रोबोट को विफल कर सकते थे। यह उस विशिष्ट शब्द को खोजने जैसा है जो एक अनुवादक को सुन्न कर देता है।

5. समाधान: "प्री-प्रोसेसिंग" (सरलीकृत करना)

चूंकि रोबोट जटिल दिखने वाले गणित से भ्रमित हो जाते हैं, इसलिए शोधकर्ताओं ने एक समाधान प्रस्तावित किया: रोबोट को जटिल गणित न दें; पहले इसे साफ करें।

उन्होंने एक "प्री-प्रोसेसर" (एक फ़िल्टर) बनाया जो आपके और रोबोट के बीच बैठता है।

आप: "कैलकुलेट करें $F = (9.8 \times a \times b) + 0 - 0$ ।"
प्री-प्रोसेसर: "मैं देख रहा हूँ कि आपने शून्य जोड़ा और घटाया है। मैं इसे हटा दूँगा। यहाँ साफ संस्करण है: $F = 9.8 \times a \times b$ ।"
रोबोट: साफ गणित प्राप्त करता है और सही कोड लिखता है।

परिणाम: गणित को रोबोट को देने से पहले उसे "साफ" करने के इस सरल चरण ने इसकी सफलता दर को 54% से बढ़ाकर 74% कर दिया। यह एक भ्रमित छात्र को परीक्षा से पहले एक सरल अध्ययन गाइड देने जैसा है; वे बहुत बेहतर प्रदर्शन करते हैं।

सारांश

शोध पत्र निष्कर्ष निकालता है कि हालांकि AI कोड जनरेटर शक्तिशाली हैं, लेकिन वे गणित के मामले में नाजुक (fragile) हैं। वे गणित को लिखने के तरीके में होने वाले सरल, हानिरहित बदलावों से भी लड़खड़ा जाते हैं। हालाँकि, यदि हम गणित को सरल बनाने के लिए एक साधारण "क्लीनिंग" चरण जोड़ते हैं, तो हम उन्हें बहुत अधिक विश्वसनीय बना सकते हैं।

यह शोध पत्र क्या दावा नहीं करता है:

यह दावा नहीं करता कि यह सभी प्रकार के AI के लिए काम करता है (केवल कोड जनरेशन के साथ गणित के लिए)।
यह दावा नहीं करता कि यह नई चीजें सीखने की रोबोट की क्षमता को ठीक करता है (यह केवल एक प्री-फ़िल्टर है)।
यह दावा नहीं करता कि यह सभी AI कमजोरियों के लिए एक स्थायी समाधान है, केवल गणित के संबंध में एक विशिष्ट कमजोरी के लिए है।

तकनीकी सारांश: LLM-आधारित कोड जनरेशन में सिंटैक्टिक रोबस्टनेस विफलताओं का आकलन, शोषण और शमन

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग कोड जनरेशन के लिए, विशेष रूप से वैज्ञानिक कंप्यूटिंग और गणितीय तर्क (mathematical reasoning) वाले डोमेन में तेजी से किया जा रहा है। एक महत्वपूर्ण विश्वसनीयता संबंधी चिंता तब उत्पन्न होती है जब LLMs को गणितीय सूत्रों वाले प्रॉम्प्ट के आधार पर कोड जनरेट करने का कार्य दिया जाता है। जबकि दो सूत्र अर्थपूर्ण रूप से समान हो सकते हैं (जैसे, $a \times x + b = 0$ और $a \times x + a + b = a$ ), वे सिंटैक्टिक रूप से भिन्न होते हैं। यह शोध पत्र प्रतिपादित करता है कि एक रोबस्ट LLM-आधारित कोड जनरेटर को इन सिंटैक्टिक विविधताओं के बावजूद अर्थपूर्ण रूप से समान कोड उत्पन्न करना चाहिए। हालांकि, लेखक देखते हैं कि वर्तमान अत्याधुनिक मॉडल अक्सर इस निरंतरता को बनाए रखने में विफल रहते हैं, और अर्थपूर्ण रूप से समान लेकिन सिंटैक्टिक रूप से भिन्न सूत्रों के लिए अलग या गलत कोड उत्पन्न करते हैं। यह सिंटैक्टिक रोबस्टनेस (syntactic robustness) की कमी स्वचालित कोड जनरेशन पाइपलाइनों के लिए जोखिम पैदा करती है, विशेष रूप से जब इनपुट प्राकृतिक विविधताओं या प्रतिकूल हेरफेर (adversarial manipulations) के अधीन होते हैं।

कार्यप्रणाली

सिंटैक्टिक रोबस्टनेस की औपचारिक परिभाषा

लेखक सिंटैक्टिक रोबस्टनेस को इस डिग्री के रूप में औपचारिक रूप देते हैं कि एक LLM-आधारित कोड जनरेटर ( $G$ ), अर्थपूर्ण रूप से समान लेकिन सिंटैक्टिक रूप से भिन्न प्रॉम्प्ट ( $P$ ) के लिए अर्थपूर्ण रूप से समान प्रोग्राम ( $C$ ) कैसे उत्पन्न करता है।

प्रॉम्प्ट संरचना: एक प्रॉम्प्ट $P$ को एक टुपल $\langle T, F \rangle$ के रूप में परिभाषित किया गया है, जहाँ $T$ अंग्रेजी टेक्स्ट है और $F$ एक गणितीय सूत्र है।
तुल्यता (Equivalence): दो सूत्र $F_1$ और $F_2$ अर्थपूर्ण रूप से समान ( $[[F_1]] \equiv [[F_2]]$ ) हैं यदि वे समान वैल्यूएशन के तहत समान मान का मूल्यांकन करते हैं। दो प्रोग्राम समान हैं यदि वे सभी इनपुट्स के लिए समान आउटपुट देते हैं।
मीट्रिक: सिंटैक्टिक रोबस्टनेस को उन सूत्रों के प्रतिशत के रूप में मापा जाता है जिनके सिंटैक्टिक रूपांतरणों के लिए LLM एक संदर्भ समाधान (reference solution) के समान कोड उत्पन्न करता है।

प्रयोगात्मक डिजाइन

डेटासेट निर्माण: अध्ययन में विविध स्रोतों जैसे क्लोवर (Clover) डेटासेट (औपचारिक विनिर्देश), हैकररैंक (HackerRank), मैथ (MATH), और मैट (MaTT) से 52 प्रॉम्प्ट का उपयोग किया गया है। प्रॉम्प्ट्स को वर्गीकृत किया गया है:
- रीजनिंग प्रॉम्प्ट्स (Reasoning Prompts): इनके लिए कोड प्राप्त करने हेतु गणितीय हेरफेर (जैसे, इंटीग्रेशन) की आवश्यकता होती है।
- ट्रांसलेशन प्रॉम्प्ट्स (Translation Prompts): इनके लिए दिए गए सूत्र का सीधे कोड में अनुवाद करने की आवश्यकता होती है।
सिंटैक्टिक म्यूटेशन (Syntactic Mutations): लेखक गणितीय सूत्रों के लिए एक कॉन्टेक्स्ट-फ्री ग्रामर को परिभाषित करते हैं और समीकरणों के लिए 18 और एक्सप्रेशंस के लिए 12 म्यूटेशन प्रकार पेश करते हैं। ये म्यूटेशन (जैसे, कम्यूटेटिव एडिशन, जीरो जोड़ना, वेरिएबल रीनेमिंग) अर्थ को सुरक्षित रखते हैं लेकिन सिंटैक्स को बदल देते हैं। वे "सिंटैक्टिक डिस्टेंस" 5 (म्यूटेशन स्टेप्स की संख्या) तक के रूपांतरण उत्पन्न करते हैं।
मूल्यांकन पाइपलाइन:
- जेनरेशन: LLMs मूल और म्यूटेटेड प्रॉम्प्ट्स के लिए कोड जनरेट करते हैं।
- वेरिफिकेशन: जनरेट किए गए कोड को कंपाइल किया जाता है और 100 रैंडम इनपुट्स का उपयोग करके डिफरेंशियल टेस्टिंग के माध्यम से संदर्भ समाधानों के विरुद्ध परीक्षण किया जाता है। फ्लोटिंग-पॉइंट तुलना राउंडिंग एरर्स को ध्यान में रखते हुए एक एप्सिलॉन थ्रेशोल्ड का उपयोग करती है।
- मूल्यांकित मॉडल्स: GPT-3.5, GPT-4o, Llama-3.1-70B, CodeLlama, और रीजनिंग-एन्हांस्ड वेरिएंट्स (Chain-of-Thought, Deeply Understanding Problems) का मूल्यांकन किया गया।

अटैक स्ट्रैटेजीज (Attack Strategies)

शोध पत्र ब्लैक-बॉक्स अटैक स्ट्रैटेजीज का प्रस्ताव करता है जो मॉडल के रोबस्टनेस स्कोर को कम करने के लिए म्यूटेशन लागू करके सिंटैक्टिक रोबस्टनेस विफलताओं का शोषण करते हैं:

NaiveUniform: म्यूटेशन का रैंडम चयन।
Uniform: एक विशिष्ट सिंटैक्टिक डिस्टेंस सुनिश्चित करने वाला रैंडम चयन।
Weighted: प्रोफाइलिंग से प्राप्त म्यूटेशन इम्पैक्ट स्कोर के आधार पर संभाव्यता आधारित चयन।
Top-K: सबसे अधिक हानिकारक पहचाने गए शीर्ष 50% म्यूटेशनों में से चयन।

शमन रणनीति (Mitigation Strategy)

इन विफलताओं का मुकाबला करने के लिए, लेखक फॉर्मूला रिडक्शन (formula reduction) से जुड़े एक प्री-प्रोसेसिंग स्टेप का प्रस्ताव करते हैं। यह तकनीक प्रॉम्प्ट में मौजूद गणितीय सूत्र को सरल बनाने के लिए रिडक्शन रूल्स (जैसे, अनावश्यक जोड़/घटाव को हटाना, समीकरण के एक पक्ष को दूसरे पक्ष में ले जाना) लागू करती है। परिकल्पना यह है कि छोटे, सरल सूत्र LLMs के लिए सही ढंग से प्रोसेस करना आसान होता है।

मुख्य परिणाम

1. सिंटैक्टिक रोबस्टनेस का अभाव (RQ1)

अत्याधुनिक LLMs सिंटैक्टिक रूप से रोबस्ट नहीं हैं। जैसे-जैसे सिंटैक्टिक डिस्टेंस (म्यूटेशन की संख्या) बढ़ता है, सभी मॉडल्स के लिए रोबस्टनेस डिग्री लगातार घटती जाती है।

GPT-4o+CoT ने 87.4% की औसत रोबस्टनेस के साथ सर्वश्रेष्ठ प्रदर्शन किया, इसके बाद GPT-4o 83.87% पर रहा।
सर्वश्रेष्ठ मॉडल्स ने भी म्यूटेशन बढ़ने के साथ प्रदर्शन में गिरावट दिखाई, जहाँ GPT-3.5 में महत्वपूर्ण गिरावट (-9.52% प्रति डिस्टेंस स्टेप) देखी गई।

2. रीजनिंग बनाम ट्रांसलेशन (RQ2)

प्रॉम्प्ट प्रकार के आधार पर रोबस्टनेस में महत्वपूर्ण अंतर है:

ट्रांसलेशन प्रॉम्प्ट्स (डायरेक्ट फॉर्मूला-टू-कोड) ने उच्च रोबस्टनेस (~83.80%) प्रदर्शित की।
रीजनिंग प्रॉम्प्ट्स (गणितीय व्युत्पत्ति की आवश्यकता वाले) ने काफी कम रोबस्टनेस (~42.86%) दिखाई।
ट्रांसलेशन प्रॉम्प्ट्स की तुलना में रीजनिंग प्रॉम्प्ट्स में सिंटैक्टिक डिस्टेंस बढ़ने के साथ रोबस्टनेस में अधिक तीव्र गिरावट आई।

3. हमलों की प्रभावशीलता (RQ3)

प्रस्तावित अटैक स्ट्रैटेजीज सिंटैक्टिक रोबस्टनेस को प्रभावी ढंग से कम करती हैं।

Top-K और Weighted हमले सबसे प्रभावी थे।
Top-K स्ट्रैजी का उपयोग करते हुए, रीजनिंग प्रॉम्प्ट्स पर GPT-3.5 की सिंटैक्टिक रोबस्टनेस डिस्टेंस 5 पर गिरकर 14.64% रह गई।
Top-K हमलों को लक्षित निम्न रोबस्टनेस स्तर प्राप्त करने के लिए अन्य रणनीतियों की तुलना में कम म्यूटेशन की आवश्यकता पड़ी (जैसे, रोबस्टनेस को 10% तक कम करने के लिए Top-K के साथ केवल 3 म्यूटेशन की आवश्यकता थी, जबकि Weighted के साथ 5 की)।

4. रिडक्शन के माध्यम से शमन (RQ4)

फॉर्मूला रिडक्शन प्री-प्रोसेसिंग स्टेप ने रोबस्टनेस में काफी सुधार किया।

म्यूटेटेड प्रॉम्प्ट्स पर रिडक्शन लागू करने से मॉडल्स में औसतन 20.37% की वृद्धि हुई।
GPT-4o+CoT के लिए, रिडक्शन ने मूल (अनम्यूटेड) प्रॉम्प्ट्स की तुलना में भी 0.6% का सुधार किया।
इस तकनीक ने Top-K हमलों के प्रभाव को सफलतापूर्वक कम किया, जिससे रोबस्टनेस स्तर मूल प्रॉम्प्ट्स के करीब पहुँच गया।

महत्व और दावे

यह शोध पत्र दावा करता है कि यह गणितीय सूत्रों से संबंधित LLM-आधारित कोड जनरेशन के लिए सिंटैक्टिक रोबस्टनेस को औपचारिक रूप से परिभाषित करने और व्यवस्थित रूप से मूल्यांकन करने वाला पहला अध्ययन है। इसका महत्व निम्नलिखित में निहित है:

एक महत्वपूर्ण भेद्यता की पहचान: यह प्रदर्शित करना कि LLMs गणितीय इनपुट्स में सिंटैक्टिक विविधताओं के प्रति अत्यधिक संवेदनशील हैं, विशेष रूप से जब गणितीय तर्क की आवश्यकता होती है।
एडवर्सरियल एक्सपोजर: यह दिखाना कि इन कमजोरियों का उपयोग न्यूनतम प्रॉम्प्ट संशोधनों के साथ कोड जनरेशन विफलताओं को प्रेरित करने के लिए ब्लैक-बॉक्स हमलों के माध्यम से किया जा सकता है।
व्यावहारिक शमन: एक हल्का, मॉडल-एग्नोस्टिक प्री-प्रोसेसिंग तकनीक (फॉर्मूला रिडक्शन) प्रस्तावित करना जो मॉडल रिट्रेनिंग या आर्किटेक्चरल बदलावों की आवश्यकता के बिना विश्वसनीयता को काफी बढ़ाता है।
बेंचमार्किंग: भविष्य के अनुसंधान में रोबस्टनेस का आकलन करने के लिए एक औपचारिक ढांचा, 52 प्रॉम्प्ट का डेटासेट और म्यूटेशन नियम प्रदान करना।

लेखक निष्कर्ष निकालते हैं कि हालांकि LLMs कोड जनरेशन में आशाजनक दिखते हैं, लेकिन गणितीय संदर्भों में उनकी सिंटैक्टिक रोबस्टनेस की कमी को क्रिटिकल या ऑटोमेटेड पाइपलाइन्स में तैनाती से पहले फॉर्मूला रिडक्शन जैसे शमन रणनीतियों के उपयोग की आवश्यकता है।