← नवीनतम पेपर
🤖 machine learning

Code Roulette: How Prompt Variability Affects LLM Code Generation

यह शोध पत्र कोड जनरेशन में प्रॉम्प्ट विविधताओं के प्रति लार्ज लैंग्वेज मॉडल्स की संवेदनशीलता को मापने के लिए एक प्रोग्रामिंग-टास्क-अग्नोस्टिक मूल्यांकन पाइपलाइन प्रस्तावित करता है, जो व्यापक प्रयोगों और ओपन-सोर्स टूल्स द्वारा समर्थित है।

मूल लेखक: Andrei Paleyes, Radzim Sendyka, Diana Robinson, Christian Cabrera, Neil D. Lawrence

प्रकाशित 2026-03-19
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Andrei Paleyes, Radzim Sendyka, Diana Robinson, Christian Cabrera, Neil D. Lawrence

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही प्रतिभाशाली, लेकिन थोड़े अजीब स्वभाव वाले रोबोट शेफ से एक विशिष्ट व्यंजन बनाने के लिए कह रहे हैं। आप कहते हैं, "मेरे लिए एक स्पाइसी पास्ता बनाओ।" रोबोट एक स्वादिष्ट पास्ता बनाता है।

लेकिन फिर, आप फिर से कोशिश करते हैं। इस बार, आपने गलती से "spicy pasta" (एक टाइपो के साथ) टाइप कर दिया, या आपने "मेक अ हॉट नूडल डिश" (समानार्थी शब्दों का उपयोग करके) कहा, या आपने इसे बदलकर "मुझे एक पास्ता चाहिए जिसमें थोड़ा तीखापन हो" (पैराफ्रेसिंग) कर दिया।

बड़ा सवाल जो यह पेपर पूछता है वह यह है: क्या रोबोट शेफ अभी भी आपके लिए वही पास्ता बनाएगा, या आपके शब्दों में मामूली बदलाव उससे कुछ बिल्कुल अलग बना देंगे? क्या वह सलाद, या सूप, या बिना सॉस वाला पास्ता बना देगा?

यह पेपर, जिसका शीर्षक "कोड रूलेट" (Code Roulette) है, ठीक इसी समस्या की जांच करता है, लेकिन एक रोबोट शेफ के बजाय, यह लार्ज लैंग्वेज मॉडेल्स (LLMs)—जो ChatGPT या Claude जैसे टूल्स के पीछे के AI दिमाग हैं—का परीक्षण करता है जो कंप्यूटर कोड लिखते हैं।

यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. समस्या: "नाज नाजुक" रोबोट

लेखकों ने देखा कि हालांकि AI कोड लिखने में बहुत अच्छा है, लेकिन यह इस बात के प्रति अविश्वसनीय रूप से संवेदनशील हो सकता है कि आप इसे कैसे पूछते हैं।

  • उपमा: AI को एक अत्यधिक संवेदनशील वाद्य यंत्र (musical instrument) की तरह समझें। यदि आप पियानो की कुंजी को थोड़ा बाईं ओर दबाते हैं (एक टाइपो), या नोट के लिए थोड़ा अलग शब्द का उपयोग करते हैं (समानार्थी), तो यंत्र पूरी तरह से अलग गाना बजा सकता है।
  • यह क्यों मायने रखता है: यदि कोई डेवलपर AI से एक लॉगिन सिस्टम बनाने के लिए कहता है, और वे कल इसे थोड़ा अलग तरीके से टाइप करते हैं, तो AI एक अलग लॉगिन सिस्टम बना सकता है। यह सॉफ्टवेयर को अविश्वसनीय, कठिन और रखरखाव के लिए मुश्किल बनाता है।

2. प्रयोग: "कोड रूलेट" का पहिया

इसकी जांच करने के लिए, शोधकर्ताओं ने एक विशेष परीक्षण मशीन (एक इवैल्यूएशन पाइपलाइन) बनाई। उन्होंने AI से केवल एक बार नहीं पूछा; उन्होंने भाषा परिवर्तनों के "रूलेट व्हील" को घुमाया:

  • कीबोर्ड टाइपो: उन्होंने जानबूझकर रैंडम टाइपो (जैसे गलत कुंजी दबाना) जोड़े।
  • समानार्थी (Synonyms): उन्होंने शब्दों को उनके 'कजिन्स' (समानार्थी शब्दों) से बदल दिया (जैसे "fast" को "quick" में बदलना)।
  • पैराफ्रेसिंग (Paraphrasing): उन्होंने वाक्य को पूरी तरह से फिर से लिखा लेकिन वही अर्थ बनाए रखा (जैसे "Sort this list" बन गया "I need these numbers in order")।

इसके बाद उन्होंने चार लोकप्रिय AI मॉडलों (GPT-4o, Claude, Gemini, और Llama) से इन थोड़े बिगड़े हुए प्रॉम्प्ट्स के आधार पर कोड लिखने के लिए कहा।

3. परिणाम: AI ने कैसी प्रतिक्रिया दी

परिणाम एक कार को अलग-अलग इलाकों में चलाने जैसा था:

  • टाइपो एक स्पीड बंप हैं (बुरी खबर): जब शोधकर्ताओं ने टाइपो जोड़े, तो AI का कोड भारी रूप से बदल गया। कुछ छोटी स्पेलिंग की गलतियों ने भी AI को ऐसा कोड बनाने पर मजबूर कर दिया जो मूल से बिल्कुल अलग था। यह वैसा ही है जैसे यदि आपने शेफ को "spicy pasta" कहा और उन्होंने अचानक पिज्जा बनाना शुरू कर दिया क्योंकि वे भ्रमित हो गए।
  • समानार्थी और पैराफ्रेसिंग स्मूथ रोड हैं (अच्छी खबर): जब शोधकर्ताओं ने केवल शब्दों को बदला या वाक्य को फिर से लिखा, तो AI बहुत अधिक स्थिर रहा। वह इरादे को समझ गया, भले ही शब्द बदल गए हों। यह शेफ द्वारा "हॉट नूडल डिश" को समझने जैसा है कि वह अभी भी पास्ता ही है।
  • "पुराना बनाम नया" पहेली:
    • पुरानी समस्याएं: जब उन्होंने AI का परीक्षण प्रसिद्ध, पुरानी कोडिंग समस्याओं (जैसे LeetCode से, जिन्हें AI ने शायद याद कर लिया है) पर किया, तो AI बहुत स्थिर था। इससे कोई फर्क नहीं पड़ता था कि वे कैसे पूछते थे; AI बस वही दोहरा रहा था जो वह पहले से जानता था।
    • नई समस्याएं: जब उन्होंने AI का परीक्षण बिल्कुल नई, अद्वितीय समस्याओं पर किया जिन्हें उसने पहले कभी नहीं देखा था, तो AI बहुत अस्थिर हो गया। प्रॉम्प्ट में छोटे से छोटे बदलाव के कारण कोड में भारी बदलाव आया। यह सुझाव देता है कि नई, रचनात्मक कार्यों के लिए, AI अभी भी एक जुआ (gamble) है।

4. यह आपके लिए क्यों मायने रखता है

आप सोच सकते हैं, "मैं प्रोग्रामर नहीं हूँ, मुझे इससे क्या लेना-देना?"

  • विश्वास (Trust): यदि आप अपने व्यवसाय के लिए कोड लिखने में मदद के लिए AI का उपयोग करते हैं, तो आपको यह जानने की आवश्यकता है कि यदि आप एक ही प्रश्न को दो बार पूछते हैं, तो आपको समान उत्तर मिलता है या नहीं। यदि हर बार प्रश्न को फिर से लिखने पर उत्तर बदल जाता है, तो आप सॉफ्टवेयर पर भरोसा नहीं कर सकते।
  • रखरखाव (Maintenance): कल्पना कीजिए कि डेवलपर्स की एक टीम एक प्रोजेक्ट पर काम कर रही है। यदि एक व्यक्ति AI से एक फंक्शन मांगता है और उसे वर्जन A मिलता है, और दूसरा व्यक्ति उसी चीज़ के लिए (लेकिन अलग शब्दों के साथ) पूछता है और उसे वर्जन B मिलता है, तो कोड एक खिचड़ी बन जाएगा। यह एक घर बनाने जैसा है जहाँ एक टीम लाल ईंटों का उपयोग करती है और दूसरी टीम नीली ईंटों का उपयोग करती है क्योंकि उन्होंने आर्किटेक्ट से थोड़ा अलग सवाल पूछा था।
  • "डेटा कंटैमिनेशन" की चेतावनी: पेपर चेतावनी देता है कि कई AI टेस्ट उन पुरानी समस्याओं का उपयोग कर रहे हैं जिन्हें AI ने पहले ही रट लिया है। यह एक गणित के टेस्ट जैसा है जहाँ शिक्षक ने अनजाने में आपको उत्तर पहले ही दे दिए हों। AI स्मार्ट दिखता है, लेकिन वह केवल रटा हुआ बोल रहा है। लेखकों ने वास्तविक तस्वीर पाने के लिए नई समस्याएं बनाईं कि AI वास्तव में कितना स्मार्ट है।

निष्कर्ष

पेपर निष्कर्ष निकालता है कि AI कोड जनरेशन वर्तमान में "कोड रूलेट" खेल रहा है।

यदि आप एक नौसिखिया या गैर-विशेषज्ञ हैं, तो आपको शायद यह नहीं पता होगा कि AI से कोड मांगने का "परफेक्ट" तरीका क्या है। यदि आप एक छोटी सी गलती करते हैं या इसे अलग तरह से कहते हैं, तो आपको बिल्कुल अलग परिणाम मिल सकता है। लेखक आशा करते हैं कि इस संवेदनशीलता को मापकर, हम बेहतर AI टूल्स बना सकते हैं जो अधिक मजबूत, विश्वसनीय और भरोसेमंद हों—ताकि आप चाहे किसी भी तरह से पूछें, आपको सही कोड मिले।

संक्षेप में: AI शानदार है, लेकिन यह थोड़ा नाजुक भी है। हमें इसे हमारे शब्दों के सटीक स्पेलिंग के बजाय हमारे शब्दों के अर्थ को सुनने के लिए सिखाने की आवश्यकता है, ताकि यह सॉफ्टवेयर बनाने में एक विश्वसनीय साथी बन सके।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.LG →