🤖 machine learning

Towards Functional Correctness of Large Code Models with Selective Generation

यह शोध पत्र "FuzzEval" का प्रस्ताव देता है, जो एक ऐसा प्रतिमान (paradigm) है जो गतिशील रूप से जनरेट किए गए यूनिट टेस्ट का लाभ उठाता है ताकि एक चयनात्मक कोड जनरेटर को अनिश्चित आउटपुट देने से बचने में सक्षम बनाया जा सके, जिससे सैद्धांतिक रूप से फॉल्स डिस्कवरी रेट को नियंत्रित किया जा सके और बड़े कोड मॉडल्स की कार्यात्मक शुद्धता में सुधार किया जा सके।

मूल लेखक: Jaewoo Jeong, Taesoo Kim, Sangdon Park

प्रकाशित 2026-06-16

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jaewoo Jeong, Taesoo Kim, Sangdon Park

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही प्रतिभाशाली लेकिन थोड़ा अति-आत्मविश्वासी रोबोट सहायक है जिसका काम आपके लिए कंप्यूटर कोड लिखना है। आप उससे पूछते हैं, "एक नामों की सूची को सॉर्ट करने के लिए एक प्रोग्राम लिखें," और वह खुशी-खुशी एक समाधान निकाल देता है। लेकिन यहाँ एक पेंच है: कभी-कभी, यह रोबोट भ्रमित (hallucinating) हो रहा होता है। यह ऐसा कोड लिखता है जो देखने में तो काम करता हुआ लगता है, लेकिन जब आप वास्तव में इसे चलाते हैं, तो यह क्रैश हो जाता है, गलत उत्तर देता है, या कुछ पूरी तरह से अप्रत्याशित करता है।

सॉफ्टवेयर की दुनिया में, यह खतरनाक है। आप केवल रोबोट पर आँख मूँदकर भरोसा नहीं कर सकते।

यह पेपर इन कोड-लिखने वाले रोबोटों के लिए एक नया "सुरक्षा निरीक्षक" (safety inspector) सिस्टम पेश करता है। यह मान लेने के बजाय कि रोबोट जो भी कोड बनाता है वह सही है, यह सिस्टम एक सख्त गुणवत्ता नियंत्रण प्रबंधक की तरह कार्य करता है जो कहता है, "मैं केवल अच्छे कोड को ही आगे जाने दूँगा; यदि मैं सुनिश्चित नहीं हूँ, तो मैं स्वीकार कर लूँगा कि मुझे नहीं पता।"

यह सिस्टम कैसे काम करता है, इसे सरल अवधारणाओं में विभाजित किया गया है:

1. समस्या: कोड का "ब्लैक बॉक्स" (The Black Box of Code)

आमतौर पर, जब हम यह जाँचते हैं कि कोड का एक टुकड़ा अच्छा है या नहीं, तो हम कुछ पहले से लिखे गए परीक्षणों (जैसे एक चेकलिस्ट) पर भरोसा करते हैं। लेकिन जटिल समस्याओं के लिए, एक चेकलिस्ट छिपे हुए बग्स को छोड़ सकती है। यह एक कार की सुरक्षा की जाँच करने जैसा है जहाँ आप केवल टायरों को देखते हैं और इंजन को अनदेखा कर देते हैं। पेपर का तर्क है कि क्योंकि कोड इतना जटिल और मनुष्यों के पढ़ने के लिए "अप्राकृतिक" है, इसलिए केवल देखकर यह बताना कठिन है कि कोड के दो टुकड़े बिल्कुल एक ही काम करते हैं या नहीं।

2. समाधान: "फज़िंग" मशीन (The Fuzzing Machine)

इस समस्या को हल करने के लिए, लेखक फज़िंग (Fuzzing) नामक एक उपकरण का उपयोग करते हैं। कल्पना कीजिए कि आपके पास एक मशीन है जो एक कोड का हिस्सा लेती है और उस पर लाखों रैंडम, अजीब और चरम इनपुट फेंकती है, सिर्फ यह देखने के लिए कि क्या वह टूट जाता है।

उपमा: इसे एक पुल के स्ट्रेस-टेस्टर के रूप में सोचें। केवल एक कार को उसके ऊपर से चलाने के बजाय, मशीन रैंडम पैटर्न में रेत की बोरियाँ, भारी ट्रक और यहाँ तक कि हाथी भी पुल पर फेंकती है ताकि यह देखा जा सके कि वह टिक पाता है या नहीं।
परिणाम: यह मशीन स्वचालित रूप से हजारों "यूनिट टेस्ट" (कोड की जाँच करने के लिए छोटे परिदृश्य) उत्पन्न करती है जिन्हें रोबोट ने पहले कभी नहीं देखा था।

3. "चयनात्मक जनरेटर": ईमानदार रोबोट (The Selective Generator)

पेपर एक नए तरीके से कोड-लिखने वाले रोबोट का उपयोग करने का प्रस्ताव देता है। वे एक "द्वारपाल" (gatekeeper) चरण जोड़ते हैं।

प्रक्रिया: रोबोट कोड लिखने की कोशिश करता है। फिर, "फज़िंग मशीन" तुरंत हजारों रैंडम परिदृश्यों के विरुद्ध इसका परीक्षण करती है।
निर्णय:
- यदि कोड उच्च विश्वास के साथ परीक्षणों को पास कर लेता है, तो द्वारपाल कहता है, "आगे बढ़ो, यह अच्छा है!" और आपको कोड दे देता है।
- यदि कोड विफल हो जाता है या परीक्षण बहुत अस्पष्ट हैं, तो द्वारपाल कहता है, "मुझे नहीं पता," और आपको कोड देने से मना कर देता है।

इसे चयनात्मक पीढ़ी (Selective Generation) कहा जाता है। रोबोट को गलत उत्तर का अनुमान लगाने और आपको खराब कोड देने के बजाय "मुझे नहीं पता" कहने की अनुमति है।

4. गारंटी: "फॉल्स डिस्कवरी रेट" (The False Discovery Rate)

पेपर का सबसे रोमांचक हिस्सा द्वारपाल के पीछे का गणित है। लेखक केवल यह उम्मीद नहीं करते कि सिस्टम काम करेगा; वे गणितीय रूप से इसे सिद्ध करते हैं।

वे एक नियम निर्धारित करते हैं: "हम यह सुनिश्चित करना चाहते हैं कि जो कोड हम आपको देते हैं, उसमें से 30% (या जो भी संख्या आप चुनें) से कम वास्तव में खराब हो।"
वे इसे फॉल्स डिस्कवरी रेट (FDR) कहते हैं।
सिस्टम को इस तरह डिज़ाइन किया गया है कि भले ही रोबोट बहुत खराब हो, द्वारपाल खराब चीज़ों को इतनी सख्ती से फ़िल्टर करेगा कि प्राप्त होने वाला कोड का अंतिम बैच काफी हद तक सही होगा।

5. FuzzEval: एक बेहतर रिपोर्ट कार्ड

अंत में, लेखक भविष्य में कोड मॉडल को ग्रेड देने के लिए इसी "फज़िंग मशीन" का उपयोग करने का सुझाव देते हैं। केवल यह जाँचने के बजाय कि क्या कोड कुछ मानक परीक्षणों (जैसे 5 प्रश्नों वाली स्कूल परीक्षा) को पास करता है, वे सैकड़ों रैंडम परीक्षण उत्पन्न करने के लिए फज़िंग मशीन का उपयोग करने का प्रस्ताव देते हैं। यह एक कोड-लिखने वाले AI के बारे में बहुत अधिक सटीक और कठोर रिपोर्ट कार्ड देता है। वे इस नई ग्रेडिंग पद्धति को FuzzEval कहते हैं।

सारांश

संक्षेप में, यह पेपर हमें सिखाता है कि AI कोड जनरेटरों के लिए सुरक्षा जाल (safety net) कैसे बनाया जाए। "फज़िंग" (Fuzzing) मशीन का उपयोग करके लाखों परीक्षणों को स्वचालित रूप से बनाने से, हम एक ऐसा सिस्टम बना सकते हैं जो:

आपके पास पहुँचने से पहले खराब कोड को फ़िल्टर कर देता है।
जब वह अनिश्चित होता है, तो गलत उत्तर का अनुमान लगाने के बजाय अज्ञानता स्वीकार करता है ("मुझे नहीं पता")।
गणितीय रूप से गारंटी देता है कि जो कोड आपको मिलता है वह सुरक्षित है।

यह "अनुमान लगाओ और उम्मीद करो" वाले दृष्टिकोण को "परीक्षण करो और सत्यापित करो" वाले दृष्टिकोण में बदल देता है, जिससे वास्तविक दुनिया के उपयोग के लिए AI-जनित कोड बहुत अधिक विश्वसनीय हो जाता है।

तकनीकी सारांश: चयनात्मक पीढ़ी (Selective Generation) के साथ कोड मॉडल्स की कार्यात्मक शुद्धता की ओर

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) ने कोड जनरेशन कार्यों में महत्वपूर्ण प्रदर्शन प्रदर्शित किया है; हालाँकि, उनकी सुरक्षा-महत्वपूर्ण (safety-critical) प्रणालियों में उपयोगिता "कोड मतिभ्रम" (code hallucination) के कारण बाधित है, जहाँ उत्पन्न कोड वांछित कार्यात्मक विशिष्टताओं (functional specifications) को पूरा करने में विफल रहता है। इस समस्या को कम करने में एक महत्वपूर्ण बाधा उत्पन्न कोड की कार्यात्मक शुद्धता की पहचान करने में कठिनाई है। प्राकृतिक भाषा के विपरीत, जहाँ सिमेंटिक एंटेलमेंट (semantic entailment) को मनुष्यों द्वारा एनोटेट किया जा सकता है, कोड में एक जटिल, अप्राकृतिक संरचना होती है जो कार्यात्मक तुल्यता (functional equivalence) के सत्यापन को चुनौतीपूर्ण बनाती है। मौजूदा बेंचमार्क अक्सर मैन्युअल रूप से क्यूरेट किए गए सीमित यूनिट टेस्ट पर निर्भर करते हैं, जो शुद्धता सुनिश्चित करने के लिए पर्याप्त निष्पादन पथों (execution paths) को कवर नहीं कर सकते हैं। इसके अलावा, मतिभ्रम को नियंत्रित करने के तरीके अक्सर फाइन-ट्यूनिंग या रैंकिंग के माध्यम से मॉडल के प्रदर्शन में सुधार करने पर ध्यान केंद्रित करते हैं, जिनमें इन्फरेंस के दौरान गलत आउटपुट की दर को नियंत्रित करने के लिए प्रत्यक्ष, सैद्धांतिक रूप से आधारित तंत्र का अभाव होता है।

कार्यप्रणाली

लेखक चयनात्मक कोड पीढ़ी (Selective Code Generation) के लिए एक फ्रेमवर्क प्रस्तावित करते हैं जो कोड एंटेलमेंट के साथ फॉल्स डिस्कवरी रेट (FDR-CE) मीट्रिक का उपयोग करके मतिभ्रम की दर को सैद्धांतिक रूप से नियंत्रित करता है। यह कार्यप्रणाली तीन मुख्य घटकों से बनी है:

1. $\alpha$ -कोड एंटेलमेंट और फज़िंग (Fuzzing)

कोड के लिए एंटेलमेंट को परिभाषित करने की कठिनाई को दूर करने के लिए, पेपर प्रोग्रामों की निष्पादन योग्य प्रकृति का उपयोग करके कोड के लिए एंटेलमेंट को पुन: परिभाषित करता है।

$\alpha$ -कोड एंटेलमेंट: सटीक समानता की आवश्यकता के बजाय, लेखक एक कोड स्निपेट $\hat{y}$ को एक यूनिट टेस्ट जनरेटर $F(x)$ द्वारा $\alpha$ -एंटेलड तब मानते हैं जब $\hat{y}$ के परीक्षण पास करने की प्रायिकता कम से कम $1-\alpha$ हो। यह कार्यात्मक शुद्धता के लिए एक संभाव्य (probabilistic) माप की अनुमति देता है।
FuzzEval: आवश्यक यूनिट टेस्ट को स्वचालित और कठोरता से उत्पन्न करने के लिए, लेखक फज़िंग (fuzzing) का उपयोग करते हैं, जो एक डायनेमिक कोड विश्लेषण तकनीक है। इनपुट सीड्स को यादृच्छिक रूप से सैंपल और म्यूटेट करके, फज़िंग निष्पादन पथों की एक विस्तृत श्रृंखला का पता लगाता है ताकि इनपुट-आउटपुट जोड़े उत्पन्न किए जा सकें। यह प्रक्रिया, जिसे FuzzEval कहा जाता है, दो उद्देश्यों को पूरा करती है:
- सीखना (Learning): चयनात्मक जनरेटर के प्रशिक्षण के लिए एंटेलमेंट सेट का अनुमान लगाने हेतु यूनिट टेस्ट का एक बड़ा सेट उत्पन्न करना।
- मूल्यांकन (Evaluation): स्थिर, मैन्युअल रूप से क्यूरेट किए गए टेस्ट की तुलना में एक अधिक कठोर मूल्यांकन बेंचमार्क प्रदान करना।

2. चयनात्मक पीढ़ी फ्रेमवर्क (Selective Generation Framework)

यह सिस्टम एक चयनात्मक जनरेटर $\hat{S}(x)$ पेश करता है जो एक बेस कोड जनरेटर $G(x)$ के लिए पोस्ट-प्रोसेसर के रूप में कार्य करता है।

अब्स्टेंशन मैकेनिज्म (Abstention Mechanism): एक दिए गए प्रॉम्प्ट $x$ के लिए, सिस्टम एक स्कोर $f(x, G(x))$ (जैसे, लेंथ-नॉर्मलाइज्ड लॉग-प्रोबेबिलिटी) की गणना करता है। यदि स्कोर कैलिब्रेटेड थ्रेशोल्ड $\tau$ से अधिक है, तो कोड वापस किया जाता है; अन्यथा, सिस्टम रुक जाता है (abstains) (वापस करता है "मुझे नहीं पता" या "I don't know")।
जोखिम नियंत्रण (Risk Control): लक्ष्य यह सुनिश्चित करना है कि चयनित कोड के कार्यात्मक रूप से गलत होने (अर्थात, $\alpha$ -एंटेलड न होने) की प्रायिकता एक वांछित स्तर $\epsilon_S$ से नीचे रहे। इसे FDR-CE को नियंत्रित करने के रूप में औपचारिक रूप दिया गया है:
$R_\alpha(\hat{S}) := P\{ \hat{S}(x) \notin E_\alpha(x) \mid \hat{S}(x) \neq \text{IDK} \}$
जहाँ $E_\alpha(x)$ उन कोड स्निपेट्स का सेट है जो $\alpha$ -एंटेलमेंट स्थिति को संतुष्ट करते हैं।

3. सैद्धांतिक गारंटी और एल्गोरिदम (ASCG)

लेखक ASCG (Selective Code Generation के लिए एल्गोरिदम) लर्निंग एल्गोरिदम का प्रस्ताव करते हैं।

अनुमान (Estimation): चूंकि वास्तविक एंटेलमेंट सेट $E_\alpha$ अज्ञात है, इसलिए एल्गोरिदम एंटेलमेंट सेट $\hat{E}_{\alpha, \epsilon_E}$ का अनुमान लगाने के लिए उत्पन्न यूनिट टेस्ट से प्राप्त लोअर बाइनोमियल टेल बाउंड $\hat{L}$ का उपयोग करता है।
कैलिब्रेशन (Calibration): एक कैलिब्रेशन सेट का उपयोग करते हुए, एल्गोरिदम एक इष्टतम थ्रेशोल्ड $\tau$ की खोज करता है जो चयन दक्षता (selection efficiency) को अधिकतम करने के लिए थ्रेशोल्ड को न्यूनतम करता है, जबकि यह सुनिश्चित करता है कि FDR-CE का ऊपरी स्तर $\epsilon_S$ से अधिक न हो।
गारंटी (Guarantee): थ्योरम 4.3 यह सैद्धांतिक गारंटी प्रदान करता है कि सीखा गया चयनात्मक जनरेटर उच्च प्रायिकता ( $1-\delta_S$ ) के साथ वांछित FDR-CE बाधा को संतुष्ट करता है, भले ही मानव-एनोटेटेड एंटेलमेंट लेबल उपलब्ध न हों।

मुख्य योगदान

कोड के लिए चयनात्मक पीढ़ी: यह पेपर चयनात्मक भविष्यवाणी (जिसे पहले प्राकृतिक भाषा के लिए लागू किया गया था) की अवधारणा को कोड जनरेशन तक विस्तारित करता है, जो अब्स्टेंशन के माध्यम से मतिभ्रम दर को नियंत्रित करने के लिए एक तंत्र पेश करता है।
FuzzEval प्रतिमान (Paradigm): यह चयन फ़ंक्शन को सीखने और कोड की शुद्धता का मूल्यांकन करने, दोनों के लिए यूनिट टेस्ट को स्वचालित रूप से उत्पन्न करने के लिए फज़िंग टूल्स का उपयोग करने का प्रस्ताव करता है, जिससे छोटे, मैन्युअल टेस्ट सूट्स की सीमाओं को दूर किया जा सके।
FDR-CE का सैद्धांतिक नियंत्रण: यह कार्य एक PAC-शैली की गारंटी के साथ एक लर्निंग एल्गोरिदम प्रदान करता है, जो यह सुनिश्चित करता है कि गलत रूप से उत्पन्न कोड की दर (गैर-अब्स्टेन किए गए उत्तरों में से) एक उपयोगकर्ता-निर्धारित पैरामीटर द्वारा सीमित है।
$\alpha$ -कोड एंटेलमेंट परिभाषा: यह कोड की शुद्धता के लिए एक संभाव्य परिभाषा को औपचारिक रूप देता है जो स्वचालित विश्लेषण के अनुकूल है, जो NLP में सिमेंटिक एंटेलमेंट और कोड में कार्यात्मक तुल्यता के बीच के अंतर को पाटता है।

प्रयोगात्मक परिणाम

लेखकों ने विविध सेटअप पर अपने तरीके का मूल्यांकन किया, जिसमें शामिल हैं:

मॉडेल्स: चार कोड जनरेटर्स (GPT-4o, Gemini 1.5 Pro, GPT-4.1, CodeLlama 13B, DeepSeek-R1)।
डेटासेट्स: चार बेंचमार्क (APPS, Mercury, HumanEval, MBPP) जिन्हें स्वचालित रूप से उत्पन्न यूनिट टेस्ट का उपयोग करके "Fuzz" संस्करणों (APPS-f, आदि) में परिवर्तित किया गया है।
भाषाएँ: Python, C++, Java, JavaScript, और Perl।

मुख्य निष्कर्ष:

नियंत्रणीयता (Controllability): प्रस्तावित विधि (SCG) विभिन्न मॉडल्स और डेटासेट्स में FDR-CE को वांछित स्तर ( $\epsilon_S$ ) तक सफलतापूर्वक सीमित करती है, जबकि बेसलाइन मेथड्स (जैसे, SCG-EM, SCG-manual) या तो जोखिम को सीमित करने में विफल रहते हैं या मामूली दक्षता (बहुत अधिक बार रुक जाना) प्रदर्शित करते हैं।
दक्षता (Efficiency): SCG सुरक्षा गारंटी बनाए रखते हुए उचित चयन दक्षता (गैर-अब्स्टेन किए गए उत्तरों का अनुपात) प्राप्त करता है। उदाहरण के लिए, GPT-4o के साथ $\epsilon_S=0.3$ पर, SCG ने डेटासेट के आधार पर ~33-50% उत्तरों को बनाए रखते हुए FDR-CE को लक्ष्य से नीचे रखा।
फज़िंग का लाभ: प्रयोगों ने प्रदर्शित किया कि सीमित मैन्युअल टेस्ट (SCG-small) या बिना टेस्ट (SCG-EM) के उपयोग करने वाले तरीकों की तुलना में फज़िंग-जनरेटेड यूनिट टेस्ट (SCG) का उपयोग करना जोखिम नियंत्रण और दक्षता दोनों के मामले में काफी बेहतर है।
पूर्व कार्य का विस्तार: यह विधि एक पोस्ट-प्रोसेसर के रूप में कार्य करती है जिसे मौजूदा उन्नत मॉडल्स (जैसे, GRPO फाइन-ट्यूनिंग के साथ DeepSeek-R1) या रैंकिंग-आधारित तरीकों के ऊपर लागू किया जा सकता है, जो सांख्यिकीय सुरक्षा गारंटी का एक अतिरिक्त स्तर प्रदान करता है।

महत्व और दावे

पेपर का दावा है कि इसका प्राथमिक योगदान चयनात्मक पीढ़ी लर्निंग एल्गोरिदम है जो सीधे कोड मॉडल्स के मतिभ्रम दर को नियंत्रित करता है। फज़िंग के माध्यम से कोड की निष्पादन योग्य प्रकृति का लाभ उठाकर, लेखक तर्क देते हैं कि यह अनुमानित प्रदर्शन सुधारों से आगे बढ़कर सैद्धांतिक रूप से नियंत्रित सुरक्षा की ओर बढ़ने के लिए संभव है।

इस कार्य का महत्व FDR (फॉल्स डिस्कवरी रेट) पर एक "नियंत्रणीयता गारंटी" प्रदान करने के रूप में फ्रेम किया गया है, जो कोड जनरेटर्स को उच्च सुरक्षा मानकों की आवश्यकता वाली प्रणालियों के लिए अधिक विश्वसनीय बनाता है। लेखक विनम्रतापूर्वक नोट करते हैं कि जबकि यह विधि मतिभ्रम दर को नियंत्रित करती है, समग्र चयन दक्षता अभी भी अंतर्निहित कोड जनरेटर की गुणवत्ता पर निर्भर करती है, और सैद्धांतिक गारंटी के लिए i.i.d. धारणा वितरण-शिफ्टिंग (distribution-shifting) वातावरणों में इसकी प्रयोज्यता को सीमित कर सकती है। यह कार्य मतिभ्रम को पूरी तरह से समाप्त करने का दावा नहीं करता है, बल्कि इसे सांख्यिकीय कठोरता के साथ प्रबंधित करने और सीमित करने के लिए एक तंत्र प्रदान करता है।