💻 computer science

ExecVerify: White-Box RL with Verifiable Stepwise Rewards for Code Execution Reasoning

ExecVerify एक व्हाइट-बॉक्स सुदृढीकरण शिक्षण (reinforcement learning) ढांचे का उपयोग करके छोटे भाषा मॉडलों में कोड निष्पादन तर्क (code execution reasoning) को बढ़ाता है, जो सत्यापन योग्य, चरण-दर-चरण निष्पादन पुरस्कारों और एक कठिनाई-नियंत्रित डेटासेट का उपयोग करता है ताकि बड़े मॉडलों से बेहतर प्रदर्शन किया जा सके और कोड जनरेशन प्रदर्शन में महत्वपूर्ण सुधार किया जा सके।

मूल लेखक: Lingxiao Tang, He Ye, Zhaoyang Chu, Muyang Ye, Zhongxin Liu, Xiaoxue Ren, Lingfeng Bao

प्रकाशित 2026-03-13

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Lingxiao Tang, He Ye, Zhaoyang Chu, Muyang Ye, Zhongxin Liu, Xiaoxue Ren, Lingfeng Bao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट शेफ को एक जटिल व्यंजन बनाना सिखा रहे हैं।

पुराना तरीका (सुपरवाइज्ड फाइन-ट्यूनिंग):
पहले, शोधकर्ता इन AI शेफ को एक मानव मास्टर शेफ द्वारा लिखी गई रेसिपी बुक दिखाकर सिखाते थे। वह किताब कहती थी, "पहले, प्याज काटें। फिर, उन्हें भूनें। अंत में, व्यंजन का स्वाद लहसुन जैसा होता है।"
रोबोट ने किताब के शब्दों को रटना सीख लिया। वह चरणों को पूरी तरह से दोहरा सकता था। लेकिन यदि आप पूछते, "रुको, क्या तुमने वास्तव में प्याज को काटते समय उसे चखा था? स्टेप 3 पर पैन का सटीक तापमान क्या था?" तो रोबता लड़खड़ा जाता। उसने खाना पकाने की कहानी की नकल करना सीख लिया था, न कि खाना पकाने के वास्तविक भौतिक विज्ञान (फिजिक्स) को। वह प्रक्रिया को समझने के बजाय परिणाम का अनुमान लगा रहा था।

नया तरीका (ExecVerify):
पेपर "ExecVerify" एक नया प्रशिक्षण तरीका पेश करता है जो रोबोट को केवल अंतिम व्यंजन के लिए नहीं, बल्कि हर एक चरण पर ग्रेड प्राप्त करने के लिए वास्तव में खाना पकाने के लिए मजबूर करता है।

यह कैसे काम करता है, इसे तीन सरल भागों में विभाजित किया गया है:

1. "ट्रेनिंग जिम" (कन्स्ट्रेंट-बेस्ड डेटा सिंथेसिस)

इंटरनेट से रैंडम रेसिपी लेने के बजाय (जो बहुत आसान या असंभव हो सकती हैं), शोधकर्ताओं ने एक विशेष ट्रेनिंग जिम बनाया।

उपमा: कल्पना कीजिए कि एक जिम जहाँ उपकरणों को स्वचालित रूप से समायोजित किया जाता है। यदि रोबोट कमजोर है, तो वजन हल्का होता है। जैसे-जैसे वह मजबूत होता है, वजन भारी होता जाता है।
यह कैसे काम करता है: वे हजारों छोटे कोड "रेसिपी" उत्पन्न करने के लिए एक कंप्यूटर प्रोग्राम का उपयोग करते हैं। वे जानबूझकर कुछ आसान और कुछ कठिन बनाते हैं, यह सुनिश्चित करते हुए कि रोबोट के सामने चुनौतियों का एक सटीक "पाठ्यक्रम" हो। वे यह भी जांचते हैं कि रेसिपी वास्तव में बिना क्रैश हुए चल रही हैं, ताकि रोबोट टूटे हुए निर्देशों से न सीख रहा हो।

2. "व्हाइट-बॉक्स" कोच (व्हाइट-बॉक्स रीइन्फोर्समेंट लर्निंग)

यही असली जादू है। पुराने तरीके में, रोबोट को केवल अंत में एक ग्रेड मिलता था: "क्या सूप स्वादिष्ट था? हाँ/नहीं।"
नए तरीके में, रोबोट एक पारदर्शी (व्हाइट-बॉक्स) एप्रन पहनता है। कोच देख सकता है कि हर सेकंड बर्तन के अंदर बिल्कुल क्या हो रहा है।

उपमा: कल्पना कीजिए कि एक ड्राइविंग इंस्ट्रक्टर बगल वाली सीट पर बैठा है। केवल गंतव्य तक पहुँचने के बाद "अच्छा काम किया" कहने के बजाय, इंस्ट्रक्टर हर चौराहे पर आपको रोकता है।
- "क्या आपने मुड़ने से पहले शीशा देखा था?"
- "अभी स्पीडोमीटर की रीडिंग क्या है?"
- "क्या आपने वास्तव में ब्रेक दबाया, या आपने सिर्फ नाटक किया?"
यह कैसे काम करता है: AI से कोड निष्पादन (execution) के बीच के बारे में सवाल पूछे जाते हैं: "इस समय इस वेरिएबल की वैल्यू क्या है?" या "अगली कौन सी लाइन चलती है?" यदि AI मध्यवर्ती चरण के बारे में गलत अनुमान लगाता है, तो उसे दंडित किया जाता है, भले ही अंतिम उत्तर भाग्यवश सही क्यों न हो। यह AI को केवल अंत को रटने के बजाय तर्क को वास्तव में समझने के लिए मजबूर करता है।

3. दो-चरणीय प्रशिक्षण

शोधकर्ताओं ने रोबोट को सीधे गहरे पानी में नहीं फेंका। उन्होंने एक दो-चरणीय योजना का उपयोग किया:

चरण 1: लॉजिक बूटकैंप। रोबोट "व्हाइट-बॉक्स" प्रश्नों को हल करने में समय बिताता है। वह वेरिएबल्स को ट्रैक करना, लूप्स का पालन करना और कोड के प्रवाह को समझना सीखता है। वह तर्क करने में मास्टर बन जाता है।
चरण 2: क्रिएशन लैब। एक बार जब रोबोट तर्क को पूरी तरह से समझ लेता है, तो वे उसे शून्य से नया कोड लिखना सिखाते हैं। क्योंकि वह पहले से ही समझता है कि कोड का "भौतिक विज्ञान" कैसे काम करता है, वह पहले की तुलना में बहुत बेहतर और अधिक विश्वसनीय कोड लिखता है।

परिणाम?

पेपर ने इसका परीक्षण एक "छोटे" AI मॉडल (7 बिलियन पैरामीटर्स) पर किया।

पहले: यह एक स्मार्ट हाई स्कूल छात्र की तरह था।
बाद में: यह रीजनिंग कार्यों पर एक "सुपर-जीनियस" AI मॉडल (32 बिलियन पैरामीटर्स) के समान प्रदर्शन करता है।

संक्षेप में:
AI को प्रोग्राम के चरणों को रटते (पैरट) रहने के बजाय, ExecVerify AI को उसके दिमाग में प्रोग्राम को सिमुलेट (अनुकरण) करने के लिए सिखाता है, और हर कदम पर अपने काम की जांच करता है। यह AI को एक रटने वाले से एक वास्तविक विचारक में बदल देता है।

यहाँ शोध पत्र "ExecVerify: White-Box RL with Verifiable Stepwise Rewards for Code Execution Reasoning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs), विशेष रूप से छोटे मॉडल्स (जैसे, 7B पैरामीटर्स), कोड निष्पादन तर्क (code execution reasoning) में संघर्ष करते हैं। हालांकि वे अक्सर सिंटैक्टिक रूप से सही कोड उत्पन्न कर सकते हैं, लेकिन वे अक्सर वास्तविक निष्पादन प्रक्रिया को समझने में विफल रहते हैं, जैसे कि कंट्रोल फ्लो (control flow), वेरिएबल स्टेट परिवर्तन (variable state changes), और मध्यवर्ती निष्पादन चरण (intermediate execution steps)।

इस क्षमता को सुधारने के लिए मौजूदा दृष्टिकोण शिक्षक द्वारा जनरेट किए गए स्पष्टीकरणों का उपयोग करके सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) पर निर्भर करते हैं। ये स्पष्टीकरण आमतौर पर दो रूपों में होते हैं:

इनपुट-आउटपुट (I/O) श्रृंखलाएं: इनपुट से आउटपुट का पूर्वानुमान लगाना।
प्राकृतिक भाषा ट्रेस (Natural language traces): टेक्स्ट में निष्पादन चरणों का वर्णन करना।

वर्तमान विधियों की मुख्य सीमाएँ:

सत्यापन का अभाव (Lack of Verification): SFT टोकन-लेवल क्रॉस-एन्ट्रॉपी लॉस के लिए ऑप्टिमाइज़ करता है। मॉडल शिक्षक के टेक्स्ट की नकल करना सीखता है बिना यह स्पष्ट रूप से सत्यापित किए कि मध्यवर्ती निष्पादन चरण (जैसे, वेरिएबल वैल्यूज, अगला निष्पादित लाइन) अर्थपूर्ण रूप से सही हैं या नहीं। इससे "भ्रमित तर्क" (hallucinated reasoning) पैदा होता है जहाँ टेक्स्ट विश्वसनीय दिखता है लेकिन तर्क त्रुटिपूर्ण होता है।
डेटा की गुणवत्ता (Data Quality): प्रशिक्षण डेटा अक्सर बिना किसी सख्त नियंत्रण के निष्क्रिय रूप से एकत्र या जनरेट किया जाता है, जिसके परिणामस्वरूप ऐसे डेटासेट बनते हैं जिनमें या तो बहुत सरल उदाहरण होते हैं या जो हल करने योग्य नहीं होते, जिससे एक संरचित पाठ्यक्रम (curriculum) का अभाव होता है।

2. कार्यप्रणाली: ExecVerify (Methodology: ExecVerify)

लेखक ExecVerify प्रस्तावित करते हैं, जो कन्स्ट्रेंट-बेस्ड डेटा सिंथेसिस (Constraint-Based Data Synthesis) को व्हाइट-बॉक्स रीइन्फोर्समेंट लर्निंग (White-Box RL) के साथ जोड़ता है। यह दृष्टिकोण तीन मुख्य घटकों से बना है:

A. कन्स्ट्रेंट-बेस्ड डेटा सिंथेसिस (Constraint-Based Data Synthesis)

डेटा गुणवत्ता के मुद्दों को संबोधित करने के लिए, लेखक नियंत्रित कठिनाई के साथ एक करिकुलम-शैली वाला डेटासेट तैयार करते हैं:

संरचनात्मक बाधाएं (Structural Constraints): वे पायथन के बिल्ट-इन टाइप्स और मेथड्स के माध्यम से पुनरावृत्ति करते हैं, और एक LLM को विशिष्ट संरचनात्मक बाधाओं (जैसे, नेस्टेड मेथड कॉल्स, if/for/while जैसे विशिष्ट कंट्रोल-फ्लो पैटर्न) का सख्ती से पालन करने वाला कोड जनरेट करने के लिए प्रेरित करते हैं।
कठिनाई नियंत्रण (Difficulty Control): कठिनाई के स्तरों का मिश्रण सुनिश्चित करने के लिए चरणों में (सरल $\to$ जटिल) बाधाएं लागू की जाती हैं।
इनपुट सिंथेसिस और फ़िल्टरिंग (Input Synthesis & Filtering):
- इनपुट जनरेशन: प्रत्येक कोड स्निपेट के लिए विविध इनपुट जनरेट किए जाते हैं, जिसमें टाइप-अवेयर म्यूटेशन शामिल हैं।
- निष्पादन फ़िल्टरिंग: प्रोग्राम्स को निष्पादित किया जाता है; रनटाइम एरर या टाइमआउट होने वाले प्रोग्राम्स को हटा दिया जाता है।
- कठिनाई फ़िल्टरिंग: इंस्टेंस का मूल्यांकन एक बेसलाइन मॉडल (Qwen2.5-Coder-7B) के विरुद्ध किया जाता है। केवल "चुनौतीपूर्ण लेकिन हल करने योग्य" इंस्टेंस (जहाँ बेसलाइन 10 में से $\le$ 3 बार सफल होता है) को ही रखा जाता है। यह सुनिश्चित करता है कि प्रशिक्षण डेटा गैर-तुच्छ (non-trivial) हो।

B. व्हाइट-बॉक्स रीइन्फोर्समेंट लर्निंग (White-Box Reinforcement Learning - Stage I)

टेक्स्ट इमिटेशन (नकल) पर निर्भर रहने के बजाय, ExecVerify सीधे इंटरप्रेटर निष्पादन ट्रेसेस से प्राप्त सत्यापन योग्य व्हाइट-बॉक्स रिवॉर्ड्स का उपयोग करता है।

ट्रेस संग्रह (Trace Collection): एक दिए गए प्रोग्राम और इनपुट के लिए, एक इंटरप्रेटर एक ट्रेस $\tau$ जनरेट करता है जिसमें निष्पादित स्टेटमेंट्स ( $l_t$ ) और प्रोग्राम स्टेट्स ( $\sigma_t$ , जिसमें वेरिएबल वैल्यूज और टाइप्स शामिल हैं) होते हैं।
व्हाइट-बॉक्स प्रश्न (White-Box Questions): ट्रेस को सत्यापन योग्य प्रश्नों में बदला जाता है:
1. कंट्रोल-फ्लो प्रश्न: "अगली कौन सी लाइन निष्पादित होगी?"
2. डेटा-फ्लो प्रश्न: "लाइन $Y$ के बाद वेरिएबल $X$ का मान और प्रकार क्या है?"
रिवॉर्ड फंक्शन (Reward Function): रिवॉर्ड $R_{white-box}$ $R_{w hi t e - b o x}$ निम्नलिखित का भारित संयोजन (weighted combination) है:
- I/O शुद्धता: अंतिम आउटपुट के लिए बाइनरी रिवॉर्ड।
- स्टेप-लेवल सटीकता: मध्यवर्ती अवस्थाओं के बारे में व्हाइट-बॉक्स प्रश्नों को सही ढंग से उत्तर देने की मॉडल की क्षमता पर आधारित रिवॉर्ड।
- फॉर्मूला: $R = 2 \cdot ((1-\alpha)R_{I/O} + \alpha R_{white})$ ।
दो-दिशात्मक तर्क (Two-Directional Reasoning): फ्रेमवर्क में रिवर्स प्रेडिक्शन टास्क (आउटपुट $\to$ इनपुट) भी शामिल है ताकि फॉरवर्ड पैटर्न मैचिंग पर अत्यधिक निर्भरता को रोका जा सके।

C. दो-चरणीय पोस्ट-ट्रेनिंग पाइपलाइन (Two-Stage Post-Training Pipeline)

चरण I (तर्क/Reasoning): मॉडल SFT वार्म-अप के बाद व्हाइट-बॉक्स RL से गुजरता है। यह मॉडल के आंतरिक तर्क को प्रत्येक निष्पादन चरण में अर्थपूर्ण शुद्धता के साथ संरेखित करता है।
चरण II (जनरेशन/Generation): तर्क-संवर्धित मॉडल को यूनिट-टेस्ट RL (टेस्ट केस पास करने पर आधारित मानक कोड जनरेशन रिवॉर्ड) का उपयोग करके और अधिक फाइन-ट्यून किया जाता है। यह सूक्ष्म निष्पादन समझ को कार्यात्मक कोड जनरेशन में स्थानांतरित करता है।

3. मुख्य योगदान (Key Contributions)

व्हाइट-बॉक्स RL फ्रेमवर्क: एक नया प्रशिक्षण प्रतिमान पेश करता है जो टेक्स्ट-लेवल इमिटेशन को इंटरप्रेटर ट्रेसेस से प्राप्त सत्यापन योग्य, स्टेप-लेवल रिवॉर्ड्स से बदल देता है। यह मॉडल को कोड निष्पादन के वास्तविक मैकेनिक्स को सीखने के लिए मजबूर करता है।
करिकुलम-आधारित डेटा सिंथेसिस: नियंत्रित संरचनात्मक जटिलता और कठिनाई के साथ निष्पादन योग्य कोड को सक्रिय रूप से सिंथेसाइज करने का एक तरीका प्रस्तावित करता है, जो उच्च-गुणवत्ता वाले प्रशिक्षण कॉर्पस बनाने के लिए तुच्छ या हल करने योग्य नहीं उदाहरणों को फ़िल्टर करता है।
दो-चरणीय ट्रांसफर रणनीति: यह प्रदर्शित करता है कि पहले निष्पादन तर्क (चरण I) को बढ़ाने से डाउनस्ट्रीम कोड जनरेशन प्रदर्शन (चरण II) में काफी वृद्धि होती है, जो तर्क और जनरेशन के बीच के अंतर को पाटता है।
ओपन सोर्स: लेखकों ने कोड, डेटा और मॉडल जारी किए हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने बेस मॉडल के रूप में Qwen2.5-Coder-7B-Instruct का मूल्यांकन किया।

कोड निष्पादन तर्क (Code Execution Reasoning):
- ExecVerify के साथ प्रशिक्षित 7B मॉडल ने बेंचमार्क (CRUXEval, LiveCodeBench-Exec, REval) पर औसत स्कोर 80.8 प्राप्त किया।
- यह प्रदर्शन बहुत बड़े मॉडल्स (जैसे, Qwen2.5-Coder-32B-Instruct, जिसका स्कोर 77.9 था) के करीब है और अन्य 7B बेसलाइन्स (जैसे, बेस मॉडल से +20.0 अंक अधिक) से काफी बेहतर है।
- एब्लेशन स्टडीज (Ablation studies) ने पुष्टि की कि SFT वार्म-अप और व्हाइट-बॉक्स RL दोनों घटक आवश्यक हैं।
कोड जनरेशन (Code Generation):
- दो-चरणीय प्रशिक्षण के बाद, मॉडल ने मजबूत पोस्ट-ट्रेनिंग बेसलाइन्स की तुलना में कोड जनरेशन बेंचमार्क (EvalPlus, LiveCodeBench, BigCodeBench) पर pass@1 में 5.9% का सुधार किया।
- परिणाम एक निरंतर ऊपर की ओर रुझान दिखाते हैं: Base $\to$ I/O RL $\to$ SFT + I/O RL $\to$ SFT + White-Box RL + Unit-Test RL।
सामान्यीकरण (Generalization):
- क्रॉस-लैंग्वेज: तर्क में सुधार CRUXEval-X बेंचमार्क में अन्य भाषाओं (Java, C++, आदि) के लिए प्रभावी रूप से स्थानांतरित हुआ।
- लाइब्रेरी-शामिल कोड: मॉडल ने बाहरी लाइब्रेरी वाले कार्यों पर बेहतर प्रदर्शन दिखाया।
- मॉडल साइज: पाइपलाइन ने 3B और 8B दोनों मॉडल्स पर निरंतर लाभ दिया, जो आर्किटेक्चर स्वतंत्रता का संकेत देता है।

5. महत्व (Significance)

टेक्स्ट इमिटेशन से परे: ExecVerify सिद्ध करता है कि LLMs को कोड के टेक्स्ट विवरणों की नकल करने के बजाय एक इंटरप्रेटर की तरह "सोचने" के लिए प्रशिक्षित किया जा सकता है। मध्यवर्ती चरणों को सत्यापित करके, मॉडल कंट्रोल फ्लो और वेरिएबल स्टेट्स को सटीक रूप से ट्रैक करना सीखता है।
दक्षता (Efficiency): इस विधि से प्रशिक्षित एक छोटा 7B मॉडल तर्क कार्यों पर बड़े 32B मॉडल्स को पछाड़ देता है, जो यह सुझाव देता है कि निष्पादन तर्क के लिए डेटा की गुणवत्ता और प्रशिक्षण उद्देश्य शुद्ध पैरामीटर संख्या की तुलना में अधिक महत्वपूर्ण हैं।
मजबूती (Robustness): यह विधि कोड जनरेशन में तार्किक त्रुटियों (जैसे, "कम से कम एक" को "सभी के लिए" के साथ भ्रमित करना) को कम करती है क्योंकि यह मॉडल को सूक्ष्म रनटाइम व्यवहार में ग्राउंडेड करती है।
भविष्य की दिशा: यह कार्य कोड के लिए RL में सत्यापन योग्य रिवॉर्ड्स का उपयोग करने का एक मानदंड स्थापित करता है, जो विशुद्ध रूप से मानव-लेबल या LLM-जनरेटेड टेक्स्ट सुपरविजन से हटकर निष्पादन-आधारित लर्निंग की ओर बढ़ता है।