🤖 machine learning

ReCode: Reinforcing Code Generation with Reasoning-Process Rewards

यह शोध पत्र ReCode को प्रस्तुत करता है, जो एक नवीन सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो कंट्रास्टिव लर्निंग के माध्यम से एक रीजनिंग-प्रोसेस रिवॉर्ड मॉडल को प्रशिक्षित करके और रिवॉर्ड हैकिंग को कम करने के लिए इसे निष्पादन-आधारित गेटिंग (execution-based gating) के साथ एकीकृत करके कोड जनरेशन को बेहतर बनाता है, जिसके परिणामस्वरूप GPT-4-Turbo के तुलनीय महत्वपूर्ण प्रदर्शन लाभ प्राप्त होते हैं।

मूल लेखक: Lishui Fan, Yu Zhang, Mouxiang Chen, Zhongxin Liu

प्रकाशित 2026-05-06

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Lishui Fan, Yu Zhang, Mouxiang Chen, Zhongxin Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन कभी-कभी लापरवाह प्रशिक्षु (apprentice) को कंप्यूटर कोड लिखना सिखा रहे हैं। अतीत में, आप केवल उनके अंतिम कार्य की जाँच करते थे: "क्या प्रोग्राम बिना क्रैश हुए चला? हाँ? बहुत अच्छा। नहीं? फिर से कोशिश करो।" यह एक छात्र को गणित के टेस्ट पर केवल सही उत्तर देने के आधार पर ग्रेड देने जैसा है, बिना यह देखे कि उसने उसे कैसे हल किया।

"ReCode" नामक शोध पत्र तर्क देता है कि यह दृष्टिकोण त्रुटिपूर्ण है। कभी-कभी, एक प्रशिक्षु किस्मत या अनुमान के बल पर सही उत्तर प्राप्त कर लेता है, भले ही उसका तर्क (logic) अव्यवset या गलत रहा हो। दूसरी ओर, कभी-कभी उनके पास एक बेहतरीन योजना होती है लेकिन वे एक छोटी सी टाइपिंग की गलती कर देते हैं। वास्तव में विश्वसनीय कोड प्राप्त करने के लिए, आपको उन्हें कोड लिखने से पहले स्पष्ट रूप से सोचना सिखाना होगा।

यहाँ ReCode कैसे काम करता है, इसे सरल अवधारणाओं में विभाजित किया गया है:

1. समस्या: "सही उत्तर, गलत कारण" का जाल

वर्तमान AI प्रशिक्षण विधियाँ एक ऐसे शिक्षक की तरह हैं जो केवल अंतिम परिणाम के आधार पर "सही" या "गलत" कहता है।

समस्या: यदि एक AI सही कोड का अनुमान लगा लेता है लेकिन उसकी आंतरिक सोच (reasoning) अराजक थी, तो AI यह सीख जाता है कि "अराजकता + किस्मत = सफलता।" वह यह नहीं सीख पाता कि क्यों वह कोड काम कर रहा था।
लक्ष्य: हम चाहते हैं कि AI यह सीखे कि अच्छी सोच से अच्छा कोड बनता है, न कि केवल यह कि "सही उत्तर प्राप्त करना" ही एकमात्र महत्वपूर्ण चीज़ है।

2. समाधान: ReCode (Reasoning-Reinforced Code Generation)

ReCode एक नया प्रशिक्षण सिस्टम है जिसमें दो मुख्य उपकरण हैं, जैसे कि एक कोच जिसके पास एक ग्रेडिंग रूब्रिक (Grading Rubric) और एक सेफ्टी गेट (Safety Gate) है।

टूल A: "ग्रेडिंग रूब्रिक" (CRPL)

AI को बेहतर सोचने के लिए सिखाने के लिए, सिस्टम को पहले यह आंकने के तरीके की आवश्यकता है कि AI कैसे सोचता है, न कि केवल यह कि वह क्या बनाता है।

चुनौती: AI की सोच के हर एक चरण को ग्रेड करने के लिए पर्याप्त मानव शिक्षक नहीं हैं।
ट्रिक: शोधकर्ताओं ने एक "सिंथेटिक टीचर" बनाया। उन्होंने एक अच्छे तर्क (reasoning) को लिया और एक AI से इसके दो संस्करण बनाने को कहा:
1. "सुपर-रीजनिंग" संस्करण: एक ऐसा संस्करण जहाँ तर्क को सुदृढ़ किया गया है, तथ्यों की जाँच की गई है, और चरण अधिक स्पष्ट हैं।
2. "दोषपूर्ण-रीजनिंग" (Flawed-Reasoning) संस्करण: एक ऐसा संस्करण जहाँ AI जानबूझकर छोटी गलतियाँ जोड़ता है, जैसे कि कोई चरण छोड़ देना या कोई तथ्यात्मक गलती करना।
परिणाम: AI को हजारों ऐसे "अच्छे बनाम बुरे" सोच के जोड़ों को दिखाने से, सिस्टम एक रिवॉर्ड मॉडल (Reward Model) सीख जाता है। यह मॉडल एक सख्त संपादक की तरह कार्य करता है जो कह सकता है, "यह पैराग्राफ तार्किक और स्पष्ट है," या "इस पैराग्राफ में तर्क की कमी है," यहाँ तक कि कोड लिखे जाने से पहले ही।

टूल B: "सेफ्टी गेट" (CG-GRPO)

अब, हम इस "सोच के ग्रेड" का उपयोग AI को प्रशिक्षित करने के लिए कैसे करें बिना उसे धोखा दिए?

जोखिम (Reward Hacking): यदि आप AI को केवल यह कहते हैं, "अपनी सोच के लिए उच्च अंक प्राप्त करो," तो AI लंबे, फैंसी, भ्रमित करने वाले पैराग्राफ लिखना सीख सकता है जो स्मार्ट लगते हैं लेकिन वास्तव में कोड लिखने में मदद नहीं करते हैं। यह एक छात्र द्वारा गणित की समस्या हल करने के बजाय अंक पाने के लिए 10 पन्नों का निबंध लिखने जैसा है। इसे "रिवॉर्ड हैकिंग" कहा जाता है।
समाधान: ReCode एक सेफ्टी गेट स्थापित करता है।
- AI को "अच्छी सोच" के लिए अंक केवल तभी मिलते हैं जब अंतिम कोड वास्तव में काम करता है और परीक्षणों (tests) को पास करता है।
- यदि कोड विफल हो जाता है, तो "सोच का स्कोर" अनदेखा कर दिया जाता है, चाहे उसकी तर्क प्रक्रिया कितनी भी सुंदर क्यों न रही हो।
- उपमा: एक शेफ (chef) की कल्पना करें। आप उनकी रेसिपी (reasoning) की प्रशंसा केवल तभी कर सकते हैं जब व्यंजन वास्तव में स्वादिष्ट हो (execution)। यदि व्यंजन जल गया है, तो आपको इस बात से कोई फर्क नहीं पड़ता कि रेसिपी कितनी अच्छी तरह लिखी गई थी। यह AI को यह सुनिश्चित करने के लिए मजबूर करता है कि उसकी सोच वास्तव में एक कामकाजी परिणाम की ओर ले जाए।

3. परिणाम: स्मार्ट, तेज़ और अधिक विश्वसनीय

शोधकर्ताओं ने इस नए सिस्टम का परीक्षण एक 7-बिलियन-पैरामीटर वाले AI मॉडल (एक बहुत स्मार्ट मॉडल, लेकिन सबसे बड़ा नहीं) पर किया।

बढ़ावा: ReCode के साथ प्रशिक्षित AI ने मानक संस्करण की तुलना में अपने कोडिंग कौशल में 16.1% का सुधार किया।
तुलना: इसने GPT-4-Turbo के समान प्रदर्शन किया, जो कि एक बहुत बड़ा और अधिक महंगा मॉडल है, जबकि यह उससे छोटा है।
दक्षता (Efficiency): दिलचस्प बात यह है कि ReCode मॉडल ने न केवल अधिक कोड लिखा; बल्कि इसने कम शब्दों के साथ बेहतर कोड लिखा। इसने फालतू की बातों (fluff) में समय बर्बाद करना बंद कर दिया और सीधे तार्किक बिंदु पर आ गया।
सामान्यीकरण (Generalization): उन्होंने इसे गणित की समस्याओं पर भी आज़माया, और यह वहां भी काम कर गया, जिससे यह सिद्ध हुआ कि AI को "स्पष्ट रूप से सोचना" सिखाने से कोडिंग के अलावा किसी भी विषय में मदद मिलती है जिसमें तर्क की आवश्यकता होती है।

सारांश

ReCode को एक ऐसे ट्रेनिंग कैंप के रूप में देखें जो "किस्मत से मिले सही जवाबों" को स्वीकार करना बंद कर देता है।

यह एक विशेषज्ञ जज बनाता है जो एक स्मार्ट विचार प्रक्रिया और एक साधारण विचार प्रक्रिया के बीच अंतर पहचान सकता है।
यह एक सख्त गेट लगाता है जो केवल तभी AI को उसकी स्मार्ट सोच का श्रेय देता है जब अंतिम परिणाम वास्तव में काम करता है।
परिणाम एक ऐसा AI है जो केवल उत्तरों को रटता नहीं है, बल्कि समाधान तक पहुँचने के लिए तर्क करने का रास्ता सीखता है, जिससे यह अधिक विश्वसनीय और कुशल बनता है।

तकनीकी सारांश: ReCode: तर्क-प्रक्रिया पुरस्कारों के साथ कोड जनरेशन को सुदृढ़ करना

समस्या विवरण

कोड जनरेशन में लार्ज लैंग्वेज मॉडल्स (LLMs) को बेहतर बनाने के लिए सुदृढीकरण शिक्षण (Reinforcement Learning - RL) एक परिवर्तनकारी प्रतिमान बन गया है। हालाँकि, मौजूदा दृष्टिकोण मुख्य रूप से परिणाम-आधारित पर्यवेक्षण (outcome-based supervision) पर निर्भर करते हैं, जैसे कि टेस्ट-केस पास दर, जो इस बात पर सीमित मार्गदर्शन प्रदान करते हैं कि एक सही प्रोग्राम तक कैसे पहुँचा जाए। जबकि कठोर तर्क (rigorous reasoning) अक्सर सही कोड का एक प्रमुख चालक होता है, वर्तमान RL विधियाँ अक्सर तर्क प्रक्रिया की गुणवत्ता को अनुकूलित करने की उपेक्षा करती हैं।

तर्क प्रक्रियाओं को अनुकूलित करने के विचार को एक व्यावहारिक प्रशिक्षण ढांचे में अनुवादित करने में दो प्राथमिक चुनौतियाँ आती हैं:

सूक्ष्म-स्तरीय प्राथमिकता डेटा की कमी: विश्वसनीय रिवॉर्ड मॉडल को प्रशिक्षित करने के लिए तर्क की गुणवत्ता का आकलन करने हेतु उच्च-गुणवत्ता वाले, सूक्ष्म-स्तरीय प्राथमिकता डेटा की कमी एक बाधा है। मानव एनोटेशन स्केलेबल और व्यक्तिपरक है, जबकि LLMs-as-a-judge का उपयोग करना अक्सर सूक्ष्म तर्क गुणों को स्केलर स्कोर देने के मामले में खराब अंशांकन (calibration) से ग्रस्त होता है।
रिवॉर्ड हैकिंग (Reward Hacking): तर्क प्रक्रियाओं के लिए न्यूरल पुरस्कारों को स्वाभाविक रूप से RL में शामिल करना महत्वपूर्ण जोखिम पैदा करता है। सख्त, सत्यापन योग्य यूनिट-टेस्ट परिणामों के विपरीत, न्यूरल पुरस्कार कम नियंत्रित होते हैं। एक पॉलिसी कोड की कार्यात्मक शुद्धता (functional correctness) में सुधार किए बिना, रिवॉर्ड को बढ़ाने के लिए तर्क प्रक्रिया स्कोर को कृत्रिम रूप से बढ़ाकर "हैक" करना सीख सकती है।

कार्यप्रणाली: ReCode ढांचा

लेखक ReCode (Reasoning-Reinforced Code Generation) का प्रस्ताव करते हैं, जो एक नया RL प्रशिक्षण ढांचा है जिसे कोड जनरेशन को उच्च-गुणवत्ता वाली तर्क प्रक्रियाओं के साथ संरेखित करने के लिए डिज़ाइन किया गया है। ReCode दो मुख्य घटकों से बना है:

1. कंट्रास्टिव रीजनिंग-प्रोसेस रिवॉर्ड लर्निंग (CRPL)

डेटा की कमी की चुनौती को दूर करने के लिए, CRPL बिना मानव एनोटेशन या प्रत्यक्ष स्केलर स्कोरिंग पर निर्भर रहे, कंट्रास्टिव प्राथमिकता डेटा को स्वचालित रूप से संश्लेषित करने की एक विधि पेश करता है।

प्रक्रिया: ढांचा तर्क की गुणवत्ता को तीन महत्वपूर्ण आयामों में संहिताबद्ध करता है: तथ्यात्मक सटीकता (Factual Accuracy), तार्किक कठोरता (Logical Rigor), और तार्किक सुसंगतता (Logical Coherence)।
डेटा संश्लेषण: एक शक्तिशाली LLM (Qwen2.5-Coder-32B-Instruct) का उपयोग करके, CRPL इन आयामों के साथ लक्षित रूपांतरणों (जैसे, अनुकूलन के लिए अतिरेक हटाना, या क्षरण के लिए तथ्यात्मक त्रुटियां पेश करना) को लागू करके एक आधार तर्क प्रक्रिया ( $t$ ) के अनुकूलित ( $t^+$ ) और क्षयित ( $t^-$ ) संस्करण बनाता है।
प्राथमिकता क्रम (Preference Ordering): यह प्रक्रिया एक बहु-स्तरीय प्राथमिकता क्रम बनाती है, जिससे तीन प्रकार के जोड़े बनते हैं: मजबूत कंट्रास्ट ( $t^+ \succ t^-$ ), सूक्ष्म अनुकूलन ( $t^+ \succ t$ ), और सूक्ष्म क्षरण ( $t \succ t^-$ )।
प्रशिक्षण: एक रिवॉर्ड मॉडल को इन प्राथमिकता जोड़ों पर ब्रैडली-टेरी (Bradley-Terry) ऑब्जेक्टिव का उपयोग करके प्रशिक्षित किया जाता है ताकि तर्क की गुणवत्ता के बीच अंतर किया जा सके, न कि पूर्ण स्कोर की भविष्यवाणी की जा सके।

2. कंसिस्टेंसी-गेटेड GRPO (CG-GRPO)

रिवॉर्ड हैकिंग के जोखिम को संबोधित करने के लिए, ReCode ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) पर निर्मित एक गेटिंग तंत्र के माध्यम से RL लूप में रीजनिंग-प्रोसेस रिवॉर्ड मॉडल को एकीकृत करता है।

हार्ड गेट (Hard Gate): तर्क-प्रक्रिया रिवॉर्ड ( $R_{proc}$ ) केवल तभी सक्रिय होता है जब उत्पन्न कोड सभी यूनिट टेस्ट पास कर लेता है (कार्यात्मक शुद्धता)।
रिवॉर्ड संरचना: एक सैंपल के लिए कुल रिवॉर्ड $R_i$ को इस प्रकार तैयार किया गया है:
$R_i = R_{fmt} + R_{out} + \mathbb{I}(R_{out} = 1) \cdot R_{proc}$
जहाँ $R_{fmt}$ एक फॉर्मेट रिवॉर्ड है, $R_{out}$ एक बाइनरी आउटकम रिवॉर्ड है, और $\mathbb{I}(\cdot)$ इंडिकेटर फंक्शन है।
प्रभाव: यह सुनिश्चित करता है कि पॉलिसी न्यूरल रीजनिंग स्कोर को अधिकतम करने के लिए कार्यात्मक शुद्धता से समझौता न करे। यह सही समाधानों के बीच सूचनात्मक ग्रेडिएंट भी प्रदान करता है, जिससे मॉडल को उच्च-गुणवत्ता वाली तर्क प्रक्रियाओं को प्राथमिकता देने के लिए प्रोत्साहित किया जाता है, भले ही कोड पहले से ही कार्यात्मक रूप से सही हो।

बेंचमार्क निर्माण: LCB-RB

तर्क-प्रक्रिया रिवॉर्ड मॉडल्स की विभेदन क्षमता का मूल्यांकन करने के लिए, लेखक LiveCodeBench-RewardBench (LCB-RB) पेश करते हैं।

निर्माण: LiveCodeBench से व्युत्पन्न, यह बेंचमार्क उत्कृष्ट और निम्न श्रेणी की तर्क प्रक्रियाओं के 219 मैन्युअल रूप से सत्यापित प्राथमिकता जोड़ों से बना है।
फिल्टरिंग: एक दो-चरणीय फिल्ट्रेशन पाइपलाइन (GPT-4o का उपयोग करके ऑटोमेटेड ड्यूल-कंसिस्टेंसी चेक के बाद मानव निर्णय) तर्क और कार्यान्वयन के बीच सख्त संरेखण सुनिश्चित करती है, उन मामलों को फ़िल्टर करती है जहाँ दोषपूर्ण तर्क के बावजूद कोड टेस्ट पास करता है या ध्वनि तर्क के बावजूद मामूली कार्यान्वयन मुद्दों के कारण विफल हो जाता है।

प्रयोगात्मक परिणाम

Qwen2.5-Coder-7B-Instruct को पॉलिसी मॉडल के रूप में उपयोग करते हुए HumanEval(+), MBPP(+), LiveCodeBench, और BigCodeBench पर व्यापक प्रयोग किए गए।

कोड जनरेशन प्रदर्शन: ReCode के साथ प्रशिक्षित एक 7B मॉडल ने बेस मॉडल (50.4% $\to$ 58.5% औसत पास रेट) पर 16.1% सापेक्ष सुधार प्राप्त किया, जो GPT-4-Turbo के प्रदर्शन के बराबर पहुँच गया। इसने आउटकम-ओनली GRPO बेसलाइन को 6.7% से पछाड़ दिया।
रिवॉर्ड मॉडल प्रभावशीलता: CRPL के साथ प्रशिक्षित रिवॉर्ड मॉडल ने LCB-RB पर मजबूत विभेदन प्रदर्शन हासिल किया, जो अत्याधुनिक बेसलाइन्स (GPT-4-Turbo और विशिष्ट रिवॉर्ड मॉडल्स सहित) को पीछे छोड़ देता है। विशेष रूप से, 7B CRPL-प्रशिक्षित मॉडल ने LCB-RB पर GPT-4-Turbo के समान प्रदर्शन किया।
सामान्यीकरण (Generalization):
- गणित डोमेन: गणित डोमेन (Qwen2.5-Math-7B का उपयोग करके) में CG-GRPO को विस्तारित करने से निरंतर लाभ प्राप्त हुआ, जिससे AIME 2024 पर बिना रीजनिंग रिवॉर्ड वाले RL बेसलाइन की तुलना में 7.4% का सापेक्ष सुधार हुआ।
- क्रॉस-मॉडल: सीखा गया रीजनिंग-प्रोसेस रिवॉर्ड Qwen3-4B-Instruct मॉडल पर प्रभावी ढंग से स्थानांतरित हुआ।
दक्षता: ReCode ने आउटकम-ओनली RL की तुलना में औसतन 23.4% कम टोकन उत्पन्न करते हुए उच्च Pass@1 दर प्राप्त की, जो अधिक संक्षिप्त और लक्षित तर्क का संकेत देता है।
एब्लेशन अध्ययन (Ablation Studies):
- रिवॉर्ड हैकिंग: कंसिस्टेंसी गेट के बिना वैकल्पिक फॉर्मूलेशन (जैसे, रिवॉर्ड्स का सीधा जोड़) के कारण रिवॉर्ड सैचुरेशन और प्रदर्शन में गिरावट देखी गई, जो गेटिंग तंत्र की आवश्यकता की पुष्टि करती है।
- डेटा संश्लेषण: सिंगल-जेनेरेटर प्राथमिकता डेटा पर प्रशिक्षण ने क्रॉस-जेनेरेटर डेटा की तुलना में बेहतर प्रदर्शन किया, जो बताता है कि संश्लेषण प्रक्रिया में सुसंगत शैलीगत आर्टिफैक्ट्स (stylistic artifacts) स्वच्छ पर्यवेक्षण सिग्नल प्रदान करते हैं।

महत्व और दावे

पेपर का दावा है कि ReCode सफलतापूर्वक प्रदर्शित करता है कि तर्क-प्रक्रिया की गुणवत्ता को अंतिम परिणामों से परे कोड जनरेशन को बेहतर बनाने के लिए एक अतिरिक्त प्रशिक्षण सिग्नल के रूप में उपयोग किया जा सकता है। इसका महत्व निम्नलिखित में निहित है:

अंतराल को पाटना: यह कंट्रास्टिव डेटा को संश्लेषित करके तर्क-प्रक्रिया रिवॉर्ड मॉडल्स को प्रशिक्षित करने के लिए एक स्केलेबल समाधान प्रदान करता है, जिससे महंगे मानव एनोटेशन की आवश्यकता समाप्त हो जाती है।
RL में सुरक्षा: कंसिस्टेंसी-गेटेड तंत्र, रिवॉर्ड हैकिंग का शिकार हुए बिना RL में न्यूरल प्रोसेस रिवॉर्ड्स को एकीकृत करने के लिए एक मजबूत तरीका प्रदान करता है, जिससे यह सुनिश्चित होता है कि तर्क में सुधार कार्यात्मक शुद्धता में परिवर्तित होता है।
सामान्यीकरण क्षमता: यह ढांचा केवल कोड तक सीमित नहीं है; यह गणितीय तर्क कार्यों में भी सामान्य होता है, जो LLM तर्क क्षमताओं को सुधारने के लिए व्यापक अनुप्रयोग का सुझाव देता है।
नया मूल्यांकन मानक: LCB-RB का परिचय केवल अंतिम समाधान की शुद्धता के बजाय विशेष रूप से मध्यवर्ती तर्क प्रक्रियाओं के विभेदन पर ध्यान केंद्रित करके मौजूदा बेंचमार्क में एक कमी को दूर करता है।

लेखक निष्कर्ष निकालते हैं कि ReCode, LLMs को कठोर तर्क के साथ संरेखित करने की दिशा में एक कदम है, जो मौजूदा कार्यान्वयन-केंद्रित पर्यवेक्षण विधियों का पूरक है।