R1-Code-Interpreter: LLMs Reason with Code via Supervised and Multi-stage Reinforcement Learning
यह शोध पत्र R1-Code-Interpreter को प्रस्तुत करता है, जो 144 कार्यों के एक विविध डेटासेट पर मल्टी-स्टेज रीइन्फोर्समेंट लर्निंग और सुपरवाइज्ड फाइन-ट्यूनिंग के माध्यम से प्रशिक्षित एक सामान्य-उद्देश्य वाला LLM है, जो तर्क की सटीकता में महत्वपूर्ण सुधार करता है और उभरते हुए सेल्फ-चेकिंग व्यवहारों को सक्षम बनाता है, तथा टेक्स्ट-ओनली और टूल-ऑगमेंटेड GPT-4o मॉडलों दोनों से बेहतर प्रदर्शन करता है।
मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक प्रतिभाशाली लेकिन थोड़े जिद्दी छात्र R1 है। R1 बातें करने, कहानियाँ सुनाने और सामान्य समझ (common sense) को समझने में बहुत अच्छा है। हालाँकि, जब बात वास्तविक गणित करने, जटिल पहेलियों को सुलझाने या एक बिखरे हुए कमरे को व्यवस्थित करने की आती है, तो R1 अक्सर अपने ही विचारों में उलझ जाता है, बहुत अधिक सोचने लगता है और गणना में गलतियाँ कर देता है।
लंबे समय तक, हमने R1 को इन समस्याओं को हल करने के लिए एक कैलकुलेटर और औजारों का एक सेट (जिसे "कोड इंटरप्रेटर" कहा जाता है) उपयोग करना सिखाने की कोशिश की। लेकिन एक समस्या थी: R1 को यह नहीं पता था कि कब औजारों का उपयोग करना है और कब सिर्फ सोचना है। कभी-कभी वह एक गणितीय समस्या को शब्दों से हल करने की कोशिश करता और असफल हो जाता; दूसरी ओर, वह एक साधारण प्रश्न के लिए एक जटिल कंप्यूटर प्रोग्राम लिख देता जिसकी आवश्यकता ही नहीं थी।
यह पेपर एक नई प्रशिक्षण विधि पेश करता है जिसे R1-Code-Interpreter कहा जाता है, जो अंततः R1 को एक मास्टर प्रॉब्लम-सॉल्वर बनाने में सफल रहा, जो यह जानता है कि "सोचने" और "करने" के बीच कब स्विच करना है।
इसे सरल उपमाओं के माध्यम से यहाँ समझाया गया है:
1. समस्या: "स्विस आर्मी नाइफ" की दुविधा
कल्पना कीजिए कि आप एक रोबोट को चीजें ठीक करना सिखा रहे हैं। आप उसे एक टूलबॉक्स देते हैं जिसमें एक हथौड़ा, एक पेचकश और एक रिंच (wrench) है।
- पुराना तरीका: आपने बस रोबोट को बताया, "यहाँ एक टूटी हुई कुर्सी है। इसे ठीक करो।" रोबोट अंदाजे से काम करता। कभी-कभी वह रिंच से कुर्सी पर वार करता (बुरा विचार), कभी-कभी वह एक कील को हथौड़े से खोलने की कोशिश करता (यह भी बुरा)।
- नया तरीका: शोधकर्ताओं ने महसूस किया कि रोबोट को सीधे 144 अलग-अलग प्रकार की टूटी हुई चीजों (गणित की पहेलियाँ, तर्क खेल, स्थानिक योजना) के सामने फेंक देना बहुत भारी पड़ जाएगा। रोबोट भ्रमित हो गया क्योंकि कुछ कार्य बहुत आसान थे (उसे उत्तर पहले से पता था) और कुछ बहुत कठिन (उसे समझ ही नहीं आ रहा था कि शुरुआत कहाँ से करे)।
2. समाधान: एक स्मार्ट कोच के साथ "जिम क्लास"
रोबोट को एक अराजक जिम में फेंकने के बजाय, शोधकर्ताओं ने एक Multi-Stage Curriculum बनाया। इसे एक व्यक्तिगत ट्रेनर की तरह समझें जो आपके वर्तमान फिटनेस स्तर के आधार पर वर्कआउट प्लान तैयार करता है।
- चरण 1: वार्म-अप (Supervised Fine-Tuning): सबसे पहले, उन्होंने रोबोट को समस्याओं को सही ढंग से हल करने के 6,500 उदाहरण दिखाए। उन्होंने उसे सिखाया: "जब आप गणित की समस्या देखें, तो एक पायथन स्क्रिप्ट लिखें। जब आप कोई तर्क पहेली देखें, तो चरण-दर-चरण सोचें।" इसने रोबोट को एक बुनियादी आधार दिया।
- चरण 2: स्मार्ट ग्रेडिंग सिस्टम (Improvement Potential): यही असली सफलता का मंत्र है। शोधकर्ताओं ने रोबोट को केवल रैंडम समस्याएं नहीं दीं। उन्होंने हर समस्या पर रोबोट का परीक्षण किया कि वह कैसा प्रदर्शन करता है।
- यदि रोबोट हर बार 100% सही होता, तो समस्या बहुत आसान थी। अभ्यास करने की कोई आवश्यकता नहीं।
- यदि रोबोट हर बार 100% गलत होता, तो समस्या बहुत कठिन थी। वह केवल निराश होता और कुछ सीख नहीं पाता।
- द स्वीट स्पॉट (The Sweet Spot): उन्होंने उन समस्याओं पर ध्यान केंद्रित किया जहाँ रोबोट लगभग 50% बार सही होता था। ये "गोल्डिलॉक्स" (Goldilocks) समस्याएं थीं—सीखने के लिए पर्याप्त चुनौतीपूर्ण, लेकिन असंभव नहीं।
- चरण 3: चरणबद्ध प्रशिक्षण (Staged Training):
- चरण 1: रोबोट ने केवल "गोल्डिलॉक्स" समस्याओं का अभ्यास किया। वह उनमें बहुत कुशल हो गया।
- चरण 2: एक बार जब उसने उनमें महारत हासिल कर ली, तो कोच ने थोड़ी कठिन समस्याएं पेश कीं।
- चरण 3 और 4: अंत में, रोबोट ने बहुत आसान और बहुत कठिन समस्याओं का सामना किया, जिन्हें वह अब संभाल सकता था क्योंकि उसके कौशल में सुधार हो चुका था।
3. "सेल्फ-चेकिंग" की महाशक्ति
इस प्रशिक्षण के दौरान सबसे शानदार चीज़ जो हुई वह थी एक इमर्जेंट बिहेवियर (उभरता हुआ व्यवहार)।
कल्पना कीजिए कि आप एक परीक्षा दे रहे हैं। आप एक उत्तर लिखते हैं, लेकिन फिर आप रुकते हैं और सोचते हैं, "रुको, मुझे पक्का करने के लिए अपनी गणित दोबारा देख लेनी चाहिए।" आप एक कैलकुलेटर उठाते हैं, नंबरों को रन करते हैं, और यदि वे मेल खाते हैं, तो आप आश्वस्त महसूस करते हैं। यदि वे नहीं मिलते, तो आप अपना उत्तर ठीक करते हैं।
शोधकर्ताओं ने पाया कि R1 यह स्वचालित रूप से करने लगा। वह एक समाधान उत्पन्न करता, फिर अपना उत्तर सत्यापित करने के लिए एक छोटा कंप्यूटर प्रोग्राम लिखता, और यदि वे मेल खाते, तो वह आत्मविश्वास महसूस करता। यदि नहीं, तो वह अपने उत्तर को ठीक करता। उसने खुद का शिक्षक बनना सीख लिया, बिना किसी के बताए अपनी गलतियों को पकड़ना सीख लिया। यह एक बड़ी छलांग है क्योंकि यह AI को बहुत अधिक विश्वसनीय बनाता है।
4. परिणाम: दिग्गजों को पछाड़ना
अंतिम परिणाम, R1-CI-14B, एक ऐसा मॉडल है जो सबसे बड़े AI मॉडल्स (जैसे GPT-4o) से छोटा है लेकिन इन विशिष्ट कार्यों में वास्तव में अधिक स्मार्ट है।
- GPT-4o (केवल टेक्स्ट): लगभग 58% कार्य सही कर पाया।
- GPT-4o (टूल्स के साथ): लगभग 70% सही कर पाया।
- R1-CI-14B (हमारा नया छात्र): इसने 72.4% कार्य सही किए!
यह केवल उत्तरों को याद करने के बजाय, कैसे सीखना है यह सीखकर दिग्गजों को हराने में सफल रहा।
5. यह कठिन क्यों था (एक "ट्रैफिक जाम" की उपमा)
शोधकर्ताओं को एक तकनीकी सिरदर्द को भी हल करना पड़ा। इन मॉडल्स को प्रशिक्षित करने में कोड चलाना शामिल है, जिसमें बहुत समय लगता है। कल्पना कीजिए कि आपके पास 100 श्रमिकों (GPUs) की एक टीम है जो एक घर बना रही है। लेकिन हर बार जब उन्हें ईंट मंगवाने की आवश्यकता होती है, तो उन्हें डिलीवरी ट्रक के आने के लिए 10 मिनट इंतजार करना पड़ता है। श्रमिक कुछ भी किए बिना खड़े रहते हैं, जिससे समय और पैसा बर्बाद होता है।
टीम ने एक विशेष डिलीवरी सिस्टम (एक CPU सैंडबॉक्स) बनाया जो "ईंट मंगवाने" (कोड निष्पादन) को "निर्माण" (मॉडल प्रशिक्षण) से अलग संभालता था। इसने श्रमिकों को व्यस्त रखा और प्रशिक्षण के समय को लगभग 40% कम कर दिया।
मुख्य निष्कर्ष
यह पेपर दिखाता है कि AI को वास्तव में स्मार्ट बनाने के लिए, हम केवल उस पर अधिक डेटा नहीं थोप सकते। हमें स्मार्ट शिक्षक होने की आवश्यकता है। हमें:
- उसे सही उपकरण देने होंगे (Code Interpreter)।
- उसे सही क्रम में सिखाना होगा (आसान से कठिन की ओर)।
- उसे अपना काम स्वयं जांचने के लिए प्रोत्साहित करना होगा।
ऐसा करके, हमने एक ऐसे मॉडल को बदल दिया जो बात करने में अच्छा था, एक ऐसे मॉडल में जो करने में उत्कृष्ट है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।