Credit Assignment with Resets in Language Model Reasoning
यह शोध पत्र मध्यवर्ती अवस्थाओं पर रीसेट करने और निरंतरता को पुन: नमूनाकरण (resampling) करने के माध्यम से सटीक क्रेडिट असाइनमेंट को सक्षम करके भाषा मॉडल तर्क में सुधार के लिए रैंडम-रीसेट और सेल्फ-रीसेट पॉलिसी ऑप्टिमाइज़ेशन (RRPO और SRPO) का प्रस्ताव करता है, जिसमें SRPO बाहरी पर्यवेक्षण के बिना त्रुटिपूर्ण चरणों को स्वायत्त रूप से स्थानीयकृत और सुधार कर श्रेष्ठ प्रदर्शन प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक छात्र को कोई जटिल गणित का सवाल हल करना या कोड लिखना सिखा रहे हैं। पारंपरिक तरीकों में, यदि छात्र अंतिम उत्तर गलत देता है, तो शिक्षक कह सकता है, "तुम असफल रहे," और छात्र को पूरा समाधान फिर से लिखने के लिए मजबूर कर सकता है, इस उम्मीद में कि अगली बार वह इसे सही कर लेगा। इस दृष्टिकोण के साथ समस्या यह है कि छात्र को यह पता नहीं चलेगा कि किस विशिष्ट चरण के कारण विफलता हुई। क्या उसने पहले वाक्य में गलती की थी? या वह तीन पैराग्राफ बाद भटक गया था?
यह शोध पत्र AI मॉडलों (विशेष रूप से लार्ज लैंग्वेज मॉडल्स) को तर्क करने का एक स्मार्ट तरीका सिखाने के लिए पेश किया गया है। इसे क्रेडिट असाइनमेंट विद रिसेट्स (Credit Assignment with Resets) कहा जाता है।
यहाँ उनके विचारों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. समस्या: "समान दंड" (The "Uniform Punishment")
वर्तमान में, जब एक AI किसी बहु-चरणीय तर्क कार्य (multi-step reasoning task) में विफल होता है, तो मानक प्रशिक्षण विधियाँ AI द्वारा उत्पन्न प्रत्येक शब्द को विफलता के लिए समान रूप से जिम्मेदार मानती हैं।
- उपमा: कल्पना कीजिए कि एक रिले रेस में टीम हार जाती है क्योंकि तीसरे धावक ने बैटन गिरा दिया। लेकिन कोच पूरी टीम पर चिल्लाता है, जिससे पहले धावक, दूसरे धावक और चौथे धावक को भी अतिरिक्त चक्कर लगाने पड़ते हैं। पहले धावक ने कुछ गलत नहीं किया था, लेकिन उसे फिर भी दंडित किया जाता है। यह अक्षम और भ्रमित करने वाला है।
2. समाधान: "रीसेट बटन" (The "Reset Button")
लेखक एक तंत्र प्रस्तावित करते हैं जिसे रीसेट (Reset) कहा जाता है। पूरे प्रयास को शुरू से शुरू करने के बजाय, AI को विफल प्रयास के बीच के एक विशिष्ट बिंदु पर वापस भेज दिया जाता है। उस बिंदु से, वह एक नया अंत (एक "काउंटरफैक्चुअल" निरंतरता) बनाने का प्रयास करता है ताकि यह देखा जा सके कि क्या एक अलग विकल्प सफलता की ओर ले जाता है।
- उपमा: कल्पना कीजिए कि आप गाड़ी चला रहे हैं और गलत मोड़ ले लेते हैं, जिससे आप रास्ता भटक जाते हैं। अपने घर वापस जाने के लिए पूरी यात्रा फिर से शुरू करने के बजाय, आप ठीक उसी चौराहे पर रुक जाते हैं जहाँ आपने गलती की थी। आप कहते हैं, "ठीक है, मुझे यहाँ बाईं ओर नहीं मुड़ना चाहिए था; चलिए इसके बजाय दाईं ओर मुड़ने की कोशिश करते हैं।" आप केवल यात्रा के उस हिस्से को दोबारा तय करते हैं जो महत्वपूर्ण है।
3. गलती खोजने के दो तरीके
पेपर रीसेट बटन दबाने के लिए यह तय करने के दो तरीके प्रस्तावित करता है कि कहाँ रीसेट किया जाए:
- RRPO (रैंडम-रीसेट): यह अनुमान लगाने जैसा है। AI विफल श्रृंखला में एक रैंडम स्टेप चुनता है और वहां से फिर से प्रयास करता है।
- उपमा: एक शिक्षक छात्र के असफल निबंध का एक पेज रैंडमली चुनता है और कहता है, "चलिए यहाँ से फिर से लिखते हैं।" यह काम कर सकता है, लेकिन यह ज्यादातर किस्मत पर निर्भर है।
- SRPO (सेल्फ-रीसेट): यह मुख्य आकर्षण है। AI अपने स्वयं के विफल प्रयास को देखता है और पूछता है, "मैं वास्तव में कहाँ गलत हुआ?" यह उस विशिष्ट विचार या चरण की पहचान करता है जहाँ तर्क टूट गया था और ठीक वहीं रीसेट करता है।
- उपमा: छात्र अपने स्वयं के निबंध को पढ़ता है, उस सटीक वाक्य को पहचानता है जहाँ तर्क धुंधला हो गया था, और कहता है, "आह, मैं समझ गया कि समस्या क्या है। मैं उस वाक्य से फिर से लिखना शुरू करूँगा।" इसके लिए किसी बाहरी मदद की आवश्यकता नहीं है; AI इसे स्वयं करता है।
4. यह बेहतर क्यों काम करता है ("क्रेडिट असाइनमेंट")
विशिष्ट त्रुटि बिंदु पर रीसेट करके और कई नए अंत आज़माकर, AI स्पष्ट रूप से देख सकता है: "यदि मैंने इस विशिष्ट क्षण पर विकल्प B के बजाय विकल्प A चुना होता, तो मैं सफल हो जाता।"
- परिणाम: AI केवल पूरे समाधान को याद करने के बजाय विशिष्ट बुरी आदत को सुधारना सीखता है। यह एक अंग को काटने के बजाय ट्यूमर निकालने वाले सर्जन की तरह है।
5. परिणाम: तेज़ और स्मार्ट
शोधकर्ताओं ने गणित की समस्याओं, विज्ञान के प्रश्नों और कोडिंग कार्यों पर इसका परीक्षण किया।
- निष्कर्ष: SRPO विधि (जहाँ AI अपनी गलती खुद पहचानता है) ने मानक विधियों और "रैंडम गेस" विधि को लगातार पीछे छोड़ दिया।
- गति: कोडिंग कार्यों में, SRPO मानक विधियों की तुलना में 2 से 3 गुना तेज़ सीख गया। इसने सफलता दर अधिक प्राप्त की क्योंकि यह उन चरणों को फिर से सीखने में समय बर्बाद नहीं कर रहा था जिन्हें वह पहले से ही सही जानता था।
- स्व-सुधार (Self-Correction): पेपर ने पाया कि जब AI ने त्रुटि को सही ढंग से पहचाना (एक "क्लीन" प्रीफिक्स), तो वह गलत जगह का अनुमान लगाने की तुलना में लगभग दोगुनी बार समस्या को ठीक कर सका। यह साबित करता है कि कहाँ रीसेट करना है, यह जानना सफलता की कुंजी है।
सारांश
इस पेपर को एक AI को अपना सबसे अच्छा आलोचक बनने की शिक्षा देने के रूप में देखें। पूरे कार्यों को अंधाधुंध फिर से करने के बजाय, AI यह पहचानने में सक्षम होता है कि वह ठीक किस क्षण पटरी से उतरा था, "रीसेट" बटन दबाता है, और उस विशिष्ट क्षण से एक अलग रास्ता अपनाने की कोशिश करता है। यह इसे बहुत अधिक कुशल, सटीक और प्रभावी बनाता है, विशेष रूप से गणित और कोडिंग जैसे जटिल कार्यों के लिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।