Discovering Process-Outcome Credit in Multi-Step LLM Reasoning
यह शोध पत्र एक नवीन सुदृढीकरण शिक्षण (reinforcement learning) ढांचे का प्रस्ताव करता है जो निरंतर पुरस्कार संकेतों के लिए स्टेप-वाइज मार्जिनल इंफॉर्मेशन गेन तंत्र, विलगित क्रेडिट असाइनमेंट के लिए एक डिकपल्ड मास्किंग रणनीति और एक ड्यूल-गेटेड एसएफटी (SFT) उद्देश्य को पेश करके मल्टी-स्टेप एलएलएम (LLM) तर्क को बढ़ाता है, जो सामूहिक रूप से GRPO जैसे बेसलाइन की तुलना में बेहतर सैंपल दक्षता, सटीकता और आउट-ऑफ-डिस्ट्रीब्यूशन मजबूती प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "डिस्कवरिंग प्रोसेस-आउटकम क्रेडिट इन मल्टी-स्टेप एलएलएम रीजनिंग" (Discovering Process–Outcome Credit in Multi-Step LLM Reasoning) शोध पत्र का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।
बड़ी समस्या: तर्क करने का "ब्लैक बॉक्स" (The "Black Box" of Reasoning)
कल्पना कीजिए कि आप एक छात्र को बहुत लंबी और जटिल गणित की समस्या हल करना सिखा रहे हैं। पुराने तरीके में (जिसे आउटकम-बेस्ड लर्निंग कहा जाता है), आप उन्हें अंत में केवल एक ग्रेड देते हैं।
- परिदृश्य: छात्र तर्क के 50 चरण लिखता है। यदि अंतिम उत्तर सही है, तो उसे "A" ग्रेड मिलता है। यदि वह गलत है, तो उसे "F" मिलता है।
- दोष: यदि छात्र को "F" मिलता है, तो उसे पता ही नहीं चलता कि वह कहाँ गलत हुआ। क्या उसने चरण 3 में गलती की? चरण 40 में? या अंतिम गणना में बस एक टाइपो (लिखने की गलती) हो गया? क्योंकि फीडबैक बहुत कम (केवल अंत में) मिलता है, छात्र अक्सर बिना वास्तव में सोचना सीखे, केवल "A" पाने के लिए पैटर्न को रटने या अनुमान लगाने लगता है। इसे रिवॉर्ड स्पैरसिटीिटी (इनाम की कमी) कहा जाता है।
समाधान: सोचने के लिए एक "जीपीएस" (A "GPS" for Thinking)
लेखक एक नया तरीका प्रस्तावित करते हैं जो छात्र के मस्तिष्क के लिए एक जीपीएस नेविगेशन सिस्टम की तरह काम करता है। उन्हें अंत तक प्रतीक्षा करने के बजाय, जीपीएस हर बार एक "डिंग" की आवाज़ देता है जब वे एक सही मोड़ लेते हैं या पहेली का एक नया हिस्सा खोजते हैं।
वे इस फ्रेमवर्क को स्टेप-वाइज मार्जिनल इंफॉर्मेशन गेन (MIG) कहते हैं। यह कैसे काम करता है, इसे तीन मुख्य भागों में विभाजित किया गया है:
1. "वॉटरमार्क" (धोखाधड़ी रोकना)
कल्पना कीजिए कि छात्र एक पहाड़ चढ़ रहा है। यह सुनिश्चित करने के लिए कि वह वास्तव में चढ़ रहा है और केवल एक ही जगह पर ऊपर-नीचे कूद नहीं रहा है (जिसे "रिवॉर्ड हैकिंग" कहा जाता है), सिस्टम एक मोनोटोनिक हिस्टोरिकल वॉटरमार्क (एक निरंतर ऐतिहासिक जलचिह्न) निर्धारित करता है।
- यह कैसे काम करता है: सिस्टम अब तक छात्र द्वारा प्राप्त की गई समझ के उच्चतम बिंदु को ट्रैक करता है।
- नियम: आपको इनाम तभी मिलता है जब आप अपने पिछले सर्वश्रेष्ठ से ऊपर चढ़ते हैं। यदि आप ऐसा कदम उठाते हैं जिससे आपकी समझ में सुधार नहीं होता (या बदतर हो जाती है), तो आपको शून्य अंक मिलते हैं।
- उपमा: यह एक वीडियो गेम की तरह है जहाँ आपको केवल एक नया गुप्त क्षेत्र खोजने के लिए अंक मिलते हैं। यदि आप एक ही कमरे में इधर-उधर दौड़ते रहते हैं, तो आपको कुछ नहीं मिलता। यह एआई को लूप बनाने या खुद को दोहराने के बजाय नए, तार्किक रास्तों की खोज करने के लिए मजबूर करता है।
2. "टू-ट्रैक" सिस्टम (एक्सप्लोरेशन बनाम सटीकता)
शोध पत्र यह महसूस करता है कि "सोचना" और "उत्तर देना" दो अलग चीजें हैं।
- ट्रैक A (एक्सप्लोरर): सोचने के चरणों (चेन ऑफ थॉट) के लिए, सिस्टम ऊपर वर्णित MIG पुरस्कारों का उपयोग करता है। यह एआई को जिज्ञासु होने, विभिन्न कोणों को आज़माने और गहरे, जटिल समाधान खोजने के लिए प्रोत्साहित करता है। यह एक जासूस को हर सुराग, यहाँ तक कि अजीब सुरागों का भी पीछा करने देने जैसा है।
- ट्रैक B (जज): अंतिम उत्तर के लिए, सिस्टम एक सख्त पास/फेल चेक का उपयोग करता है।
- जादू: शोध पत्र एक डिकपल्ड मास्किंग स्ट्रैटेजी का उपयोग करता है। यह दो अलग-अलग शिक्षकों के होने जैसा है। एक शिक्षक (ट्रैक A) जासूसी कार्य और यात्रा की प्रशंसा करता है। दूसरा शिक्षक (ट्रैक B) केवल इस बात की परवाह करता है कि अंतिम निर्णय सही है या नहीं। वे एक-दूसरे में हस्तक्षेप नहीं करते हैं। यह एआई को अपने सोचने के तरीके में रचनात्मक होने और अपने अंतिम परिणाम में सख्त होने की अनुमति देता है।
3. "सेफ्टी नेट" (गेटेड सेल्फ-करेक्शन)
कभी-कभी, एआई अन्वेषण करने के उत्साह में चीजें बनाना (हैलुसिनेशन) शुरू कर देता है। इसे ठीक करने के लिए, लेखक एक डुअल-गेटेड एसएफटी (SFT) तंत्र जोड़ते हैं।
- यह कैसे काम करता है: सिस्टम केवल अपने सफल प्रयासों से खुद को "सिखाता" है। यह एक तर्क पथ को देखता है और दो प्रश्न पूछता है:
- क्या आपने नियमों का पालन किया (फॉर्मेट)?
- क्या आपको सही उत्तर मिला?
- गेट (द्वार): केवल तभी जब दोनों प्रश्नों का उत्तर "हाँ" हो, सिस्टम उस पथ को सीखने के लिए एक अच्छे उदाहरण के रूप में सहेजता है। यदि उत्तर गलत है, तो उस पथ को हटा दिया जाता है, भले ही विचार दिलचस्प क्यों न रहे हों। यह एआई को बुरी आदतें सीखने से रोकता है।
उन्होंने क्या पाया?
लेखकों ने कठिन गणितीय समस्याओं (जैसे MATH) और दृश्य पहेलियों (जैसे Super-CLEVR) पर इसका परीक्षण किया।
- तेजी से सीखना: एआई मानक तरीकों की तुलना में बहुत तेजी से सीखा क्योंकि उसे अंतिम ग्रेड की प्रतीक्षा करने के बजाय निरंतर फीडबैक (जीपीएस की "डिंग") मिला।
- कठिन चीजों में बेहतर: बहुत कठिन समस्याओं पर, जहाँ अन्य एआई हार मान लेते थे या अटक जाते थे, यह तरीका चलता रहा क्योंकि "वॉटरमार्क" ने इसे अगले तार्किक चरण की खोज करने के लिए प्रेरित रखा।
- सामान्यीकरण (Generalization): एआई ने केवल परीक्षण प्रश्नों को रटा नहीं; इसने सोचना सीखा। जब उन्हें बिल्कुल नए, अनदेखे प्रकार के पहेली दिए गए, तो इसने प्रतिस्पर्धा से बेहतर प्रदर्शन किया।
ट्रेड-ऑफ (द "ओवर-थिंकर" समस्या)
शोध पत्र ईमानदारी से एक छोटी सी कमी को भी स्वीकार करता है। क्योंकि सिस्टम सोचने के हर नए चरण को पुरस्कृत करता है, कभी-कभी एआई बहुत अधिक सूक्ष्म (granular) हो जाता है।
- उपमा: कल्पना कीजिए कि आप किसी से पूछते हैं, "2 + 2 क्या है?" एक सामान्य व्यक्ति कहता है "4"। एआई, "नए चरणों" के पुरस्कार से प्रेरित होकर, इसे 20 छोटे चरणों में तोड़ सकता है: "पहले, मैं एक 2 देखता हूँ। फिर मैं एक और 2 देखता हूँ। अब मैं उन्हें जोड़ता हूँ..."
- जोखिम: आप जितने अधिक चरण लेंगे, रास्ते में एक छोटी सी गणना त्रुटि करने की संभावना उतनी ही अधिक होगी। बहुत सरल कार्यों में, पुराना "बस उत्तर प्राप्त करो" वाला तरीका कभी-कभी अधिक कुशल था। हालाँकि, जटिल, बहु-चरणीय तर्क के लिए, नया तरीका एक बड़ा विजेता था।
सारांश
यह शोध पत्र एआई को यह सिखाने का एक तरीका पेश करता है कि कैसे हर कदम पर प्रगति करने के लिए पुरस्कृत करके सोचना सीखा जाए, न कि केवल अंतिम उत्तर सही होने के लिए। एक "क्लाइंबिंग वॉटरमार्क" का उपयोग करके यह सुनिश्चित करना कि प्रगति हो और रचनात्मकता के साथ सटीकता को संतुलित करने के लिए एक "टू-ट्रैक" सिस्टम का उपयोग करके, उन्होंने एक ऐसा एआई बनाया है जो कठिन, जटिल तर्क पहेलियों को हल करने में बेहतर है, जिसमें उसे हर कदम पर अपने होमवर्क को ग्रेड करने के लिए मनुष्यों की आवश्यकता नहीं होती।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।