Beyond Correctness: Learning Robust Reasoning via Transfer
यह शोधपत्र 'रिनफोर्समेंट लर्निंग विद ट्रांसफ़रेबल रिवॉर्ड' (RLTR) को प्रस्तुत करता है, जो एक नवीन दृष्टिकोण है जो LLM तर्क (reasoning) की सुदृढ़ता और सैंपल दक्षता को बढ़ाता है, जिसमें मॉडल को केवल अंतिम उत्तर की शुद्धता पर ध्यान केंद्रित करने के बजाय, ऐसे तर्क चरणों (reasoning steps) को उत्पन्न करने के लिए प्रशिक्षित किया जाता है जो अलग मॉडलों को निर्देशित करने के लिए स्थानांतरित होने पर भी प्रभावी बने रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक छात्र को एक जटिल गणित की समस्या हल करना सिखा रहे हैं।
पुराना तरीका (RLVR): "क्या आपको सही उत्तर मिला?"
वर्तमान में, अधिकांश AI प्रशिक्षण एक सख्त शिक्षक की तरह काम करता है जो केवल टेस्ट पेपर पर अंतिम उत्तर को देखता है। यदि छात्र एक बिखरा हुआ, भ्रमित करने वाला या किस्मत से लगाया गया अनुमान लिखता है जो संयोग से सही होता है, तो शिक्षक उसे "A" ग्रेड दे देता है। यदि छात्र एक आदर्श, तार्किक स्पष्टीकरण लिखता है लेकिन अंत में एक छोटी सी अंकगणितीय त्रुटि कर देता है, तो शिक्षक उसे "F" ग्रेड दे देता है।
यह शोध पत्र इसे RLVR (Reinforcement Learning with Verifiable Rewards) कहता है। यह सही उत्तर पाने में तो बेहतरीन है, लेकिन इसे इस बात की परवाह नहीं है कि छात्र वहां तक कैसे पहुँचा। परिणाम? छात्र सिस्टम को "गेम" करना सीख सकता है या ऐसी नाजुक तर्क पद्धति पर निर्भर हो सकता है जो तब ढह जाती है जब आप उनसे किसी और को समझाने के लिए कहते हैं।
नया विचार (RLTR): "क्या कोई और आपका काम पूरा कर सकता है?"
इस शोध पत्र के लेखक, ह्युनसॉक ली और उनके सहयोगियों ने एक अलग दर्शन प्रस्तावित किया है। उनका मानना है कि वास्तविक तर्क एक रिले रेस (रिले दौड़) की तरह है। एक अच्छा धावक (AI) को केवल फिनिश लाइन पार नहीं करनी चाहिए; उन्हें बैटन (छड़ी) इस तरह से पास करना चाहिए कि अगला धावक बिना लड़खड़ाए उसे आसानी से पकड़ सके और आगे बढ़ सके।
वे इस नई पद्धति को RLTR (Reinforcement Learning with Transferable Reward) कहते हैं।
यह कैसे काम करता है, इसके लिए एक सरल उपमा यहाँ दी गई है:
- जेनेरेटर (पहला धावक): AI एक समस्या को हल करना शुरू करता है और अपने विचार (तर्क) लिखता है।
- ट्रंकेशन (टेप काटना): सिस्टम AI को बीच में ही रोक देता है। यह तर्क के पहले भाग को लेता है और उसे काट देता है।
- रिसीवर (दूसरा धावक): एक अलग AI ( "रिसीवर") को इस कटे हुए टेक्स्ट का हिस्सा सौंपा जाता है। इसे पहले AI द्वारा लिखे गए हिस्से को पढ़ना होता है और समाधान को पूरा करना होता है।
- रिवॉर्ड (पुरस्कार):
- यदि रिसीवर सफलतापूर्वक समस्या को पूरा कर लेता है और सही उत्तर प्राप्त कर लेता है, तो पहले AI को बोनस पॉइंट मिलता है।
- यदि रिसीवर भ्रमित हो जाता है, अटक जाता है, या गलत उत्तर देता है क्योंकि पहला भाग अव्यवस्थित या अतार्किक था, तो पहले AI को कोई बोनस नहीं मिलता।
यह बेहतर क्यों है?
एक कहानी लिखने के बारे में सोचें।
- RLVR केवल इस बात की परवाह करता है कि कहानी के अंत में "The End" लिखा है या नहीं। आप एक ऐसी कहानी लिख सकते हैं जिसका कोई अर्थ न हो, लेकिन यदि अंतिम शब्द "The End" है, तो आप जीत जाते हैं।
- RLTR इस बात की परवाह करता है कि कहानी इतनी स्पष्ट और तार्किक हो कि कोई भी पहले आधे हिस्से को पढ़कर आसानी से अंदाजा लगा सके कि अंत कैसे होगा। यह AI को "मजबूत" तर्क लिखने के लिए मजबूर करता है—ऐसा तर्क जो स्थिर, स्पष्ट और पुन: प्रयोज्य (reusable) हो।
उन्होंने क्या पाया?
उन्होंने कठिन गणित और विज्ञान की समस्याओं पर इसका परीक्षण किया। मुख्य निष्कर्ष यहाँ दिए गए हैं:
- अधिक सुसंगत (Consistent): जब उन्होंने AI को उसी समस्या को 64 बार हल करने के लिए कहा, तो "ट्रांसफर" विधि (RLTR) ने बहुमत के आधार पर सही उत्तर अधिक बार प्राप्त किया। पुराना तरीका (RLVR) कभी-कभी सही होता था, लेकिन उसका तर्क इतना अस्थिर था कि विभिन्न प्रयास अक्सर एक-दूसरे से असहमत थे।
- तेजी से सीखना: नया तरीका तेजी से सीखा। इसने लगभग 2.5 गुना कम ट्रेनिंग स्टेप्स में पुराने तरीके के समान प्रदर्शन स्तर प्राप्त कर लिया। यह ऐसा है जैसे आधे समय में बेहतर शिक्षा प्राप्त करना क्योंकि पाठ अधिक स्पष्ट हैं।
- कठिन समस्याओं पर भी प्रभावी: सबसे कठिन गणित प्रतियोगिताओं (जैसे AIME और AMC) पर इसका लाभ और भी बड़ा था। जब समस्याएं कठिन होती हैं, तो एक स्पष्ट, हस्तांतरणीय विचार प्रक्रिया का होना केवल एक संख्या का अनुमान लगाने से कहीं अधिक महत्वपूर्ण होता है।
- केवल गणित तक सीमित नहीं: उन्होंने विज्ञान के प्रश्नों पर भी इसका परीक्षण किया, और यह वहां भी काम आया, जिससे पता चलता है कि यह "स्पष्ट सोच" का कौशल कई प्रकार की समस्याओं पर लागू होता है।
संक्षेप में:
यह शोध पत्र तर्क देता है कि केवल "सही होना" पर्याप्त नहीं है। एक AI का तर्क इतना ठोस और स्पष्ट होना चाहिए कि यदि आप इसे दूसरे AI को बीच में सौंप दें, तो वह दूसरा AI इसे उठाकर काम को पूरी तरह से समाप्त कर सके। AI को "हस्तांतरणीय" (transferable) बनाने के लिए प्रशिक्षित करके, वे अधिक बुद्धिमान, सुसंगत और बहुत तेजी से सीखते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।